Anteckning
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Viktigt!
- Foundry Local är tillgängligt i förhandsversionen. Offentliga förhandsversioner ger tidig åtkomst till funktioner som är i aktiv distribution.
- Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).
Den här artikeln innehåller metodtips och felsökningstips för Foundry Local.
Metodtips för säkerhet
- Kör Foundry Local endast i miljöer som uppfyller organisationens säkerhetsprinciper.
- Kontrollera att enheten uppfyller organisationens säkerhetskrav när du hanterar känsliga data.
- Kryptera diskar på enheter som cachelagrar modeller som innehåller känsliga finjusteringsdata.
Licensöverväganden
Granska licenskonsekvenserna för de modeller som du kör i Foundry Local. Visa de fullständiga licensvillkoren för modellen för varje modell i katalogen genom att köra följande kommando. Ersätt platshållaren <model> med modellnamnet i följande kommando:
foundry model info <model> --license
Omfång för produktionsdistribution
Foundry Local gäller för enhetsinferens, inte distribuerade, containerbaserade eller produktionsdistributioner med flera datorer.
Felsökning
Vanliga problem och lösningar
| Problematik | Möjlig orsak | Lösning |
|---|---|---|
| Långsam slutsatsdragning | Endast CPU-modell med ett stort antal parametrar. | Använd GPU-optimerade modellvarianter när den är tillgänglig. |
| Modellnedladdningsfel | Problem med nätverksanslutning. | Kontrollera internetanslutningen och kör foundry cache list för att verifiera cachestatus. |
Tjänstanslutningsfel (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) |
Problem med portbindning eller så är tjänsten inte tillgänglig. | Kör foundry service restart för att starta om tjänsten och lösa problem med portbindning. |
| Det går inte att starta tjänsten. | Portkonflikter eller behörighetsproblem. | Kör foundry service restarteller rapportera ett problem med loggar med hjälp av foundry zip-logs. |
| Intel NPU har inte identifierats eller fungerar inte | Saknar eller inaktuell Intel NPU-drivrutin. | Installera Intel NPU-drivrutinen för Windows för att aktivera NPU-acceleration. |
Qualcomm NPU-fel (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") |
Inaktuella konflikter mellan QualcommS NPU-drivrutin eller NPU-resurs. | Installera Qualcomm NPU-drivrutinen. Om problemet kvarstår startar du om för att rensa NPU-resurskonflikter, särskilt efter att du har använt Windows Copilot+-funktioner. |
winget install Microsoft.FoundryLocal --scope machine misslyckas med "Den aktuella systemkonfigurationen stöder inte installationen av det här paketet." |
Winget blockerar installationer av MSIX-datoromfång på grund av ett OS-fel när du använder etablerings-API:er från en paketerad kontext. | Använd Add-AppxProvisionedPackage i stället.
.msix Ladda ned och dess beroende och kör sedan i upphöjd PowerShell: Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix -DependencyPackagePath .\VcLibs.appx -SkipLicense. Det här kommandot installerar Foundry Local för alla användare. |
Förbättra prestanda
Om du får långsam slutsatsdragning bör du överväga följande strategier:
- Att köra ONNX-modeller från AI Toolkit för VS Code samtidigt orsakar resurskonkurrens. Stoppa AI Toolkit-slutsatsdragningssessionen innan du kör Foundry Local.
- Använd GPU-acceleration när den är tillgänglig.
- Identifiera flaskhalsar genom att övervaka minnesanvändningen under slutsatsdragningen.
- Prova fler kvantiserade modellvarianter (till exempel INT8 i stället för FP16).
- Justera batchstorlekar för icke-inaktiva arbetsbelastningar.