Dela via

Lokal CLI-referens för Foundry

Viktigt!

  • Foundry Local är tillgängligt i förhandsversionen. Offentliga förhandsversioner ger tidig åtkomst till funktioner som är i aktiv distribution.
  • Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).

Den här artikeln innehåller en omfattande referens för kommandoradsgränssnittet foundry Local (CLI). CLI organiserar kommandon i logiska kategorier som hjälper dig att hantera modeller, kontrollera tjänsten och underhålla din lokala cache.

Översikt

Visa alla tillgängliga kommandon med hjälpalternativet:

foundry --help

CLI organiserar kommandon i tre huvudkategorier:

  • Modell: Kommandon för att hantera och köra AI-modeller
  • Tjänst: Kommandon för att styra den lokala foundry-tjänsten
  • Cache: Kommandon för att hantera din lokala modelllagring

Modellkommandon

I följande tabell sammanfattas kommandona som rör hantering och körning av modeller:

Anmärkning

Argumentet kan anges efter model dess alias eller modell-ID. Använda ett alias:

  • Väljer den bästa modellen för din tillgängliga maskinvara. Om du till exempel har en Nvidia CUDA GPU tillgänglig väljer Foundry Local CUDA-modellen. Om du har en NPU som stöds väljer Foundry Local NPU-modellen.
  • Gör att du kan använda ett kortare namn utan att behöva komma ihåg modell-ID:t.

Om du vill köra en specifik modell använder du modell-ID:t. Om du till exempel vill köra processorn qwen2.5-0.5b – oavsett vilken maskinvara du har – använder du: foundry model run qwen2.5-0.5b-instruct-generic-cpu.

Om du har en Intel NPU på Windows ska du installera Intel NPU-drivrutinen för optimal NPU-acceleration.

Kommando Beskrivning
foundry model --help Visar alla tillgängliga modellrelaterade kommandon och deras användning.
foundry model run <model> Kör en angiven modell, laddar ned den om den inte cachelagras och startar en interaktion.
foundry model list Visar en lista över alla tillgängliga modeller för lokal användning. Vid första körningen laddar den ned executionsproviders (EPs) för din maskinvara.
foundry model list --filter <key>=<value> Visar modeller som filtrerats efter de angivna kriterierna (enhet, uppgift, alias, provider).
foundry model info <model> Visar detaljerad information om en specifik modell.
foundry model info <model> --license Visar licensinformationen för en specifik modell.
foundry model download <model> Laddar ned en modell till den lokala cachen utan att köra den.
foundry model load <model> Läser in en modell i tjänsten.
foundry model unload <model> Tar bort en modell från tjänsten.

Filtrering av modelllista

Kommandot foundry model list stöder filtreringsmodeller med hjälp av --filter alternativet . Du kan filtrera modeller baserat på ett enda attribut med nyckel/värde-par.

foundry model list --filter <key>=<value>

Anmärkning

När du kör foundry model list för första gången efter installationen laddar Foundry Local automatiskt ned relevanta exekveringsleverantörer (EPs) för datorns hårdvarukonfiguration. Du ser en förloppsindikator som anger att nedladdningen har slutförts innan modelllistan visas.

Filternycklar som stöds:

device – Typ av maskinvaruenhet

Filtrerar modeller efter den maskinvaruenhet som de körs på.

Möjliga värden:

  • CPU – Modeller för central bearbetningsenhet
  • GPU – Modeller för grafikbearbetningsenhet
  • NPU – Modeller för Neural Processing Unit

provider – körningsprovider

Filtrerar modeller efter deras exekveringsmiljö.

Möjliga värden:

  • CPUExecutionProvider – CPU-baserad körning
  • CUDAExecutionProvider – NVIDIA CUDA GPU-körning
  • WebGpuExecutionProvider – WebGPU-körning
  • QNNExecutionProvider - Qualcomm neurala nätverksutförande (NPU)
  • OpenVINOExecutionProvider – Intel OpenVINO-körning
  • NvTensorRTRTXExecutionProvider – NVIDIA TensorRT-körning
  • VitisAIExecutionProvider – AMD Vitis AI-körning

task – Modell Uppgiftstyp

Filtrerar modeller efter avsett användningsfall/uppgift.

Vanliga värden:

  • chat-completion: Ai-modeller för konversationer
  • text-generation: Modeller för textgenerering

Alias – Modellalias

Filtrerar modeller efter aliasidentifierare. Stöder jokerteckenmatchning med *-suffixet.

Exempelvärden:

  • phi4-cpu
  • qwen2.5-coder-0.5b-instruct-generic-cpu
  • deepseek-r1-distill-qwen-1.5b-generic-cpu
  • phi-4-mini-instruct-generic-cpu

Särskilda filterfunktioner

Negation Support: Prefix valfritt värde med ! för att undanta matchande modeller.

foundry model list --filter device=!GPU

Matchning av jokertecken (endast alias):* Lägg till för att matcha prefix vid filtrering efter alias.

foundry model list --filter alias=qwen*

Examples

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

Anmärkning

  • Alla jämförelser är skiftlägesokänsliga.
  • Endast ett filter kan användas per kommando.
  • Okända filternycklar resulterar i ett fel.

Servicekommandon

I följande tabell sammanfattas kommandona som rör hantering och körning av den lokala foundry-tjänsten:

Kommando Beskrivning
foundry service --help Visar alla tillgängliga tjänstrelaterade kommandon och deras användning.
foundry service start Startar den lokala fabrikstjänsten.
foundry service stop Stänger Foundry Local-tjänsten.
foundry service restart Startar om Foundry-tjänsten lokalt.
foundry service status Visar aktuell status för Foundry Local-tjänsten.
foundry service ps Lista över alla modeller som för närvarande har laddats in i Foundry Local-tjänsten.
foundry service diag Visar loggarna för Foundry Local-tjänsten.
foundry service set <options> Ställer in konfigurationen för Foundry Local-tjänsten.

Cachekommandon

I följande tabell sammanfattas kommandona för att hantera den lokala cachen där modeller lagras:

Kommando Beskrivning
foundry cache --help Visar alla tillgängliga cacherelaterade kommandon och deras användning.
foundry cache location Visar den aktuella cachekatalogen.
foundry cache list Visar en lista över alla modeller som lagras i den lokala cachen.
foundry cache cd <path> Ändrar cachekatalogen till den angivna sökvägen.
foundry cache remove <model> Tar bort en modell från den lokala cachen.