Dela via

Kom igång med Foundry Local

Important

  • Foundry Local är tillgängligt i förhandsversionen. Offentliga förhandsversioner ger tidig åtkomst till funktioner som är i aktiv distribution.
  • Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).

Den här guiden beskriver hur du konfigurerar Foundry Local för att köra AI-modeller på din enhet.

Prerequisites

Systemet måste uppfylla följande krav för att köra Foundry Local:

  • Operativsystem: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Maskinvara: Minst 8 GB RAM-minne och 3 GB ledigt diskutrymme. Rekommenderat 16 GB RAM-minne och 15 GB ledigt diskutrymme.
  • Nätverk: Internetanslutning för att ladda ned den första modellen (valfritt för offlineanvändning).
  • Acceleration (valfritt): NVIDIA GPU (2 000-serien eller senare), AMD GPU (6 000 serier eller nyare), AMD NPU, Intel iGPU, Intel NPU (32 GB eller mer minne), Qualcomm Snapdragon X Elite (8 GB eller mer minne), Qualcomm NPU eller Apple-kisel.

Anmärkning

Nya NPU:er stöds endast på system som kör Windows 24H2 eller senare. Om du använder en Intel NPU i Windows installerar du Intel NPU-drivrutinen för att aktivera NPU-acceleration i Foundry Local.

Kontrollera att du har administratörsbehörighet för att installera programvara.

Tip

Om du ser ett tjänstanslutningsfel efter installationen (till exempel "Begäran till lokal tjänst misslyckades") kör du foundry service restart.

Quickstart

Kom igång snabbt med Foundry Local:

Alternativ 1: Snabb CLI-konfiguration

  1. Installera Foundry Local.

    • Windows: Öppna en terminal och kör följande kommando: 
      winget install Microsoft.FoundryLocal
    • macOS: Öppna en terminal och kör följande kommando: 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      Du kan också ladda ned installationsprogrammet från den lokala GitHub-lagringsplatsen foundry.

  2. Kör din första modell. Öppna en terminal och kör det här kommandot:

    foundry model run qwen2.5-0.5b

    Foundry Local laddar ned modellen, vilket kan ta några minuter beroende på internethastigheten, och kör den sedan. När modellen har startat interagerar du med den med hjälp av kommandoradsgränssnittet (CLI). Du kan till exempel fråga:

    Why is the sky blue?

    Du ser ett svar från modellen i terminalen: Skärmbild av utdata från kommandot Foundry Local run.

Alternativ 2: Ladda ned startprojekt

För praktisk, praktisk inlärning kan du ladda ned ett av våra startprojekt som visar verkliga scenarier:

Varje projekt innehåller:

  • Stegvisa konfigurationsinstruktioner
  • Fullständig källkod
  • Exempel på konfigurationer
  • Metodtips

Tip

Dessa startprojekt överensstämmer med scenarier i guiderna och ger ett omedelbart praktiskt värde.

Tip

Ersätt qwen2.5-0.5b med valfritt modellnamn från katalogen (kör foundry model list för att visa tillgängliga modeller). Foundry Local laddar ned den variant som bäst matchar systemets maskinvaru- och programvarukonfiguration. Om du till exempel har en NVIDIA GPU laddar Foundry Local ned CUDA-versionen. Om du har en Qualcomm NPU laddar Foundry Local ned NPU-varianten. Om du inte har någon GPU eller NPU laddar Foundry Local ned CPU-versionen.

När du kör foundry model list första gången visas en förloppsindikator för nedladdning medan Foundry Local laddar ned körningsprovidrar för din maskinvara.

Kör den senaste OpenAI-modellen med öppen källkod

Kör den senaste OpenAI-modellen med öppen källkod, GPT-OSS-20B, med det här kommandot:

foundry model run gpt-oss-20b

Important

Krav för att köra GPT-OSS-20B:

  • NVIDIA GPU med 16 GB VRAM eller mer.
  • Foundry Lokal version 0.6.87 eller senare. Tidigare versioner stöder inte modellen. Kontrollera din version med:
foundry --version

Utforska kommandon

Foundry CLI organiserar kommandon i följande huvudkategorier:

  • Modell: Kommandon för att hantera och köra modeller.
  • Tjänst: Kommandon för att hantera den lokala foundry-tjänsten.
  • Cache: Kommandon för att hantera den lokala modellcachen (nedladdade modeller på lokal disk).

Visa alla kommandon:

foundry --help

Visa modellkommandon :

foundry model --help

Visa tjänstkommandon :

foundry service --help

Visa cachekommandon :

foundry cache --help

Tip

Mer information om alla CLI-kommandon finns i Foundry Local CLI-referens.

Uppgradera Foundry Local

Kör kommandot för operativsystemet för att uppgradera Foundry Local.

  • Windows: Kör i en terminal: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: Kör i en terminal: 
    brew upgrade foundrylocal

Avinstallera Foundry Local

Om du vill avinstallera Foundry Local kör du kommandot för operativsystemet:

  • Windows: Öppna en terminal och kör: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Öppna en terminal och kör: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Felsökning

Problem med tjänstanslutning

Om du ser det här felet när du kör foundry model list eller ett liknande kommando:

>foundry model list

🟢 Service is Started on http://127.0.0.1:0/, PID 11192!

Exception: Request to local service failed. Uri:http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Kör det här kommandot för att starta om tjänsten:

foundry service restart

Det här kommandot åtgärdar fall där tjänsten körs men inte är tillgänglig på grund av ett portbindningsproblem.

Relaterat innehåll