Delen via

Aan de slag met Foundry Local

Important

  • Foundry Local is beschikbaar in preview. Openbare preview-versies bieden vroege toegang tot functies die actief zijn geïmplementeerd.
  • Functies, benaderingen en processen kunnen worden gewijzigd of beperkte mogelijkheden hebben, voordat algemene beschikbaarheid (GA) wordt uitgevoerd.

In deze handleiding wordt uitgelegd hoe u Foundry Local instelt om AI-modellen op uw apparaat uit te voeren.

Prerequisites

Uw systeem moet voldoen aan de volgende vereisten om Foundry Local uit te voeren:

  • Besturingssysteem: Windows 10 (x64), Windows 11 (x64/ARM), Windows Server 2025, macOS.
  • Hardware: Minimaal 8 GB RAM en 3 GB vrije schijfruimte. Aanbevolen 16 GB RAM en 15 GB vrije schijfruimte.
  • Netwerk: internetverbinding om het eerste model te downloaden (optioneel voor offlinegebruik).
  • Acceleratie (optioneel): NVIDIA GPU (2.000-serie of hoger), AMD GPU (6.000-serie of hoger), AMD NPU, Intel iGPU, Intel NPU (32 GB of meer geheugen), Qualcomm Snapdragon X Elite (8 GB of meer geheugen), Qualcomm NPU of Apple silicon.

Opmerking

Nieuwe NPU's worden alleen ondersteund op systemen met Windows 24H2 of hoger. Als u een Intel NPU in Windows gebruikt, installeert u het Intel NPU-stuurprogramma om NPU-versnelling in Foundry Local in te schakelen.

Zorg ervoor dat u beheerdersrechten hebt om software te installeren.

Tip

Als er een serviceverbindingsfout wordt weergegeven na de installatie (bijvoorbeeld 'Aanvraag voor lokale service is mislukt'), voert u de opdracht uit foundry service restart.

Quickstart

Snel aan de slag met Foundry Local:

Optie 1: Snelle CLI-installatie

  1. Installeer Foundry Local.

    • Windows: Open een terminal en voer de volgende opdracht uit: 
      winget install Microsoft.FoundryLocal
    • macOS: Open een terminal en voer de volgende opdracht uit: 
      brew tap microsoft/foundrylocal
brew install foundrylocal
      U kunt ook het installatieprogramma downloaden uit de lokale GitHub-opslagplaats foundry.

  2. Voer uw eerste model uit. Open een terminal en voer deze opdracht uit:

    foundry model run qwen2.5-0.5b

    Foundry Local downloadt het model, dat enkele minuten kan duren, afhankelijk van uw internetsnelheid, en voert het vervolgens uit. Nadat het model is gestart, kunt u ermee werken met behulp van de opdrachtregelinterface (CLI). U kunt bijvoorbeeld het volgende vragen:

    Why is the sky blue?

    U ziet een antwoord van het model in de terminal: Schermopname van de uitvoer van de opdracht Foundry Local run.

Optie 2: Startersprojecten downloaden

Download een van onze startersprojecten die praktijkgerichte praktijkscenario's demonstreren:

Elk project omvat:

  • Stapsgewijze instructies voor het instellen
  • Volledige broncode
  • Configuratievoorbeelden
  • Beste praktijken

Tip

Deze startersprojecten zijn afgestemd op scenario's in de handleidingen en bieden onmiddellijke praktische waarde.

Tip

Vervang qwen2.5-0.5b door een modelnaam uit de catalogus (voer uit foundry model list om beschikbare modellen weer te geven). Foundry Local downloadt de variant die het beste overeenkomt met de hardware- en softwareconfiguratie van uw systeem. Als u bijvoorbeeld een NVIDIA GPU hebt, downloadt Foundry Local de CUDA-versie. Als u een Qualcomm NPU hebt, downloadt Foundry Local de NPU-variant. Als u geen GPU of NPU hebt, downloadt Foundry Local de CPU-versie.

Wanneer u de eerste keer uitvoert foundry model list , ziet u een voortgangsbalk voor downloaden terwijl Foundry Local de uitvoeringsproviders voor uw hardware downloadt.

Het meest recente OpenAI opensource-model uitvoeren

Voer het nieuwste OpenAI opensource-model uit GPT-OSS-20B, met deze opdracht:

foundry model run gpt-oss-20b

Important

Vereisten voor het uitvoeren van GPT-OSS-20B:

  • NVIDIA GPU met 16 GB VRAM of meer.
  • Foundry Local versie 0.6.87 of hoger. Eerdere versies bieden geen ondersteuning voor het model. Controleer uw versie met:
foundry --version

Opdrachten verkennen

De Foundry CLI organiseert opdrachten in deze hoofdcategorieën:

  • Model: Opdrachten voor het beheren en uitvoeren van modellen.
  • Service: Opdrachten voor het beheren van de Foundry Local-service.
  • Cache: Opdrachten voor het beheren van de lokale modelcache (gedownloade modellen op lokale schijf).

Alle opdrachten weergeven:

foundry --help

Modelopdrachten weergeven:

foundry model --help

Serviceopdrachten weergeven:

foundry service --help

Cacheopdrachten weergeven:

foundry cache --help

Tip

Zie de naslaginformatie over de lokale CLI van Foundry voor meer informatie over alle CLI-opdrachten.

Lokaal upgraden van Foundry

Voer de opdracht voor uw besturingssysteem uit om Foundry Local te upgraden.

  • Windows: Voer in een terminal het volgende uit: 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS: Voer in een terminal het volgende uit: 
    brew upgrade foundrylocal

Foundry Lokaal verwijderen

Als u Foundry Local wilt verwijderen, voert u de opdracht voor uw besturingssysteem uit:

  • Windows: Open een terminal en voer het volgende uit: 
    winget uninstall Microsoft.FoundryLocal
  • macOS: Open een terminal en voer het volgende uit: 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

Probleemoplossingsproces

Verbindingsproblemen met de service

Als u deze fout ziet wanneer u deze opdracht uitvoert foundry model list of een vergelijkbare opdracht uitvoert:

>foundry model list

🟢 Service is Started on http://127.0.0.1:0/, PID 11192!

Exception: Request to local service failed. Uri:http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry service status'.

Voer deze opdracht uit om de service opnieuw op te starten:

foundry service restart

Met deze opdracht worden gevallen opgelost waarin de service wordt uitgevoerd, maar niet toegankelijk is vanwege een probleem met poortbinding.

Verwante inhoud