Integrera Open WebUI med Foundry Local

Den här självstudien visar hur du skapar ett chattprogram med hjälp av Foundry Local och Open WebUI. När du är klar har du ett fungerande chattgränssnitt som körs helt på din lokala enhet.

Förutsättningar

Innan du påbörjar den här självstudien behöver du:

• Foundry Local installerat på datorn. Läs guiden Kom igång med Foundry Local för installationsinstruktioner.

Konfigurera Open WebUI för chatt

1. Installera Open WebUI genom att följa anvisningarna från GitHub-lagringsplatsen Open WebUI.

2. Starta Open WebUI med det här kommandot i terminalen:

   open-webui serve
   

3. Öppna webbläsaren och gå till http://localhost:8080.

4. Aktivera direktanslutningar:

   1. Välj Inställningar och administratörsinställningar på profilmenyn.
   2. Välj Anslutningar på navigeringsmenyn .
   3. Aktivera direktanslutningar genom att aktivera växlingsknappen. På så sätt kan användarna ansluta till sina egna OpenAI-kompatibla API-slutpunkter.

5. Anslut Open WebUI till Foundry Local:

   1. Välj Inställningar på profilmenyn.
   2. Välj Anslutningar på navigeringsmenyn .
   3. Välj +genom att hantera direktanslutningar.
   4. För URL:en anger du http://localhost:PORT/v1 var PORT är den lokala slutpunktsporten för Foundry (använd CLI-kommandot foundry service status för att hitta den). Observera att Foundry Local tilldelar en port dynamiskt, så den är inte alltid densamma.
   5. För autentiseringen väljer du Ingen.
   6. Välj Spara

6. Börja chatta med din modell:

   1. Dina inlästa modeller visas i listrutan högst upp
   2. Välj valfri modell i listan
   3. Skriv meddelandet i indatarutan längst ned

Det var allt! Nu chattar du med en AI-modell som körs helt på din lokala enhet.

Nästa steg

• Integrera slutsatsdragnings-SDK:er med Foundry Local
• Kompilera Hugging Face-modeller som ska köras på Foundry Local