Dela via

Så här distribuerar du Azure OpenAI-modeller med Azure AI Foundry

I den här artikeln får du lära dig hur du skapar distributioner för Azure OpenAI i Azure AI Foundry Models med hjälp av Azure AI Foundry-portalen.

Azure OpenAI i Foundry Models erbjuder en mängd olika modeller med olika funktioner och prispunkter. När du distribuerar Azure OpenAI-modeller i Azure AI Foundry-portalen kan du använda distributionerna med hjälp av promptflöde eller något annat verktyg. Modelltillgängligheten varierar beroende på region. Mer information om varje modell finns i Azure OpenAI-modeller.

Om du vill ändra och interagera med en Azure OpenAI-modell på Azure AI Foundry Playground måste du först distribuera en grundläggande Azure OpenAI-modell till ditt projekt. När du har distribuerat modellen och gör den tillgänglig i projektet kan du använda dess REST API-slutpunkt as-is eller anpassa den ytterligare med dina egna data och andra komponenter, till exempel inbäddningar och index.

Förutsättningar

  • En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

  • Ett Azure AI Foundry-projekt.

Distribuera en Azure OpenAI-modell från modellkatalogen

Följ stegen i det här avsnittet för att distribuera en Azure OpenAI-modell, till exempel gpt-4o-mini, till en realtidsslutpunkt från Azure AI Foundry-portalens modellkatalog:

  1. Logga in på Azure AI Foundry.
  2. Om du inte redan är med i projektet väljer du det.
  3. Välj Modellkatalog i det vänstra fönstret.

  1. I filtret Samlingar väljer du Azure OpenAI.

    En skärmbild som visar hur du filtrerar efter Azure OpenAI-modeller i katalogen.

  2. Välj en modell, till exempel gpt-4o-mini från Azure OpenAI-samlingen.

  3. Välj Använd den här modellen för att öppna distributionsfönstret.

  4. Välj den resurs som du vill distribuera modellen till. Om du inte har någon resurs skapar du en.

  5. Ange distributionsnamnet och ändra andra standardinställningar beroende på dina krav.

  6. Välj distribuera.

  7. Gå till sidan med distributionsinformation. Välj Öppna på lekplatsen.

  8. Välj Visa kod för att hämta kodexempel som du kan använda för att använda den distribuerade modellen i ditt program.

Distribuera en Azure OpenAI-modell från projektet

Du kan också starta distributionen från projektet i Azure AI Foundry-portalen.

Tips/Råd

Eftersom du kan anpassa det vänstra fönstret i Azure AI Foundry-portalen kan du se andra objekt än vad som visas i de här stegen. Om du inte ser det du letar efter väljer du ... Mer längst ned i det vänstra fönstret.

  1. Gå till projektet i Azure AI Foundry-portalen.
  2. Från det vänstra sidofältet i projektet går du till Mina tillgångar>Modeller + slutpunkter.
  3. Välj + Distribuera modell>Distribuera basmodell.
  4. Sök efter och välj en modell, till exempel gpt-4o-mini i listan över modeller.
  5. Välj Bekräfta för att öppna distributionsfönstret.
  6. Ange distributionsnamnet och ändra andra standardinställningar beroende på dina krav.
  7. Välj distribuera.
  8. Gå till sidan med distributionsinformation. Välj Öppna på lekplatsen.
  9. Välj Visa kod för att hämta kodexempel som du kan använda för att använda den distribuerade modellen i ditt program.

Slutsatsdragning av Azure OpenAI-modellen

Om du vill utföra slutsatsdragning på den distribuerade modellen använder du lekplatsen eller kodexemplen. Lekplatsen är ett webbaserat gränssnitt som gör att du kan interagera med modellen i realtid. Använd lekplatsen för att testa modellen med olika frågor och se modellens svar.

Fler exempel på hur du använder den distribuerade modellen i ditt program finns i snabbstarten Kom igång med chatten med Azure OpenAI i Azure AI Foundry Models.

Regional tillgänglighet och kvotgränser för en modell

För Azure OpenAI-modeller varierar standardkvoten för modeller efter modell och region. Vissa modeller kanske bara är tillgängliga i vissa regioner. Mer information om tillgänglighets- och kvotgränser finns i Azure OpenAI-kvoter och -gränser.

Kvot för distribution och slutsatsdragning av en modell

För Azure OpenAI-modeller använder distribution och slutsatsdragning den kvot som Azure tilldelar din prenumeration per region, per modell i enheter med token per minut (TPM). När du registrerar dig för Azure AI Foundry får du standardkvot för de flesta tillgängliga modeller. Sedan tilldelar du TPM till varje distribution när du skapar den, vilket minskar den tillgängliga kvoten för modellen. Du kan fortsätta att skapa distributioner och tilldela dem TPMs tills du når din kvotgräns.

När du når din kvotgräns kan du bara skapa nya distributioner av modellen om du:

Mer information om kvot finns i Azure AI Foundry-kvoten och Hantera Azure OpenAI-kvot.

Relaterat innehåll