Distribuera ett flöde för slutsatsdragning i realtid

När du har skapat ett promptflöde och testat det kan du distribuera det som en onlineslutpunkt. Distributioner finns i en slutpunkt. De kan ta emot data från klienter och skicka svar i realtid.

Du kan anropa slutpunkten för slutsatsdragning i realtid för chatt, en andrepilot eller ett annat generativt AI-program. Promptflöden stöder slutpunktsutplacering från ett flöde eller en masstestkörning.

I den här artikeln får du lära dig hur du distribuerar ett flöde som en hanterad onlineslutpunkt för realtidsinferens.

• Testa flödet och gör det redo för distribution.
• Skapa en onlinedistribution.
• Bevilja behörigheter till slutpunkten.
• Testa slutpunkten.
• Förbruka slutpunkten.

Förutsättningar

• Ett Azure-konto med en aktiv prenumeration. Om du inte har ett skapar du ett kostnadsfritt Azure-konto, som innehåller en kostnadsfri utvärderingsprenumeration.
• Om du inte har något skapar du ett hubbbaserat projekt.

Om du vill distribuera ett promptflöde som en onlineslutpunkt behöver du:

• Ett Azure-abonnemang. Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto.
• Ett Azure AI Foundry-projekt.
• En Microsoft.PolicyInsights resursleverantör registrerad i din prenumeration. Mer information finns i Registrera en resursprovider.

Skapa en onlineinstallation

När du har skapat ett flöde och testat det skapar du din onlineslutpunkt för slutsatsdragning i realtid.

Så här distribuerar du ett promptflöde som en onlineslutpunkt i Azure AI Foundry-portalen:

1. Ha ett promptflöde redo för distribution. Om du inte har något, se Utveckla ett promptflöde.

2. Valfritt: Välj Chatt för att testa om flödet fungerar korrekt. Vi rekommenderar att du testar ditt flöde före distributionen.

3. Välj Distribuera i flödesredigeraren.

   

4. Ange nödvändig information på sidan Grundläggande inställningar .

   

5. Välj Översikt + skapa. Eller välj Nästa för att gå vidare till de avancerade inställningssidor som inte behövs för den här artikeln.

6. Välj Skapa för att distribuera promptflödet.

7. Om du vill visa status för distributionen väljer du Modeller + slutpunkter i det vänstra fönstret. När distributionen har skapats väljer du distributionen för att se mer information.

   

8. Välj fliken Förbruka för att se kodexempel som du kan använda för att använda den distribuerade modellen i ditt program.

   På den här sidan kan du också se slutpunkts-URL:en som du kan använda för att komma åt slutpunkten.

   

9. Du kan använda REST-slutpunkten direkt eller komma igång med något av exemplen som visas här.

   

Information om hur du distribuerar en basmodell finns i Distribuera modeller med Azure AI Foundry.

Inställningar och konfigurationer

Textfil för krav

Du kan också ange extra paket som du behöver i requirements.txt. Du hittar requirements.txt i rotmappen i flödesmappen. När du distribuerar ett promptflöde till en hanterad onlineslutpunkt i användargränssnittet använder distributionen som standard den miljö som skapades baserat på basavbildningen som anges i flow.dag.yaml och de beroenden som anges i requirements.txt.

Basavbildningen som anges i flow.dag.yaml skapas baserat på basavbildningen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>för promptflödet . Om du vill se den senaste versionen kan du läsa den här listan. Om du inte anger basavbildningen i flow.dag.yamlanvänder distributionen standardbasavbildningen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Grundläggande inställningar

I det här steget konfigurerar du de grundläggande inställningarna när du väljer Distribuera i flödesredigeraren.

När du har slutfört de grundläggande inställningarna väljer du Granska + Skapa för att slutföra skapandet. Du kan också välja Nästa för att konfigurera avancerade inställningar.

Avancerade inställningar: Slutpunkt

Du kan ange följande inställningar för slutpunkten.

I arbetsflödet Avancerade inställningar kan du också ange distributionstaggar och välja en anpassad miljö.

Autentiseringstyp

Den här inställningen identifierar autentiseringsmetoden för slutpunkten. Nyckelbaserad autentisering ger en primär och sekundär nyckel som inte upphör att gälla. Tokenbaserad autentisering i Azure Machine Learning tillhandahåller en token som uppdateras regelbundet.

Identitetstyp

Slutpunkten måste komma åt Azure-resurser för slutsatsdragning, till exempel Azure Container Registry eller dina Azure AI Foundry Hub-anslutningar. Du kan ge slutpunkten behörighet att komma åt Azure-resurser genom att ge behörighet till dess hanterade identitet.

Systemtilldelad identitet skapas efter att din slutpunkt har skapats. Användaren skapar den användartilldelade identiteten. Mer information finns i Hanterade identiteter för Azure-resurser.

Systemtilldelad

Alternativet Framtvinga åtkomst till anslutningshemligheter (förhandsversion) är aktiverat som standard. Om ditt flöde använder anslutningar måste slutpunkten komma åt anslutningar för att utföra slutsatsdragning.

Om du har behörighet som läsare för anslutningshemligheter beviljas slutpunkten åtkomst till rollen Anslutningshemligheter för Azure Machine Learning-arbetsyta för åtkomst till anslutningar. Om du inaktiverar det här alternativet måste du bevilja den här rollen till den systemtilldelade identiteten manuellt eller be administratören om hjälp. Mer information finns i Bevilja behörighet till slutpunktsidentiteten.

Användare tilldelad

När du skapar distributionen försöker Azure hämta användarcontaineravbildningen från Azure AI Foundry Hubs containerregister och monterar användarmodellen och kodartefakter i användarcontainern från hubbens lagringskonto.

Om du skapar den associerade slutpunkten med alternativet Användartilldelad identitet beviljar du den användartilldelade identiteten följande roller innan du skapar distributionen. Annars misslyckas skapandet av distributionen.

Mer information om hur du beviljar behörigheter till slutpunktsidentiteten finns i Bevilja behörigheter till slutpunkten.

Avancerade inställningar: Utdata och anslutningar

I det här steget kan du visa alla flödesutdata och ange vilka utdata som ska inkluderas i svaret på slutpunkten som du distribuerar. Som standard är alla flödesutdata markerade.

Du kan också ange de anslutningar som slutpunkten använder när den utför slutsatsdragning. Som standard ärver slutpunkten anslutningarna från flödet.

När du har konfigurerat och granskat alla föregående steg väljer du Granska + Skapa för att slutföra skapandet.

Förvänta dig att det tar mer än 15 minuter att skapa slutpunkten. Stegen omfattar att skapa en slutpunkt, registrera en modell och skapa en distribution.

Med ett meddelande som börjar med promptflödesdistribution skickas framstegsrapporten för distributionsskapandet.

Aktivera spårning genom att aktivera Application Insights-diagnostik (förhandsversion)

Om du aktiverar den här funktionen samlas spårningsdata och systemmått under slutsatsdragningstiden in i arbetsytelänkade Application Insights. Dessa mått omfattar tokenantal, flödesfördröjning och flödesbegäran. Mer information finns i Aktivera spårning och samla in feedback för en flödesdistribution.

Bevilja behörigheter till slutpunkten

Följ dessa steg för att bevilja de behörigheter som krävs i Azure-portalen:

1. Gå till översiktssidan för Azure AI Foundry-projektet i Azure-portalen.

2. Välj Åtkomstkontroll (IAM) och sedan Lägg till rolltilldelning.

   

3. Välj Azure Machine Learning Workspace Connection Secrets Reader och välj Nästa.

   Rollen Azure Machine Learning Workspace Connection Secrets Reader är en inbyggd roll som har behörighet att hämta hubbanslutningar.

   Om du vill använda en anpassad roll kontrollerar du att den anpassade rollen har behörigheten Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Läs mer om hur du skapar anpassade roller.

4. Välj Hanterad identitet och välj sedan medlemmar:

   • Systemtilldelad identitet: Under Systemtilldelad hanterad identitet väljer du Machine Learning Online-slutpunkt och söker efter slutpunktsnamn.
   • Användartilldelad identitet: Välj Användartilldelad hanterad identitet och sök efter identitetsnamn.

5. För användartilldelad identitet beviljar du behörigheter till hubbens containerregister och lagringskonto. Du hittar containerregistret och lagringskontot på översiktssidan för hubben i Azure-portalen.

   

   Gå till översiktssidan för hubbcontainerns register och välj Åtkomstkontroll>Lägg till rolltilldelning. Tilldela ACR Pull till slutpunktsidentiteten.

   Gå till hubbens standardöversiktssida för lagring och välj Åtkomstkontroll>Lägg till rolltilldelning. Tilldela Storage Blob Data Reader till slutpunktsidentiteten.

6. Valfritt: Om du vill övervaka slutpunktsrelaterade mått som CPU/GPU/Disk/Minnesanvändning för användartilldelade identiteter måste du ge navets skrivroll för arbetsytemått till identiteten.

Kontrollera slutpunktens status

När distributionen är klar får du meddelanden. När slutpunkten och distributionen har skapats väljer du Visa information i meddelandet till distributionsinformationssidan.

Du kan också gå direkt till sidan Modell + slutpunkter i det vänstra fönstret och välja distributionen för att kontrollera statusen.

Testa slutpunkten

På sidan distributionsinformation väljer du fliken Test .

För slutpunkter som distribueras från standardflödet kan du ange värden i formulärredigeraren eller JSON-redigeraren för att testa slutpunkten.

Testa slutpunkten som distribuerats från ett chattflöde

För slutpunkter som distribueras från ett chattflöde kan du testa det i ett uppslukande chattfönster.

Meddelandet chat_input angavs under utvecklingen av chattflödet. Du kan placera chat_input meddelandet i indatarutan. Om flödet har flera indata anger du värdena för andra indata förutom chat_input meddelandet i fönstret Indata till höger.

Förbruka slutpunkten

På sidan distributionsinformation väljer du fliken Förbruka . Du hittar REST-slutpunkten och nyckeln/token för att använda slutpunkten. Exempelkoden är också tillgänglig för att du ska kunna använda slutpunkten på olika språk.

Du måste ange värden för RequestBody eller data .api_key Om ditt flöde till exempel har två indata, location och url, anger data som följande exempel:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Rensa resurser

Om du inte ska använda slutpunkten när du har slutfört den här självstudien tar du bort slutpunkten. Den fullständiga borttagningen kan ta 20 minuter.

Relaterat innehåll

• Läs mer om vad du kan göra i Azure AI Foundry.
• Få svar på vanliga frågor och svar i vanliga frågor och svar om Azure AI Foundry.
• Aktivera spårning och samla in feedback för distributionen.