Kom igång med promptflöde

Den här artikeln vägleder dig genom den huvudsakliga användarresan för att använda promptflöde i Azure Machine Learning-studio. Du lär dig hur du aktiverar promptflöde på din Azure Machine Learning-arbetsyta, skapar och utvecklar ett flöde, testar och utvärderar flödet och sedan distribuerar det till produktion.

Prerequisites

• En Azure Machine Learning-arbetsyta. Standardlagringen för arbetsytan måste vara blobtyp.
• Ett Azure OpenAI-konto eller en befintlig Azure OpenAI-anslutning med en distribution. Mer information finns i Skapa en resurs och distribuera en modell med Azure OpenAI.

  Note

  Om du vill skydda ditt promptflöde med ett virtuellt nätverk följer du även anvisningarna i Secure prompt flow with workspace managed virtual network (Skydda promptflöde med arbetsytehanterat virtuellt nätverk).

Konfigurera en anslutning

En anslutning hjälper till att lagra och hantera hemliga nycklar på ett säkert sätt eller andra känsliga autentiseringsuppgifter som krävs för att interagera med LLM (Large Language Models) och andra externa verktyg som Azure Content Safety. Anslutningsresurser delas med alla medlemmar på arbetsytan.

1. To check if you already have an Azure OpenAI connection, select Prompt flow from the Azure Machine Learning studio left menu and then select the Connections tab on the Prompt flow screen.

   

   If you already see a connection whose provider is AzureOpenAI, you can skip the rest of this setup process. Observera att den här anslutningen måste ha en distribution för att kunna köra LLM-noderna i exempelflödet. Mer information finns i Distribuera en modell.

2. If you don't have an Azure OpenAI connection, select Create and then select AzureOpenAI from the dropdown menu.

3. I fönstret Lägg till Azure OpenAI-anslutning anger du ett namn för anslutningen, väljer ditt prenumerations-ID och Azure OpenAI-kontonamn och anger ett autentiseringsläge och API-information.

   Prompt flow supports either API Key or Microsoft Entra ID authentication for Azure OpenAI resources. For this tutorial, select API key under Auth Mode.

   

   To get the API information, go to the Chat playground in the Azure OpenAI portal and select your Azure OpenAI resource name. Copy the Key and paste it into the API key field in the Add Azure OpenAI connection form, and copy the Endpoint and paste it into the API base field in the form.

   

   Information om Microsoft Entra ID-autentisering finns i Konfigurera Azure OpenAI i Azure AI Foundry Models med Microsoft Entra ID-autentisering.

4. After you fill out all fields, select Save to create the connection.

5. Anslutningen måste associeras med en distribution innan du kan köra LLM-noderna i exempelflödet. Information om hur du skapar distributionen finns i Distribuera en modell.

Skapa och utveckla ditt promptflöde

In the Flows tab of the Prompt flow home page, select Create to create the prompt flow. Sidan Skapa ett nytt flöde visar flödestyper som du kan skapa, inbyggda exempel som du kan klona för att skapa ett flöde och sätt att importera ett flöde.

Klona från ett exempel

In the Explore gallery, you can browse the built-in samples and select View detail on any tile to preview whether it's suitable for your scenario.

This tutorial uses the Web Classification sample to walk through the main user journey. Webbklassificering är ett flöde som visar klassificering i flera klasser med en LLM. Med en URL klassificerar flödet URL:en till en webbkategori med bara några få bilder, enkla sammanfattningar och klassificeringsprompter. Om du till exempel anger en URL https://www.imdb.comklassificeras URL:en till Movie.

To clone the sample, select Clone on the Web Classification tile.

The Clone flow pane shows the location to store your flow within your workspace fileshare storage. Du kan anpassa mappen om du vill. Then select Clone.

Det klonade flödet öppnas i redigeringsgränssnittet. You can select the Edit pencil icon to edit flow details like name, description, and tags.

Starta beräkningssessionen

En beräkningssession krävs för körning av flöde. Beräkningssessionen hanterar de beräkningsresurser som krävs för att programmet ska kunna köras, inklusive en Docker-avbildning som innehåller alla nödvändiga beroendepaket.

På sidan flödesredigering startar du en beräkningssession genom att välja Starta beräkningssession.

Granska flödesredigeringssidan

Det kan ta några minuter att starta beräkningssessionen. När beräkningssessionen startas visar du delarna på flödesredigeringssidan.

• The Flow or flatten view on the left side of the page is the main working area, where you can author the flow by adding or removing nodes, editing and running nodes inline, or editing prompts. In the Inputs and Outputs sections, you can view, add or remove, and edit inputs and outputs.

  När du klonade det aktuella webbklassificeringsexemplet har indata och utdata redan angetts. Indataschemat för flödet är name: url; type: string, en URL av strängtyp. Du kan ändra det förinställda indatavärdet till ett annat värde som https://www.imdb.com manuellt.

• Files at top right shows the folder and file structure of the flow. Each flow folder contains a flow.dag.yaml file, source code files, and system folders. Du kan skapa, ladda upp eller ladda ned filer för testning, distribution eller samarbete.

• The Graph view at lower right is for visualizing what the flow looks like. Du kan zooma in eller ut eller använda automatisk layout.

You can edit files inline in the Flow or flatten view, or you can turn on the Raw file mode toggle and select a file from Files to open the file in a tab for editing.

För det här exemplet är indata en URL som ska klassificeras. Flödet använder ett Python-skript för att hämta textinnehåll från URL:en, använder LLM för att sammanfatta textinnehållet i 100 ord och klassificerar baserat på URL:en och sammanfattat textinnehåll. Ett Python-skript konverterar sedan LLM-utdata till en ordlista. The prepare_examples node feeds a few example shots to the classification node's prompt.

Konfigurera LLM-noder

For each LLM node, you need to select a Connection to set the LLM API keys. Välj din Azure OpenAI-anslutning.

Depending on the connection type, you must select a deployment_name or a model from the dropdown list. För en Azure OpenAI-anslutning väljer du en distribution. Om du inte har någon distribution skapar du en i Azure OpenAI-portalen genom att följa anvisningarna i Distribuera en modell.

For this example, make sure the API type is chat, because the provided prompt example is for the chat API. Mer information om skillnaden mellan chatt- och slutförande-API:er finns i Utveckla ett flöde.

Set up connections for both of the LLM nodes in the flow, summarize_text_content and classify_with_llm.

Köra en enskild nod

To test and debug a single node, select the Run icon at the top of a node in the Flow view. You can expand Inputs and change the flow input URL to test the node behavior for different URLs.

Körningsstatusen visas överst på noden. After the run completes, run output appears in the node Output section.

The Graph view also shows the single run node status.

Run fetch_text_content_from_url and then run summarize_text_content to check if the flow can successfully fetch content from the web and summarize the web content.

Kör hela flödet

To test and debug the whole flow, select Run at the top of the screen. Du kan ändra flödesindata-URL:en för att testa hur flödet beter sig för olika URL:er.

Kontrollera körningsstatus och utdata för varje nod.

Visa flödesutdata

Du kan också ange flödesutdata för att kontrollera utdata från flera noder på ett och samma ställe. Flödesutdata hjälper dig:

• Kontrollera masstestresultat i en enda tabell.
• Definiera mappning av utvärderingsgränssnitt.
• Ställ in distributionssvarsschema.

In the cloned sample, the category and evidence flow outputs are already set.

1. Select View outputs in the top banner or the top menu bar to view detailed input, output, flow execution, and orchestration information.

   

2. On the Outputs tab of the Outputs screen, note that the flow predicts the input URL with a category and evidence.

   

3. Select the Trace tab on the Outputs screen and then select flow under node name to see detailed flow overview information in the right pane. Expand flow and select any step to see detailed information for that step.

   

Testa och utvärdera

När flödet har körts med en enda rad data testar du om det fungerar bra med en stor uppsättning data. Du kan köra ett masstest och eventuellt lägga till ett utvärderingsflöde och sedan kontrollera resultaten.

Du måste förbereda testdata först. Azure Machine Learning stöder CSV-, TSV- och JSONL-filformat för data.

• Go to GitHub and download data.csv, the golden dataset for the Web Classification sample.

Använd guiden Kör och utvärdera i Batch för att konfigurera och skicka en batchkörning och eventuellt en utvärderingsmetod. Utvärderingsmetoder är också flöden som använder Python eller LLM för att beräkna mått som noggrannhet och relevanspoäng.

1. Select Evaluate from the top menu of your flow authoring page.

2. On the Basic settings screen, change the Run display name if desired, add an optional Run description and Tags, and then select Next.

3. På skärmen Inställningar för Batch-körning väljer du Lägg till nya data. On the Add data screen, provide a Name for the dataset, select Browse to upload the data.csv file you downloaded, and then select Add.

   När du har laddat upp data, eller om arbetsytan har en annan datauppsättning som du vill använda, söker du efter och väljer datauppsättningen i listrutan för att förhandsgranska de första fem raderna.

   The Input mapping feature supports mapping your flow input to any data column in your dataset, even if the column names don't match.

   

4. Select Next to optionally select one or multiple evaluation methods. The Select evaluation page shows built-in and customized evaluation flows. To see how the metrics are defined for built-in evaluation methods, you can select More details on the method's tile.

   Webbklassificering är ett klassificeringsscenario, så välj Utvärdering av klassificeringsnoggrannhet som ska användas för utvärdering och välj sedan Nästa.

   

5. On the Configure evaluation screen, set Evaluation input mapping to map groundtruth to flow input ${data.category} and map prediction to flow output ${run.outputs.category}.

   

6. Välj Granska + skicka och välj sedan Skicka för att skicka en batchkörning och den valda utvärderingsmetoden.

Check results

När körningen har skickats med framgång, välj Visa körningslista för att se körningsstatus på sidan för promptflödets Körningar. Batchkörningen kan ta ett tag att slutföra. You can select Refresh to load the latest status.

After the batch run completes, select the check next to the run and then select Visualize outputs to view the result of your batch run.

On the Visualize outputs screen, enable the eye icon next to the child run to append evaluation results to the table of batch run results. Du kan se det totala antalet token och den totala noggrannheten. The Output table shows the results for each row of data: input, flow output, system metrics, and evaluation result of Correct or Incorrect.

In the Output table, you can:

• Justera kolumnbredd, dölj eller ta fram kolumner eller ändra kolumnordning.
• Select Export to Download current page as a CSV file or Download data export script as a Jupyter notebook file you can run to download outputs locally.
• Select the View details icon next to any row to open the Trace view showing the complete details for that row.

Noggrannhet är inte det enda måttet som kan utvärdera en klassificeringsuppgift. Du kan till exempel också använda recall för att utvärdera. To run other evaluations, select Evaluate next to Visualize outputs on the Runs page, and select other evaluation methods.

Distribuera som en slutpunkt

När du har skapat och testat ett flöde kan du distribuera det som en slutpunkt så att du kan anropa slutpunkten för slutsatsdragning i realtid.

Konfigurera slutpunkten

1. On the batch Runs page, select the run name link, and on the run detail page, select Deploy on the top menu bar to open the deployment wizard.

2. On the Basic settings page, specify an Endpoint name and Deployment name and select a Virtual machine type and Instance count.

3. You can select Next to configure advanced Endpoint, Deployment, and Outputs & connections settings. I det här exemplet använder du standardinställningarna.

4. Välj Granska + Skapa och välj sedan Skapa för att starta distributionen.

Testa slutpunkten

You can go to your endpoint detail page from the notification, or by selecting Endpoints in the studio left navigation and selecting your endpoint from the Real-time endpoints tab. It takes several minutes to deploy the endpoint. After the endpoint is deployed successfully, you can test it in the Test tab.

Put the URL you want to test in the input box, and select Test. Du ser resultatet som förutsägs av slutpunkten.

Rensa resurser

Om du vill spara på beräkningsresurser och kostnader kan du stoppa beräkningssessionen om du är klar med att använda den för tillfället. Välj sessionen som körs och välj sedan Stoppa beräkningssessionen.

You can also stop a compute instance by selecting Compute from the studio left navigation, selecting your compute instance in the Compute instances list, and selecting Stop.

Om du inte planerar att använda någon av de resurser som du skapade i den här självstudien kan du ta bort dem så att de inte debiteras. In the Azure portal, search for and select Resource groups. I listan väljer du den resursgrupp som innehåller de resurser som du skapade och väljer sedan Ta bort resursgrupp på den översta menyn på resursgruppssidan.

Related content

• Hantera beräkningssession
• Utveckla ett standardflöde
• Skicka masstest och utvärdera ett flöde
• Justera frågor med hjälp av varianter
• Distribuera ett flöde