Dela via

LLM tool

The large language model (LLM) tool in prompt flow enables you to use widely used large language models like OpenAI, Azure OpenAI in Azure AI Foundry Models, or any language model supported by the Azure AI model inference API for natural language processing.

Prompt flow innehåller flera API:er för stora språkmodeller:

  • Completion: OpenAI's completion models generate text based on provided prompts.
  • Chat: OpenAI's chat models and the Azure AI chat models facilitate interactive conversations with text-based inputs and responses.

The Embeddings API isn't available in the LLM tool. Use the embedding tool to generate embeddings with OpenAI or Azure OpenAI.

Note

LLM-verktyget i promptflödet stöder inte resonemangsmodeller (till exempel OpenAI o1 eller o3). För att resonera modellintegrering använder du Python-verktyget för att anropa modell-API:erna direkt. Mer information finns i Anropa en resonemangsmodell från Python-verktyget.

Prerequisites

Skapa OpenAI-resurser:

Connections

Konfigurera anslutningar till etablerade resurser i promptflödet.

Type Name API key API type API version
OpenAI Required Required - -
Azure OpenAI – API-nyckel Required Required Required Required
Azure OpenAI – Microsoft Entra-ID Required - - Required
Serverless model Required Required - -

Tip

Inputs

I följande avsnitt visas olika indata.

Text completion

Name Type Description Required
prompt string Textprompt för språkmodellen. Yes
model, deployment_name string Språkmodell som ska användas. Yes
max_tokens integer Maximalt antal token som ska genereras i slutförandet. Standardvärdet är 16. No
temperature float Slumpmässighet för den genererade texten. Standard är 1. No
stop list Stoppa sekvensen för den genererade texten. Standardvärdet är null. No
suffix string Text som läggs till i slutet av slutförandet. No
top_p float Sannolikhet att använda det främsta valet från de genererade token. Standard är 1. No
logprobs integer Antal loggannolikheter som ska genereras. Standardvärdet är null. No
echo boolean Värde som anger om prompten ska upprepas i svaret. Standardvärdet är falskt. No
presence_penalty float Värde som styr modellens beteende för upprepade fraser. Standardvärdet är 0. No
frequency_penalty float Värde som styr modellens beteende för att generera sällsynta fraser. Standardvärdet är 0. No
best_of integer Antal bästa slutföranden som ska genereras. Standard är 1. No
logit_bias dictionary Logit bias för språkmodellen. Standard är en tom ordlista. No

Chat

Name Type Description Required
prompt string Textprompt som språkmodellen använder för ett svar. Yes
model, deployment_name string Språkmodell som ska användas. Den här parametern krävs inte om modellen distribueras till en standarddistribution. Yes*
max_tokens integer Maximalt antal token som ska genereras i svaret. Standardvärdet är inf. No
temperature float Slumpmässighet för den genererade texten. Standard är 1. No
stop list Stoppa sekvensen för den genererade texten. Standardvärdet är null. No
top_p float Sannolikhet att använda det främsta valet från de genererade token. Standard är 1. No
presence_penalty float Värde som styr modellens beteende för upprepade fraser. Standardvärdet är 0. No
frequency_penalty float Värde som styr modellens beteende för att generera sällsynta fraser. Standardvärdet är 0. No
logit_bias dictionary Logit bias för språkmodellen. Standard är en tom ordlista. No

Outputs

API Return type Description
Completion string Text för ett förutsagt slutförande
Chat string Text för ett konversationssvar

Använda LLM-verktyget

  1. Konfigurera och välj anslutningarna till OpenAI-resurser eller till en standarddistribution.
  2. Konfigurera API:et för den stora språkmodellen och dess parametrar.
  3. Prepare the prompt with guidance.