Snabbstart: Använda bilder i dina AI-chattar

Använd den här artikeln om du vill komma igång med Azure AI Foundry för att distribuera och testa en modell för chattens slutförande med bildtolkning.

Förutsättningar

• Ett Azure-abonnemang. Skapa en kostnadsfritt.
• När du har din Azure-prenumeration skapar du en Azure OpenAI-resurs . Mer information om hur du skapar resurser finns i guiden för resursdistribution.
• Ett Azure AI Foundry-projekt med din Azure OpenAI-resurs tillagd som en anslutning.

Förbereda media

Du behöver en bild för att slutföra snabbstarten här. Du kan använda den här exempelbilden eller någon annan bild som du har tillgänglig.

Gå till Azure AI Foundry

1. Bläddra till Azure AI Foundry och logga in med de autentiseringsuppgifter som är associerade med din Azure OpenAI-resurs. Under eller efter inloggningsarbetsflödet väljer du lämplig katalog, Azure-prenumeration och Azure OpenAI-resurs.
2. Välj det projekt som du vill arbeta i.
3. På den vänstra navigeringsmenyn väljer du Modeller + slutpunkter och väljer + Distribuera modell.
4. Välj en avbildningskompatibel distribution genom att välja modellnamn: gpt-4o eller gpt-4o-mini. I fönstret som visas väljer du ett namn och en distributionstyp. Kontrollera att din Azure OpenAI-resurs är ansluten. Mer information om modellimplementering finns i resursimplementeringsguiden.
5. Välj Distribuera.
6. Välj sedan din nya modell och välj Öppna på lekplatsen. I chattlekplatsen bör distributionen du skapade väljas i listrutan Distribution .

Lekplats

I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå bilder som du matar in.

Allmän hjälp med assistentkonfiguration, chattsessioner, inställningar och paneler finns i snabbstarten Chatt.

Starta en chattsession för att analysera bilder

I den här chattsessionen instruerar du assistenten att hjälpa dig att förstå bilder som du matar in.

1. Börja genom att se till att din avbildningskompatibla distribution har valts i listrutan Distribution .

2. I textrutan kontext på installationspanelen anger du den här uppmaningen som vägleder assistenten: "You're an AI assistant that helps people find information." Eller så kan du anpassa uppmaningen till din bild eller ditt scenario.

   Anmärkning

   Vi rekommenderar att du uppdaterar systemmeddelandet så att det är specifikt för uppgiften för att undvika ohjälpsamma svar från modellen.

3. Välj Tillämpa ändringar för att spara ändringarna.

4. I chattsessionsfönstret väljer du knappen bifogad fil och sedan Ladda upp bild. Välj din bild.

5. Lägg till följande uppmaning i chattfältet: Describe this imageoch välj sedan ikonen skicka för att skicka den.

6. Ikonen skicka ersätts med en stoppknapp. Om du väljer det slutar assistenten att bearbeta din begäran. För den här snabbstarten låter du assistenten slutföra svaret.

7. Assistenten svarar med en beskrivning av bilden.

8. Ställ en uppföljningsfråga som rör analysen av din bild. Du skulle kunna ange, "What should I highlight about this image to my insurance company?".

9. Du bör få ett relevant svar som liknar det som visas här:

   When reporting the incident to your insurance company, you should highlight the following key points from the image:  
   
   1. **Location of Damage**: Clearly state that the front end of the car, particularly the driver's side, is damaged. Mention the crumpled hood, broken front bumper, and the damaged left headlight.  
   
   2. **Point of Impact**: Indicate that the car has collided with a guardrail, which may suggest that no other vehicles were involved in the accident.  
   
   3. **Condition of the Car**: Note that the damage seems to be concentrated on the front end, and there is no visible damage to the windshield or rear of the car from this perspective.  
   
   4. **License Plate Visibility**: Mention that the license plate is intact and can be used for identification purposes.  
   
   5. **Environment**: Report that the accident occurred near a roadside with a guardrail, possibly in a rural or semi-rural area, which might help in establishing the accident location and context.  
   
   6. **Other Observations**: If there were any other circumstances or details not visible in the image that may have contributed to the accident, such as weather conditions, road conditions, or any other relevant information, be sure to include those as well.  
   
   Remember to be factual and descriptive, avoiding speculation about the cause of the accident, as the insurance company will conduct its own investigation.
   

Visa och exportera kod

När som helst i chattsessionen kan du aktivera växeln Visa rå JSON överst i chattfönstret för att se konversationen formaterad som JSON. Så här ser det ut i början av snabbstartschattsessionen:

[
	{
		"role": "system",
		"content": [
			"You are an AI assistant that helps people find information."
		]
	},
]

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Att ta bort resursgruppen innebär också att alla andra resurser som är kopplade till den tas bort.

• Azure Portal
• Azure CLI

Använd den här artikeln för att komma igång med Azure OpenAI REST API:er för att distribuera och använda visionsaktiverade chattmodeller.

Förutsättningar

• Ett Azure-abonnemang. Skapa en kostnadsfritt.
• Python 3.8 eller senare version.
• Följande Python-bibliotek: requests, json.
• En Azure OpenAI i Azure AI Foundry Models-resurs med en visionsaktiverad modell distribuerad. Se Modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.

Hämta nyckel och slutpunkt

Om du vill anropa Azure OpenAI-API:erna behöver du följande information om din Azure OpenAI-resurs:

Gå till resursen i Azure Portal. I navigeringsfönstret väljer du Nycklar och slutpunkt under Resurshantering. Kopiera slutpunktsvärdet och ett åtkomstnyckelvärde. Du kan använda antingen värdet KEY 1 eller KEY 2 . Med två nycklar kan du rotera och återskapa nycklar på ett säkert sätt utan att orsaka avbrott i tjänsten.

Skapa ett nytt Python-program

Skapa en ny Python-fil med namnet quickstart.py. Öppna den nya filen i önskad redigerare eller IDE.

1. Ersätt innehållet i quickstart.py med följande kod.

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. Gör följande ändringar:

   1. Ange din slutpunkts-URL och nyckel i lämpliga fält.
   2. Ange namnet på modelldistributionen i lämpligt fält.
   3. Ändra värdet för "image" fältet till den offentligt tillgängliga URL:en för din bild.

      Tips/Råd

      Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i vägledningen för visionschatter.

3. Kör programmet med python kommandot :

   python quickstart.py
   

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Att ta bort resursgruppen innebär också att alla andra resurser som är kopplade till den tas bort.

• Azure Portal
• Azure CLI

Använd den här artikeln om du vill komma igång med Azure OpenAI Python SDK för att distribuera och använda en visionsaktiverad chattmodell.

Bibliotekets källkod | Paket (PyPi) |

Förutsättningar

• Ett Azure-abonnemang. Skapa en kostnadsfritt.
• Python 3.8 eller senare version.
• Följande Python-bibliotek: os
• En Azure OpenAI-resurs i Azure AI Foundry Models med en vision-aktiverad chattmodell som är implementerad. Se Modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.

Ställ in

Installera OpenAI Python-klientbiblioteket med:

pip install openai

Hämta nyckel och slutpunkt

Om du vill göra ett anrop mot Azure OpenAI behöver du en slutpunkt och en nyckel.

Gå till resursen i Azure Portal. Avsnittet Nycklar och slutpunkter finns i avsnittet Resurshantering . Kopiera slutpunkten och åtkomstnyckeln eftersom du behöver båda för att autentisera dina API-anrop. Du kan använda antingen KEY1 eller KEY2. Om du alltid har två nycklar kan du rotera och återskapa nycklar på ett säkert sätt utan att orsaka avbrott i tjänsten.

Miljövariabler

Skapa och tilldela beständiga miljövariabler för din nyckel och slutpunkt.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Skapa ett nytt Python-program

Skapa en ny Python-fil med namnet quickstart.py. Öppna den nya filen i önskad redigerare eller IDE.

1. Ersätt innehållet i quickstart.py med följande kod.

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. Gör följande ändringar:

   1. Ange namnet på din modellutplacering i lämpligt fält.
   2. Ändra värdet för "url" fältet till den offentligt tillgängliga URL:en för din bild.

      Tips/Råd

      Du kan också använda grundläggande 64-kodade bilddata i stället för en URL. Mer information finns i vägledningen för visionschatter.

3. Kör programmet med python kommandot :

   python quickstart.py
   

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Att ta bort resursgruppen innebär också att alla andra resurser som är kopplade till den tas bort.

• Azure Portal
• Azure CLI

Använd den här artikeln för att komma igång med OpenAI JavaScript SDK för att distribuera och använda en visionsaktiverad chattmodell.

Denna SDK tillhandahålls av OpenAI med Azure-specifika typer som tillhandahålls av Azure.

Referensdokumentation | Biblioteks källkod | Package (npm) | Exempel

Förutsättningar

• En Azure-prenumeration – Skapa en kostnadsfritt
• LTS-versioner av Node.js
• Azure CLI används för lösenordslös autentisering i en lokal utvecklingsmiljö och skapar den nödvändiga kontexten genom att logga in med Azure CLI.
• En Azure OpenAI-resurs som skapats i en region som stöds (se Regiontillgänglighet). Mer information finns i Skapa en resurs och distribuera en modell med Azure OpenAI.

Krav för Microsoft Entra-ID

För den rekommenderade nyckellösa autentiseringen med Microsoft Entra-ID måste du:

• Installera Azure CLI som används för nyckellös autentisering med Microsoft Entra-ID.
• Cognitive Services User Tilldela rollen till ditt användarkonto. Du kan tilldela roller i Azure-portalen under Åtkomstkontroll (IAM)>Lägg till rolltilldelning.

Ställ in

1. Skapa en ny mapp vision-quickstart och gå till snabbstartsmappen med följande kommando:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Skapa package.json med följande kommando:

   npm init -y
   

3. Installera OpenAI-klientbiblioteket för JavaScript med:

   npm install openai
   

4. För den rekommenderade lösenordslösa autentiseringen:

   npm install @azure/identity
   

Hämta resursinformation

Du måste hämta följande information för att autentisera ditt program med din Azure OpenAI-resurs:

Skapa ett nytt JavaScript-program för avbildningsprompter

Välj en bild från azure-samples/cognitive-services-sample-data-files. Ange din offentligt tillgängliga bild-URL i koden nedan eller ange IMAGE_URL miljövariabeln till den.

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Att ta bort resursgruppen innebär också att alla andra resurser som är kopplade till den tas bort.

• Azure Portal
• Azure CLI

Använd den här artikeln för att komma igång med OpenAI JavaScript SDK för att distribuera och använda en visionsaktiverad chattmodell.

Denna SDK tillhandahålls av OpenAI med Azure-specifika typer som tillhandahålls av Azure.

Referensdokumentation | Biblioteks källkod | Package (npm) | Exempel

Förutsättningar

• En Azure-prenumeration – Skapa en kostnadsfritt
• LTS-versioner av Node.js
• TypeScript
• Azure CLI används för lösenordslös autentisering i en lokal utvecklingsmiljö och skapar den nödvändiga kontexten genom att logga in med Azure CLI.
• En Azure OpenAI-resurs som skapats i en region som stöds (se Regiontillgänglighet). Mer information finns i Skapa en resurs och distribuera en modell med Azure OpenAI.

Krav för Microsoft Entra-ID

För den rekommenderade nyckellösa autentiseringen med Microsoft Entra-ID måste du:

• Installera Azure CLI som används för nyckellös autentisering med Microsoft Entra-ID.
• Cognitive Services User Tilldela rollen till ditt användarkonto. Du kan tilldela roller i Azure-portalen under Åtkomstkontroll (IAM)>Lägg till rolltilldelning.

Ställ in

1. Skapa en ny mapp vision-quickstart och gå till snabbstartsmappen med följande kommando:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Skapa package.json med följande kommando:

   npm init -y
   

3. package.json Uppdatera till ECMAScript med följande kommando:

   npm pkg set type=module
   

4. Installera OpenAI-klientbiblioteket för JavaScript med:

   npm install openai
   

5. För den rekommenderade lösenordslösa autentiseringen:

   npm install @azure/identity
   

Hämta resursinformation

Du måste hämta följande information för att autentisera ditt program med din Azure OpenAI-resurs:

Skapa ett nytt JavaScript-program för avbildningsprompter

Välj en bild från azure-samples/cognitive-services-sample-data-files. Använd bild-URL:en i koden nedan eller ange IMAGE_URL miljövariabeln till bild-URL:en.

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Att ta bort resursgruppen innebär också att alla andra resurser som är kopplade till den tas bort.

• Azure Portal
• Azure CLI

Använd den här artikeln för att komma igång med Azure OpenAI .NET SDK för att distribuera och använda en visionsaktiverad chattmodell.

Förutsättningar

• Ett Azure-abonnemang. Du kan skapa en kostnadsfritt.
• The .NET 8.0 SDK
• En Azure OpenAI-resurs i Azure AI Foundry Models med en vision-aktiverad chattmodell som är implementerad. Se Modelltillgänglighet för tillgängliga regioner. Mer information om hur du skapar resurser finns i guiden för resursdistribution.

Krav för Microsoft Entra-ID

För den rekommenderade nyckellösa autentiseringen med Microsoft Entra-ID måste du:

• Installera Azure CLI som används för nyckellös autentisering med Microsoft Entra-ID.
• Cognitive Services User Tilldela rollen till ditt användarkonto. Du kan tilldela roller i Azure-portalen under Åtkomstkontroll (IAM)>Lägg till rolltilldelning.

Ställ in

1. Skapa en ny mapp vision-quickstart och gå till snabbstartsmappen med följande kommando:

   mkdir vision-quickstart && cd vision-quickstart
   

2. Skapa ett nytt konsolprogram med följande kommando:

   dotnet new console
   

3. Installera OpenAI .NET-klientbiblioteket med kommandot dotnet add package:

   dotnet add package Azure.AI.OpenAI
   

4. För den rekommenderade nyckellösa autentiseringen med Microsoft Entra-ID installerar du Azure.Identity-paketet med:

   dotnet add package Azure.Identity
   

5. För den rekommenderade nyckellösa autentiseringen med Microsoft Entra-ID loggar du in på Azure med följande kommando:

   az login
   

Hämta resursinformation

Du måste hämta följande information för att autentisera ditt program med din Azure OpenAI-resurs:

Kör snabbstarten

Exempelkoden i den här snabbstarten använder Microsoft Entra-ID för rekommenderad nyckellös autentisering. Om du föredrar att använda en API-nyckel kan du ersätta DefaultAzureCredential-objektet med ett AzureKeyCredential objekt.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Följ dessa steg för att köra snabbstarten:

1. Ersätt innehållet i Program.cs med följande kod och uppdatera platshållarvärdena med dina egna.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity;
   using OpenAI.Chat; // Required for Passwordless auth
   
   string deploymentName = "gpt-4";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var chatClient = openAIClient.GetChatClient(deploymentName);
   
   var imageUrl = "YOUR_IMAGE_URL";
   
   var textPart = ChatMessageContentPart.CreateTextPart("Describe this picture:");
   var imgPart = ChatMessageContentPart.CreateImagePart(imageUrl); 
   
   var chatMessages = new List<ChatMessage>
   {
       new SystemChatMessage("You are a helpful assistant."),
       new UserChatMessage(textPart, imgPart)
   
   };
   
   ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(chatMessages);
   
   Console.WriteLine($"[ASSISTANT]:");
   Console.WriteLine($"{chatCompletion.Content[0].Text}");
   

2. Ersätt YOUR_IMAGE_URL med den offentligt tillgängliga bilden som du vill ladda upp.

3. Kör programmet med hjälp av dotnet run kommandot eller körningsknappen överst i Visual Studio:

   dotnet run
   

Utgång

Programmets utdata är en beskrivning av den bild som du angav i variabeln imageUri . Assistenten analyserar bilden och ger en detaljerad beskrivning baserat på dess innehåll.

Rensa resurser

Om du vill rensa och ta bort en Azure OpenAI-resurs kan du ta bort resursen eller resursgruppen. Att ta bort resursgruppen innebär också att alla andra resurser som är kopplade till den tas bort.

• Azure Portal
• Azure CLI