Uppgradera från GitHub-modeller till Azure AI Foundry-modeller

I den här artikeln lär du dig att utveckla ett generativt AI-program genom att börja från GitHub Models och sedan uppgradera din upplevelse genom att distribuera en Azure AI Services-resurs med Azure AI Foundry Models.

GitHub-modeller är användbara när du vill hitta och experimentera med AI-modeller kostnadsfritt när du utvecklar ett generativt AI-program. När du är redo att ta programmet till produktion uppgraderar du upplevelsen genom att distribuera en Azure AI Services-resurs i en Azure-prenumeration och börja använda Foundry Models. Du behöver inte ändra något annat i koden.

Lekplatsen och den kostnadsfria API-användningen för GitHub-modeller begränsas av begäranden per minut, begäranden per dag, token per begäran och samtidiga begäranden. Om du drabbas av en begränsning av antalet begäranden måste du vänta tills den gräns du nådde återställs innan du kan göra fler begäranden.

Förutsättningar

För att slutföra denna handledning behöver du:

• Ett GitHub-konto med åtkomst till GitHub-modeller.
• En Azure-prenumeration med en giltig betalningsmetod. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja. Du kan också vänta tills du är redo att distribuera din modell till produktion. Då uppmanas du att skapa eller uppdatera ditt Azure-konto till ett standardkonto.
• Foundry-modeller från partner och community kräver åtkomst till Azure Marketplace. Se till att du har de behörigheter som krävs för att prenumerera på modellerbjudanden. Foundry-modeller som säljs direkt av Azure har inte det här kravet.

Uppgradera till Azure AI Foundry-modeller

Hastighetsbegränsningarna för lekplatsen och den kostnadsfria API-användningen hjälper dig att experimentera med modeller och utveckla ditt AI-program. När du är redo att ta programmet till produktion använder du en nyckel och slutpunkt från ett betalt Azure-konto. Du behöver inte ändra något annat i koden.

Så här hämtar du nyckeln och slutpunkten:

1. Gå till GitHub-modeller och välj en modell som ska landa på dess lekplats. Den här artikeln använder Mistral Large 24.11.

2. Skriv in vissa frågor eller använd några av de föreslagna uppmaningarna för att interagera med modellen på lekplatsen.

3. Välj Använd den här modellen från lekplatsen. Den här åtgärden öppnar ett fönster för att komma igång med modeller i din kodbas.

4. I steget "Konfigurera autentisering" väljer du Hämta Azure AI-nyckel i avsnittet "Azure AI".

   

5. Om du redan är inloggad på ditt Azure-konto hoppar du över det här steget. Men om du inte har något Azure-konto eller om du inte är inloggad på ditt konto följer du dessa steg:

   1. Om du inte har något Azure-konto väljer du Skapa mitt konto och följer stegen för att skapa ett.

   2. Om du har ett Azure-konto kan du också välja Logga in igen. Om ditt befintliga konto är ett kostnadsfritt konto måste du först uppgradera till en standardplan.

   3. Gå tillbaka till modellens lekplats och välj Hämta Azure AI-nyckel igen.

   4. Logga in på ditt Azure-konto.

6. Du tas till Azure AI Foundry > GitHub och sidan laddas med detaljerna om din modell. Det kan ta en eller två minuter att läsa in din modellinformation i Azure AI Foundry.

7. För Foundry-modeller från partner och community måste du prenumerera på Azure Marketplace. Det här kravet gäller till exempel Mistral-Large-2411. Välj Godkänn och fortsätt för att acceptera villkoren.

8. Välj knappen Distribuera för att distribuera modellen till ditt konto.

9. När distributionen är klar hamnar du på projektets översiktssida , där du kan se Azure AI Foundry-projektets slutpunkt.

10. Om du vill hämta den specifika modellens slutpunkts-URL och API-nyckel går du till fliken Modeller + slutpunkter i den vänstra rutan i Azure AI Foundry-portalen och väljer den distribuerade modellen. Slutpunktens mål-URI och API-nyckel visas på distributionens informationssida. Använd dessa värden i koden för att använda modellen i produktionsmiljön.

    

Använda den nya slutpunkten

Om du vill använda din distribuerade modell med kod behöver du modellens slutpunkts-URL och nyckel, som du såg i föregående avsnitt. Du kan använda någon av de SDK:er som stöds för att hämta förutsägelser från slutpunkten. Följande SDK:er stöds officiellt:

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI-slutsatsdragnings-SDK

Mer information och exempel finns i språk som stöds och SDK:er. I följande exempel visas hur du använder Azure AI Inference SDK med den nyligen distribuerade modellen:

pip install azure-ai-inference

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

npm install @azure-rest/ai-inference

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

dotnet add package Azure.AI.Inference --prerelease

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("https://<resource>.services.ai.azure.com/models")
    .buildClient();

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Generera din första chattavslutning:

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.body.choices[0].message.content)

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Använd parametern model="<deployment-name> för att dirigera din begäran till den här distributionen. Distributioner fungerar som ett alias för en viss modell under vissa konfigurationer.

Utforska ytterligare funktioner

Azure AI Foundry Models stöder extra funktioner som inte är tillgängliga i GitHub-modeller, inklusive:

• Utforska modellkatalogen för att se fler modeller.
• Konfigurera nyckellös autentisering.
• Konfigurera innehållsfiltrering.
• Konfigurera hastighetsbegränsning för specifika modeller.
• Utforska ytterligare distributions-SKU:er för specifika modeller.
• Konfigurera privata nätverk.

Felsökning

Mer hjälp finns i avsnittet Vanliga frågor och svar.

Relaterat innehåll

• Utforska modellkatalogen i Azure AI Foundry-portalen.
• Lägg till fler modeller i slutpunkten.