Upgrade uitvoeren van GitHub-modellen naar Azure AI Foundry-modellen

In dit artikel leert u hoe u een generatieve AI-toepassing ontwikkelt door te beginnen met GitHub-modellen en vervolgens uw ervaring bij te werken door een Azure AI Services-resource te implementeren met Azure AI Foundry-modellen.

GitHub-modellen zijn handig wanneer u gratis AI-modellen wilt zoeken en experimenteren terwijl u een generatieve AI-toepassing ontwikkelt. Wanneer u klaar bent om uw toepassing naar productie te brengen, moet u uw ervaring upgraden door een Azure AI Services-resource in een Azure-abonnement te implementeren en foundry-modellen te gaan gebruiken. U hoeft niets anders in uw code te wijzigen.

De speeltuin en het gratis API-gebruik voor GitHub-modellen worden beperkt door aanvragen per minuut, aanvragen per dag, tokens per aanvraag en gelijktijdige aanvragen. Als u een frequentielimiet krijgt, moet u wachten op de frequentielimiet die u hebt bereikt om opnieuw in te stellen voordat u meer aanvragen kunt indienen.

Vereiste voorwaarden

U hebt het volgende nodig om deze zelfstudie te voltooien:

• Een GitHub-account met toegang tot GitHub-modellen.
• Een Azure-abonnement met een geldige betalingswijze. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account . U kunt ook wachten totdat u klaar bent om uw model in productie te implementeren. Op dat moment wordt u gevraagd uw Azure-account te maken of bij te werken naar een standaardaccount.
• Foundry-modellen van partners en de gemeenschap hebben toegang nodig tot Azure Marketplace. Zorg ervoor dat u over de vereiste machtigingen beschikt om u te abonneren op modelaanbiedingen. Foundry Models die rechtstreeks door Azure worden verkocht , hebben deze vereiste niet.

Upgrade uitvoeren naar Azure AI Foundry-modellen

De frequentielimieten voor de speeltuin en het gratis API-gebruik helpen u te experimenteren met modellen en uw AI-toepassing te ontwikkelen. Wanneer u klaar bent om uw toepassing naar productie te brengen, gebruikt u een sleutel en eindpunt van een betaald Azure-account. U hoeft niets anders in uw code te wijzigen.

Om de sleutel en het eindpunt op te halen:

1. Ga naar GitHub-modellen en selecteer een model om op de speeltuin te landen. In dit artikel wordt Gebruikgemaakt van Mistral Large 24.11.

2. Typ enkele prompts of gebruik een aantal voorgestelde prompts om te communiceren met het model in de speeltuin.

3. Selecteer Dit model gebruiken in de speeltuin. Met deze actie wordt een venster geopend met 'Aan de slag met modellen in uw codebase'.

4. Selecteer in de stap Verificatie configureren de optie Azure AI-sleutel ophalen in de sectie 'Azure AI'.

   

5. Als u al bent aangemeld bij uw Azure-account, slaat u deze stap over. Als u echter geen Azure-account hebt of u niet bent aangemeld bij uw account, voert u de volgende stappen uit:

   1. Als u geen Azure-account hebt, selecteert u Mijn account maken en volgt u de stappen om er een te maken.

   2. Als u een Azure-account hebt, selecteert u Aanmelden. Als uw bestaande account een gratis account is, moet u eerst upgraden naar een standaardabonnement.

   3. Ga terug naar de speeltuin van het model en selecteer Azure AI-sleutel opnieuw ophalen .

   4. Meld u aan bij uw Azure-account.

6. U gaat naar Azure AI Foundry > GitHub en de pagina wordt geladen met de details van uw model. Het kan een of twee minuten duren voordat uw modelgegevens in Azure AI Foundry worden geladen.

7. Voor Foundry-modellen van partners en community moet u een abonnement nemen op Azure Marketplace. Deze vereiste is bijvoorbeeld van toepassing op Mistral-Large-2411. Selecteer Akkoord en Ga verder om de voorwaarden te accepteren.

8. Selecteer de knop Implementeren om het model in uw account te implementeren.

9. Wanneer uw implementatie klaar is, gaat u naar de overzichtspagina van uw project, waar u het eindpunt van het Azure AI Foundry-project kunt zien.

10. Als u de eindpunt-URL en API-sleutel van het specifieke model wilt ophalen, gaat u naar het tabblad Modellen en eindpunten in het linkerdeelvenster van de Azure AI Foundry-portal en selecteert u het geïmplementeerde model. De doel-URI en API-sleutel van het eindpunt zijn zichtbaar op de detailpagina van de implementatie. Gebruik deze waarden in uw code om het model in uw productieomgeving te gebruiken.

    

Het nieuwe eindpunt gebruiken

Als u uw geïmplementeerde model met code wilt gebruiken, hebt u de eindpunt-URL en sleutel van het model nodig, die u in de vorige sectie hebt gezien. U kunt een van de ondersteunde SDK's gebruiken om voorspellingen van het eindpunt op te halen. De volgende SDK's worden officieel ondersteund:

• OpenAI SDK
• Azure OpenAI SDK
• Azure AI-inferentie-SDK

Zie ondersteunde talen en SDK's voor meer informatie en voorbeelden. In het volgende voorbeeld ziet u hoe u de Azure AI-deductie-SDK gebruikt met het zojuist geïmplementeerde model:

pip install azure-ai-inference

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

npm install @azure-rest/ai-inference

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

dotnet add package Azure.AI.Inference --prerelease

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("https://<resource>.services.ai.azure.com/models")
    .buildClient();

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Uw eerste chatvoltooiing genereren:

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.body.choices[0].message.content)

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Gebruik de parameter model="<deployment-name> om uw aanvraag naar deze implementatie te routeren. Implementaties werken als alias van een bepaald model onder bepaalde configuraties.

Aanvullende functies verkennen

Azure AI Foundry Models biedt ondersteuning voor extra functies die niet beschikbaar zijn in GitHub-modellen, waaronder:

• Verken de modelcatalogus om meer modellen te bekijken.
• Configureer sleutelloze verificatie.
• Inhoudsfiltering configureren.
• Configureer snelheidsbeperking voor specifieke modellen.
• Verken aanvullende implementatie-SKU's voor specifieke modellen.
• Configureer het privénetwerken.

Probleemoplossingsproces

Zie de sectie Veelgestelde vragen voor meer informatie.

Verwante inhoud

• Verken de modelcatalogus in de Azure AI Foundry-Portal.
• Voeg meer modellen toe aan uw eindpunt.