Dela via

Lägga till och konfigurera modeller i Azure AI Foundry Models

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i din Azure AI Foundry-resurs. När du konfigurerar en modell kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn i dina begäranden. Du behöver inte göra några andra ändringar i koden för att använda modellen.

I den här artikeln får du lära dig hur du lägger till en ny modell i en Azure AI Foundry Models-slutpunkt.

Förutsättningar

För att slutföra den här artikeln behöver du:

Lägga till en modell

Lägg till modeller i Foundry Models-slutpunkten genom att följa dessa steg:

  1. Gå till avsnittet Modellkatalog i Azure AI Foundry-portalen.

  2. Välj den modell du vill använda. Den här artikeln använder Mistral-Large-2411 som illustration.

  3. Granska informationen om modellen på modellkortet.

  4. Välj Använd den här modellen.

  5. För Foundry-modeller från partner och community måste du prenumerera på Azure Marketplace. Det här kravet gäller till exempel Mistral-Large-2411. Välj Godkänn och fortsätt för att acceptera villkoren.

    Skärmbild som visar hur du godkänner villkoren för en Mistral-Large-modell.

  6. Konfigurera distributionsinställningarna. Som standard tar distributionen emot namnet på den modell som du distribuerar. Distributionsnamnet används i parametern model för begäran om att dirigera till just den här modelldistributionen. Med den här namngivningskonventionen kan du konfigurera specifika namn för dina modeller när du bifogar specifika konfigurationer. Använd till exempel o1-preview-safe för en modell med ett strikt innehållsfilter.

    Tips/Råd

    Varje modell stöder olika distributionstyper, vilket ger olika garantier för datahemvist eller dataflöde. Mer information finns i distributionstyper .

  7. Portalen väljer automatiskt en Azure AI Foundry-anslutning beroende på ditt projekt. Använd alternativet Anpassa för att ändra anslutningen baserat på dina behov. Om du distribuerar under distributionstypen Serverlös API måste modellerna vara tillgängliga i regionen för Azure AI Foundry-resursen.

    Skärmbild som visar hur du anpassar distributionen om det behövs.

    Tips/Råd

    Om den önskade resursen inte visas kan du behöva skapa en anslutning till den. Se Konfigurera Azure AI Foundry Models i mitt projekt i Azure AI Foundry-portalen.

  8. Välj Distribuera.

  9. När distributionen är klar visas den nya modellen på sidan och den är redo att användas.

Hantera modeller

Du kan hantera befintliga modelldistributioner i resursen med hjälp av Azure AI Foundry-portalen.

  1. Gå till avsnittet Modeller + slutpunkter i Azure AI Foundry-portalen.

  2. Portalen grupperar och visar modelldistributioner per anslutning. Välj distributionen av Mistral-Large-2411-modellen i avsnittet för din Azure AI Foundry-resurs. Den här åtgärden öppnar modellens implementeringssida.

    Skärmbild som visar listan över modeller som är tillgängliga under en viss anslutning.

Testa distributionen på lekplatsen

Du kan interagera med den nya modellen i Azure AI Foundry-portalen med hjälp av playground:

  1. På modellens distributionssida väljer du Öppna på lekplatsen. Den här åtgärden öppnar chattmiljön med namnet på din installation redan valt.

    Skärmbild som visar hur du väljer en modelldistribution som ska användas i Playground.

  2. Skriv din uppmaning och se resultaten.

  3. Använd Visa kod för att se information om hur du kommer åt modelldistributionen programmatiskt.

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i din Azure AI Foundry-resurs. När du konfigurerar en modell kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn i dina begäranden. Du behöver inte göra några andra ändringar i koden för att använda modellen.

I den här artikeln får du lära dig hur du lägger till en ny modell i en Azure AI Foundry Models-slutpunkt.

Förutsättningar

För att slutföra den här artikeln behöver du:

  • Installera Azure CLI och cognitiveservices tillägget för Azure AI Services.

    az extension add -n cognitiveservices

  • Vissa av kommandona i den här handledningen använder jq-verktyget, som kanske inte är installerat på ditt system. Installationsinstruktioner finns i Ladda ned jq.

  • Identifiera följande information:

    • ditt prenumerations-ID för Azure

    • Ditt Azure AI Services-resursnamn.

    • Resursgruppen där du distribuerade Azure AI Services-resursen.

Lägg till modeller

Om du vill lägga till en modell identifierar du först den modell som du vill distribuera. Du kan fråga de tillgängliga modellerna på följande sätt:

  1. Logga in på din Azure-prenumeration.

    az login

  2. Om du har fler än en prenumeration väljer du den prenumeration där resursen finns.

    az account set --subscription $subscriptionId

  3. Ange följande miljövariabler med namnet på den Azure AI Services-resurs som du planerar att använda och resursgruppen.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
location="eastus2"

  4. Om du inte har skapat ett Azure AI Services-konto ännu skapar du ett.

    az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0

  5. Kontrollera vilka modeller som är tillgängliga för dig och under vilken SKU. SKU:er, även kallade distributionstyper, definierar hur Azure-infrastrukturen används för att bearbeta begäranden. Modeller kan erbjuda olika distributionstyper. Följande kommando visar alla tillgängliga modelldefinitioner:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. Utdata ser ut så här:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Identifiera den modell som du vill distribuera. Du behöver egenskaperna name, format, versionoch sku. Egenskapen format anger vilken leverantör som erbjuder modellen. Du kan också behöva kapacitet beroende på typen av distribution.

  8. Lägg till modellimplementeringen i resursen. Följande exempel lägger till Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. Modellen är redo att användas.

Du kan distribuera samma modell flera gånger om det behövs så länge den är under ett annat distributionsnamn. Den här funktionen kan vara användbar om du vill testa olika konfigurationer för en viss modell, inklusive innehållsfilter.

Använd modellen

Distribuerade modeller kan användas med hjälp av Azure AI-modellens beräkningsslutpunkt för resursen. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du har skapat. Du kan programmatiskt hämta URI:n för slutpunkten för slutsatsdragning med hjälp av följande kod:

Slutpunkt för slutsatsdragning

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Om du vill göra begäranden till slutpunkten för Azure AI Foundry Models lägger du till routen models, till exempel https://<resource>.services.ai.azure.com/models. Du kan se API-referensen för slutpunkten på referenssidan för Azure AI Model Inference API.

Slutsatsdragningsnycklar

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Hantera utrullningar

Du kan se alla tillgängliga distributioner med hjälp av CLI:

  1. Kör följande kommando för att se alla aktiva distributioner:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Du kan se information om en viss distribution:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Du kan ta bort en viss distribution på följande sätt:

    az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i din Azure AI Foundry-resurs. När du konfigurerar en modell kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn i dina begäranden. Du behöver inte göra några andra ändringar i koden för att använda modellen.

I den här artikeln får du lära dig hur du lägger till en ny modell i en Azure AI Foundry Models-slutpunkt.

Förutsättningar

För att slutföra den här artikeln behöver du:

  • Installera Azure CLI.

  • Identifiera följande information:

    • ditt prenumerations-ID för Azure

    • Namnet på din Azure AI Foundry-resurs (kallades tidigare Azure AI Services-resurs).

    • Resursgruppen där Azure AI Foundry-resursen distribueras.

    • Modellnamnet, providern, versionen och SKU:n som du vill distribuera. Du kan använda Azure AI Foundry-portalen eller Azure CLI för att hitta den här informationen. I det här exemplet distribuerar du följande modell:

      • Modellnamn:: Phi-3.5-vision-instruct
      • Provider: Microsoft
      • Version: 2
      • Distributionstyp: Global standard

Om den här självstudiekursen

Exemplet i den här artikeln baseras på kodexempel som finns i lagringsplatsen Azure-Samples/azureai-model-inference-bicep . Om du vill köra kommandona lokalt utan att behöva kopiera eller klistra in filinnehåll använder du följande kommandon för att klona lagringsplatsen och gå till mappen för kodningsspråket:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Filerna för det här exemplet finns i:

cd azureai-model-inference-bicep/infra

Behörigheter som krävs för att prenumerera på modeller från partner och community

Foundry-modeller från partner och community som är tillgängliga för distribution (till exempel cohere-modeller) kräver Azure Marketplace. Modellleverantörer definierar licensvillkoren och anger priset för användning av sina modeller med hjälp av Azure Marketplace.

När du distribuerar modeller från tredje part kontrollerar du att du har följande behörigheter i ditt konto:

  • På Azure-prenumerationen:
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action
  • I resursgruppen – för att skapa och använda SaaS-resursen:
    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write

Lägg till modellen

  1. Använd mallen ai-services-deployment-template.bicep för att beskriva modelldistributioner:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'xAI'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'DataZoneStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Kör utrullningen:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Använd modellen

Distribuerade modeller kan användas med hjälp av Azure AI-modellens beräkningsslutpunkt för resursen. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du har skapat. Du kan programmatiskt hämta URI:n för slutpunkten för slutsatsdragning med hjälp av följande kod:

Slutpunkt för slutsatsdragning

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Om du vill göra begäranden till slutpunkten för Azure AI Foundry Models lägger du till routen models, till exempel https://<resource>.services.ai.azure.com/models. Du kan se API-referensen för slutpunkten på referenssidan för Azure AI Model Inference API.

Slutsatsdragningsnycklar

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Nästa steg