Delen via

Modellen toevoegen en configureren aan Azure AI Foundry-modellen

U kunt bepalen en configureren welke modellen beschikbaar zijn voor deductie in uw Azure AI Foundry-resource. Wanneer u een model configureert, kunt u er voorspellingen van genereren door de modelnaam of implementatienaam op te geven in uw aanvragen. U hoeft geen andere wijzigingen aan te brengen in uw code om het model te kunnen gebruiken.

In dit artikel leert u hoe u een nieuw model toevoegt aan een Azure AI Foundry Models-eindpunt.

Vereiste voorwaarden

U hebt het volgende nodig om dit artikel te voltooien:

Een model toevoegen

Voeg modellen toe aan het eindpunt Foundry Models door de volgende stappen uit te voeren:

  1. Ga naar de sectie Modelcatalogus in azure AI Foundry Portal.

  2. Selecteer het gewenste model. In dit artikel wordt Mistral-Large-2411 gebruikt voor illustratie.

  3. Bekijk de details van het model in de modelkaart.

  4. Selecteer Dit model gebruiken.

  5. Voor Foundry-modellen van partners en community moet u een abonnement nemen op Azure Marketplace. Deze vereiste is bijvoorbeeld van toepassing op Mistral-Large-2411. Selecteer Akkoord en Ga verder om de voorwaarden te accepteren.

    Schermopname die laat zien hoe u akkoord gaat met de voorwaarden van een Mistral-Large-model.

  6. Configureer de implementatie-instellingen. Standaard ontvangt de implementatie de naam van het model dat u implementeert. De implementatienaam wordt gebruikt in de model parameter voor aanvraag om naar deze specifieke modelimplementatie te routeren. Met deze naamconventie kunt u specifieke namen voor uw modellen configureren wanneer u specifieke configuraties koppelt. Gebruik bijvoorbeeld o1-preview-safe voor een model met een strikt inhoudsfilter.

    Aanbeveling

    Elk model ondersteunt verschillende implementatietypen en biedt verschillende garanties voor gegevenslocatie of doorvoer. Zie implementatietypen voor meer informatie.

  7. In de portal wordt automatisch een Azure AI Foundry-verbinding geselecteerd, afhankelijk van uw project. Gebruik de optie Aanpassen om de verbinding te wijzigen op basis van uw behoeften. Als u implementeert onder het implementatietype serverloze API , moeten de modellen beschikbaar zijn in de regio van de Azure AI Foundry-resource.

    Schermopname die laat zien hoe u de implementatie indien nodig kunt aanpassen.

    Aanbeveling

    Als de gewenste resource niet wordt vermeld, moet u er mogelijk een verbinding mee maken. Zie Azure AI Foundry-modellen configureren in mijn project in de Azure AI Foundry-portal.

  8. Selecteer Implementeren.

  9. Wanneer de implementatie is voltooid, wordt het nieuwe model weergegeven op de pagina en kan het worden gebruikt.

Modellen beheren

U kunt de bestaande modelimplementaties in de resource beheren met behulp van de Azure AI Foundry-portal.

  1. Ga naar de sectie Modellen en eindpunten in de Azure AI Foundry-portal.

  2. De portal groepeert en geeft modelimplementaties per verbinding weer. Selecteer de implementatie van het Mistral-Large-2411-model in de sectie voor uw Azure AI Foundry-resource. Met deze actie wordt de implementatiepagina van het model geopend.

    Schermopname van de lijst met modellen die beschikbaar zijn onder een bepaalde verbinding.

De implementatie testen in de speeltuin

U kunt communiceren met het nieuwe model in de Azure AI Foundry-portal met behulp van de speeltuin:

  1. Selecteer Openen in speeltuin op de implementatiepagina van het model. Met deze actie wordt de chatspeelplaats geopend met de naam van uw implementatie die al is geselecteerd.

    Schermopname die laat zien hoe u een modelimplementatie selecteert die moet worden gebruikt in de speeltuin.

  2. Typ uw prompt en bekijk de uitvoer.

  3. Gebruik Code weergeven voor meer informatie over het programmatisch openen van de modelimplementatie.

U kunt bepalen en configureren welke modellen beschikbaar zijn voor deductie in uw Azure AI Foundry-resource. Wanneer u een model configureert, kunt u er voorspellingen van genereren door de modelnaam of implementatienaam op te geven in uw aanvragen. U hoeft geen andere wijzigingen aan te brengen in uw code om het model te kunnen gebruiken.

In dit artikel leert u hoe u een nieuw model toevoegt aan een Azure AI Foundry Models-eindpunt.

Vereiste voorwaarden

U hebt het volgende nodig om dit artikel te voltooien:

  • Installeer de Azure CLI en de cognitiveservices extensie voor Azure AI Services.

    az extension add -n cognitiveservices

  • Sommige opdrachten in deze zelfstudie gebruiken het jq hulpprogramma, dat mogelijk niet op uw systeem is geïnstalleerd. Zie Downloaden jqvoor installatie-instructies.

  • Identificeer de volgende informatie:

    • Uw Azure-abonnements-id.

    • De naam van uw Azure AI Services-resource.

    • De resourcegroep waar u de Azure AI Services-resource hebt geïmplementeerd.

Modellen toevoegen

Als u een model wilt toevoegen, moet u eerst het model identificeren dat u wilt implementeren. U kunt als volgt een query uitvoeren op de beschikbare modellen:

  1. Meld u aan bij uw Azure-abonnement.

    az login

  2. Als u meer dan één abonnement hebt, selecteert u het abonnement waarin uw resource zich bevindt.

    az account set --subscription $subscriptionId

  3. Stel de volgende omgevingsvariabelen in met de naam van de Azure AI Services-resource die u wilt gebruiken en resourcegroep.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
location="eastus2"

  4. Als u nog geen Azure AI Services-account hebt gemaakt, maakt u er een.

    az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0

  5. Controleer welke modellen beschikbaar zijn voor u en onder welke SKU. SKU's, ook wel implementatietypen genoemd, definiëren hoe de Azure-infrastructuur wordt gebruikt voor het verwerken van aanvragen. Modellen bieden mogelijk verschillende implementatietypen. Met de volgende opdracht worden alle modeldefinities weergegeven die beschikbaar zijn:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. De uitvoer ziet er als volgt uit:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Identificeer het model dat u wilt implementeren. U hebt de eigenschappen name, format, version, en sku. De eigenschap format geeft de provider aan die het model aanbiedt. Mogelijk hebt u ook capaciteit nodig, afhankelijk van het type implementatie.

  8. Voeg de modelimplementatie toe aan de resource. In het volgende voorbeeld wordt het volgende toegevoegd Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. Het model is klaar voor gebruik.

U kunt hetzelfde model meerdere keren implementeren als dat nodig is zolang het zich onder een andere implementatienaam bevindt. Deze mogelijkheid kan handig zijn als u verschillende configuraties voor een bepaald model wilt testen, inclusief inhoudsfilters.

Het model gebruiken

Geïmplementeerde modellen kunnen worden gebruikt via het inferentie-eindpunt van het Azure AI-model dat bij de resource hoort. Wanneer u uw aanvraag maakt, geeft u de parameter model aan en voegt u de naam van de modelimplementatie in die u hebt gemaakt. U kunt de URI voor het deductie-eindpunt programmatisch ophalen met behulp van de volgende code:

Inference-eindpunt

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Als u aanvragen wilt indienen bij het azure AI Foundry Models-eindpunt, voegt u de route modelstoe, bijvoorbeeld https://<resource>.services.ai.azure.com/models. U kunt de API-verwijzing voor het eindpunt bekijken op de referentiepagina van de Azure AI Model Deductie-API.

Deductiesleutels

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Deployments beheren

U kunt alle beschikbare implementaties bekijken met behulp van de CLI:

  1. Voer de volgende opdracht uit om alle actieve implementaties weer te geven:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. U kunt de details van een bepaalde implementatie bekijken:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. U kunt een bepaalde implementatie als volgt verwijderen:

    az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

U kunt bepalen en configureren welke modellen beschikbaar zijn voor deductie in uw Azure AI Foundry-resource. Wanneer u een model configureert, kunt u er voorspellingen van genereren door de modelnaam of implementatienaam op te geven in uw aanvragen. U hoeft geen andere wijzigingen aan te brengen in uw code om het model te kunnen gebruiken.

In dit artikel leert u hoe u een nieuw model toevoegt aan een Azure AI Foundry Models-eindpunt.

Vereiste voorwaarden

U hebt het volgende nodig om dit artikel te voltooien:

  • Installeer de Azure CLI.

  • Identificeer de volgende informatie:

    • Uw Azure-abonnements-id.

    • De naam van uw Azure AI Foundry-resource (voorheen Bekend als Azure AI Services-resource).

    • De resourcegroep waarin de Azure AI Foundry-resource wordt geïmplementeerd.

    • De modelnaam, provider, versie en SKU die u wilt implementeren. U kunt de Azure AI Foundry-portal of de Azure CLI gebruiken om deze informatie te vinden. In dit voorbeeld implementeert u het volgende model:

      • Modelnaam:: Phi-3.5-vision-instruct
      • Provider: Microsoft
      • Versie: 2
      • Implementatietype: Algemene standaard

Over deze handleiding

Het voorbeeld in dit artikel is gebaseerd op codevoorbeelden in de opslagplaats Azure-Samples/azureai-model-inference-bicep . Als u de opdrachten lokaal wilt uitvoeren zonder bestandsinhoud te hoeven kopiëren of plakken, gebruikt u de volgende opdrachten om de opslagplaats te klonen en naar de map voor uw programmeertaal te gaan:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

De bestanden voor dit voorbeeld bevinden zich in:

cd azureai-model-inference-bicep/infra

Vereiste machtigingen voor het abonneren op modellen van partners en community

Foundry-modellen van partners en community's die beschikbaar zijn voor implementatie (bijvoorbeeld Cohere-modellen) vereisen Azure Marketplace. Modelproviders definiëren de licentievoorwaarden en stellen de prijs in voor het gebruik van hun modellen met behulp van Azure Marketplace.

Zorg ervoor dat u bij het implementeren van modellen van derden de volgende machtigingen in uw account hebt:

  • In het Azure-abonnement:
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action
  • In de resourcegroep: om de SaaS-resource te maken en te gebruiken:
    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write

Het model toevoegen

  1. Gebruik de sjabloon ai-services-deployment-template.bicep om modelimplementaties te beschrijven:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'xAI'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'DataZoneStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Voer de implementatie uit:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Het model gebruiken

Geïmplementeerde modellen kunnen worden gebruikt via het inferentie-eindpunt van het Azure AI-model dat bij de resource hoort. Wanneer u uw aanvraag maakt, geeft u de parameter model aan en voegt u de naam van de modelimplementatie in die u hebt gemaakt. U kunt de URI voor het deductie-eindpunt programmatisch ophalen met behulp van de volgende code:

Inference-eindpunt

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Als u aanvragen wilt indienen bij het azure AI Foundry Models-eindpunt, voegt u de route modelstoe, bijvoorbeeld https://<resource>.services.ai.azure.com/models. U kunt de API-verwijzing voor het eindpunt bekijken op de referentiepagina van de Azure AI Model Deductie-API.

Deductiesleutels

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Volgende stap