Hantera Azure OpenAI i Azure AI Foundry Models-kvoten

Driftsättning

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Sökvägsparametrar

Versioner som stöds

• 2023-05-01 Swagger-specifikation

Begärandetext

Det här är bara en delmängd av de tillgängliga parametrarna för begärandetexten. En fullständig lista över parametrarna finns i REST API-referensdokumentationen.

Exempel på begäran

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-test-deployment?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":10},"properties": {"model": {"format": "OpenAI","name": "gpt-4o","version": "2024-11-20"}}}'

Mer information finns i REST API-referensdokumentationen för användning och distribution.

Användning

Om du vill kontrollera ditt kvotanvändande i en viss region för en specifik prenumeration

GET https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/locations/{location}/usages?api-version=2023-05-01

Sökvägsparametrar

Versioner som stöds

• 2023-05-01 Swagger-specifikation

Exempel på begäran

curl -X GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/locations/eastus/usages?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' 

Installera verktyget Azure CLI. Kvoten kräver Azure CLI version 2.51.0. Om du redan har Installerat Azure CLI lokalt kör du az upgrade för att uppdatera till den senaste versionen.

För att kontrollera vilken version av Azure CLI du kör, använder du az version. Azure Cloud Shell kör för närvarande fortfarande 2.50.0, så krävs en lokal installation av Azure CLI under tiden för att dra nytta av de senaste funktionerna i Azure OpenAI.

Driftsättning

az cognitiveservices account deployment create --model-format
                                               --model-name
                                               --model-version
                                               --name
                                               --resource-group
                                               [--capacity]
                                               [--deployment-name]
                                               [--scale-capacity]
                                               [--scale-settings-scale-type {Manual, Standard}]
                                               [--sku]

För att logga in på din lokala installation av CLI, kör kommandot az login.

az login

Genom att ställa in "sku-capacity" till 10 i kommandot nedan kommer den här distributionen att få en TPM-gräns på 10K.

az cognitiveservices account deployment create -g test-resource-group -n test-resource-name --deployment-name test-deployment-name --model-name gpt-4o --model-version "2024-11-20" --model-format OpenAI --sku-capacity 10 --sku-name "Standard"

Användning

Om du vill kontrollera din kvotanvändning i en viss region för ett specifikt abonnemang

az cognitiveservices usage list --location

Exempel

az cognitiveservices usage list -l eastus

Det här kommandot körs i kontexten för den aktiva prenumerationen för Azure CLI. Använd az-account-set --subscription för att ändra den aktiva prenumerationen.

Mer information finns i referensdokumentationen för Azure CLI

Installera den senaste versionen av Az PowerShell-modulen. Om du redan har Az PowerShell-modulen installerad lokalt kör du Update-Module -Name Az för att uppdatera till den senaste versionen.

Om du vill kontrollera vilken version av Az PowerShell-modulen du kör, använder du Get-InstalledModule -Name Az. Azure Cloud Shell kör för närvarande en version av Azure PowerShell som kan dra nytta av de senaste Funktionerna i Azure OpenAI.

Driftsättning

New-AzCognitiveServicesAccountDeployment
   [-ResourceGroupName] <String>
   [-AccountName] <String>
   [-Name] <String>
   [-Properties] <DeploymentProperties>
   [-Sku] <Sku>
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Om du vill logga in på din lokala installation av Azure PowerShell kör du kommandot Connect-AzAccount :

Connect-AzAccount

Genom att ange Sku-kapacitet till 10 i kommandot nedan, är den här distributionen inställd på en TPM-gräns på 10 000.

$cognitiveServicesDeploymentParams = @{
    ResourceGroupName = 'test-resource-group'
    AccountName = 'test-resource-name'
    Name = 'test-deployment-name'
    Properties = @{
        Model = @{
            Name = 'gpt-4o'
            Version = '2024-11-20'
            Format  = 'OpenAI'
        }
    }
    Sku = @{
        Name = 'Standard'
        Capacity = '10'
    }
}
New-AzCognitiveServicesAccountDeployment @cognitiveServicesDeploymentParams

Användning

Så här frågar du din kvotanvändning i en viss region för en viss prenumeration:

Get-AzCognitiveServicesUsage -Location <location>

Exempel

Get-AzCognitiveServicesUsage -Location eastus

Det här kommandot körs i kontexten för den aktuella aktiva prenumerationen för Azure PowerShell. Använd Set-AzContext för att ändra den aktiva prenumerationen.

Mer information om New-AzCognitiveServicesAccountDeployment och Get-AzCognitiveServicesUsagefinns i Referensdokumentation för Azure PowerShell.

//
// This Azure Resource Manager template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
{
    "type": "Microsoft.CognitiveServices/accounts/deployments",
    "apiVersion": "2023-05-01",
    "name": "arm-je-aoai-test-resource/arm-je-std-deployment",    // Update reference to parent Azure OpenAI resource
    "dependsOn": [
        "[resourceId('Microsoft.CognitiveServices/accounts', 'arm-je-aoai-test-resource')]"  // Update reference to parent Azure OpenAI resource
    ],
    "sku": {
        "name": "Standard",      
        "capacity": 10            // The deployment will be created with a 10K TPM limit
    },
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "gpt-4o",
            "version": "2024-11-20"       
        }
    }
}

Mer information finns i den fullständiga Azure Resource Manager-referensdokumentationen.

//
// This Bicep template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
resource arm_je_std_deployment 'Microsoft.CognitiveServices/accounts/deployments@2023-05-01' = {
  parent: arm_je_aoai_resource   // Replace this with a reference to the parent Azure OpenAI resource
  name: 'arm-je-std-deployment'
  sku: {
    name: 'Standard'            
    capacity: 10                 // The deployment will be created with a 10K TPM limit
  }
  properties: {
    model: {
      format: 'OpenAI'
      name: 'gpt-4o'
      version: '2024-11-20'          
    }
  }
}

Mer information finns i den fullständiga Bicep-referensdokumentationen.

# This Terraform template shows how to use the new schema introduced in the 2023-05-01 API version to 
# create deployments that set the model version and the TPM limits for standard deployments.
# 
# The new schema is not yet available in the AzureRM provider (target v4.0), so this template uses the AzAPI
# provider, which provides a Terraform-compatible interface to the underlying ARM structures.
# 
# For more details on these providers:
#     AzureRM: https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs
#     AzAPI: https://registry.terraform.io/providers/azure/azapi/latest/docs
#

# 
terraform {
  required_providers {
    azapi   = { source  = "Azure/azapi" }
    azurerm = { source  = "hashicorp/azurerm" }
  }
}

provider "azapi" {
  # Insert auth info here as necessary
}

provider "azurerm" {
    # Insert auth info here as necessary  
    features {
    }
}

# 
# To create a complete example, AzureRM is used to create a new resource group and Azure OpenAI Resource
# 
resource "azurerm_resource_group" "TERRAFORM-AOAI-TEST-GROUP" {
  name     = "TERRAFORM-AOAI-TEST-GROUP"
  location = "canadaeast"
}

resource "azurerm_cognitive_account" "TERRAFORM-AOAI-TEST-ACCOUNT" {
  name                  = "terraform-aoai-test-account"
  location              = "canadaeast"
  resource_group_name   = azurerm_resource_group.TERRAFORM-AOAI-TEST-GROUP.name
  kind                  = "OpenAI"
  sku_name              = "S0"
  custom_subdomain_name = "terraform-test-account-"
  }


# 
# AzAPI is used to create the deployment so that the TPM limit and model versions can be set
#
resource "azapi_resource" "TERRAFORM-AOAI-STD-DEPLOYMENT" {
  type      = "Microsoft.CognitiveServices/accounts/deployments@2023-05-01"
  name      = "TERRAFORM-AOAI-STD-DEPLOYMENT"
  parent_id = azurerm_cognitive_account.TERRAFORM-AOAI-TEST-ACCOUNT.id

  body = jsonencode({
    sku = {                            # The sku object specifies the deployment type and limit in 2023-05-01
        name = "Standard",             
        capacity = 10                  # This deployment will be set with a 10K TPM limit
    },
    properties = {
        model = {
            format = "OpenAI",
            name = "gpt-4o",
            version = "2024-11-20"           
        }
    }
  })
}

Mer information finns i den fullständiga Terraform-referensdokumentationen.