Delen via

Metrische gegevens verzenden voor het verbruik van Azure OpenAI-tokens

VAN TOEPASSING OP: Alle API Management-lagen

Het azure-openai-emit-token-metric beleid verzendt aangepaste metrische gegevens naar Application Insights over het verbruik van tokens voor grote taalmodellen via Azure OpenAI-service-API's. Metrische tokenaantallen zijn onder andere: Totaaltokens, prompttokens en voltooiingstokens.

Note

Stel de elementen en onderliggende elementen van het beleid in de volgorde in die in de beleidsverklaring is opgegeven. Meer informatie over het instellen of bewerken van API Management-beleid.

Ondersteunde Azure OpenAI in Azure AI Foundry-modellen

Het beleid wordt gebruikt met API's die zijn toegevoegd aan API Management vanuit de Azure OpenAI in AI Foundry-modellen van de volgende typen:

API-type Ondersteunde modellen
Chataanvulling gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Embeddings text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Antwoorden (preview) gpt-4o (Versies: 2024-11-20, 2024-08-06, 2024-05-13)

gpt-4o-mini (Versie: 2024-07-18)

gpt-4.1 (Versie: 2025-04-14)

gpt-4.1-nano (Versie: 2025-04-14)

gpt-4.1-mini (Versie: 2025-04-14)

gpt-image-1 (Versie: 2025-04-15)

o3 (Versie: 2025-04-16)

o4-mini (Versie: '2025-04-16)

Note

Traditionele voltooiings-API's zijn alleen beschikbaar met verouderde modelversies en ondersteuning is beperkt.

Zie Azure OpenAI in Foundry Models voor actuele informatie over de modellen en hun mogelijkheden.

Limieten voor aangepaste metrische gegevens

Azure Monitor legt gebruikslimieten op voor aangepaste metrische gegevens die van invloed kunnen zijn op uw mogelijkheid om metrische gegevens uit API Management te verzenden. Azure Monitor stelt bijvoorbeeld momenteel een limiet van 10 dimensiesleutels per metrische waarde in en een limiet van 50.000 totale actieve tijdreeksen per regio in een abonnement (binnen een periode van 12 uur). In API Management worden 5 van deze gebruikt voor standaarddimensies, waaronder de volgende:

  • Region
  • Service-ID
  • Servicenaam
  • Servicetype

Deze limieten hebben de volgende gevolgen voor het configureren van aangepaste metrische gegevens in een API Management-beleid, zoals emit-metric of azure-openai-emit-token-metric:

  • U kunt maximaal 5 aangepaste dimensies per beleid configureren.

  • Het aantal actieve tijdreeksen dat door het beleid binnen een periode van 12 uur wordt gegenereerd, is het product van het aantal unieke waarden van elke geconfigureerde dimensie gedurende de periode. Als er bijvoorbeeld drie aangepaste dimensies zijn geconfigureerd in het beleid en elke dimensie 10 mogelijke waarden binnen de periode had, zou het beleid 1000 (10 x 10 x 10) actieve tijdreeksen bijdragen.

  • Als u het beleid configureert in meerdere API Management-exemplaren die zich in dezelfde regio in een abonnement bevinden, kunnen alle exemplaren bijdragen aan de regionale limiet voor actieve tijdreeksen.

Meer informatie over ontwerpbeperkingen en overwegingen voor aangepaste metrische gegevens in Azure Monitor.

Prerequisites

Beleidsverklaring

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributes

Attribute Description Required Standaardwaarde
namespace Een tekenreeks. Naamruimte van metrische gegevens. Beleidsexpressies zijn niet toegestaan. No API Management

Elements

Element Description Required
dimension Voeg een of meer van deze elementen toe voor elke dimensie die is opgenomen in de metrische waarde. Yes

Dimensiekenmerken

Attribute Description Required Standaardwaarde
name Een tekenreeks of beleidsexpressie. Naam van dimensie. Yes N/A
value Een tekenreeks of beleidsexpressie. Waarde van dimensie. Kan alleen worden weggelaten als deze overeenkomt met name een van de standaarddimensies. Als dat het zo is, wordt de waarde opgegeven volgens de dimensienaam. No N/A

Standaarddimensienamen die zonder waarde kunnen worden gebruikt

  • API-id
  • Bewerkings-id
  • Product-ID
  • Gebruikers-ID
  • Abonnements-id
  • Location
  • Gateway-id
  • Back-end-id

Usage

Gebruiksnotities

  • Dit beleid kan meerdere keren per beleidsdefinitie worden gebruikt.
  • U kunt maximaal 5 aangepaste dimensies voor dit beleid configureren.
  • Dit beleid kan eventueel worden geconfigureerd bij het toevoegen van een API vanuit de Azure OpenAI-service met behulp van de portal.
  • Waar beschikbaar worden waarden in het gebruiksgedeelte van het antwoord van de Azure OpenAI Service-API gebruikt om metrische tokengegevens te bepalen.
  • Bepaalde Azure OpenAI-eindpunten ondersteunen het streamen van antwoorden. Wanneer stream deze is ingesteld true op in de API-aanvraag om streaming in te schakelen, worden de metrische tokengegevens geschat.

Example

In het volgende voorbeeld worden metrische gegevens over het aantal Azure OpenAI-token naar Application Insights samen met de API-id als standaarddimensie verzonden.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Verwante inhoud

Zie voor meer informatie over het werken met beleid: