Dela via

Generera mått för förbrukning av Azure OpenAI-token

GÄLLER FÖR: Alla API Management-nivåer

Principen azure-openai-emit-token-metric skickar anpassade mått till Application Insights om förbrukning av stora språkmodelltoken via Azure OpenAI Service-API:er. Mått för antal token är: Totalt antal token, prompttoken och slutförandetoken.

Note

Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.

Azure OpenAI stöds i Azure AI Foundry-modeller

Principen används med API:er som lagts till i API Management från Azure OpenAI i AI Foundry-modeller av följande typer:

API-typ Modeller som stöds
Chatten har slutförts gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Embeddings text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Svar (förhandsversion) gpt-4o (Versioner: 2024-11-20, 2024-08-06, 2024-05-13)

gpt-4o-mini (Version: 2024-07-18)

gpt-4.1 (Version: 2025-04-14)

gpt-4.1-nano (Version: 2025-04-14)

gpt-4.1-mini (Version: 2025-04-14)

gpt-image-1 (Version: 2025-04-15)

o3 (Version: 2025-04-16)

o4-mini (Version: '2025-04-16)

Note

API:er för traditionell slutförande är endast tillgängliga med äldre modellversioner och stödet är begränsat.

Aktuell information om modellerna och deras funktioner finns i Azure OpenAI i Foundry Models.

Gränser för anpassade mått

Azure Monitor inför användningsgränser för anpassade mått som kan påverka din möjlighet att generera mått från API Management. Azure Monitor anger till exempel för närvarande en gräns på 10 dimensionsnycklar per mått och en gräns på 50 000 totala aktiva tidsserier per region i en prenumeration (inom en 12-timmarsperiod). I API Management används 5 av dessa för standarddimensioner, inklusive följande:

  • Region
  • Tjänst-ID
  • Tjänstnamn
  • Tjänsttyp

Dessa gränser har följande konsekvenser för att konfigurera anpassade mått i en API Management-princip som emit-metric eller azure-openai-emit-token-metric:

  • Du kan konfigurera högst 5 anpassade dimensioner per princip.

  • Antalet aktiva tidsserier som genereras av principen inom en 12-timmarsperiod är produkten av antalet unika värden för varje konfigurerad dimension under perioden. Om till exempel tre anpassade dimensioner konfigurerades i principen och varje dimension hade 10 möjliga värden inom perioden, skulle principen bidra med 1 000 aktiva tidsserier (10 x 10 x 10).

  • Om du konfigurerar principen i flera API Management-instanser som finns i samma region i en prenumeration kan alla instanser bidra till den regionala gränsen för aktiva tidsserier.

Läs mer om designbegränsningar och överväganden för anpassade mått i Azure Monitor.

Prerequisites

Principuttryck

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributes

Attribute Description Required Standardvärde
namespace En sträng. Måttets namnområde. Principuttryck tillåts inte. No API Management

Elements

Element Description Required
dimension Lägg till ett eller flera av dessa element för varje dimension som ingår i måttet. Yes

Dimensionsattribut

Attribute Description Required Standardvärde
name Ett sträng- eller principuttryck. Dimensionens namn. Yes N/A
value Ett sträng- eller principuttryck. Dimensionens värde. Kan bara utelämnas om name matchar en av standarddimensionerna. I så fall anges värdet enligt dimensionsnamnet. No N/A

Standarddimensionsnamn som kan användas utan värde

  • API-ID
  • Åtgärds-ID
  • Produkt-ID
  • Användar-ID
  • Prenumerations-ID
  • Location
  • Gateway-ID
  • Serverdels-ID

Usage

Användningsanteckningar

  • Den här principen kan användas flera gånger per principdefinition.
  • Du kan konfigurera högst 5 anpassade dimensioner för den här principen.
  • Du kan också konfigurera den här principen när du lägger till ett API från Azure OpenAI-tjänsten med hjälp av portalen.
  • När det är tillgängligt används värden i användningsavsnittet i svaret från Azure OpenAI Service-API:et för att fastställa tokenmått.
  • Vissa Azure OpenAI-slutpunkter stöder strömning av svar. När stream anges till true i API-begäran för att aktivera strömning beräknas tokenmått.

Example

I följande exempel skickas mått för antal Azure OpenAI-token till Application Insights tillsammans med API-ID som standarddimension.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Relaterat innehåll

Mer information om hur du arbetar med principer finns i: