Dela via

Generera mått för användning av stora språkmodelltoken

GÄLLER FÖR: Alla API Management-nivåer

Principen llm-emit-token-metric skickar anpassade mått till Application Insights om förbrukning av LLM-token (large language model) via LLM-API:er. Mått för antal token är: Totalt antal token, prompttoken och slutförandetoken.

Note

Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.

Supported models

Använd principen med LLM-API:er som lagts till i Azure API Management som är tillgängliga via Azure AI Model Inference API eller med OpenAI-kompatibla modeller som hanteras via tredjeparts slutsatsdragningsproviders.

Gränser för anpassade mått

Azure Monitor inför användningsgränser för anpassade mått som kan påverka din möjlighet att generera mått från API Management. Azure Monitor anger till exempel för närvarande en gräns på 10 dimensionsnycklar per mått och en gräns på 50 000 totala aktiva tidsserier per region i en prenumeration (inom en 12-timmarsperiod). I API Management används 5 av dessa för standarddimensioner, inklusive följande:

  • Region
  • Service ID
  • Service Name
  • Service Type

Dessa gränser har följande konsekvenser för att konfigurera anpassade mått i en API Management-princip som emit-metric eller azure-openai-emit-token-metric:

  • Du kan konfigurera högst 5 anpassade dimensioner per princip.

  • Antalet aktiva tidsserier som genereras av principen inom en 12-timmarsperiod är produkten av antalet unika värden för varje konfigurerad dimension under perioden. Om till exempel tre anpassade dimensioner konfigurerades i principen och varje dimension hade 10 möjliga värden inom perioden, skulle principen bidra med 1 000 aktiva tidsserier (10 x 10 x 10).

  • Om du konfigurerar principen i flera API Management-instanser som finns i samma region i en prenumeration kan alla instanser bidra till den regionala gränsen för aktiva tidsserier.

Läs mer om designbegränsningar och överväganden för anpassade mått i Azure Monitor.

Prerequisites

Policy statement

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributes

Attribute Description Required Default value
namespace A string. Måttets namnområde. Principuttryck tillåts inte. No API Management

Elements

Element Description Required
dimension Lägg till ett eller flera av dessa element för varje dimension som ingår i måttet. Yes

Dimension attributes

Attribute Description Required Default value
name Ett sträng- eller principuttryck. Dimensionens namn. Yes N/A
value Ett sträng- eller principuttryck. Dimensionens värde. Kan bara utelämnas om name matchar en av standarddimensionerna. I så fall anges värdet enligt dimensionsnamnet. No N/A

Standarddimensionsnamn som kan användas utan värde

  • API ID
  • Operation ID
  • Product ID
  • User ID
  • Subscription ID
  • Location
  • Gateway ID
  • Backend ID

Usage

Usage notes

  • Den här principen kan användas flera gånger per principdefinition.
  • Du kan konfigurera högst 5 anpassade dimensioner för den här principen.
  • När det är tillgängligt används värden i användningsavsnittet i svaret från LLM-API:et för att fastställa tokenmått.
  • Vissa LLM-slutpunkter stöder strömning av svar. När stream anges till true i API-begäran för att aktivera strömning beräknas tokenmått.

Example

I följande exempel skickas mått för ANTAL LLM-token till Application Insights tillsammans med API-ID som standarddimension.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Related content

Mer information om hur du arbetar med principer finns i: