Begränsa användningen av Azure OpenAI API-token

GÄLLER FÖR: Utvecklare | Grundläggande | Basic v2 | Standard | Standard v2 | Premium | Premium v2

Principen azure-openai-token-limit förhindrar användningstoppar i Azure OpenAI i Foundry Models API per nyckel genom att begränsa förbrukningen av språkmodelltoken till en angiven hastighet (antal per minut), en kvot under en angiven period eller båda. När en angiven gräns för tokenfrekvens överskrids får anroparen en 429 Too Many Requests svarsstatuskod. När en angiven kvot överskrids får anroparen en 403 Forbidden svarsstatuskod.

Genom att förlita sig på tokenanvändningsmått som returneras från OpenAI-slutpunkten kan principen övervaka och tillämpa gränser i realtid korrekt. Principen möjliggör också förberäkning av prompttoken från API Management, vilket minimerar onödiga begäranden till OpenAI-serverdelen om gränsen redan har överskridits.

Azure OpenAI stöds i Azure AI Foundry-modeller

Principen används med API:er som lagts till i API Management från Azure OpenAI i AI Foundry-modeller av följande typer:

Aktuell information om modellerna och deras funktioner finns i Azure OpenAI i Foundry Models.

Principuttryck

<azure-openai-token-limit counter-key="key value"
        tokens-per-minute="number"
        token-quota="number"
        token-quota-period="Hourly | Daily | Weekly | Monthly | Yearly"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-quota-tokens-header-name="header name"  
        remaining-quota-tokens-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

Attribut

Förbrukning

• Principavsnitt: inkommande
• Principomfattningar: global, arbetsyta, produkt, API, åtgärd
• Gatewayer: klassisk, v2, lokalt installerad, arbetsyta

Användningsanteckningar

• Den här principen kan användas flera gånger per principdefinition.
• Du kan också konfigurera den här principen när du lägger till ett API från Azure OpenAI med hjälp av portalen.
• Om tillgängligt när estimate-prompt-tokens är inställt på falseanvänds värden i användningsavsnittet i svaret från Azure OpenAI-API:et för att fastställa tokenanvändning.
• Vissa Azure OpenAI-slutpunkter stöder strömning av svar. När stream anges till true i API-begäran för att aktivera strömning beräknas alltid prompttoken, oavsett värdet för estimate-prompt-tokens attributet. Slutförandetoken uppskattas också när svar strömmas.
• Värdet för remaining-quota-tokens-variable-name eller remaining-quota-tokens-header-name är en uppskattning i informationssyfte men kan vara större än förväntat baserat på faktisk tokenförbrukning. Värdet är mer exakt när kvoten närmar sig.
• För modeller som accepterar bildindata räknas bildtoken vanligtvis av serverdelsspråkmodellen och ingår i gräns- och kvotberäkningar. Men när direktuppspelning används eller estimate-prompt-tokens är inställd på trueöverberäkning av principen för närvarande varje bild som ett maximalt antal 1 200 token.
• API Management använder en enskild räknare för varje counter-key värde som du anger i principen. Räknaren uppdateras i alla omfång där principen har konfigurerats med det nyckelvärdet. Om du vill konfigurera separata räknare i olika omfång (till exempel ett specifikt API eller en specifik produkt) anger du olika nyckelvärden i de olika omfången. Du kan till exempel lägga till en sträng som identifierar omfånget till värdet för ett uttryck.
• Den här principen spårar tokenanvändningen oberoende av varje gateway där den tillämpas, inklusive arbetsytegatewayer och regionala gatewayer i en distribution i flera regioner. Den aggregerar inte antalet token i hela instansen.

Exempel

Gräns för tokenfrekvens

I följande exempel styrs gränsen för tokenfrekvens på 5 000 per minut av anroparens IP-adress. Principen uppskattar inte antalet token som krävs för en fråga. Efter varje principkörning lagras de återstående token som tillåts för anroparens IP-adress under tidsperioden i variabeln remainingTokens.

<policies>
    <inbound>
        <base />
        <azure-openai-token-limit
            counter-key="@(context.Request.IpAddress)"
            tokens-per-minute="5000" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Tokenkvot

I följande exempel styrs tokenkvoten på 1 0000 av prenumerations-ID:t och återställs varje månad. Efter varje principkörning lagras antalet återstående token som tillåts för prenumerations-ID:t under tidsperioden i variabeln remainingQuotaTokens.

<policies>
    <inbound>
        <base />
        <azure-openai-token-limit
            counter-key="@(context.Subscription.Id)"
            token-quota="100000" token-quota-period="Monthly" remaining-quota-tokens-variable-name="remainingQuotaTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Relaterade principer

• Hastighetsbegränsning och kvoter
• llm-token-limit-policy
• azure-openai-emit-token-metric policy

Relaterat innehåll

Mer information om hur du arbetar med principer finns i:

• Självstudie: Transformera och skydda ditt API
• Principreferens för en fullständig lista över principinstruktioner och deras inställningar
• Principuttryck
• Ange eller redigera principer
• Återanvända principkonfigurationer
• Lagringsplats för principfragment
• Lagringsplats för principlekplats
• Principverktyg för Azure API Management
• Få Hjälp med Copilot för att skapa, förklara och felsöka principer