Delen via

Reacties op Azure OpenAI API-aanvragen in de cache opslaan

VAN TOEPASSING OP: Alle API Management-lagen

Met het azure-openai-semantic-cache-store beleid worden antwoorden op de voltooiings-API-aanvragen voor Azure OpenAI Chat opgeslagen in een geconfigureerde externe cache. Reactiecaching vermindert de bandbreedte en verwerkingsvereisten die zijn opgelegd aan de Back-end Azure OpenAI-API en verlaagt de latentie die wordt waargenomen door API-consumenten.

Notitie

Notitie

Stel de elementen en onderliggende elementen van het beleid in de volgorde in die in de beleidsverklaring is opgegeven. Meer informatie over het instellen of bewerken van API Management-beleid.

Ondersteunde Azure OpenAI in Azure AI Foundry-modellen

Het beleid wordt gebruikt met API's die zijn toegevoegd aan API Management vanuit de Azure OpenAI in AI Foundry-modellen van de volgende typen:

API-type Ondersteunde modellen
Chatvoltooiing gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Insluitingen text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Antwoorden (preview) gpt-4o (Versies: 2024-11-20, 2024-08-06, 2024-05-13)

gpt-4o-mini (Versie: 2024-07-18)

gpt-4.1 (Versie: 2025-04-14)

gpt-4.1-nano (Versie: 2025-04-14)

gpt-4.1-mini (Versie: 2025-04-14)

gpt-image-1 (Versie: 2025-04-15)

o3 (Versie: 2025-04-16)

o4-mini (Versie: '2025-04-16)

Notitie

Traditionele voltooiings-API's zijn alleen beschikbaar met verouderde modelversies en ondersteuning is beperkt.

Zie Azure OpenAI in Foundry Models voor actuele informatie over de modellen en hun mogelijkheden.

Beleidsinstructie

<azure-openai-semantic-cache-store duration="seconds"/>

Kenmerken

Kenmerk Beschrijving Vereist Standaardinstelling
duur Time-to-live van de items in de cache, opgegeven in seconden. Beleidsexpressies zijn toegestaan. Ja N.v.t.

Gebruik

Gebruiksnotities

  • Dit beleid kan slechts eenmaal worden gebruikt in een beleidssectie.
  • Als het opzoeken van de cache mislukt, veroorzaakt de API-aanroep die gebruikmaakt van de bewerking met betrekking tot de cache geen fout en wordt de cachebewerking voltooid.
  • U wordt aangeraden een beleid voor frequentielimiet (of beleid voor frequentielimiet per sleutel ) onmiddellijk na een cachezoekactie te configureren. Dit helpt ervoor te zorgen dat uw back-endservice overbelast raakt als de cache niet beschikbaar is.

Voorbeelden

Voorbeeld met het bijbehorende beleid voor azure-openai-semantic-cache-lookup

In het volgende voorbeeld ziet u hoe u het azure-openai-semantic-cache-lookup beleid samen met het azure-openai-semantic-cache-store beleid gebruikt om semantisch vergelijkbare reacties in de cache op te halen met een drempelwaarde voor overeenkomstenscore van 0,05. Waarden in de cache worden gepartitioneerd door de abonnements-id van de aanroeper.

Notitie

Het beleid voor frequentielimiet dat is toegevoegd nadat de cachezoekactie heeft toegevoegd, helpt het aantal aanroepen te beperken om te voorkomen dat de back-endservice overbelast raakt als de cache niet beschikbaar is.

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Gerelateerde inhoud

Zie voor meer informatie over het werken met beleid: