Gebruik van logboektoken, prompts en voltooiingen voor LLM-API's

In dit artikel leert u hoe u Logboekregistratie van Azure Monitor instelt voor LLM API-aanvragen en -antwoorden in Azure API Management.

De API Management-beheerder kan LLM API-aanvraag- en antwoordlogboeken gebruiken, samen met API Management-gatewaylogboeken voor scenario's zoals:

• Gebruik berekenen voor facturering: bereken metrische gebruiksgegevens voor facturering op basis van het aantal tokens dat door elke toepassing of API-consument wordt gebruikt (bijvoorbeeld gesegmenteerd op abonnements-id of IP-adres).

• Controleer berichten- Inspecteer en analyseer prompts en voltooiingen om te helpen bij foutopsporing, controle en modelevaluatie.

Meer informatie over:

• AI-gatewaymogelijkheden in API Management
• API Management bewaken

Vereiste voorwaarden

• Een Azure API Management-exemplaar.
• Een beheerde LLM-chat-voltooiings-API geïntegreerd met Azure API Management. Importeer bijvoorbeeld een Azure AI Foundry-API.
• Toegang tot een Azure Log Analytics-werkruimte.
• Juiste machtigingen voor het configureren van diagnostische instellingen en toegang tot logboeken in API Management.

Diagnostische instelling inschakelen voor LLM API-logboeken

Schakel een diagnostische instelling in om aanvragen te registreren die door de gateway worden verwerkt voor REST API's van het grote taalmodel. Voor elke aanvraag ontvangt Azure Monitor gegevens over tokengebruik (prompttokens, voltooiingstokens en totaaltokens), de naam van het gebruikte model en eventueel de aanvraag- en antwoordberichten (prompt en voltooiing). Grote aanvragen en antwoorden worden gesplitst in meerdere logboekvermeldingen met volgnummers voor latere reconstructie, indien nodig.

Hieronder vindt u korte stappen voor het inschakelen van een diagnostische instelling waarmee LLM API-logboeken naar een Log Analytics-werkruimte worden geleid. Zie Diagnostische instelling inschakelen voor Azure Monitor-logboeken voor meer informatie.

1. Navigeer in Azure Portal naar uw Azure API Management-exemplaar.
2. Selecteer in het linkermenu onder Bewakingdiagnostische instellingen>+ Diagnostische instelling toevoegen.
3. Configureer de instelling voor het verzenden van AI-gatewaylogboeken naar een Log Analytics-werkruimte:
   • Selecteer onder Logboeken logboekenmet betrekking tot generatieve AI-gateway.
   • Selecteer Onder Doeldetailsde optie Verzenden naar Log Analytics-werkruimte.
4. Controleer of configureer andere instellingen en breng zo nodig wijzigingen aan.
5. Selecteer Opslaan.

Logboekregistratie van aanvragen of antwoorden voor LLM-API inschakelen

U kunt diagnostische instellingen inschakelen voor alle API's of logboekregistratie aanpassen voor specifieke API's. Hieronder vindt u korte stappen voor het registreren van zowel LLM-aanvragen als antwoordberichten voor een API. Zie Instellingen voor API-logboekregistratie wijzigen voor meer informatie.

1. Selecteer API's API's > in het linkermenu van uw API Management-exemplaar en selecteer vervolgens de naam van de API.
2. Selecteer het tabblad Instellingen in de bovenste balk.
3. Schuif omlaag naar de sectie Diagnostische logboeken en selecteer het tabblad Azure Monitor .
4. Selecteer Ingeschakeld in LLM-berichten voor logboeken.
5. Selecteer Logboekprompts en voer een grootte in bytes in, zoals 32768.
6. Selecteer Voltooiingen van logboeken en voer een grootte in bytes in, zoals 32768.
7. Controleer andere instellingen en breng indien nodig wijzigingen aan. Selecteer Opslaan.

Analysewerkmap voor LLM-API's controleren

Het dashboard op basis van Azure Monitor Analytics biedt inzicht in het gebruik en tokenverbruik van DE LLM-API met behulp van gegevens die zijn samengevoegd in een Log Analytics-werkruimte. Meer informatie over Analyse in API Management.

1. SelecteerBewakingsanalyse> in het linkermenu van uw API Management-exemplaar.
2. Selecteer het tabblad Taalmodellen .
3. Bekijk metrische gegevens en visualisaties voor het verbruik van LLM API-token en aanvragen in een geselecteerd tijdsbereik.

Azure Monitor-logboeken controleren op aanvragen en antwoorden

Bekijk het logboek ApiManagementGatewayLlmLog voor meer informatie over LLM-aanvragen en -antwoorden, waaronder tokenverbruik, gebruikte modelimplementatie en andere details over specifieke tijdsbereiken.

Aanvragen en antwoorden (inclusief gesegmenteerde berichten voor grote aanvragen en antwoorden) worden weergegeven in afzonderlijke logboekvermeldingen die u kunt correleren met behulp van het CorrelationId veld.

Gebruik voor controledoeleinden een Kusto-query die vergelijkbaar is met de volgende query om elke aanvraag en reactie in één record samen te voegen. Pas de query aan om de velden op te nemen die u wilt bijhouden.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Gegevens uploaden naar Azure AI Foundry voor modelevaluatie

U kunt LLM-logboekgegevens exporteren als een gegevensset voor modelevaluatie in Azure AI Foundry. Met modelevaluatie kunt u de prestaties van uw generatieve AI-modellen en -toepassingen beoordelen op basis van een testmodel of gegevensset met behulp van ingebouwde of aangepaste metrische evaluatiegegevens.

LLM-logboeken gebruiken als een gegevensset voor modelevaluatie:

1. Voeg LLM-aanvraag- en antwoordberichten toe aan één record voor elke interactie, zoals wordt weergegeven in de vorige sectie. Neem de velden op die u wilt gebruiken voor modelevaluatie.
2. Exporteer de gegevensset naar CSV-indeling, die compatibel is met Azure AI Foundry.
3. Maak in de Azure AI Foundry-portal een nieuwe evaluatie om de gegevensset te uploaden en te evalueren.

Zie Generatieve AI-modellen en -toepassingen evalueren met behulp van Azure AI Foundry voor meer informatie over het maken en uitvoeren van een modelevaluatie in Azure AI Foundry.

Verwante inhoud

• Meer informatie over het bewaken van API Management
• Naslaginformatie voor Azure Monitor voor API Management
• Zelfstudie: Gepubliceerde API's bewaken