Dela via

OpenAIUsageDebuggingPlugin

Loggar Användningsstatistik för OpenAI API till en CSV-fil för felsökning och analys.

Definition av plugin-instans

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
}

Konfigurationsexempel

None

Konfigurationsegenskaper

None

Kommandoradsalternativ

None

Anmärkningar

OpenAIUsageDebuggingPlugin samlar in detaljerade användningsstatistik från OpenAI-kompatibla API-begäranden och svar och skriver dem till en CSV-fil. Den här informationen är användbar för felsökning, spårning av tokenförbrukning, övervakningsfrekvensgränser och analys av API-användningsmönster över tid.

Utdatafil

Plugin-programmet skapar en CSV-fil med namnet devproxy_llmusage_<timestamp>.csv i den aktuella katalogen när Dev Proxy startar. Tidsstämpelformatet är yyyyMMddHHmmss.

CSV-filstruktur

CSV-filen innehåller följande kolumner:

Kolumn Description
time ISO 8601-tidsstämpel för begäran
status HTTP-statuskod för svaret
retry-after Huvudets retry-after värde (för hastighetsbegränsade begäranden)
policy Huvudets policy-id värde (för hastighetsbegränsade begäranden)
prompt tokens Antal token i prompten/indata
completion tokens Antal token i slutförande/utdata
cached tokens Antal cachelagrade token (från promptcache)
total tokens Totalt antal token som används (fråga + slutförande)
remaining tokens Återstående token i hastighetsbegränsningsfönstret
remaining requests Återstående begäranden i hastighetsbegränsningsfönstret

Exempelresultat

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Scenarier som stöds

Plugin-programmet loggar mått för:

  • Lyckade begäranden (2xx statuskoder): Samlar in mått för tokenanvändning, inklusive prompttoken, slutförandetoken, cachelagrade token och återstående hastighetsgränser
  • Felsvar (4xx statuskoder): Samlar in hastighetsbegränsningsinformation inklusive återförsök efter rubriker och princip-ID:t

Direktuppspelningssvar

Plugin-programmet hanterar strömmande svar (med innehållstyp text/event-stream ) korrekt genom att extrahera det sista segmentet som innehåller användningsinformation.

Användningsfall

Det här plugin-programmet är användbart för:

  • Felsökning av tokenförbrukning: Förstå hur många token dina frågor och slutföranden förbrukar
  • Övervakningsfrekvensgränser: Spåra återstående token och begäranden för att undvika att nå hastighetsgränser
  • Kostnadsanalys: Analysera tokenanvändningsmönster för att beräkna kostnader
  • Prestandaoptimering: Identifiera begäranden med höga tokenantal
  • Snabb cachelagringsanalys: Spåra cachelagrad tokenanvändning för att optimera strategier för cachelagring av frågor

Jämförelse med OpenAITelemetryPlugin

OpenAITelemetryPlugin skickar telemetridata till OpenTelemetry-kompatibla instrumentpaneler för övervakning och visualisering i realtid, men OpenAIUsageDebuggingPlugin fokuserar på att skapa detaljerade CSV-loggar för offlineanalys och felsökning. De två plugin-program kompletterar varandra:

  • Använd OpenAITelemetryPlugin för realtidsövervakning, kostnadsspårning och integrering med observerbarhetsplattformar
  • Använd OpenAIUsageDebuggingPlugin för detaljerad felsökning, CSV-baserad analys och spårning av hastighetsbegränsningsinformation

Du kan aktivera båda plugin-program samtidigt för att hämta både realtidstelemetri och detaljerade CSV-loggar.

Nästa steg

Förstå språkmodellanvändning