Simulera Azure OpenAI API

När du skapar appar som är anslutna till Azure OpenAI interagerar ofta bara en del av appen med Azure OpenAI-API:et. När du arbetar med de delar av appen som inte kräver riktiga svar från Azure OpenAI API kan du simulera svaren med dev proxy. Med simulerade svar kan du undvika onödiga kostnader. Den OpenAIMockResponsePlugin använder en lokal språkmodell som körs på datorn för att simulera svar från Azure OpenAI API.

Innan du börjar

Om du vill simulera Azure OpenAI API-svar med Dev Proxy behöver du en språkmodellklient som stöds installerad på datorn.

Som standard använder Dev Proxy språkmodellen llama3.2 som körs på Ollama. Om du vill använda en annan klient eller modell uppdaterar du inställningarna för språkmodellen i Dev Proxy-konfigurationsfilen.

Konfigurera Dev Proxy för att simulera Azure OpenAI API-svar

Om du vill simulera Azure OpenAI API-svar med Dev Proxy måste du aktivera OpenAIMockResponsePlugin i devproxyrc.json filen.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Konfigurera sedan Dev Proxy för att fånga upp begäranden till Azure OpenAI API. För enkelhetens skull, använd jokertecken för att fånga upp förfrågningar för alla distributioner.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Konfigurera slutligen Dev Proxy för att använda en lokal språkmodell.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Den fullständiga konfigurationsfilen ser ut så här.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simulera Azure OpenAI API-svar

Om du antar standardkonfigurationen startar du Ollama med llama3.2-språkmodellen. Kör kommandot ollama run llama3.2 på kommandoraden.

Starta sedan Dev Proxy. Om du använder förinställningen kör du devproxy -c "~appFolder/config/simulate-azure-openai/simulate-azure-openai.json. Om du använder en anpassad konfigurationsfil med namnet devproxyrc.json, som lagras i den aktuella arbetskatalogen kör du devproxy. Dev Proxy kontrollerar att den har åtkomst till språkmodellen på Ollama och bekräftar att den är redo att simulera Azure OpenAI API-svar.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Kör ditt program och skicka begäranden till Azure OpenAI-API:et. Dev Proxy fångar upp begäranden och simulerar svar med hjälp av den lokala språkmodellen.

Gå vidare

Läs mer om OpenAIMockResponsePlugin.

Exempel

Se även relaterade Dev Proxy-exempel:

• Simulera Azure OpenAI API