Simulera OpenAI API

När du skapar appar som är anslutna till OpenAI interagerar ofta bara en del av appen med OpenAI-API:et. När du arbetar med de delar av appen som inte kräver riktiga svar från OpenAI-API:et kan du simulera svaren med dev proxy. Med simulerade svar kan du undvika onödiga kostnader. Den OpenAIMockResponsePlugin använder en lokal språkmodell för att simulera svar från OpenAI API.

Innan du börjar

För att simulera OpenAI API-svar med Dev Proxy behöver du en språkmodellklient som stöds installerad på din maskin.

Som standard använder Dev Proxy språkmodellen llama3.2 som körs på Ollama. Om du vill använda en annan klient eller modell uppdaterar du inställningarna för språkmodellen i Dev Proxy-konfigurationsfilen.

Konfigurera Dev Proxy för att simulera OpenAI API-svar

Om du vill simulera OpenAI API-svar med Dev Proxy måste du aktivera OpenAIMockResponsePlugin i devproxyrc.json filen.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Konfigurera sedan Dev Proxy för att fånga upp begäranden till OpenAI API. OpenAI rekommenderar att du använder https://api.openai.com/v1/chat/completions slutpunkten, vilket gör att du kan dra nytta av de senaste modellerna och funktionerna.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ]
}

Konfigurera slutligen Dev Proxy för att använda en lokal språkmodell.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Den fullständiga konfigurationsfilen ser ut så här.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/v1/chat/completions"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simulera OpenAI API-svar

Om du antar standardkonfigurationen startar du Ollama med llama3.2-språkmodellen. Kör kommandot i kommandoradsgränssnittet ollama run llama3.2.

Starta Dev Proxy därefter. Om du använder förinställningen kör du devproxy -c "~appFolder/config/simulate-openai/simulate-openai.json. Om du använder en anpassad konfigurationsfil med namnet devproxyrc.json, som lagras i den aktuella arbetskatalogen kör du devproxy. Dev Proxy kontrollerar att den har åtkomst till språkmodellen på Ollama och bekräftar att den är redo att simulera OpenAI API-svar.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Kör ditt program och skicka begäranden till OpenAI-API:et. Dev Proxy fångar upp begäranden och simulerar svar med hjälp av den lokala språkmodellen.

Gå vidare

Läs mer om OpenAIMockResponsePlugin.

Exempel

Se även relaterade Dev Proxy-exempel:

• Simulera OpenAI API