Dela via

Använda en lokal språkmodell med Dev Proxy

Genom att ansluta Dev Proxy till en lokal språkmodell kan du förbättra Dev Proxys funktioner. Välj Dev Proxy-plugin-program använder språkmodellen för att förbättra utdata, där naturligt språk ingår. Genom att använda en lokal språkmodell kan du dra nytta av de förbättrade funktionerna utan extra kostnader.

Förutsättningar

Dev Proxy stöder språkmodellvärdar som exponerar OpenAI-kompatibla API:er. Den har också stöd för Ollama API:er. Om du vill konfigurera en värd för en lokal språkmodell följer du anvisningarna i dokumentationen.

Konfigurera Dev Proxy för att använda en lokal språkmodell

Om du vill konfigurera Dev Proxy för att använda en lokal språkmodell använder du languageModel inställningen i devproxyrc.json filen.

{
  "languageModel": {
    "enabled": true
  }
}

Du kan använda följande alternativ som en del av inställningen languageModel :

Alternativ Beskrivning Standardvärde
cacheResponses Anger om svar ska cachelagrats från språkmodellen. true
client Vilken typ av klient som ska användas. Tillåtna värden: Ollama, OpenAI OpenAI
enabled Anger om du vill använda en lokal språkmodell. false
model Namnet på den språkmodell som ska användas. llama3.2
url URL:en för klienten för den lokala språkmodellen. http://localhost:11434/v1/

Som standard använder Dev Proxy standardkonfigurationen Ollama med llama3.2-modellen med hjälp av Ollamas OpenAI-kompatibla API:er. Den cachelagrar även svar från språkmodellen, vilket innebär att du för samma fråga får ett omedelbart svar utan att vänta på att språkmodellen ska bearbeta den.

Viktigt!

När du använder en lokal språkmodell måste du starta klienten för den lokala språkmodellen innan du startar Dev Proxy.

Plugin-program för Dev Proxy som kan använda en lokal språkmodell

Följande Dev Proxy-plugin-program använder en lokal språkmodell om det är tillgängligt: