Dela via

Importera ett språkmodell-API

GÄLLER FÖR: Alla API Management-nivåer

Du kan importera OpenAI-kompatibla språkmodellslutpunkter till API Management-instansen som API:er. Du kan också importera språkmodeller som inte är kompatibla med OpenAI som API:er för genomströmning, som vidarebefordrar begäranden direkt till serverdelsslutpunkterna. Du kanske till exempel vill hantera en LLM som du själv är värd för, eller som finns på en annan slutsatsdragningsprovider än Azure AI-tjänster. Använd principer för AI-gatewayer och andra funktioner i API Management för att förenkla integrering, förbättra observerbarheten och förbättra kontrollen över modellsutgångspunkterna.

Läs mer om att hantera AI-API:er i API Management:

API-typer för språkmodell

API Management stöder två typer av språkmodell-API:er för det här scenariot. Välj det alternativ som passar din modelldistribution. Alternativet avgör hur klienter anropar API:et och hur API Management-instansen dirigerar begäranden till AI-tjänsten.

  • OpenAI-kompatibel – Språkmodellslutpunkter som är kompatibla med OpenAI:s API. Exempel är vissa modeller som exponeras av slutsatsdragningsproviders, till exempel Hugging Face Text Generation Inference (TGI) och Google Gemini API.

    För en OpenAI-kompatibel LLM konfigurerar API Management en slutpunkt för chattkompletteringar.

  • Passthrough – Andra API-slutpunkter för språkmodell som inte är kompatibla med OpenAI:s API. Exempel är modeller som distribuerats i Amazon Bedrock eller andra leverantörer.

    API Management konfigurerar jokerteckenåtgärder för vanliga HTTP-verb. Klienter kan lägga till sökvägar till jokerteckensoperationerna, och API Management skickar begäranden till backend-systemet.

Förutsättningar

  • En befintlig API Management-instans. Skapa en om du inte redan har gjort det.
  • En lokalt installerad eller icke-Azure-tillhandahållen språkmodelldistribution med en API-slutpunkt.

Importera språkmodell-API:et med hjälp av portalen

När du importerar LLM-API:et i portalen konfigurerar API Management automatiskt:

  • En serverdelsresurs och en set-backend-service-princip som dirigerar API-begäranden till LLM-slutpunkten.
  • (valfritt) Åtkomst till LLM-serverdelen med hjälp av en åtkomstnyckel som du anger. Nyckeln skyddas som en hemlighet med namnet value i API Management.
  • (valfritt) Principer som hjälper dig att övervaka och hantera API:et.

Så här importerar du ett API för språkmodell till API Management:

  1. I Azure Portal navigerar du till din API Management-instans.

  2. I den vänstra menyn går du till API:er och väljer API:er>+ Lägg till API.

  3. Under Definiera ett nytt API väljer du Språkmodell-API.

    Skärmbild av att skapa ett OpenAI-kompatibelt API i portalen.

  4. På fliken Konfigurera API :

    1. Ange ett visningsnamn och en valfri beskrivning för API:et.
    2. Ange URL:en till LLM API-slutpunkten.
    3. Du kan också välja en eller flera produkter som ska associeras med API:et.
    4. I Sökväg lägger du till en sökväg som din API Management-instans använder för att komma åt LLM API-slutpunkterna.
    5. I Typ väljer du antingen Skapa OpenAI API eller Skapa ett API för genomströmning. Mer information finns i API-typer för språkmodeller .
    6. I Åtkomstnyckel anger du namnet på auktoriseringshuvudet och API-nyckeln som används för att komma åt LLM-API:et om det behövs.
    7. Välj Nästa.

    Skärmbild av API-konfigurationen för språkmodell i portalen.

  5. På fliken Hantera tokenförbrukning kan du ange inställningar eller acceptera standardvärden som definierar följande principer för att övervaka och hantera API:et:

  6. På fliken Tillämpa semantisk cachelagring kan du ange inställningar eller acceptera standardvärden som definierar principerna för att optimera prestanda och minska svarstiden för API:et:

  7. På AI-innehållssäkerheten kan du ange inställningar eller acceptera standardinställningar för att konfigurera Azure AI Content Safety-tjänsten för att blockera frågor med osäkert innehåll:

  8. Välj Granska.

  9. När inställningarna har verifierats väljer du Skapa.

API Management skapar API:et och konfigurerar åtgärder för LLM-slutpunkterna. API:et kräver som standard en API Management-prenumeration.

Testa LLM-API:et

Kontrollera att DITT LLM-API fungerar som förväntat genom att testa det i API Management-testkonsolen.

  1. Välj det API som du skapade i föregående steg.

  2. Välj fliken Test.

  3. Välj en åtgärd som är kompatibel med modelldistributionen. Sidan visar fält för parametrar och rubriker.

  4. Ange parametrar och rubriker efter behov. Beroende på åtgärden kan du behöva konfigurera eller uppdatera en begärandetext.

    Anmärkning

    I testkonsolen fyller API Management automatiskt i huvudfältet Ocp-Apim-Subscription-Key och konfigurerar prenumerationsnyckeln för den inbyggda 'all-access'-prenumerationen. Den här nyckeln ger åtkomst till varje API i API Management-instansen. Du kan välja att visa Ocp-Apim-Subscription-Key header genom att klicka på "öga"-ikonen bredvid HTTP Request.

  5. Välj Skicka.

    När testet lyckas svarar serverdelen med en lyckad HTTP-svarskod och vissa data. Tillagt i svaret är tokenanvändningsdata som hjälper dig att övervaka och hantera din språkmodelltokenförbrukning.

Relaterat innehåll