Konfigurera AI Gateway på modellserverslutpunkter

I den här artikeln får du lära dig hur du konfigurerar Mosaic AI Gateway på en modell som betjänar slutpunkten.

Requirements

• En Databricks-arbetsyta i en region där modellhantering stöds. Se Tillgänglighet för modellserverfunktioner.
• En modell som betjänar slutpunkten. Du kan använda någon av de förkonfigurerade slutpunkterna för betala per token på din arbetsyta eller göra följande:
  • Om du vill skapa en slutpunkt för externa modeller slutför du steg 1 och 2 i Skapa en extern modell som betjänar slutpunkten.
  • Information om hur du skapar en slutpunkt för etablerat dataflöde finns i Api:er för etablerad dataflödesmodell.
  • Information om hur du skapar en slutpunkt för en anpassad modell finns i Skapa en slutpunkt.

Konfigurera AI Gateway med hjälp av användargränssnittet

I avsnittet AI Gateway på sidan för att skapa slutpunkter kan du konfigurera AI Gateway-funktioner individuellt. Se Funktioner som stöds för vilka funktioner som är tillgängliga på externa modeller som betjänar slutpunkter och etablerade dataflödesslutpunkter.

I följande tabell sammanfattas hur du konfigurerar AI-gatewayen när slutpunkten skapas med hjälp av serveringsgränssnittet. Om du föredrar att göra detta programmatiskt kan du läsa notebook-exemplet.

Följande diagram visar ett exempel på reservlösningar där,

• Tre betjänade entiteter hanteras på en modell som betjänar slutpunkten.
• Begäran dirigeras ursprungligen till Den serverade entiteten 3.
• Om begäran returnerar ett 200-svar, lyckades den på Betjänad entitet 3, och begäran samt dess svar loggas till tabellerna för användningsspårning och nyttolastloggning i slutpunkten.
• Om begäran returnerar ett 429- eller 5xx-fel på den betjänade entiteten 3 återgår begäran till nästa betjänade entitet på slutpunkten, Hanterad entitet 1.
  • Om begäran returnerar ett 429- eller 5xx-fel på den betjänade entiteten 1 återgår begäran till nästa betjänade entitet på slutpunkten, Hanterad entitet 2.
  • Om begäran returnerar ett 429- eller 5xx-fel på den betjänade entiteten 2 misslyckas begäran eftersom detta är det maximala antalet återställningsentiteter. Den misslyckade begäran och svarsfelet loggas till loggningstabellerna för användningsspårning och nyttolast.

Konfigurera AI Guardrails i användargränssnittet

Följande tabell visar hur du konfigurerar de skyddsräcken som stöds av .

Tabellscheman för användningsspårning

I följande avsnitt sammanfattas scheman för användningsspårningstabeller för system.serving.served_entities- och system.serving.endpoint_usage-systemtabeller.

system.serving.served_entities tabellschema för användningsspårning

Den system.serving.served_entities systemtabellen för användningsspårning har följande schema:

system.serving.endpoint_usage tabellschema för användningsspårning

Den system.serving.endpoint_usage systemtabellen för användningsspårning har följande schema:

Definiera användning ytterligare med usage_context

När du kör frågor mot en extern modell med användningsspårning aktiverat kan du ange parametern usage_context med typen Map[String, String]. Mappningen av användningskontexten visas i tabellen för användningsspårning i kolumnen usage_context. Kartstorleken usage_context får inte överstiga 10 KiB.

{
  "messages": [
    {
      "role": "user",
      "content": "What is Databricks?"
    }
  ],
  "max_tokens": 128,
  "usage_context":
    {
      "use_case": "external",
      "project": "project1",
      "priority": "high",
      "end_user_to_charge": "abcde12345",
      "a_b_test_group": "group_a"
    }
}

Om du använder OpenAI Python-klienten kan du specificera usage_context genom att inkludera den i parametern extra_body.

from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

response = client.chat.completions.create(
    model="databricks-claude-3-7-sonnet",
    messages=[{"role": "user", "content": "What is Databricks?"}],
    temperature=0,
    extra_body={"usage_context": {"project": "project1"}},
)
answer = response.choices[0].message.content
print("Answer:", answer)

Kontoadministratörer kan aggregera olika rader baserat på användningskontexten för att få insikter och kan koppla den här informationen till informationen i loggningstabellen för nyttolast. Till exempel kan du lägga till end_user_to_charge till usage_context för att spåra kostnadsattribution för slutanvändare.

Övervaka slutpunktsanvändning

Om du vill övervaka slutpunktsanvändningen kan du ansluta systemtabellerna och slutsatsdragningstabellerna för slutpunkten.

Sammanfoga systemtabeller

Det här exemplet gäller för externa, etablerade dataflöden, pay-per-token och anpassade modellslutpunkter.

Om du vill ansluta endpoint_usage- och served_entities-systemtabellerna använder du följande SQL:

SELECT * FROM system.serving.endpoint_usage as eu
JOIN system.serving.served_entities as se
ON eu.served_entity_id = se.served_entity_id
WHERE created_by = "\<user_email\>";

Uppdatera AI Gateway-funktioner på slutpunkter

Du kan uppdatera AI Gateway-funktioner på modellbetjänande slutpunkter som tidigare hade dem aktiverade och slutpunkter som inte hade dem. Det tar cirka 20–40 sekunder att tillämpa uppdateringar av AI Gateway-konfigurationer, men det kan ta upp till 60 sekunder att uppdatera hastighetsbegränsningen.

Följande visar hur du uppdaterar AI Gateway-funktioner på en modell som betjänar slutpunkten med hjälp av användargränssnittet för servering.

I avsnittet Gateway på slutpunktssidan kan du se vilka funktioner som är aktiverade. Om du vill uppdatera de här funktionerna klickar du på Redigera AI Gateway.

Notebook-exempel

Följande notebook-fil visar hur du programmatiskt aktiverar och använder Ai Gateway-funktioner för Databricks Mosaic för att hantera och styra modeller från leverantörer. Mer information om REST API finns i PUT /api/2.0/serving-endpoints/{name}/ai-gateway .

Aktivera Databricks Mosaic AI Gateway-funktioner för notebook-filen

Hämta anteckningsbok

Ytterligare resurser

• Introduktion till Mosaic AI Gateway.
• Övervaka serverade modeller med hjälp av AI Gateway-aktiverade inferenstabeller.