Dela via

Använda grundmodeller

I den här artikeln får du lära dig vilka alternativ som är tillgängliga för att skriva frågeförfrågningar för grundmodeller och hur du skickar dem till din modell som betjänar slutpunkten. Du kan köra frågor mot grundmodeller som hanteras av Databricks och grundmodeller som finns utanför Databricks.

För traditionella ML- eller Python-modellers frågebegäranden, se Frågeserverslutpunkter för anpassade modeller.

Mosaic AI Model Serving stöder API:er för Foundation-modeller och externa modeller för åtkomst till grundmodeller. Modellservern använder ett enhetligt OpenAI-kompatibelt API och SDK för att köra frågor mot dem. Detta gör det möjligt att experimentera med och anpassa grundmodeller för produktion i moln och leverantörer som stöds.

Frågealternativ

Mosaic AI Model Serving innehåller följande alternativ för att skicka frågebegäranden till slutpunkter som hanterar grundmodeller:

Metod Detaljer
OpenAI-klient Fråga en modell som hanteras av en Mosaic AI Model Serving-slutpunkt med hjälp av OpenAI-klienten. Ange modellens betjäningsslutpunktsnamn som model input. Stöds för chatt-, inbäddnings- och slutförandemodeller som görs tillgängliga av Foundation Model-API:er eller externa modeller.
AI-funktioner Anropa modellinferens direkt från SQL med hjälp av ai_query SQL-funktionen. Se Exempel: Hämta data från en grundmodell.
Serveringsgränssnitt Välj Frågeändpunkt på sidan Serverändpunkt. Infoga indata för JSON-formatmodellen och klicka på Skicka begäran. Om modellen har ett indataexempel loggat använder du Visa exempel för att läsa in det.
REST-API Anropa och fråga modellen med hjälp av REST-API:et. Mer information finns i POST /serving-endpoints/{name}/invocations . Information om bedömning av begäranden till slutpunkter som betjänar flera modeller finns i Fråga efter enskilda modeller bakom en slutpunkt.
SDK för MLflow-distributioner Använd SDK:s predict () -funktion för MLflow Deployments för att fråga modellen.
Databricks Python SDK Databricks Python SDK är ett lager ovanpå REST-API:et. Den hanterar information på låg nivå, till exempel autentisering, vilket gör det enklare att interagera med modellerna.

Krav

Viktigt!

Som bästa säkerhet för produktionsscenarier rekommenderar Databricks att du använder OAuth-token från dator till dator för autentisering under produktion.

För testning och utveckling rekommenderar Databricks att du använder en personlig åtkomsttoken som tillhör tjänstens huvudnamn i stället för arbetsyteanvändare. Information om hur du skapar token för tjänstens huvudnamn finns i Hantera token för tjänstens huvudnamn.

Installera paket

När du har valt en frågemetod måste du först installera rätt paket i klustret.

OpenAI-klient

Om du vill använda OpenAI-klienten databricks-sdk[openai] måste paketet installeras i klustret. Databricks SDK tillhandahåller ett bibliotek för att skapa OpenAI-klienten med autentisering som automatiskt konfigureras för att förfråga generativa AI-modeller. Kör följande i anteckningsboken eller den lokala terminalen:

!pip install databricks-sdk[openai]>=0.35.0

Följande krävs endast när du installerar paketet på en Databricks Notebook

dbutils.library.restartPython()

REST-API

Åtkomst till SERVERINGs-REST-API:et finns i Databricks Runtime for Machine Learning.

SDK för MLflow-distributioner

!pip install mlflow

Följande krävs endast när du installerar paketet på en Databricks Notebook

dbutils.library.restartPython()

Databricks Python SDK

Databricks SDK för Python är redan installerat på alla Azure Databricks-kluster som använder Databricks Runtime 13.3 LTS eller senare. För Azure Databricks-kluster som använder Databricks Runtime 12.2 LTS och nedan måste du först installera Databricks SDK för Python. Se Databricks SDK för Python.

Grundmodelltyper

I följande tabell sammanfattas de grundmodeller som stöds baserat på aktivitetstyp.

Aktivitetstyp Beskrivning Modeller som stöds När ska jag använda? Rekommenderade användningsfall
Generell användning Modeller som är utformade för att förstå och delta i naturliga konversationer i flera omgångar. De är finjusterade på stora datamängder av mänsklig dialog, vilket gör det möjligt för dem att generera kontextuellt relevanta svar, spåra konversationshistorik och tillhandahålla sammanhängande, människoliknande interaktioner i olika ämnen. Följande är Databricks-värdbaserade grundmodeller som stöds:

Följande är externa modeller som stöds:
  • OpenAI GPT- och O-seriemodeller
  • Antropiska Claude-modeller
  • Google Gemini-modeller
 Rekommenderas för scenarier där naturlig dialog med flera vändningar och sammanhangsberoende förståelse behövs.
  • Virtuella assistenter
  • Kundsupportrobotar
  • Interaktiva handledningssystem.
Inbäddningar Inbäddningsmodeller är maskininlärningssystem som omvandlar komplexa data, till exempel text, bilder eller ljud, till kompakta numeriska vektorer som kallas inbäddningar. Dessa vektorer samlar in viktiga funktioner och relationer i data, vilket möjliggör effektiv jämförelse, klustring och semantisk sökning. En Databricks-hostad grundmodell stöds:

Följande är externa modeller som stöds:
  • Inbäddningsmodeller för OpenAI-text
  • Inbäddningsmodeller för sammanhängande text
  • Inbäddningsmodeller för Google-text
 Rekommenderas för program där semantisk förståelse, likhetsjämförelse och effektiv hämtning eller klustring av komplexa data är viktiga:
  • Semantisk sökning
  • Hämtning av utökad generering (RAG)
  • Ämnesklustring
  • Attitydanalys och textanalys
Vision Modeller som är utformade för att bearbeta, tolka och analysera visuella data, till exempel bilder och videor så att datorer kan "se" och förstå den visuella världen. Följande är Databricks-värdbaserade grundmodeller som stöds:

Följande är externa modeller som stöds:
  • OpenAI GPT- och o-seriemodeller med visionsfunktioner
  • Antropiska Claude-modeller med visionsfunktioner
  • Google Gemini-modeller med visionsfunktioner
  • Andra externa grundmodeller med visionsfunktioner som är OpenAI API-kompatibla stöds också.
 Rekommenderas oavsett var automatiserad, korrekt och skalbar analys av visuell information behövs:
  • Objektidentifiering och -igenkänning
  • Bildklassificering
  • Bildsegmentering
  • Dokumenttolkning
Resonemang Avancerade AI-system som är utformade för att simulera mänskligt logiskt tänkande. Resonemangsmodeller integrerar tekniker som symbolisk logik, probabilistiska resonemang och neurala nätverk för att analysera kontext, dela upp uppgifter och förklara deras beslutsfattande. En Databricks-hostad grundmodell stöds:

Följande är externa modeller som stöds:
  • OpenAI-modeller med resonemangsfunktioner
  • Antropiska Claude-modeller med resonemangsfunktioner
  • Google Gemini-modeller med resonemangsfunktioner
 Rekommenderas oavsett var automatiserad, korrekt och skalbar analys av visuell information behövs:
  • Kodgenerering
  • Skapa och sammanfatta innehåll
  • Agentorkestrering

Funktionsanrop

Databricks-funktionsanrop är OpenAI-kompatibelt och är endast tillgängligt under modeller som fungerar som en del av Foundation Model-API:er och serverslutpunkter som betjänar externa modeller. Mer information finns i Funktionsanrop i Azure Databricks.

Strukturerade utdata

Strukturerade utdata är OpenAI-kompatibla och är endast tillgängliga under modeller som fungerar som en del av Foundation Model-API:er. Mer information finns i Strukturerade utdata på Azure Databricks.

Chatta med LLM:er som stöds med AI Playground

Du kan interagera med stora språkmodeller som stöds med hjälp av AI Playground. AI Playground är en chattliknande miljö där du kan testa, fråga och jämföra LLM:er från din Azure Databricks-arbetsyta.

AI-lekplats

Ytterligare resurser