Grundmodeller som stöds på Mosaic AI Model Serving

Den här artikeln beskriver de grundläggande modeller som du kan använda med Mosaic AI Model Serving.

Grundmodeller är stora, förtränade neurala nätverk som tränas på både stora och breda dataintervall. Dessa modeller är utformade för att lära sig allmänna mönster i språk, bilder eller andra datatyper och kan finjusteras för specifika uppgifter med ytterligare utbildning. Din användning av vissa grundmodeller omfattas av modellutvecklarens licens och acceptabla användningsprincip. Se Tillämpliga licenser och villkor för modellutvecklare.

Modellhantering erbjuder flexibla alternativ för att hantera och ställa frågor till grundmodeller baserat på dina behov.

• AI Functions-optimerade modeller: Vissa modeller från Databricks är optimerade för AI Functions. Du kan tillämpa AI på dina data och köra produktionsarbetsbelastningar för batch-inferens i stor skala med hjälp av dessa funktioner och deras stödda modeller.
• Betala per token: Perfekt för experimentering och snabb utforskning. Med det här alternativet kan du köra frågor mot förkonfigurerade slutpunkter på din Databricks-arbetsyta utan åtaganden om infrastruktur i förväg.
• Provisionerat genomflöde: Rekommenderas för användningar i produktion som kräver prestandagarantier. Med det här alternativet kan du distribuera finjusterade grundmodeller med optimerade serverslutpunkter.
• Externa modeller: Det här alternativet ger åtkomst till grundläggande modeller som finns utanför Databricks, till exempel de som tillhandahålls av OpenAI eller Anthropic. Dessa modeller kan hanteras centralt i Databricks för effektiv styrning.

Foundation-modeller som finns på Databricks

Databricks är värd för toppmoderna öppna grundmodeller, till exempel Meta Llama. Dessa modeller görs tillgängliga genom Foundation Model API:er.

I följande tabell sammanfattas modeller som är värdbaserade på Databricks och modellfamiljer som stöds i varje region baserat på modelltjänsten.

* Den här modellen stöds baserat på GPU-tillgänglighet och kräver att routning mellan geografiska områden är aktiverad.

Access Foundation-modeller som finns utanför Databricks

Grundmodeller som skapats av LLM-leverantörer, till exempel OpenAI och Anthropic, är också tillgängliga på Databricks med hjälp av externa modeller. Dessa modeller finns utanför Databricks och du kan skapa en slutpunkt för att fråga dem. Dessa slutpunkter kan styras centralt från Azure Databricks, vilket effektiviserar användningen och hanteringen av olika LLM-leverantörer i din organisation.

I följande tabell visas en icke-fullständig lista över modeller som stöds och motsvarande slutpunktstyper. Du kan använda de listade modellassociationerna för att hjälpa dig att konfigurera en slutpunkt för alla nyligen släppta modelltyper när de blir tillgängliga med en viss leverantör. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.

** Modellleverantören stöder anpassade slutförande- och chattmodeller. Om du vill köra frågor mot en finjusterad modell fyller du i fältet name i external model-konfigurationen med namnet på din finjusterade modell.

† Modellprovidern stöder anpassade slutförandemodeller.

Skapa basmodell som betjänar slutpunkter

Om du vill köra frågor mot och använda grundmodeller i dina AI-program måste du först skapa en modell som betjänar slutpunkten. Modellservern använder ett enhetligt API och användargränssnitt för att skapa och uppdatera basmodell som betjänar slutpunkter.

• För att skapa en slutpunkt som tillhandahåller finjusterade varianter av grundläggande modeller som görs tillgängliga genom Foundation Model API:er med tilldelad genomströmning, se Skapa din slutpunkt för tilldelad genomströmning med hjälp av REST API.
• Information om hur du skapar serverslutpunkter som har åtkomst till grundläggande modeller som görs tillgängliga med hjälp av erbjudandet Externa modeller finns i Skapa en extern modell som betjänar slutpunkten.

Frågegrundsmodell som betjänar slutpunkter

När du har skapat din tjänsteslutpunkt kan du fråga din grundmodell. Modellservern använder ett enhetligt OpenAI-kompatibelt API och SDK för att köra frågor mot grundmodeller. Den här enhetliga upplevelsen förenklar hur du experimenterar med och anpassar grundmodeller för produktion i moln och leverantörer som stöds.

Se Använda grundmodeller.