Migrera till modellbetjäning

Den här artikeln visar hur du aktiverar modellservering på din arbetsyta och växlar dina modeller till Mosaic AI Model Serving-upplevelsen som bygger på serverlös beräkning.

Krav

• Registrerad modell i MLflow Model Registry.
• Behörigheter för de registrerade modellerna enligt beskrivningen i guiden för åtkomstkontroll.
• Aktivera serverlös beräkning på arbetsytan.

Betydande ändringar

• I Modellservern skiljer sig formatet för begäran till slutpunkten och svaret från slutpunkten något från äldre MLflow Model Serving. Mer information om det nya formatprotokollet finns i Bedömning av en modellslutpunkt .
• I Modellservering inkluderar slutpunkts-URL:en serving-endpoints i stället för model.
• Modellservern innehåller fullständigt stöd för att hantera resurser med API-arbetsflöden.
• Modellservering är produktionsklar och backas upp av Azure Databricks SLA.

Identifiera serverslutpunkter som använder äldre MLflow-modellservering

Så här identifierar du modell som betjänar slutpunkter som använder äldre MLflow-modellservering:

1. Gå till användargränssnittet för modeller på din arbetsyta.
2. Välj filtret Arbetsytemodellregister .
3. Välj filtret Endast gamla serverversioner aktiverade.

Migrera äldre MLflow-modellserveringar till Model Serving

Du kan skapa en modellserverslutpunkt och flexibel övergångsmodell som betjänar arbetsflöden utan att inaktivera äldre MLflow-modellservering.

Följande steg visar hur du gör detta med användargränssnittet. För varje modell där du har äldre MLflow-modellserver aktiverad:

1. Registrera din modell i Unity Catalog.
2. Navigera till Serveringsslutpunkter i sidofältet på din maskininlärningsarbetsyta.
3. Följ arbetsflödet som beskrivs i Skapa anpassade modellserveringsslutpunkter för hur du skapar en serveringsslutpunkt med din modell.
4. Byt till att använda den nya URL:en som tillhandahålls av slutpunkten för att anropa modellen, tillsammans med det nya bedömningsformatet.
5. När dina modeller övergår kan du navigera till Modeller i sidofältet på din maskininlärningsarbetsyta.
6. Välj den modell som du vill inaktivera äldre MLflow-modellservern för.
7. På fliken Tjänst klickar du på Stoppa.
8. Ett meddelande verkar bekräfta. Välj Sluta servera.

Migrera distribuerade modellversioner till Modellservering

I tidigare versioner av funktionen Modellservering skapades serverdelspunkten baserat på fasen i den registrerade modellversionen: Staging eller Production. Om du vill migrera dina betjänade modeller från den upplevelsen kan du replikera det beteendet i den nya modellserveringsupplevelsen.

Det här avsnittet visar hur du skapar separata modellserverslutpunkter för Staging modellversioner och Production modellversioner. Följande steg visar hur du gör detta med API:et för serverslutpunkter för var och en av dina hanterade modeller.

I exemplet har det registrerade modellnamnet modelA version 1 i modellsteget Production och version 2 i modellsteget Staging.

1. Skapa två slutpunkter för din registrerade modell, en för Staging modellversioner och en annan för Production modellversioner.

   För Staging modellversioner:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

   För Production modellversioner:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

2. Kontrollera slutpunkternas status.

   För mellanlagringsslutpunkt: GET /api/2.0/serving-endpoints/modelA-Staging

   För produktionsslutpunkt: GET /api/2.0/serving-endpoints/modelA-Production

3. När slutpunkterna är klara anropar du slutpunkten med hjälp av:

   För mellanlagringsslutpunkt: POST /serving-endpoints/modelA-Staging/invocations

   För produktionsslutpunkt: POST /serving-endpoints/modelA-Production/invocations

4. Uppdatera slutpunkten baserat på modellversionsövergångar.

   I scenariot där en ny modellversion 3 skapas kan du låta modellversion 2 övergå till Production, medan modellversion 3 kan övergå till Staging och modellversion 1 är Archived. Dessa ändringar kan återspeglas i separata modellbetjänande slutpunkter på följande sätt:

   För Staging-slutpunkten uppdaterar du slutpunkten för att använda den nya modellversionen i Staging.

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

   För slutpunkten Production uppdaterar du slutpunkten för att använda den nya modellversionen i Production.

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

Ytterligare resurser

• Skapa modellserverslutpunkter