Werkstromen en modellen migreren naar Unity Catalog

Databricks raadt het gebruik van modellen in Unity Catalog aan voor verbeterde governance, eenvoudig delen tussen werkruimten en omgevingen en flexibelere MLOps-werkstromen. Op deze pagina wordt u stapsgewijs begeleid bij het migreren van modellen in het werkruimtemodelregister naar Unity Catalog.

Inleiding tot modellen in Unity Catalog

Modellen in Unity Catalog breiden de voordelen van Unity Catalog uit naar ML-modellen, waaronder gecentraliseerd toegangsbeheer en controle, lijnpatronen, en modeldeling en ontdekking in werkruimten. Modellen in Unity Catalog bieden ook meer flexibiliteit bij het beheren van de levenscyclus van het model.

Wanneer u modellen migreert naar Unity Catalog, worden sommige stappen voor de levenscyclus van modellen anders uitgevoerd:

• Registermachtigingen voor werkruimtemodellen worden vervangen door unity-catalogusmachtigingen op accountniveau. Zie stap 2. Wijs Unity Catalog-machtigingen toe aan het model.
• Fasen worden vervangen door aangepaste aliasnamen en tags. In plaats van vier vaste fasen kunt u maximaal 10 aangepaste en opnieuw toewijsbare aliassen maken. U kunt ook tags instellen op labelmodellen. Zie stap 4. Modelmetagegevens migreren.
• Implementatietaken worden gebruikt om modellen over te zetten gedurende hun levenscyclus. Zie stap 6. (Optioneel) Maak een implementatietaak.

Stap 1. Een model maken in Unity Catalog

Zie Modellen die compatibel zijn met Unity Catalog trainen en registreren.

stap 2. Unity Catalog-machtigingen toewijzen aan het model

Unity Catalog heeft een geïntegreerd machtigingsmodel. Zie Toegang tot modellen beheren om te leren hoe u machtigingen kunt toewijzen aan modellen in Unity Catalog.

In de volgende tabel ziet u de relatie tussen machtigingen in het register van het werkruimtemodel en bevoegdheden in Unity Catalog. Naast de bevoegdheden die in de tabel worden weergegeven, hebben alle acties ook privileges USE CATALOG en USE SCHEMA nodig.

Stap 3. Modelversies kopiëren

Als u modelversies wilt kopiëren, gebruikt u copy_model_version() met de MLflow-client >= 3.4.0.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Als het doelmodel niet bestaat in Unity Catalog, wordt het gemaakt door deze API-aanroep.

Voor modellen in Unity Catalog is een handtekening vereist. Als de versie van het werkruimtemodel geen handtekening heeft, raadt Databricks u aan er een te maken door de instructies in de MLflow-documentatie te volgen. Een ander alternatief is het gebruik van de omgevingsvariabele MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATION. Deze omgevingsvariabele is alleen beschikbaar wanneer u MLflow-versie copy_model_version() of hoger gebruikt 3.4.0 en vereist. Wanneer deze omgevingsvariabele is ingesteld op "true", is er geen handtekening vereist.

Voor een script dat u kunt gebruiken om alle modelversies van een model in uw werkruimtemodelregister te migreren naar een doel-Unity Catalog-model, raadpleegt u Modelversies migreren van werkruimtemodelregister naar Unity Catalog.

Stap 4. Modelmetagegevens migreren

In deze sectie wordt beschreven hoe u metagegevens op registerniveau aan het Unity Catalog-model en metagegevens van modelversies toewijst, zoals fasen, tags en beschrijvingen.

Stadia

Het werkruimtemodelregister heeft het concept 'fasen' gebruikt, zoals Staging en Production, om de levenscyclus van het model bij te houden. U kunt modellen per fase zoeken of aanroepen. In Unity Catalog zijn fasen vervangen door aliassen voor het aanroepen van een model en door tags voor het labelen van modellen.

Voor eenvoudige migratie van fases van het werkruimtemodelregister kunt u rechtstreeks productie- en faseringsnamen of andere aliasnamen gebruiken die u wilt gebruiken. In het werkruimtemodelregister kunnen meerdere modelversies zich in dezelfde fase bevinden en werd de nieuwste versie aangeroepen toen u naar een modelversie verwijst. In Unity Catalog wordt een alias toegewezen aan een unieke modelversie.

Voor eenvoudige migratie van faselabels gebruikt u tags om modelversies te labelen als 'Productie', 'Fasering' of 'Gearchiveerd'. U kunt ook elk ander label gebruiken. Zie Tags voor meer informatie over tags.

In het werkruimtemodelregister is de levenscyclus van een modelversie getraceerd per fase en is menselijke goedkeuring vereist voor een overgangsaanvraag. In Unity Catalog wordt de levenscyclus van een modelversie beheerd door een implementatietaak. Elke taak in de implementatietaak komt overeen met een 'fase'. Met implementatietaken kunt u de levenscyclus van het model aanpassen en complexere werkstromen gebruiken dan het werkruimtemodelregister. Uitvoeringsjobs bieden nog steeds ruimte voor menselijke goedkeuring. Zie MLflow 3-implementatietaken voor meer informatie.

Tags

In Unity Catalog maakt u tags op het model of de modelversie.

Als u wilt zoeken naar een model op tag in Catalog Explorer, typt u de sleutel of waarde in het zoekvak:

In Catalog Explorer kunt u alleen tags gebruiken om modellen te zoeken, niet modelversies. De MLflow-client biedt geen ondersteuning voor het zoeken naar modellen door Unity Catalog-tags. Unity Catalog staat maximaal 50 tags per object toe.

Beschrijving en opmerkingen

U kunt beschrijvingen toevoegen aan het model en de modelversie. Unity Catalog biedt ook de mogelijkheid van een door AI gegenereerde beschrijving voor het model.

Modellen in Unity Catalog hebben geen bijbehorende locatie voor de informatie die wordt weergegeven in de sectie Activiteiten op de pagina modelversie in het register van het werkruimtemodel. Als er informatie in die sectie staat die u wilt overdragen met de modelversie, kopieert u deze naar de sectie Beschrijving van de pagina modelversie in Unity Catalog.

Stap 5. Alle workloads en eindpunten bijwerken

Nadat u modellen en modelversies naar Unity Catalog hebt gemigreerd, werkt u alle taken, notebooks en andere werkbelastingen, inclusief eindpunten voor modellen, bij om de versies in Unity Catalog te gebruiken.

Stap 6. (Optioneel) Een implementatietaak maken

Een implementatietaak wordt automatisch geactiveerd wanneer een nieuwe modelversie wordt gemaakt en de evaluatie-, goedkeurings- en implementatiewerkstroom automatiseert. Zie MLflow 3-implementatietaken voor meer informatie.

U kunt meldingen instellen om te activeren voor gebeurtenissen zoals het maken of goedkeuren van een modelversie. Zie Meldingen toevoegen aan een taak.

Als u e-mailmeldingen hebt ingesteld voor gebeurtenissen in het werkruimtemodelregister, migreert u deze als volgt:

• Er is een nieuwe modelversie gemaakt: stel een implementatietaak in die wordt geactiveerd wanneer een nieuwe modelversie wordt gemaakt en een e-mailmelding wanneer de taak wordt geactiveerd.
• Faseovergangsaanvraag: faseovergangsaanvragen komen overeen met goedkeuringstaken. Stel een e-mailmelding in voor het slagen of mislukken van de goedkeuringstaak.
• Faseovergangen: faseovergangen komen overeen met taaktaken. Stel een e-mailmelding in voor het slagen of mislukken van de taak.
• Nieuwe opmerkingen: opmerkingen worden niet ondersteund in Unity Catalog.

Meer informatie

Op de onderstaande pagina's wordt beschreven hoe u werkstromen (modeltrainings- en batchdeductietaken) van het werkruimtemodelregister naar Unity Catalog migreert.

• ML-werkstromen upgraden naar doelmodellen in Unity Catalog
• Modelversies migreren van werkruimtemodelregister naar Unity Catalog