MLflow och Azure Machine Learning

GÄLLER FÖR:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (aktuell)

Den här artikeln beskriver funktionerna i MLflow, ett ramverk med öppen källkod som hanterar hela maskininlärningslivscykeln. MLflow använder en konsekvent uppsättning verktyg för att träna och hantera modeller på olika plattformar. Använd MLflow oavsett om experimenten körs lokalt, på ett fjärrberäkningsmål, en virtuell dator eller en Azure Machine Learning-beräkningsinstans.

Azure Machine Learning-arbetsytor är MLflow-kompatibla, så du använder en Azure Machine Learning-arbetsyta på samma sätt som du använder en MLflow-server. Den här kompatibiliteten ger följande fördelar:

• Azure Machine Learning är inte värd för MLflow-serverinstanser, men använder MLflow-API:erna direkt.
• Använd en Azure Machine Learning-arbetsyta som spårningsserver för valfri MLflow-kod, oavsett om den körs i Azure Machine Learning eller inte. Konfigurera bara MLflow så att det pekar på arbetsytan där spårning sker.
• Kör alla träningsrutiner som använder MLflow i Azure Machine Learning utan att göra ändringar.

Vad är spårning

När du arbetar med jobb spårar Azure Machine Learning automatiskt information om experiment, till exempel kod, miljö och indata och utdata. Men modeller, parametrar och mått är specifika för varje scenario, så modellbyggare måste konfigurera sin spårning.

De sparade spårningsmetadata varierar beroende på experiment och kan omfatta:

• Kod
• Miljöinformation som OS-version och Python-paket
• Indata
• Parameterkonfigurationer
• Modeller
• Utvärderingsmått
• Utvärderingsvisualiseringar som förvirringsmatriser och prioritetsritningar
• Utvärderingsresultat, inklusive vissa utvärderingsförutsägelser

Fördelar med spårningsexperiment

Oavsett om du tränar modeller med jobb i Azure Machine Learning eller interaktivt i notebook-filer hjälper experimentspårning dig:

• Organisera alla dina maskininlärningsexperiment på ett och samma ställe. Sök sedan efter och filtrera experiment och öka detaljnivån för att se information om tidigare experiment.
• Jämföra experiment, analysera resultat och felsöka modellträning.
• Återskapa eller köra experiment igen för att verifiera resultaten.
• Samarbeta enklare eftersom du ser vad andra teammedlemmar gör, delar experimentresultat och får åtkomst till experimentdata programmatiskt.

Spårning med MLflow

Azure Machine Learning-arbetsytor är MLflow-kompatibla. Den här kompatibiliteten innebär att du använder MLflow för att spåra körningar, mått, parametrar och artefakter på arbetsytor utan att ändra dina träningsrutiner eller lägga till någon molnspecifik syntax. Information om hur du använder MLflow för att spåra experiment och körningar på Azure Machine Learning-arbetsytor finns i Spåra experiment och modeller med MLflow.

Azure Machine Learning använder MLflow-spårning för att logga mått och lagra artefakter för dina experiment. När du är ansluten till Azure Machine Learning visas all MLflow-spårning i arbetsytan som du använder.

Information om hur du aktiverar loggning för att övervaka realtidskörningsmått med MLflow finns i Logga mått, parametrar och filer med MLflow. Du ställer också frågor mot och jämför experiment och körningar med MLflow.

MLflow i Azure Machine Learning är ett sätt att centralisera spårning. Anslut MLflow till Azure Machine Learning-arbetsytor även när du arbetar lokalt eller i ett annat moln. Azure Machine Learning-arbetsytan ger en centraliserad, säker och skalbar plats för lagring av träningsmått och modeller.

Med MLflow i Azure Machine Learning kan du:

• Spåra maskininlärningsexperiment och modeller som körs lokalt eller i molnet.
• Spåra Maskininlärningsexperiment i Azure Databricks.
• Spåra Maskininlärningsexperiment i Azure Synapse Analytics.

Spårning med MLflow i R

MLflow-stöd i R har följande begränsningar:

• MLflow-spårning är begränsad till att spåra experimentmått, parametrar och modeller i Azure Machine Learning-jobb.
• Interaktiv utbildning på RStudio, Posit (tidigare RStudio Workbench) eller Jupyter Notebooks med R-kernels stöds inte.
• Modellhantering och registrering stöds inte. Använd Azure Machine Learning CLI eller Azure Machine Learning-studio för modellregistrering och hantering.

Exempel på hur du använder MLflow-spårningsklienten med R-modeller i Azure Machine Learning finns i Träna R-modeller med Azure Machine Learning CLI (v2).

Spårning med MLflow i Java

MLflow-stöd i Java har följande begränsningar:

• MLflow-spårning är begränsad till att spåra experimentmått och parametrar i Azure Machine Learning-jobb.
• Artefakter och modeller kan inte spåras. Använd mlflow.save_model i stället metoden med outputs mappen i jobb för att spara modeller eller artefakter som du vill samla in.

Ett Java-exempel som använder MLflow-spårningsklienten med Azure Machine Learning-spårningsservern finns i azuremlflow-java.

Exempel på notebook-filer för MLflow-spårning

• Träning och spårning av en XGBoost-klassificerare med MLflow visar hur du använder MLflow för att spåra experiment, logga modeller och kombinera flera varianter i pipelinekonfigurationer.
• Utbildning och spårning av en XGBoost-klassificerare med MLflow med hjälp av autentisering med tjänstens huvudnamn visar hur du använder MLflow för att spåra experiment från en beräkning som körs utanför Azure Machine Learning. Exemplet visar hur du autentiserar mot Azure Machine Learning-tjänster med hjälp av tjänstens huvudnamn.
• Optimering av hyperparametrar med HyperOpt och kapslade körningar i MLflow visar hur du använder underordnade körningar för att utföra hyperparameteroptimering för modeller med hjälp av det populära HyperOpt-biblioteket. Exemplet visar hur du överför mått, parametrar och artefakter från underordnade körningar till överordnade körningar.
• Loggningsmodeller med MLflow visar hur du använder begreppet modeller i stället för artefakter med MLflow. Exemplet visar också hur du skapar anpassade modeller.
• Hantera körningar och experiment med MLflow visar hur du använder MLflow för att fråga experiment, körningar, mått, parametrar och artefakter från Azure Machine Learning.

Modellregistrering med MLflow

Azure Machine Learning stöder MLflow för modellhantering. Om du är bekant med MLflow-klienten kan du använda den för att hantera hela modelllivscykeln. Mer information om hur du hanterar modeller med MLflow-API:et i Azure Machine Learning finns i Hantera modellregister i Azure Machine Learning med MLflow.

Exempel på notebook-fil för MLflow-modellregistrering

Modellhantering med MLflow visar hur du hanterar modeller i register.

Modelldistribution med MLflow

Distribuera MLflow-modeller till Azure Machine Learning för att få en bättre upplevelse. Azure Machine Learning stöder distribution av MLflow-modeller till både realtids- och batchslutpunkter utan att ange en miljö eller ett bedömningsskript.

MLflow SDK, Azure Machine Learning CLI, Azure Machine Learning SDK för Python och Azure Machine Learning-studio alla stöder MLflow-modelldistribution. Mer information om hur du distribuerar MLflow-modeller till Azure Machine Learning för både realtids- och batchinferens finns i Riktlinjer för distribution av MLflow-modeller.

Exempel på notebook-filer för MLflow-modelldistribution

• Distribuera MLflow till onlineslutpunkter visar hur du distribuerar MLflow-modeller till onlineslutpunkter med MLflow SDK.
• Progressiv distribution av MLflow-distributioner visar hur du distribuerar MLflow-modeller till onlineslutpunkter med MLflow SDK med progressiv modelldistribution. Exemplet visar också hur du distribuerar flera versioner av en modell till samma slutpunkt.
• Distribuera MLflow-modeller till äldre webbtjänster visar hur du distribuerar MLflow-modeller till äldre webbtjänster (Azure Container Instances eller Azure Kubernetes Service v1) med hjälp av MLflow SDK.
• Träna modeller i Azure Databricks och distribuera dem på Azure Machine Learning visar hur du tränar modeller i Azure Databricks och distribuerar dem i Azure Machine Learning. Exemplet omfattar även spårningsexperiment med MLflow-instansen i Azure Databricks.

Utbildning med MLflow Projects (förhandsversion)

Skicka träningsjobb till Azure Machine Learning med hjälp av MLflow Projects. Skicka jobb lokalt med Azure Machine Learning-spårning eller migrera dina jobb till molnet med hjälp av Azure Machine Learning-beräkning.

Lär dig hur du skickar träningsjobb som använder MLflow Projects till Azure Machine Learning-arbetsytor för spårning i Träna med MLflow Projects i Azure Machine Learning (förhandsversion).

Exempel på notebook-filer för MLflow-projekt

• Träna med MLflow Projects på lokalt system
• Träna med MLflow Projects på Azure Machine Learning-beräkning

Funktioner för MLflow- och Azure Machine Learning-klientverktyg

I följande tabell visas livscykelåtgärder för maskininlärning som du kan utföra med MLflow SDK och Azure Machine Learning-klientverktyg.

¹ Mer information finns i Hantera modellregister i Azure Machine Learning med MLflow.

² Ett alternativ finns i Distribuera och köra MLflow-modeller i Spark-jobb.

Relaterat innehåll

• Konfigurera MLflow för Azure Machine Learning
• Spåra ML-experiment och modeller med MLflow
• Riktlinjer för att distribuera MLflow-modeller