Best practices en problemen oplossen met Hyperopt

Aanbevolen procedures

• Bayesiaanse benaderingen kunnen veel efficiënter zijn dan rasterzoekopdrachten en willekeurige zoekopdrachten. Daarom kunt u met het Algoritme Hyperopt Tree of Parzen Estimators (TPE) meer hyperparameters en grotere bereiken verkennen. Het gebruik van domeinkennis om het zoekdomein te beperken, kan optimize afstemmen en betere resultaten opleveren.
• Wanneer u hp.choice()gebruikt, retourneert Hyperopt de index van de keuze list. Daarom is de parameter die is vastgelegd in MLflow ook de index. Gebruik hyperopt.space_eval() om de parameter valuesop te halen.
• Voor modellen met lange trainingstijden kunt u experimenteren met kleine gegevenssets en veel hyperparameters. Gebruik MLflow om de best presterende modellen te identificeren en te bepalen welke hyperparameters kunnen worden opgelost. Op deze manier kunt u de parameterruimte verminderen terwijl u zich voorbereidt om af te stemmen op schaal.
• Profiteer van Hyperopt-ondersteuning voor voorwaardelijke dimensies en hyperparameters. Als u bijvoorbeeld meerdere varianten van gradiëntafname evalueert, in plaats van de hyperparameterruimte te beperken tot alleen de algemene hyperparameters, kunt u Hyperopt voorwaardelijke hyperparameters bevatten, de hyperparameters die alleen geschikt zijn voor een subset van de smaken. Zie Een zoekruimte definiërenvoor meer informatie over het gebruik van voorwaardelijke parameters.
• Wanneer u deze functie gebruikt SparkTrials, configureert u parallellisme op de juiste wijze voor clusters met alleen CPU en GPU. In Azure Databricks gebruiken CPU- en GPU-clusters verschillende aantallen uitvoerthreads per werkknooppunt. CPU-clusters gebruiken meerdere executorthreads per knooppunt. GPU-clusters gebruiken slechts één thread per knooppunt om conflicten tussen meerdere Spark-taken te voorkomen die dezelfde GPU proberen te gebruiken. Hoewel dit over het algemeen optimaal is voor bibliotheken die zijn geschreven voor GPU's, betekent dit dat maximale parallelle uitvoering wordt verminderd op GPU-clusters, dus houd er rekening mee hoeveel GPU's elke proefversie kan gebruiken bij het selecteren van GPU-exemplaartypen. Zie CLUSTERS met GPU voor meer informatie.
• Niet gebruiken SparkTrials voor clusters voor automatisch schalen. Hyperopt selecteert de parallelle uitvoeringswaarde wanneer de uitvoering begint. Als het cluster later automatisch wordt geschaald, kan Hyperopt niet profiteren van de nieuwe clustergrootte.

Problemen oplossen

• Een gerapporteerd verlies van NaN (geen getal) betekent meestal dat de doelfunctie is doorgegeven aan fmin() geretourneerde NaN. Dit heeft geen invloed op andere uitvoeringen en u kunt deze veilig negeren. U kunt dit resultaat voorkomen door de hyperparameterruimte aan te passen of de doelfunctie te wijzigen.
• Omdat Hyperopt stochastische zoekalgoritmen gebruikt, neemt het verlies meestal niet monotonisch af bij elke uitvoering. Deze methoden vinden echter vaak sneller de beste hyperparameters dan andere methoden.
• Zowel Hyperopt als Spark leidt tot overhead die de duur van de proefversie voor korte proefuitvoeringen (lage tientallen seconden) kan overheersten. De snelheid die u ziet, kan klein of zelfs nul zijn.

Voorbeeldnotitieblok: Aanbevolen procedures voor gegevenssets met verschillende grootten

SparkTrials voert de proefversies uit op Spark-werkknooppunten. Dit notebook bevat richtlijnen voor het verplaatsen van gegevenssets van verschillende grootten naar werkknooppunten bij gebruik SparkTrials.

Gegevenssets van verschillende ordes van groottenotitieblok verwerken

Get notitieboek