PyTorch Klass

Representerar en estimator för träning i PyTorch-experiment.

DEPRECATED. Använd objektet ScriptRunConfig med din egen definierade miljö eller någon av azure ML PyTorch-kuraterade miljöer. En introduktion till hur du konfigurerar PyTorch-experimentkörningar med ScriptRunConfig finns i Träna PyTorch-modeller i stor skala med Azure Machine Learning.

Versioner som stöds: 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6

Initiera en PyTorch-skattning.

Docker-körningsreferens. :type shm_size: str :p aram resume_from: Datasökvägen som innehåller kontrollpunkten eller modellfilerna som experimentet ska återupptas från. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: Den maximala tillåtna tiden för körningen. Azure ML försöker automatiskt

avbryt körningen om det tar längre tid än det här värdet.

Konstruktor

PyTorch(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parametrar

Name	Description
source_directory Obligatorisk	str En lokal katalog som innehåller experimentkonfigurationsfiler.
compute_target Obligatorisk	AbstractComputeTarget eller str Beräkningsmålet där träningen ska ske. Detta kan antingen vara ett objekt eller strängen "lokal".
vm_size Obligatorisk	str Vm-storleken på beräkningsmålet som ska skapas för träningen. Värden som stöds: Valfri storlek på virtuella Azure-datorer.
vm_priority Obligatorisk	str Den virtuella datorns prioritet för det beräkningsmål som ska skapas för träningen. Om det inte anges används "dedikerad". Värden som stöds: "dedikerad" och "lågprioritet". Detta börjar gälla endast när `vm_size param` anges i indata.
entry_script Obligatorisk	str Den relativa sökvägen till filen som innehåller träningsskriptet.
script_params Obligatorisk	dict En ordlista med kommandoradsargument som ska skickas till träningsskriptet som anges i `entry_script`.
node_count Obligatorisk	int Antalet noder i beräkningsmålet som används för träning. Om större än 1 körs ett MPI-distribuerat jobb. Endast målet AmlCompute stöds för distribuerade jobb.
process_count_per_node Obligatorisk	int Antalet processer per nod. Om större än 1 körs ett MPI-distribuerat jobb. Endast målet AmlCompute stöds för distribuerade jobb.
distributed_backend Obligatorisk	str Kommunikationsserverdelen för distribuerad träning. DEPRECATED. Använd parametern `distributed_training` . Värden som stöds: "mpi", "gloo" och "nccl". "mpi": MPI/Horovod 'gloo', 'nccl': Native PyTorch Distributed Training Den här parametern krävs när `node_count` eller `process_count_per_node`> 1. När `node_count` == 1 och `process_count_per_node` == 1 används ingen serverdel om inte serverdelen uttryckligen anges. AmlCompute Endast målet stöds för distribuerad träning.
distributed_training Obligatorisk	Mpi eller Gloo eller Nccl Parametrar för att köra ett distribuerat träningsjobb. För att köra ett distribuerat jobb med MPI-serverdelen använder du Mpi objektet för att ange `process_count_per_node`. Om du vill köra ett distribuerat jobb med gloo-serverdelen använder du Gloo. Om du vill köra ett distribuerat jobb med nccl-serverdelen använder du Nccl.
use_gpu Obligatorisk	bool Anger om miljön som ska köra experimentet ska ha stöd för GPU:er. Om det är sant används en GPU-baserad Docker-standardbild i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern `custom_docker_image` inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.
use_docker Obligatorisk	bool Anger om miljön som ska köra experimentet ska vara Docker-baserad.
custom_docker_base_image Obligatorisk	str Namnet på Docker-avbildningen som avbildningen ska använda för träning skapas från. DEPRECATED. Använd parametern `custom_docker_image` . Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
custom_docker_image Obligatorisk	str Namnet på Docker-avbildningen som avbildningen ska använda för träning skapas från. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
image_registry_details Obligatorisk	ContainerRegistry Information om Docker-avbildningsregistret.
user_managed Obligatorisk	bool Anger om Azure ML återanvänder en befintlig Python-miljö. Om det är falskt skapar Azure ML en Python-miljö baserat på conda-beroendespecifikationen.
conda_packages Obligatorisk	list En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön för experimentet.
pip_packages Obligatorisk	list En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön för experimentet.
conda_dependencies_file_path Obligatorisk	str Den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket. DEPRECATED. Använd parametern `conda_dependencies_file` .
pip_requirements_file_path Obligatorisk	str Den relativa sökvägen till textfilen pip-krav. Detta kan anges i kombination med parametern `pip_packages` . DEPRECATED. Använd parametern `pip_requirements_file` .
conda_dependencies_file Obligatorisk	str Den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket.
pip_requirements_file Obligatorisk	str Den relativa sökvägen till textfilen pip-krav. Detta kan anges i kombination med parametern `pip_packages` .
environment_variables Obligatorisk	dict En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i den process där användarskript körs.
environment_definition Obligatorisk	Environment Miljödefinitionen för experimentet. Den innehåller variablerna PythonSection, DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för beräkningskonstruktionen kan anges med den här parametern. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som `use_gpu`, `custom_docker_image`, `conda_packages`eller `pip_packages`. Fel rapporteras vid ogiltiga kombinationer av parametrar.
inputs Obligatorisk	list En lista över DataReference eller DatasetConsumptionConfig objekt som ska användas som indata.
source_directory_data_store Obligatorisk	Datastore Det säkerhetskopierade dataarkivet för projektresursen.
shm_size Obligatorisk	str Storleken på Docker-containerns delade minnesblock. Om den inte har angetts används standard azureml.core.environment._DEFAULT_SHM_SIZE. Mer information finns i Docker-körningsreferens.
resume_from Obligatorisk	DataPath Datasökvägen som innehåller kontrollpunkten eller modellfilerna som experimentet ska återupptas från.
max_run_duration_seconds Obligatorisk	int Den maximala tillåtna tiden för körningen. Azure ML försöker automatiskt avbryta körningen om det tar längre tid än det här värdet.
framework_version Obligatorisk	str Den PyTorch-version som ska användas för att köra träningskod. `PyTorch.get_supported_versions()` returnerar en lista över de versioner som stöds av det aktuella SDK:et.
source_directory Obligatorisk	str En lokal katalog som innehåller experimentkonfigurationsfiler.
compute_target Obligatorisk	AbstractComputeTarget eller str Beräkningsmålet där träningen ska ske. Detta kan antingen vara ett objekt eller strängen "lokal".
vm_size Obligatorisk	str Vm-storleken på beräkningsmålet som ska skapas för träningen. Värden som stöds: Valfri storlek på virtuella Azure-datorer.
vm_priority Obligatorisk	str Den virtuella datorns prioritet för det beräkningsmål som ska skapas för träningen. Om det inte anges används "dedikerad". Värden som stöds: "dedikerad" och "lågprioritet". Detta börjar gälla endast när `vm_size param` anges i indata.
entry_script Obligatorisk	str Den relativa sökvägen till filen som innehåller träningsskriptet.
script_params Obligatorisk	dict En ordlista med kommandoradsargument som ska skickas till träningsskriptet som anges i `entry_script`.
node_count Obligatorisk	int Antalet noder i beräkningsmålet som används för träning. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast målet azureml.core.compute.AmlCompute stöds för distribuerade jobb.
process_count_per_node Obligatorisk	int Antalet processer per nod. Om större än 1 körs ett MPI-distribuerat jobb. Endast målet AmlCompute stöds för distribuerade jobb.
distributed_backend Obligatorisk	str Kommunikationsserverdelen för distribuerad träning. DEPRECATED. Använd parametern `distributed_training` . Värden som stöds: "mpi", "gloo" och "nccl". "mpi": MPI/Horovod 'gloo', 'nccl': Native PyTorch Distributed Training Den här parametern krävs när `node_count` eller `process_count_per_node`> 1. När `node_count` == 1 och `process_count_per_node` == 1 används ingen serverdel om inte serverdelen uttryckligen anges. AmlCompute Endast målet stöds för distribuerad träning.
distributed_training Obligatorisk	Mpi eller Gloo eller Nccl Parametrar för att köra ett distribuerat träningsjobb. För att köra ett distribuerat jobb med MPI-serverdelen använder du Mpi objektet för att ange `process_count_per_node`. Om du vill köra ett distribuerat jobb med gloo-serverdelen använder du Gloo. Om du vill köra ett distribuerat jobb med nccl-serverdelen använder du Nccl.
use_gpu Obligatorisk	bool Anger om miljön som ska köra experimentet ska ha stöd för GPU:er. Om det är sant används en GPU-baserad Docker-standardbild i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern `custom_docker_image` inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.
use_docker Obligatorisk	bool Anger om miljön som ska köra experimentet ska vara Docker-baserad.
custom_docker_base_image Obligatorisk	str Namnet på Docker-avbildningen som avbildningen ska använda för träning skapas från. DEPRECATED. Använd parametern `custom_docker_image` . Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
custom_docker_image Obligatorisk	str Namnet på Docker-avbildningen som avbildningen ska använda för träning skapas från. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
image_registry_details Obligatorisk	ContainerRegistry Information om Docker-avbildningsregistret.
user_managed Obligatorisk	bool Anger om Azure ML återanvänder en befintlig Python-miljö. Om det är falskt skapar Azure ML en Python-miljö baserat på conda-beroendespecifikationen.
conda_packages Obligatorisk	list En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön för experimentet.
pip_packages Obligatorisk	list En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön för experimentet.
conda_dependencies_file_path Obligatorisk	str Den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket. DEPRECATED. Använd parametern `conda_dependencies_file` .
pip_requirements_file_path Obligatorisk	str Den relativa sökvägen till textfilen pip-krav. Detta kan anges i kombination med parametern `pip_packages` . DEPRECATED. Använd parametern `pip_requirements_file` .
conda_dependencies_file Obligatorisk	str Den relativa sökvägen till yaml-filen conda-beroenden. Om det anges kommer Azure ML inte att installera några ramverksrelaterade paket.
pip_requirements_file Obligatorisk	str Den relativa sökvägen till textfilen pip-krav. Detta kan anges i kombination med parametern `pip_packages` .
environment_variables Obligatorisk	dict En ordlista med miljövariablers namn och värden. Dessa miljövariabler anges i den process där användarskript körs.
environment_definition Obligatorisk	Environment Miljödefinitionen för experimentet. Den innehåller variablerna PythonSection, DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för beräkningskonstruktionen kan anges med den här parametern. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som `use_gpu`, `custom_docker_image`, `conda_packages`eller `pip_packages`. Fel rapporteras för ogiltiga kombinationer.
inputs Obligatorisk	list En lista över azureml.data.data_reference. DataReference-objekt som ska användas som indata.
source_directory_data_store Obligatorisk	Datastore Det säkerhetskopierade dataarkivet för projektresursen.
shm_size Obligatorisk	Storleken på Docker-containerns delade minnesblock. Om den inte har angetts används standard azureml.core.environment._DEFAULT_SHM_SIZE. Mer information finns i
framework_version Obligatorisk	str Den PyTorch-version som ska användas för att köra träningskod. `PyTorch.get_supported_versions()` returnerar en lista över de versioner som stöds av det aktuella SDK:et.
_enable_optimized_mode Obligatorisk	bool Aktivera inkrementell miljöversion med fördefinierade ramverksbilder för snabbare förberedelse av miljön. En fördefinierad ramverksavbildning bygger på Azure ML-standard-CPU/GPU-basavbildningar med förinstallerade ramverksberoenden.
_disable_validation Obligatorisk	bool Inaktivera skriptverifiering innan du kör sändningen. Standardvärdet är Sant.
_show_lint_warnings Obligatorisk	bool Visa varningar för skriptlintning. Standardvärdet är False.
_show_package_warnings Obligatorisk	bool Visa paketverifieringsvarningar. Standardvärdet är False.

Kommentarer

När du skickar ett träningsjobb kör Azure ML skriptet i en conda-miljö i en Docker-container. PyTorch-containrarna har följande beroenden installerade.

Beroenden | PyTorch 1.0/1.1/1.2/1.3/ | PyTorch 1.4/1.5/1.6 | ———————- | —————– | ————- | Python | 3.6.2 | 3.6.2 | CUDA (endast GPU-avbildning) | 10,0 | 10.1 | cuDNN (endast GPU-avbildning) | 7.6.3 | 7.6.3 | NCCL (endast GPU-avbildning) | 2.4.8 | 2.4.8 | azureml-defaults | Senaste | Senaste | OpenMpi | 3.1.2 | 3.1.2 | horovod | 0.18.1 | 0.18.1/0.19.1/0.19.5 | miniconda | 4.5.11 | 4.5.11 | fackla | 1.0/1.1/1.2/1.3.1 | 1.4.0/1.5.0/1.6.0 | torchvision | 0.4.1 | 0.5.0 | git | 2.7.4 | 2.7.4 | tensorboard | 1.14 | 1.14 | framtida | 0.17.1 | 0.17.1 |

Docker-avbildningarna utökar Ubuntu 16.04.

Om du vill installera ytterligare beroenden kan du antingen använda parametern pip_packages eller conda_packages . Eller så kan du ange parametern pip_requirements_file eller conda_dependencies_file . Du kan också skapa en egen avbildning och skicka parametern custom_docker_image till beräkningskonstruktorn.

Mer information om Docker-containrar som används i PyTorch-träning finns https://github.com/Azure/AzureML-Containersi .

PyTorch-uppskattningsorn stöder distribuerad träning över CPU- och GPU-kluster med horovod, ett ramverk med öppen källkod och alla reduce-ramverk för distribuerad träning. Exempel och mer information om hur du använder PyTorch i distribuerad utbildning finns i självstudien Träna och registrera PyTorch-modeller i stor skala med Azure Machine Learning.

Attribut

DEFAULT_VERSION

DEFAULT_VERSION = '1.4'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'PyTorch'

Feedback

Var den här sidan till hjälp?