Datastore Klas

Haal een gegevensarchief op naam op. Dit is hetzelfde als het aanroepen van de constructor.

static get(workspace, datastore_name)

Parameters

Retouren

Haal het standaardgegevensarchief voor de werkruimte op.

static get_default(workspace)

Parameters

Retouren

Registreer een Azure Blob-container bij het gegevensarchief.

Gegevenstoegang op basis van referenties (GA) en identiteitsgegevens (preview) worden ondersteund. U kunt ervoor kiezen om sas-token of opslagaccountsleutel te gebruiken. Als er geen referentie wordt opgeslagen met het gegevensarchief, wordt het AAD-token van gebruikers gebruikt in notebook of lokaal Python-programma als het rechtstreeks een van deze functies aanroept: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files de identiteit van het rekendoel wordt gebruikt in taken die door Experiment.submit worden verzonden voor verificatie van gegevenstoegang. Klik hier voor meer informatie.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

Initialiseer een nieuwe Azure Data Lake-gegevensopslag.

Gegevenstoegang op basis van referenties (GA) en identiteitsgegevens (preview) worden ondersteund. U kunt een gegevensarchief registreren bij service-principal voor gegevenstoegang op basis van referenties. Als er geen referentie wordt opgeslagen met het gegevensarchief, wordt het AAD-token van gebruikers gebruikt in notebook of lokaal Python-programma als het rechtstreeks een van deze functies aanroept: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files de identiteit van het rekendoel wordt gebruikt in taken die door Experiment.submit worden verzonden voor verificatie van gegevenstoegang. Klik hier voor meer informatie.

Zie hieronder voor een voorbeeld van het registreren van een Azure Data Lake Gen1 als een gegevensarchief.

   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

Initialiseer een nieuwe Azure Data Lake Gen2-gegevensopslag.

Gegevenstoegang op basis van referenties (GA) en identiteitsgegevens (preview) worden ondersteund. U kunt een gegevensarchief registreren bij service-principal voor gegevenstoegang op basis van referenties. Als er geen referentie wordt opgeslagen met het gegevensarchief, wordt het AAD-token van gebruikers gebruikt in notebook of lokaal Python-programma als het rechtstreeks een van deze functies aanroept: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files de identiteit van het rekendoel wordt gebruikt in taken die door Experiment.submit worden verzonden voor verificatie van gegevenstoegang. Klik hier voor meer informatie.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

Registreer een Azure-bestandsshare in het gegevensarchief.

U kunt ervoor kiezen om sas-token of opslagaccountsleutel te gebruiken

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

Initialiseer een nieuwe Azure MySQL-gegevensopslag.

MySQL-gegevensarchief kan alleen worden gebruikt om DataReference te maken als invoer en uitvoer naar DataTransferStep in Azure Machine Learning-pijplijnen. Meer informatie vindt u hier.

Zie hieronder voor een voorbeeld van het registreren van een Azure MySQL-database als een gegevensarchief.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

Initialiseer een nieuwe Azure PostgreSQL-gegevensopslag.

Zie hieronder voor een voorbeeld van het registreren van een Azure PostgreSQL-database als een gegevensarchief.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

Initialiseer een nieuwe Azure SQL-databasegegevensopslag.

Gegevenstoegang op basis van referenties en identiteiten (preview) wordt ondersteund. U kunt ervoor kiezen om service-principal of gebruikersnaam en wachtwoord te gebruiken. Als er geen referentie wordt opgeslagen met het gegevensarchief, wordt het AAD-token van gebruikers gebruikt in notebook of lokaal Python-programma als het rechtstreeks een van deze functies aanroept: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files de identiteit van het rekendoel wordt gebruikt in taken die door Experiment.submit worden verzonden voor verificatie van gegevenstoegang. Klik hier voor meer informatie.

Zie hieronder voor een voorbeeld van het registreren van een Azure SQL-database als een gegevensarchief.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

Initialiseer een nieuw Databricks File System -gegevensarchief (DBFS).

Het DBFS-gegevensarchief kan alleen worden gebruikt om DataReference te maken als invoer en PipelineData als uitvoer naar DatabricksStep in Azure Machine Learning-pijplijnen. Meer informatie vindt u hier..

static register_dbfs(workspace, datastore_name)

Parameters

Retouren

Opmerkingen

Als u opslag vanuit een andere regio koppelt dan de werkruimteregio, kan dit leiden tot hogere latentie en extra kosten voor netwerkgebruik.

Initialiseer een nieuw HDFS-gegevensarchief.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parameters

Stel het standaardgegevensarchief in.

set_as_default()

Parameters

De registratie van het gegevensarchief ongedaan maken. de onderliggende opslagservice wordt niet verwijderd.

unregister()