Datastore Klass

Representerar en lagringsabstraktion över ett Azure Machine Learning-lagringskonto.

Datalager är anslutna till arbetsytor och används för att lagra anslutningsinformation till Azure Storage-tjänster så att du kan referera till dem med namn och inte behöver komma ihåg anslutningsinformationen och hemligheten som används för att ansluta till lagringstjänsterna.

Exempel på Azure Storage-tjänster som stöds och som kan registreras som datalager är:

Azure Blob-behållare
Azure-filresursandel
Azure Data Lake
Azure Data Lake Gen2
Azure SQL Database
Azure-databasen för PostgreSQL
Databricks-filsystem
Azure-databas för MySQL

Använd den här klassen för att utföra hanteringsåtgärder, inklusive registrering, lista, hämta och ta bort datalager. Datalager för varje tjänst skapas med metoderna i den register* här klassen. När du använder ett datalager för att komma åt data måste du ha behörighet att komma åt dessa data, vilket beror på de autentiseringsuppgifter som registrerats med datalagringen.

Mer information om datalager och hur de kan användas i maskininlärning finns i följande artiklar:

Hämta ett datalager efter namn. Det här anropet skickar en begäran till datalagertjänsten.

Konstruktor

Datastore(workspace, name=None)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan.
name	str, <xref:optional> Namnet på datalagringen, standardvärdet Ingen, som hämtar standarddatalagringen. Standardvärde: None

Kommentarer

Om du vill interagera med data i dina datalager för maskininlärningsuppgifter, till exempel träning, skapar du en Azure Machine Learning-datauppsättning. Datauppsättningar tillhandahåller funktioner som läser in tabelldata i en Pandas eller Spark DataFrame. Datauppsättningar ger också möjlighet att ladda ned eller montera filer i valfritt format från Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database och Azure Database for PostgreSQL. Läs mer om hur du tränar med datauppsättningar.

I följande exempel visas hur du skapar ett datalager som är anslutet till Azure Blob Container.


   # from azureml.exceptions import UserErrorException
   #
   # blob_datastore_name='MyBlobDatastore'
   # account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   # container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   # account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
   #
   # try:
   #     blob_datastore = Datastore.get(ws, blob_datastore_name)
   #     print("Found Blob Datastore with name: %s" % blob_datastore_name)
   # except UserErrorException:
   #     blob_datastore = Datastore.register_azure_blob_container(
   #         workspace=ws,
   #         datastore_name=blob_datastore_name,
   #         account_name=account_name, # Storage account name
   #         container_name=container_name, # Name of Azure blob container
   #         account_key=account_key) # Storage account key
   #     print("Registered blob datastore with name: %s" % blob_datastore_name)
   #
   # blob_data_ref = DataReference(
   #     datastore=blob_datastore,
   #     data_reference_name="blob_test_data",
   #     path_on_datastore="testdata")

Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Metoder

get	Hämta ett datalager efter namn. Det här är samma sak som att anropa konstruktorn.
get_default	Hämta standarddatalagringen för arbetsytan.
register_azure_blob_container	Registrera en Azure Blob-container i datalagringen. Dataåtkomst baserad på autentiseringsuppgifter (GA) och identitetsbaserad (förhandsversion) stöds. Du kan välja att använda SAS-token eller lagringskontonyckel. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här.
register_azure_data_lake	Initiera ett nytt Azure Data Lake Datastore. Dataåtkomst baserad på autentiseringsuppgifter (GA) och identitetsbaserad (förhandsversion) stöds. Du kan registrera ett datalager med tjänstens huvudnamn för åtkomst till autentiseringsuppgifter. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här. Se nedan för ett exempel på hur du registrerar en Azure Data Lake Gen1 som ett datalager. adlsgen1_datastore_name='adlsgen1datastore' store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal adls_datastore = Datastore.register_azure_data_lake( workspace=ws, datastore_name=aslsgen1_datastore_name, subscription_id=subscription_id, # subscription id of ADLS account resource_group=resource_group, # resource group of ADLS account store_name=store_name, # ADLS account name tenant_id=tenant_id, # tenant id of service principal client_id=client_id, # client id of service principal client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2	Initiera ett nytt Azure Data Lake Gen2-datalager. Dataåtkomst baserad på autentiseringsuppgifter (GA) och identitetsbaserad (förhandsversion) stöds. Du kan registrera ett datalager med tjänstens huvudnamn för åtkomst till autentiseringsuppgifter. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här.
register_azure_file_share	Registrera en Azure-filresurs i dataarkivet. Du kan välja att använda SAS-token eller lagringskontonyckel
register_azure_my_sql	Initiera ett nytt Azure MySQL-datalager. MySQL-datalager kan bara användas för att skapa DataReference som indata och utdata till DataTransferStep i Azure Machine Learning-pipelines. Mer information finns här. Se nedan för ett exempel på hur du registrerar en Azure MySQL-databas som ett datalager.
register_azure_postgre_sql	Initiera ett nytt Azure PostgreSQL-datalager. Se nedan för ett exempel på hur du registrerar en Azure PostgreSQL-databas som ett datalager.
register_azure_sql_database	Initiera ett nytt Azure SQL-databasdatalager. Autentiseringsbaserad (GA) och identitetsbaserad (förhandsversion) dataåtkomst stöds, du kan välja att använda tjänstens huvudnamn eller användarnamn + lösenord. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här. Se nedan för ett exempel på hur du registrerar en Azure SQL-databas som ett datalager.
register_dbfs	Initiera ett nytt datalager för Databricks-filsystemet (DBFS). DBFS-datalagringen kan bara användas för att skapa DataReference som indata och PipelineData som utdata till DatabricksStep i Azure Machine Learning-pipelines. Mer information finns här..
register_hdfs	Anmärkning Det här är en experimentell metod och kan ändras när som helst. Mer information finns i https://aka.ms/acr/connected-registry. Initiera ett nytt HDFS-datalager.
set_as_default	Ange standarddatalagringen.
unregister	Avregistrerar datalagringen. den underliggande lagringstjänsten tas inte bort.

get

Hämta ett datalager efter namn. Det här är samma sak som att anropa konstruktorn.

static get(workspace, datastore_name)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan.
datastore_name Obligatorisk	str, <xref:optional> Namnet på datalagringen, standardvärdet Ingen, som hämtar standarddatalagringen.

Returer

Typ	Description
AzureFileDatastore, AzureBlobDatastore, AzureDataLakeDatastore, AzureDataLakeGen2Datastore, AzureSqlDatabaseDatastore, AzurePostgreSqlDatastore, AzureMySqlDatastore, DBFSDatastore	Motsvarande datalager för det namnet.

get_default

Hämta standarddatalagringen för arbetsytan.

static get_default(workspace)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan.

Returer

Typ	Description
AzureFileDatastore, AzureBlobDatastore	Standarddatalager för arbetsytan

register_azure_blob_container

Registrera en Azure Blob-container i datalagringen.

Dataåtkomst baserad på autentiseringsuppgifter (GA) och identitetsbaserad (förhandsversion) stöds. Du kan välja att använda SAS-token eller lagringskontonyckel. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan.
datastore_name Obligatorisk	str Namnet på dataarkivet, skiftlägesokänsligt, får bara innehålla alfanumeriska tecken och _.
container_name Obligatorisk	str Namnet på Azure Blob-containern.
account_name Obligatorisk	str Namnet på lagringskontot.
sas_token	str, <xref:optional> En SAS-token för kontot, standardvärdet Ingen. För dataläsning kräver vi minst list- och läsbehörigheter för containrar och objekt och för dataskrivning kräver vi dessutom skriv- och lägg till behörigheter. Standardvärde: None
account_key	str, <xref:optional> Åtkomstnycklar för ditt lagringskonto, standardvärdet Ingen. Standardvärde: None
protocol	str, <xref:optional> Protokoll som ska användas för att ansluta till blobcontainern. Om ingen är standard https. Standardvärde: None
endpoint	str, <xref:optional> Slutpunkten för lagringskontot. Om ingen är standard core.windows.net. Standardvärde: None
overwrite	bool, <xref:optional> skriver över ett befintligt datalager. Om datalagringen inte finns skapar den ett, som standard är False Standardvärde: False
create_if_not_exists	bool, <xref:optional> skapa blobcontainern om den inte finns, standardvärdet är False Standardvärde: False
skip_validation	bool, <xref:optional> hoppar över valideringen av lagringsnycklar, standardvärdet false Standardvärde: False
blob_cache_timeout	int, <xref:optional> När den här bloben är monterad anger du tidsgränsen för cacheminnet till så här många sekunder. Om inget anges cachelagras som standard ingen tidsgräns (dvs. blobar cachelagras under jobbets varaktighet när de läss). Standardvärde: None
grant_workspace_access	bool, <xref:optional> Standardvärdet är False. Ställ in det på Sant för att få åtkomst till data bakom det virtuella nätverket från Machine Learning Studio. Detta gör att dataåtkomst från Machine Learning Studio använder arbetsytans hanterade identitet för autentisering och lägger till arbetsytans hanterade identitet som läsare av lagringen. Du måste vara ägare eller administratör för användaråtkomst för lagringen för att kunna anmäla dig. Be administratören att konfigurera den åt dig om du inte har den behörighet som krävs. Läs merhttps://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardvärde: False
subscription_id	str, <xref:optional> Lagringskontots prenumerations-ID är som standard Inget. Standardvärde: None
resource_group	str, <xref:optional> Lagringskontots resursgrupp är som standard Ingen. Standardvärde: None

Returer

Typ	Description
AzureBlobDatastore	Blobdatalagringen.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.

register_azure_data_lake

Initiera ett nytt Azure Data Lake Datastore.

Dataåtkomst baserad på autentiseringsuppgifter (GA) och identitetsbaserad (förhandsversion) stöds. Du kan registrera ett datalager med tjänstens huvudnamn för åtkomst till autentiseringsuppgifter. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här.

Se nedan för ett exempel på hur du registrerar en Azure Data Lake Gen1 som ett datalager.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på datalagringen.
store_name Obligatorisk	str Namnet på ADLS-lagringsplatsen.
tenant_id	str, <xref:optional> Katalog-ID/klient-ID för tjänstens huvudnamn som används för att komma åt data. Standardvärde: None
client_id	str, <xref:optional> Klient-ID/program-ID för tjänstens huvudnamn som används för att komma åt data. Standardvärde: None
client_secret	str, <xref:optional> Klienthemligheten för tjänstens huvudnamn som används för att komma åt data. Standardvärde: None
resource_url	str, <xref:optional> Resurs-URL:en, som avgör vilka åtgärder som ska utföras i Data Lake-arkivet, om ingen, är standard som gör att `https://datalake.azure.net/` vi kan utföra filsystemåtgärder. Standardvärde: None
authority_url	str, <xref:optional> Utfärdar-URL:en som används för att autentisera användaren är som standard `https://login.microsoftonline.com`. Standardvärde: None
subscription_id	str, <xref:optional> ID:t för prenumerationen som ADLS-butiken tillhör. Standardvärde: None
resource_group	str, <xref:optional> Resursgruppen som ADLS-arkivet tillhör. Standardvärde: None
overwrite	bool, <xref:optional> Om du vill skriva över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False. Standardvärde: False
grant_workspace_access	bool, <xref:optional> Standardvärdet är False. Ställ in det på Sant för att få åtkomst till data bakom det virtuella nätverket från Machine Learning Studio. Detta gör att dataåtkomst från Machine Learning Studio använder arbetsytans hanterade identitet för autentisering och lägger till arbetsytans hanterade identitet som läsare av lagringen. Du måste vara ägare eller administratör för användaråtkomst för lagringen för att kunna anmäla dig. Be administratören att konfigurera den åt dig om du inte har den behörighet som krävs. Läs merhttps://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardvärde: False

Returer

Typ	Description
AzureDataLakeDatastore	Returnerar Azure Data Lake Datastore.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.

Anmärkning

Azure Data Lake Datastore stöder dataöverföring och körning av U-Sql-jobb med hjälp av Azure Machine Learning Pipelines.

Du kan också använda den som datakälla för Azure Machine Learning Dataset som kan laddas ned eller monteras på alla beräkningar som stöds.

register_azure_data_lake_gen2

Initiera ett nytt Azure Data Lake Gen2-datalager.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på datalagringen.
filesystem Obligatorisk	str Namnet på Data Lake Gen2-filsystemet.
account_name Obligatorisk	str Namnet på lagringskontot.
tenant_id	str, <xref:optional> Katalog-ID/klient-ID för tjänstens huvudnamn. Standardvärde: None
client_id	str, <xref:optional> Klient-ID/program-ID för tjänstens huvudnamn. Standardvärde: None
client_secret	str, <xref:optional> Hemligheten med tjänstens huvudnamn. Standardvärde: None
resource_url	str, <xref:optional> Resurs-URL:en, som avgör vilka åtgärder som ska utföras i datasjölagret, är standardinställningen `https://storage.azure.com/` som gör att vi kan utföra filsystemsåtgärder. Standardvärde: None
authority_url	str, <xref:optional> Utfärdar-URL:en som används för att autentisera användaren är som standard `https://login.microsoftonline.com`. Standardvärde: None
protocol	str, <xref:optional> Protokoll som ska användas för att ansluta till blobcontainern. Om ingen är standard https. Standardvärde: None
endpoint	str, <xref:optional> Slutpunkten för lagringskontot. Om ingen är standard core.windows.net. Standardvärde: None
overwrite	bool, <xref:optional> Om du vill skriva över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False. Standardvärde: False
subscription_id	str, <xref:optional> ID:t för prenumerationen som ADLS-butiken tillhör. Standardvärde: None
resource_group	str, <xref:optional> Resursgruppen som ADLS-arkivet tillhör. Standardvärde: None
grant_workspace_access	bool, <xref:optional> Standardvärdet är False. Ställ in det på Sant för att få åtkomst till data bakom det virtuella nätverket från Machine Learning Studio. Detta gör att dataåtkomst från Machine Learning Studio använder arbetsytans hanterade identitet för autentisering och lägger till arbetsytans hanterade identitet som läsare av lagringen. Du måste vara ägare eller administratör för användaråtkomst för lagringen för att kunna anmäla dig. Be administratören att konfigurera den åt dig om du inte har den behörighet som krävs. Läs merhttps://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardvärde: False

Returer

Typ	Description
AzureDataLakeGen2Datastore	Returnerar Azure Data Lake Gen2-datalagringen.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.

Registrera en Azure-filresurs i dataarkivet.

Du kan välja att använda SAS-token eller lagringskontonyckel

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på dataarkivet, skiftlägesokänsligt, får bara innehålla alfanumeriska tecken och _.
file_share_name Obligatorisk	str Namnet på azure-filcontainern.
account_name Obligatorisk	str Namnet på lagringskontot.
sas_token	str, <xref:optional> En SAS-token för kontot, standardvärdet Ingen. För dataläsning kräver vi minst list- och läsbehörigheter för containrar och objekt och för dataskrivning kräver vi dessutom skriv- och lägg till behörigheter. Standardvärde: None
account_key	str, <xref:optional> Åtkomstnycklar för ditt lagringskonto, standardvärdet Ingen. Standardvärde: None
protocol	str, <xref:optional> Protokollet som ska användas för att ansluta till filresursen. Om ingen är standard https. Standardvärde: None
endpoint	str, <xref:optional> Filresursens slutpunkt. Om ingen är standard core.windows.net. Standardvärde: None
overwrite	bool, <xref:optional> Om du vill skriva över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False. Standardvärde: False
create_if_not_exists	bool, <xref:optional> Om filresursen ska skapas om den inte finns. Standardvärdet är False. Standardvärde: False
skip_validation	bool, <xref:optional> Om du vill hoppa över validering av lagringsnycklar. Standardvärdet är False. Standardvärde: False

Returer

Typ	Description
AzureFileDatastore	Fildatalagringen.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.

register_azure_my_sql

Initiera ett nytt Azure MySQL-datalager.

MySQL-datalager kan bara användas för att skapa DataReference som indata och utdata till DataTransferStep i Azure Machine Learning-pipelines. Mer information finns här.

Se nedan för ett exempel på hur du registrerar en Azure MySQL-databas som ett datalager.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på datalagringen.
server_name Obligatorisk	str MySQL-servernamnet.
database_name Obligatorisk	str MySQL-databasnamnet.
user_id Obligatorisk	str Användar-ID för MySQL-servern.
user_password Obligatorisk	str Användarlösenordet för MySQL-servern.
port_number	str Portnumret för MySQL-servern. Standardvärde: None
endpoint	str, <xref:optional> Slutpunkten för MySQL-servern. Om ingen är standard mysql.database.azure.com. Standardvärde: None
overwrite	bool, <xref:optional> Om du vill skriva över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False. Standardvärde: False

Returer

Typ	Description
AzureMySqlDatastore	Returnerar MySQL-databasens datalager.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Initiera ett nytt Azure PostgreSQL-datalager.

Se nedan för ett exempel på hur du registrerar en Azure PostgreSQL-databas som ett datalager.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på datalagringen.
server_name Obligatorisk	str PostgreSQL-servernamnet.
database_name Obligatorisk	str PostgreSQL-databasnamnet.
user_id Obligatorisk	str Användar-ID för PostgreSQL-servern.
user_password Obligatorisk	str Användarlösenordet för PostgreSQL-servern.
port_number	str Portnumret för PostgreSQL-servern Standardvärde: None
endpoint	str, <xref:optional> Slutpunkten för PostgreSQL-servern. Om ingen är standard postgres.database.azure.com. Standardvärde: None
overwrite	bool, <xref:optional> Om du vill skriva över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False. Standardvärde: False
enforce_ssl	bool Anger SSL-krav för PostgreSQL-server. Standardvärdet är Sant. Standardvärde: True

Returer

Typ	Description
AzurePostgreSqlDatastore	Returnerar PostgreSQL-databasens datalager.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Initiera ett nytt Azure SQL-databasdatalager.

Autentiseringsbaserad (GA) och identitetsbaserad (förhandsversion) dataåtkomst stöds, du kan välja att använda tjänstens huvudnamn eller användarnamn + lösenord. Om inga autentiseringsuppgifter sparas med datalagringen används användarnas AAD-token i notebook- eller lokalt Python-program om den anropar någon av dessa funktioner direkt: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files identiteten för beräkningsmålet används i jobb som skickas av Experiment.submit för dataåtkomstautentisering. Mer information finns här.

Se nedan för ett exempel på hur du registrerar en Azure SQL-databas som ett datalager.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på datalagringen.
server_name Obligatorisk	str SQL-servernamnet. För fullständigt kvalificerade domännamn som "sample.database.windows.net" ska server_name-värdet vara "sample" och slutpunktsvärdet ska vara "database.windows.net".
database_name Obligatorisk	str SQL-databasnamnet.
tenant_id	str Katalog-ID/klient-ID för tjänstens huvudnamn. Standardvärde: None
client_id	str Klient-ID/program-ID för tjänstens huvudnamn. Standardvärde: None
client_secret	str Hemligheten med tjänstens huvudnamn. Standardvärde: None
resource_url	str, <xref:optional> Resurs-URL:en, som avgör vilka åtgärder som ska utföras i SQL-databasarkivet, om Ingen, är standardvärdet https://database.windows.net/. Standardvärde: None
authority_url	str, <xref:optional> Utfärdar-URL:en som används för att autentisera användaren är som standard https://login.microsoftonline.com. Standardvärde: None
endpoint	str, <xref:optional> Sql-serverns slutpunkt. Om ingen är standard database.windows.net. Standardvärde: None
overwrite	bool, <xref:optional> Om du vill skriva över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False. Standardvärde: False
username	str Användarnamnet för databasanvändaren för åtkomst till databasen. Standardvärde: None
password	str Lösenordet för databasanvändaren för åtkomst till databasen. Standardvärde: None
skip_validation Obligatorisk	bool, <xref:optional> Om du vill hoppa över verifieringen av att ansluta till SQL-databasen. Standardvärdet är False.
subscription_id	str, <xref:optional> ID:t för prenumerationen som ADLS-butiken tillhör. Standardvärde: None
resource_group	str, <xref:optional> Resursgruppen som ADLS-arkivet tillhör. Standardvärde: None
grant_workspace_access	bool, <xref:optional> Standardvärdet är False. Ställ in det på Sant för att få åtkomst till data bakom det virtuella nätverket från Machine Learning Studio. Detta gör att dataåtkomst från Machine Learning Studio använder arbetsytans hanterade identitet för autentisering och lägger till arbetsytans hanterade identitet som läsare av lagringen. Du måste vara ägare eller administratör för användaråtkomst för lagringen för att kunna anmäla dig. Be administratören att konfigurera den åt dig om du inte har den behörighet som krävs. Läs merhttps://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network Standardvärde: False

Returer

Typ	Description
AzureSqlDatabaseDatastore	Returnerar SQL-databasens datalager.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Initiera ett nytt datalager för Databricks-filsystemet (DBFS).

DBFS-datalagringen kan bara användas för att skapa DataReference som indata och PipelineData som utdata till DatabricksStep i Azure Machine Learning-pipelines. Mer information finns här..

static register_dbfs(workspace, datastore_name)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsytan som det här dataarkivet tillhör.
datastore_name Obligatorisk	str Namnet på datalagringen.

Returer

Typ	Description
DBFSDatastore	Returnerar DBFS-datalagringen.

Kommentarer

Om du kopplar lagring från en annan region än arbetsyteregionen kan det leda till högre svarstid och ytterligare kostnader för nätverksanvändning.

register_hdfs

Anmärkning

Det här är en experimentell metod och kan ändras när som helst. Mer information finns i https://aka.ms/acr/connected-registry.

Initiera ett nytt HDFS-datalager.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Parametrar

Name	Description
workspace Obligatorisk	Workspace arbetsytan som det här dataarkivet tillhör
datastore_name Obligatorisk	str datalagernamnet
protocol Obligatorisk	str eller <xref:_restclient.models.enum> Det protokoll som ska användas vid kommunikation med HDFS-klustret. http eller https. Möjliga värden är: "http", "https"
namenode_address Obligatorisk	str IP-adressen eller DNS-värdnamnet för HDFS-namnnoden. Du kan också inkludera en port.
hdfs_server_certificate Obligatorisk	str, <xref:optional> Sökvägen till TLS-signeringscertifikatet för HDFS-namnnoden om du använder TLS med ett självsignerat certifikat.
kerberos_realm Obligatorisk	str Kerberos-sfären.
kerberos_kdc_address Obligatorisk	str IP-adressen eller DNS-värdnamnet för Kerberos KDC.
kerberos_principal Obligatorisk	str Kerberos-huvudnamnet som ska användas för autentisering och auktorisering.
kerberos_keytab Obligatorisk	str, <xref:optional> Sökvägen till nyckelfliksfilen som innehåller de nycklar som motsvarar Kerberos-huvudnamnet. Ange antingen detta eller ett lösenord.
kerberos_password Obligatorisk	str, <xref:optional> Lösenordet som motsvarar Kerberos-huvudnamnet. Ange antingen detta eller sökvägen till en nyckelfliksfil.
overwrite Obligatorisk	bool, <xref:optional> skriver över ett befintligt datalager. Om datalagringen inte finns skapas ett. Standardvärdet är False.

set_as_default

Ange standarddatalagringen.

set_as_default()

Parametrar

Name	Description
datastore_name Obligatorisk	str Namnet på datalagringen.

unregister

Avregistrerar datalagringen. den underliggande lagringstjänsten tas inte bort.

unregister()

Feedback

Var den här sidan till hjälp?

Dela via

Datastore Klass

Konstruktor

Parametrar

Kommentarer

Metoder

get

Parametrar

Returer

get_default

Parametrar

Returer

register_azure_blob_container

Parametrar

Returer

Kommentarer

register_azure_data_lake

Parametrar

Returer

Kommentarer

register_azure_data_lake_gen2

Parametrar

Returer

Kommentarer

register_azure_file_share

Parametrar

Returer

Kommentarer

register_azure_my_sql

Parametrar

Returer

Kommentarer

register_azure_postgre_sql

Parametrar

Returer

Kommentarer

register_azure_sql_database

Parametrar

Returer

Kommentarer

register_dbfs

Parametrar

Returer

Kommentarer

register_hdfs

Parametrar

set_as_default

Parametrar

unregister

Feedback