Dataset Klass

Arkivera en aktiv eller inaktuell datauppsättning.

archive()

Returer

Kommentarer

Efter arkiveringen resulterar alla försök att använda datauppsättningen i ett fel. Om arkiveras av misstag aktiverar återaktiveringen den.

Analyserar filerna på den angivna sökvägen och returnerar en ny datauppsättning.

static auto_read_files(path, include_path=False, partition_format=None)

Parametrar

Returer

Kommentarer

Använd den här metoden när filformat och avgränsare ska identifieras automatiskt.

När du har skapat en datauppsättning bör du använda get_profile för att lista identifierade kolumntyper och sammanfattningsstatistik för varje kolumn.

Den returnerade datauppsättningen är inte registrerad på arbetsytan.

Jämför den aktuella datauppsättningens profil med en annan datamängdsprofil.

Detta visar skillnaderna i sammanfattningsstatistik mellan två datauppsättningar. Parametern "rhs_dataset" står för "höger sida" och är helt enkelt den andra datauppsättningen. Den första datamängden (det aktuella datamängdsobjektet) anses vara "vänster sida".

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parametrar

Returer

Kommentarer

Detta gäller endast för registrerade datauppsättningar. Genererar ett undantag om den aktuella datauppsättningens profil inte finns. För oregistrerade datauppsättningar använder du metoden profile.compare.

Skapa en ögonblicksbild av den registrerade datauppsättningen.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parametrar

Returer

Kommentarer

Ögonblicksbilder samlar in sammanfattningsstatistik för tidpunkten för underliggande data och en valfri kopia av själva data. Mer information om hur du skapar ögonblicksbilder finns i https://aka.ms/azureml/howto/createsnapshots.

Ta bort en ögonblicksbild av datauppsättningen efter namn.

delete_snapshot(snapshot_name)

Parametrar

Returer

Kommentarer

Använd det här alternativet om du vill frigöra lagringsutrymme som förbrukas av data som sparats i ögonblicksbilder som du inte längre behöver.

Inaktuella en aktiv datauppsättning på en arbetsyta av en annan datauppsättning.

deprecate(deprecate_by_dataset_id)

Parametrar

Returer

Kommentarer

Inaktuella datauppsättningar loggar varningar när de används. Om du inaktuella en datauppsättning blir alla dess definitioner inaktuella.

Inaktuella datauppsättningar kan fortfarande användas. Om du vill blockera en datauppsättning helt från att förbrukas arkiverar du den.

Om den är inaktuell av misstag aktiverar återaktiveringen den.

Diff den aktuella datauppsättningen med rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Parametrar

Returer

Skapa en oregistrerad, minnesintern datauppsättning från binära filer.

static from_binary_files(path)

Parametrar

Returer

Kommentarer

Använd den här metoden för att läsa filer som strömmar av binära data. Returnerar ett filströmsobjekt per filläsning. Använd den här metoden när du läser bilder, videor, ljud eller andra binära data.

get_profile och create_snapshot fungerar inte som förväntat för en datauppsättning som skapats med den här metoden.

Den returnerade datauppsättningen är inte registrerad på arbetsytan.

Skapa en oregistrerad, minnesintern datauppsättning från avgränsade filer.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parametrar

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Returer

Kommentarer

Använd den här metoden för att läsa avgränsade textfiler när du vill styra de alternativ som används.

När du har skapat en datauppsättning bör du använda get_profile för att lista identifierade kolumntyper och sammanfattningsstatistik för varje kolumn.

Den returnerade datauppsättningen är inte registrerad på arbetsytan.

Skapa en oregistrerad, minnesintern datauppsättning från Excel-filer.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parametrar

Returer

Kommentarer

Använd den här metoden för att läsa Excel-filer i .xlsx format. Data kan läsas från ett blad i varje Excel-fil. När du har skapat en datauppsättning bör du använda get_profile för att lista identifierade kolumntyper och sammanfattningsstatistik för varje kolumn. Den returnerade datauppsättningen är inte registrerad på arbetsytan.

Skapa en oregistrerad, minnesintern datauppsättning från JSON-filer.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parametrar

Returer

Skapa en oregistrerad minnesintern datauppsättning från en Pandas-dataram.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parametrar

Returer

Kommentarer

Använd den här metoden för att konvertera en Pandas-dataram till ett Dataset-objekt. Det går inte att registrera en datauppsättning som skapats med den här metoden eftersom data kommer från minnet.

Om in_memory är False konverteras Pandas DataFrame till en CSV-fil lokalt. Om pat är av typen DataReference laddas Pandas-ramen upp till datalagret och datauppsättningen baseras på DataReference. Om sökvägen är en lokal mapp skapas datauppsättningen från den lokala filen som inte kan tas bort.

Genererar ett undantag om den aktuella DataReference inte är en mappsökväg.

Skapa en oregistrerad, minnesintern datauppsättning från parquet-filer.

static from_parquet_files(path, include_path=False, partition_format=None)

Parametrar

Returer

Kommentarer

Använd den här metoden för att läsa Parquet-filer.

När du har skapat en datauppsättning bör du använda get_profile för att lista identifierade kolumntyper och sammanfattningsstatistik för varje kolumn.

Den returnerade datauppsättningen är inte registrerad på arbetsytan.

Skapa en oregistrerad minnesintern datauppsättning från en SQL-fråga.

static from_sql_query(data_source, query)

Parametrar

Returer

Generera en ny profil för datauppsättningen.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parametrar

Returer

Kommentarer

Synkront anrop blockeras tills det har slutförts. Anropa get_result för att hämta resultatet av åtgärden.

Hämta en datauppsättning som redan finns på arbetsytan genom att ange antingen dess namn eller ID.

static get(workspace, name=None, id=None)

Parametrar

Returer

Kommentarer

Du kan ange antingen name eller id. Ett undantag utlöses om:

• både name och id anges men matchar inte.

• Datauppsättningen med angiven name eller id kan inte hittas på arbetsytan.

Hämta alla registrerade datamängder på arbetsytan.

get_all()

Parametrar

Returer

Hämta alla ögonblicksbilder av datauppsättningen.

get_all_snapshots()

Returer

Hämta en datauppsättning som sparas på arbetsytan.

get_by_id(id, **kwargs)

Parametrar

Returer

Hämta en registrerad datauppsättning från arbetsytan med dess registreringsnamn.

get_by_name(name, version='latest', **kwargs)

Parametrar

Returer

Hämta en specifik definition av datauppsättningen.

get_definition(version_id=None)

Parametrar

Returer

Kommentarer

Om version_id anges försöker Azure Machine Learning hämta definitionen som motsvarar den versionen. Om den versionen inte finns genereras ett undantag. Om version_id utelämnas hämtas den senaste versionen.

Hämta alla definitioner av datauppsättningen.

get_definitions()

Returer

Kommentarer

En datauppsättning som är registrerad på en AzureML-arbetsyta kan ha flera definitioner som var och en skapas genom att anropa update_definition. Varje definition har en unik identifierare. Den aktuella definitionen är den senaste som skapats.

För oregistrerade datauppsättningar finns det bara en definition.

Hämta sammanfattningsstatistik för datauppsättningen som beräknades tidigare.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parametrar

Returer

Kommentarer

För en datauppsättning som registrerats med en Azure Machine Learning-arbetsyta hämtar den här metoden en befintlig profil som skapades tidigare genom att anropa get_profile om den fortfarande är giltig. Profiler ogiltigförklaras när ändrade data identifieras i datauppsättningen eller argumenten till get_profile skiljer sig från de som användes när profilen genererades. Om profilen inte finns eller ogiltigförklaras avgör generate_if_not_exist du om en ny profil genereras.

För en datauppsättning som inte är registrerad med en Azure Machine Learning-arbetsyta körs generate_profile och returnerar den här metoden alltid resultatet.

Hämta en ögonblicksbild av datauppsättningen efter namn.

get_snapshot(snapshot_name)

Parametrar

Returer

Hämta det angivna antalet poster som angetts från den här datauppsättningen och returnera dem som en DataFrame.

head(count)

Parametrar

Returer

Visa en lista över alla datauppsättningar på arbetsytan, inklusive de med is_visible egenskapen false.

static list(workspace)

Parametrar

Returer

Återaktivera en arkiverad eller inaktuell datauppsättning.

reactivate()

Returer

Registrera datauppsättningen på arbetsytan, vilket gör den tillgänglig för andra användare av arbetsytan.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parametrar

Returer

Generera ett nytt exempel från källdatauppsättningen med hjälp av den samplingsstrategi och de parametrar som tillhandahålls.

sample(sample_strategy, arguments)

Parametrar

Returer

Kommentarer

Exempel genereras genom att köra transformeringspipelinen som definieras av den här datamängden och sedan tillämpa samplingsstrategin och parametrarna på utdata. Varje samplingsmetod stöder följande valfria argument:

• top_n

  • Valfria argument

    • n, skriv heltal. Välj de översta N raderna som exempel.

• simple_random

  • Valfria argument

    • sannolikhet skriver du float. Enkel slumpmässig sampling där varje rad har samma sannolikhet att väljas. Sannolikheten bör vara ett tal mellan 0 och 1.

    • frö, typ float. Används av slumptalsgeneratorn. Används för repeterbarhet.

• Skiktat

  • Valfria argument

    • kolumner skriver du list[str]. Lista över strata-kolumner i data.

    • frö, typ float. Används av slumptalsgeneratorn. Används för repeterbarhet.

    • bråk, typ dikta[tuppeln, flyttal]. Tuppel: kolumnvärden som definierar ett stratum måste vara i samma ordning som kolumnnamn. Float: vikt fäst vid ett stratum under provtagningen.

Följande kodfragment är exempel på designmönster för olika exempelmetoder.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Skapa en Pandas-dataram genom att köra transformeringspipelinen som definieras av den här datauppsättningsdefinitionen.

to_pandas_dataframe()

Returer

Kommentarer

Returnera en Pandas DataFrame som är helt materialiserad i minnet.

Skapa en Spark DataFrame som kan köra transformeringspipelinen som definieras av den här datauppsättningsdefinitionen.

to_spark_dataframe()

Returer

Kommentarer

Spark-dataramen som returneras är bara en körningsplan och innehåller inga data, eftersom Spark Dataframes utvärderas lazily.

Uppdatera attributen för datauppsättningen som kan ändras på arbetsytan och returnera den uppdaterade datauppsättningen från arbetsytan.

update(name=None, description=None, tags=None, visible=None)

Parametrar

Returer

Uppdatera datauppsättningsdefinitionen.

update_definition(definition, definition_update_message)

Parametrar

Returer

Kommentarer

Om du vill använda den uppdaterade datauppsättningen använder du objektet som returneras av den här metoden.

Returnera den aktuella datauppsättningsdefinitionen.

Returer

Kommentarer

En datauppsättningsdefinition är en serie steg som anger hur du läser och transformerar data.

En datauppsättning som är registrerad på en AzureML-arbetsyta kan ha flera definitioner som var och en skapas genom att anropa update_definition. Varje definition har en unik identifierare. Med flera definitioner kan du göra ändringar i befintliga datauppsättningar utan att bryta modeller och pipelines som är beroende av den äldre definitionen.

För oregistrerade datauppsättningar finns det bara en definition.

Returnera versionen av den aktuella definitionen av datauppsättningen.

Returer

Kommentarer

En datauppsättningsdefinition är en serie steg som anger hur du läser och transformerar data.

En datauppsättning som är registrerad på en AzureML-arbetsyta kan ha flera definitioner som var och en skapas genom att anropa update_definition. Varje definition har en unik identifierare. Den aktuella definitionen är den senaste som skapats, vars ID returneras av detta.

För oregistrerade datauppsättningar finns det bara en definition.

Returnera beskrivningen av datauppsättningen.

Returer

Kommentarer

Genom att ange en beskrivning av data i datauppsättningen kan användarna på arbetsytan förstå vad data representerar och hur de kan använda dem.

Om datauppsättningen har registrerats på en arbetsyta returnerar du ID:t för datauppsättningen. Annars returnerar du Ingen.

Returer

Kontrollera synligheten för en registrerad datauppsättning i användargränssnittet för Azure ML-arbetsytan.

Returer

Kommentarer

Värden som returneras:

• Sant: Datauppsättningen visas i arbetsytans användargränssnitt. Standardinställning.

• Falskt: Datauppsättningen är dold i arbetsytans användargränssnitt.

Har ingen effekt på oregistrerade datauppsättningar.

Returnera datauppsättningens namn.

Returer

Returnera datauppsättningens tillstånd.

Returer

Kommentarer

Innebörden och effekten av tillstånd är följande:

• Aktiv. Aktiva definitioner är exakt vad de låter som, alla åtgärder kan utföras på aktiva definitioner.

• Föråldrad. inaktuell definition kan användas, men resulterar i att en varning loggas i loggarna varje gång underliggande data används.

• Arkiverad. En arkiverad definition kan inte användas för att utföra någon åtgärd. Om du vill utföra åtgärder på en arkiverad definition måste den återaktiveras.

Returnera taggarna som är associerade med datauppsättningen.

Returer

Om datauppsättningen har registrerats på en arbetsyta returnerar du den. Annars returnerar du Ingen.

Returer

Fabrik för att skapa FileDataset

alias för TabularDatasetFactory