Dataset Klas

Een actieve of afgeschafte gegevensset archiveren.

archive()

Retouren

Opmerkingen

Na archivering leidt elke poging om de gegevensset te gebruiken tot een fout. Als het per ongeluk is gearchiveerd, wordt het opnieuw activeren geactiveerd.

Analyseert de bestanden op het opgegeven pad en retourneert een nieuwe gegevensset.

static auto_read_files(path, include_path=False, partition_format=None)

Parameters

Retouren

Opmerkingen

Gebruik deze methode wanneer bestandsindelingen en scheidingstekens automatisch worden gedetecteerd.

Nadat u een gegevensset hebt gemaakt, moet u gebruiken get_profile om gedetecteerde kolomtypen en overzichtsstatistieken voor elke kolom weer te geven.

De geretourneerde gegevensset is niet geregistreerd bij de werkruimte.

Vergelijk het profiel van de huidige gegevensset met een ander gegevenssetprofiel.

Hier ziet u de verschillen in overzichtsstatistieken tussen twee gegevenssets. De parameter 'rhs_dataset' staat voor 'rechts', en is gewoon de tweede gegevensset. De eerste gegevensset (het huidige gegevenssetobject) wordt beschouwd als de 'linkerkant'.

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parameters

Retouren

Opmerkingen

Dit geldt alleen voor geregistreerde gegevenssets. Hiermee wordt een uitzondering gegenereerd als het profiel van de huidige gegevensset niet bestaat. Voor niet-geregistreerde gegevenssets gebruikt u de methode profile.compare.

Maak een momentopname van de geregistreerde gegevensset.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parameters

Retouren

Opmerkingen

Momentopnamen leggen overzichtsstatistieken van de onderliggende gegevens vast en een optionele kopie van de gegevens zelf. Voor meer informatie over het maken van momentopnamen gaat u naar https://aka.ms/azureml/howto/createsnapshots.

Verwijder de momentopname van de gegevensset op naam.

delete_snapshot(snapshot_name)

Parameters

Retouren

Opmerkingen

Gebruik deze optie om opslag vrij te maken die wordt verbruikt door gegevens die zijn opgeslagen in momentopnamen die u niet meer nodig hebt.

Een actieve gegevensset in een werkruimte verwijderen door een andere gegevensset.

deprecate(deprecate_by_dataset_id)

Parameters

Retouren

Opmerkingen

Afgeschafte gegevenssets registreren waarschuwingen wanneer ze worden gebruikt. Als u een gegevensset afwijst, worden alle bijbehorende definities afgeschaft.

Afgeschafte gegevenssets kunnen nog steeds worden gebruikt. Als u volledig wilt voorkomen dat een gegevensset wordt gebruikt, moet u deze archiveren.

Als deze per ongeluk is afgeschaft, wordt het opnieuw activeren geactiveerd.

Verdeel de huidige gegevensset met rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Parameters

Retouren

Maak een niet-geregistreerde gegevensset in het geheugen op basis van binaire bestanden.

static from_binary_files(path)

Parameters

Retouren

Opmerkingen

Gebruik deze methode om bestanden te lezen als stromen binaire gegevens. Retourneert één bestandsstroomobject per bestand gelezen. Gebruik deze methode wanneer u afbeeldingen, video's, audio of andere binaire gegevens leest.

get_profile en create_snapshot werkt niet zoals verwacht voor een gegevensset die door deze methode is gemaakt.

De geretourneerde gegevensset is niet geregistreerd bij de werkruimte.

Maak een niet-geregistreerde gegevensset in het geheugen op basis van bestanden met scheidingstekens.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parameters

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Retouren

Opmerkingen

Gebruik deze methode om tekstbestanden met scheidingstekens te lezen wanneer u de gebruikte opties wilt beheren.

Nadat u een gegevensset hebt gemaakt, moet u gebruiken get_profile om gedetecteerde kolomtypen en overzichtsstatistieken voor elke kolom weer te geven.

De geretourneerde gegevensset is niet geregistreerd bij de werkruimte.

Maak een niet-geregistreerde gegevensset in het geheugen van Excel-bestanden.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parameters

Retouren

Opmerkingen

Gebruik deze methode om Excel-bestanden in .xlsx indeling te lezen. Gegevens kunnen worden gelezen uit één blad in elk Excel-bestand. Nadat u een gegevensset hebt gemaakt, moet u gebruiken get_profile om gedetecteerde kolomtypen en overzichtsstatistieken voor elke kolom weer te geven. De geretourneerde gegevensset is niet geregistreerd bij de werkruimte.

Maak een niet-geregistreerde gegevensset in het geheugen op basis van JSON-bestanden.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parameters

Retouren

Maak een niet-geregistreerde gegevensset in het geheugen van een pandas-dataframe.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parameters

Retouren

Opmerkingen

Gebruik deze methode om een Pandas-dataframe te converteren naar een gegevenssetobject. Een gegevensset die door deze methode is gemaakt, kan niet worden geregistreerd, omdat de gegevens afkomstig zijn uit het geheugen.

Als in_memory onwaar is, wordt het Pandas DataFrame lokaal geconverteerd naar een CSV-bestand. Als pat van het type DataReference is, wordt het Pandas-frame geüpload naar het gegevensarchief en wordt de gegevensset gebaseerd op de DataReference. Als 'pad' een lokale map is, wordt de gegevensset gemaakt van het lokale bestand dat niet kan worden verwijderd.

Hiermee wordt een uitzondering gegenereerd als de huidige DataReference geen mappad is.

Maak een niet-geregistreerde gegevensset in het geheugen van Parquet-bestanden.

static from_parquet_files(path, include_path=False, partition_format=None)

Parameters

Retouren

Opmerkingen

Gebruik deze methode om Parquet-bestanden te lezen.

Nadat u een gegevensset hebt gemaakt, moet u gebruiken get_profile om gedetecteerde kolomtypen en overzichtsstatistieken voor elke kolom weer te geven.

De geretourneerde gegevensset is niet geregistreerd bij de werkruimte.

Maak een niet-geregistreerde gegevensset in het geheugen op basis van een SQL-query.

static from_sql_query(data_source, query)

Parameters

Retouren

Genereer een nieuw profiel voor de gegevensset.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parameters

Retouren

Opmerkingen

Synchrone aanroep wordt geblokkeerd totdat deze is voltooid. Roep get_result aan om het resultaat van de actie op te halen.

Haal een gegevensset op die al bestaat in de werkruimte door de naam of id op te geven.

static get(workspace, name=None, id=None)

Parameters

Retouren

Opmerkingen

U kunt een van beide opgeven name of id. Er wordt een uitzondering gegenereerd als:

• beide name en id zijn opgegeven, maar komen niet overeen.

• de gegevensset met de opgegeven name of id kan niet worden gevonden in de werkruimte.

Haal alle geregistreerde gegevenssets op in de werkruimte.

get_all()

Parameters

Retouren

Haal alle momentopnamen van de gegevensset op.

get_all_snapshots()

Retouren

Haal een gegevensset op die wordt opgeslagen in de werkruimte.

get_by_id(id, **kwargs)

Parameters

Retouren

Haal een geregistreerde gegevensset op uit de werkruimte op basis van de registratienaam.

get_by_name(name, version='latest', **kwargs)

Parameters

Retouren

Een specifieke definitie van de gegevensset ophalen.

get_definition(version_id=None)

Parameters

Retouren

Opmerkingen

Als version_id dit is opgegeven, probeert Azure Machine Learning de definitie op te halen die overeenkomt met die versie. Als deze versie niet bestaat, wordt er een uitzondering gegenereerd. Als version_id u dit weglaat, wordt de meest recente versie opgehaald.

Haal alle definities van de gegevensset op.

get_definitions()

Retouren

Opmerkingen

Een gegevensset die is geregistreerd in een AzureML-werkruimte kan meerdere definities hebben, die elk zijn gemaakt door aan te roepen update_definition. Elke definitie heeft een unieke id. De huidige definitie is de meest recente definitie die is gemaakt.

Voor niet-geregistreerde gegevenssets bestaat slechts één definitie.

Samenvattingsstatistieken ophalen voor de gegevensset die eerder is berekend.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parameters

Retouren

Opmerkingen

Voor een gegevensset die is geregistreerd bij een Azure Machine Learning-werkruimte, haalt deze methode een bestaand profiel op dat eerder is gemaakt door aan te roepen get_profile als deze nog geldig is. Profielen worden ongeldig wanneer gewijzigde gegevens worden gedetecteerd in de gegevensset of de argumenten die afwijken van de argumenten get_profile die worden gebruikt toen het profiel werd gegenereerd. Als het profiel niet aanwezig of ongeldig is, generate_if_not_exist wordt bepaald of er een nieuw profiel wordt gegenereerd.

Voor een gegevensset die niet is geregistreerd bij een Azure Machine Learning-werkruimte, wordt deze methode altijd uitgevoerd generate_profile en wordt het resultaat geretourneerd.

Haal een momentopname van de gegevensset op naam op.

get_snapshot(snapshot_name)

Parameters

Retouren

Haal het opgegeven aantal records op dat is opgegeven uit deze gegevensset en retourneert deze als een DataFrame.

head(count)

Parameters

Retouren

Geef alle gegevenssets in de werkruimte weer, inclusief gegevenssets met is_visible een eigenschap die gelijk is aan Onwaar.

static list(workspace)

Parameters

Retouren

Een gearchiveerde of afgeschafte gegevensset opnieuw activeren.

reactivate()

Retouren

Registreer de gegevensset in de werkruimte, zodat deze beschikbaar is voor andere gebruikers van de werkruimte.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parameters

Retouren

Genereer een nieuw voorbeeld van de brongegevensset met behulp van de opgegeven steekproefstrategie en parameters.

sample(sample_strategy, arguments)

Parameters

Retouren

Opmerkingen

Voorbeelden worden gegenereerd door de transformatiepijplijn uit te voeren die door deze gegevensset is gedefinieerd en vervolgens de steekproefstrategie en parameters toe te passen op de uitvoergegevens. Elke steekproefmethode ondersteunt de volgende optionele argumenten:

• top_n

  • Optionele argumenten

    • n, typ geheel getal. Selecteer de bovenste N rijen als voorbeeld.

• simple_random

  • Optionele argumenten

    • kans, type float. Eenvoudige willekeurige steekproeven waarbij elke rij gelijke kans heeft om te worden geselecteerd. De kans moet een getal tussen 0 en 1 zijn.

    • zaad, type float. Wordt gebruikt door generator voor willekeurige getallen. Gebruik deze functie voor herhaalbaarheid.

• stratified

  • Optionele argumenten

    • kolommen, type list[str]. Lijst met strata-kolommen in de gegevens.

    • zaad, type float. Wordt gebruikt door generator voor willekeurige getallen. Gebruik deze functie voor herhaalbaarheid.

    • breuken, type dict[tuple, float]. Tuple: kolomwaarden die een stratum definiëren, moeten zich in dezelfde volgorde bevinden als kolomnamen. Float: gewicht dat tijdens de steekproeven aan een stratum is gekoppeld.

De volgende codefragmenten zijn voorbeeldontwerppatronen voor verschillende voorbeeldmethoden.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Maak een Pandas-dataframe door de transformatiepijplijn uit te voeren die is gedefinieerd door deze definitie van de gegevensset.

to_pandas_dataframe()

Retouren

Opmerkingen

Retourneert een Pandas DataFrame volledig gerealiseerd in het geheugen.

Maak een Spark DataFrame waarmee de transformatiepijplijn kan worden uitgevoerd die is gedefinieerd door deze definitie van de gegevensset.

to_spark_dataframe()

Retouren

Opmerkingen

Het geretourneerde Spark Dataframe is alleen een uitvoeringsplan en bevat geen gegevens, omdat Spark Dataframes lazily worden geëvalueerd.

Werk de onveranderbare kenmerken van de gegevensset in de werkruimte bij en retourneer de bijgewerkte gegevensset uit de werkruimte.

update(name=None, description=None, tags=None, visible=None)

Parameters

Retouren

Werk de definitie van de gegevensset bij.

update_definition(definition, definition_update_message)

Parameters

Retouren

Opmerkingen

Als u de bijgewerkte gegevensset wilt gebruiken, gebruikt u het object dat door deze methode wordt geretourneerd.

Retourneert de huidige definitie van de gegevensset.

Retouren

Opmerkingen

Een definitie van een gegevensset is een reeks stappen die aangeven hoe gegevens moeten worden gelezen en getransformeerd.

Een gegevensset die is geregistreerd in een AzureML-werkruimte kan meerdere definities hebben, die elk zijn gemaakt door aan te roepen update_definition. Elke definitie heeft een unieke id. Als u meerdere definities hebt, kunt u wijzigingen aanbrengen in bestaande gegevenssets zonder modellen en pijplijnen die afhankelijk zijn van de oudere definitie.

Voor niet-geregistreerde gegevenssets bestaat slechts één definitie.

Retourneert de versie van de huidige definitie van de gegevensset.

Retouren

Opmerkingen

Een definitie van een gegevensset is een reeks stappen die aangeven hoe gegevens moeten worden gelezen en getransformeerd.

Een gegevensset die is geregistreerd in een AzureML-werkruimte kan meerdere definities hebben, die elk zijn gemaakt door aan te roepen update_definition. Elke definitie heeft een unieke id. De huidige definitie is de meest recente definitie die is gemaakt, waarvan de id wordt geretourneerd door deze.

Voor niet-geregistreerde gegevenssets bestaat slechts één definitie.

Retourneert de beschrijving van de gegevensset.

Retouren

Opmerkingen

Door een beschrijving van de gegevens in de gegevensset op te geven, kunnen gebruikers van de werkruimte begrijpen wat de gegevens vertegenwoordigen en hoe ze deze kunnen gebruiken.

Als de gegevensset is geregistreerd in een werkruimte, retourneert u de id van de gegevensset. Anders retourneert u Geen.

Retouren

De zichtbaarheid van een geregistreerde gegevensset beheren in de gebruikersinterface van de Azure ML-werkruimte.

Retouren

Opmerkingen

Geretourneerde waarden:

• Waar: De gegevensset is zichtbaar in de gebruikersinterface van de werkruimte. Verstek.

• Onwaar: de gegevensset is verborgen in de gebruikersinterface van de werkruimte.

Heeft geen effect op niet-geregistreerde gegevenssets.

Retourneer de naam van de gegevensset.

Retouren

Hiermee wordt de status van de gegevensset geretourneerd.

Retouren

Opmerkingen

De betekenis en het effect van statussen zijn als volgt:

• Actief. Actieve definities zijn precies hoe ze klinken, alle acties kunnen worden uitgevoerd op actieve definities.

• Afgeschreven Afgeschafte definitie kan worden gebruikt, maar resulteert in een waarschuwing die wordt geregistreerd in de logboeken telkens wanneer de onderliggende gegevens worden geopend.

• Gearchiveerde. Een gearchiveerde definitie kan niet worden gebruikt om een actie uit te voeren. Als u acties wilt uitvoeren op een gearchiveerde definitie, moet deze opnieuw worden geactiveerd.

Retourneert de tags die zijn gekoppeld aan de gegevensset.

Retouren

Als de gegevensset is geregistreerd in een werkruimte, retourneert u die. Anders retourneert u Geen.

Retouren

Factory voor het maken FileDataset

alias van TabularDatasetFactory