MLTable Klas

Voegt een transformatiestap toe om de opgegeven kolommen te converteren naar hun respectieve opgegeven nieuwe typen.

   from mltable import DataType
       data_types = {
           'ID': DataType.to_string(),
           'Date': DataType.to_datetime('%d/%m/%Y %I:%M:%S %p'),
           'Count': DataType.to_int(),
           'Latitude': DataType.to_float(),
           'Found': DataType.to_bool(),
           'Stream': DataType.to_stream()
       }

convert_column_types(column_types)

Parameters

Retouren

Hiermee voegt u een transformatiestap toe om de opgegeven kolommen uit de gegevensset te verwijderen. Als er een lege lijst, tuple of set wordt gegeven, wordt er niets verwijderd. Dubbele kolommen genereren een UserErrorException.

Als u een kolom probeert neer te zetten die MLTable.traits.timestamp_column of in MLTable.traits.index_columns, wordt een UserErrorException weergegeven.

drop_columns(columns: str | List[str] | Tuple[str] | Set[str])

Parameters

Retouren

Voegt een transformatiestap toe om de partitiegegevens van elk pad te gebruiken en deze te extraheren in kolommen op basis van de opgegeven partitieindeling.

Als onderdeel {column_name} wordt een tekenreekskolom gemaakt en {column_name:jjjj/MM/dd/HH/mm/ss} wordt een datum/tijdkolom gemaakt, waarbij 'jjjj', 'MM', 'dd', 'uu', 'mm' en 'ss' worden gebruikt voor het extraheren van jaar, maand, dag, uur en seconde voor het datum/tijd-type.

De indeling moet beginnen vanaf de positie van de eerste partitiesleutel tot het einde van het bestandspad. Bijvoorbeeld, op basis van het pad '/Accounts/2019/01/01/data.csv' waar de partitie is op afdelingsnaam en -tijd, partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv' maakt een tekenreekskolom 'Afdeling' met de waarde 'Accounts' en een datum/tijd-kolom 'PartitionDate' met de waarde '2019-01-01'.

extract_columns_from_partition_format(partition_format)

Parameters

Retouren

Filter de gegevens en laat alleen de records die overeenkomen met de opgegeven expressie.

filter(expression)

Parameters

Retouren

Opmerkingen

Expressies worden gestart door de mltable te indexeren met de naam van een kolom. Ze ondersteunen diverse functies en operators en kunnen worden gecombineerd met logische operators. De resulterende expressie wordt lazily geëvalueerd voor elke record wanneer een gegevens pull plaatsvindt en niet waar deze is gedefinieerd.

   filtered_mltable = mltable.filter('feature_1 == "5" and target > "0.5)"')
   filtered_mltable = mltable.filter('col("FBI Code") == "11"')

Retourneert het aantal gegevenspartities dat aan deze MLTable is gekoppeld.

get_partition_count() -> int

Retouren

Hiermee voegt u een transformatiestap toe om de opgegeven kolommen te behouden en alle andere kolommen uit de gegevensset te verwijderen. Als er een lege lijst, tuple of set wordt gegeven, wordt er niets verwijderd. Dubbele kolommen genereren een UserErrorException.

Als de kolom in MLTable.traits.timestamp_column of kolommen in MLTable.traits.index_columns niet expliciet wordt bewaard, wordt een UserErrorException gehandhaafd.

keep_columns(columns: str | List[str] | Tuple[str] | Set[str])

Parameters

Retouren

Splitst deze MLTable willekeurig op in twee MLTables, één met ongeveer 'percentage'% van de gegevens van de oorspronkelijke MLTable en de andere met de rest (1-'percent'%).

random_split(percent=0.5, seed=None)

Parameters

Retouren

Sla deze MLTable op als een MLTable YAML-bestand en de assoicated paden naar het opgegeven mappad.

Als het pad niet is opgegeven, wordt standaard de huidige werkmap gebruikt. Als het pad niet bestaat, wordt het gemaakt. Als het pad extern is, moet het onderliggende gegevensarchief al bestaan. Als het pad een lokale map is en niet absoluut is, wordt het absoluut gemaakt.

Als het pad naar een bestand verwijst, wordt er een UserErrorException gegenereerd. Als het pad een mappad is dat al een of meer bestanden bevat die worden opgeslagen (inclusief het YAML-bestand van MLTable) en overschrijven is ingesteld op Onwaar of 'fail', wordt er een UserErrorException gegenereerd. Als het pad extern is, worden lokale bestandspaden die niet zijn opgegeven als een pad in een punt (bestandspad ten opzichte van de map waaruit MLTable is geladen) een UserErrorException genereren.

Hiermee bepaalt u hoe gekoppelde paden worden opgeslagen in het pad. Indien waar, worden bestanden gekopieerd naar het pad naast het MLTable YAML-bestand als relatieve bestandspaden. Anders worden gekoppelde bestanden niet gekopieerd, blijven externe paden ongewijzigd en worden lokale bestandspaden indien nodig relatief gemaakt met padomleiding. Houd er rekening mee dat Onwaar kan leiden tot niet-colocated MLTable YAML-bestanden die niet worden aanbevolen, bovendien als het pad extern is, resulteert dit in een UserErrorException omdat relatieve padomleiding niet wordt ondersteund voor externe URI's.

Als de MLTable programmatisch wordt gemaakt met methoden zoals from_paths() of from_read_delimited_files() met lokale relatieve paden, wordt ervan uitgegaan dat het MLTable-mappad de huidige werkmap is.

Houd er rekening mee wanneer u een nieuwe MLTable- en gekoppelde gegevensbestanden opslaat in een map met een bestaand MLTable-bestand en gekoppelde gegevensbestanden die niet door de map worden gewist voordat u de nieuwe bestanden opslaat. Het is mogelijk dat bestaande gegevensbestanden behouden blijven na het opslaan van de nieuwe bestanden, met name als bestaande gegevensbestanden geen namen hebben die overeenkomen met nieuwe gegevensbestanden. Als de nieuwe MLTable een patroonontwerp onder de paden bevat, kan dit onbedoeld de MLTable wijzigen door bestaande gegevensbestanden te koppelen aan de nieuwe MLTable.

Als bestandspaden in deze MLTable verwijzen naar een bestaand bestand in pad , maar een andere URI hebben, wordt het bestaande bestand niet overschreven als overschrijven mislukt of overslaan wordt het bestaande bestand niet overschreven (bijvoorbeeld overgeslagen).

save(path=None, overwrite=True, colocated=False, show_progress=False, if_err_remove_files=True)

Parameters

Retouren

Hiermee voegt u een transformatiestap toe om de partitie te selecteren.

select_partitions(partition_index_list)

Parameters

Retouren

Opmerkingen

In het volgende codefragment ziet u hoe u de select_partitions-API gebruikt voor geselecteerde partities uit de opgegeven MLTable.

   partition_index_list = [1, 2]
   mltable = mltable.select_partitions(partition_index_list)

Haalt de eerste tellingsrijen van deze MLTable op als een Pandas Dataframe.

show(count=20)

Parameters

Retouren

Voegt een transformatiestap toe om de eerste tellingsrijen van deze MLTable over te slaan.

skip(count)

Parameters

Retouren

Hiermee voegt u een transformatiestap toe om de eerste tellingsrijen van deze MLTable te selecteren.

take(count=20)

Parameters

Retouren

Hiermee voegt u een transformatiestap toe om elke rij van deze MLTable willekeurig te selecteren met waarschijnlijkheidskans . Waarschijnlijkheid moet liggen in het bereik [0, 1]. Kan eventueel een willekeurig zaad instellen.

take_random_sample(probability, seed=None)

Parameters

Retouren

Laad alle records uit de paden die in het MLTable-bestand zijn opgegeven in een Pandas DataFrame.

to_pandas_dataframe()

Retouren

Opmerkingen

In het volgende codefragment ziet u hoe u de to_pandas_dataframe-API gebruikt om een pandas-gegevensframe te verkrijgen dat overeenkomt met de opgegeven MLTable.

   from mltable import load
   tbl = load('.\samples\mltable_sample')
   pdf = tbl.to_pandas_dataframe()
   print(pdf.shape)

Valideert of de gegevens van deze MLTable kunnen worden geladen. Hiervoor moeten de gegevensbronnen van de MLTable toegankelijk zijn vanaf de huidige berekening.

validate()

Retouren

Retourneer de partitiesleutels.

Retouren

Retourneert een lijst met woordenlijsten met de oorspronkelijke paden die aan deze MLTable zijn gegeven. Relatieve lokale bestandspaden worden verondersteld ten opzichte van de map te zijn waaruit het MLTable YAML-bestand van dit MLTable-exemplaar is geladen.

Retouren