Kom igång med Azure Data Lake Analytics med Hjälp av Azure CLI

2023-12-20

Viktigt!

Nya Azure Data Lake Analytics-konton kan inte längre skapas om inte din prenumeration har aktiverats. Om du behöver aktivera din prenumeration kontakta supporten och ange ditt affärsscenario.

Om du redan använder Azure Data Lake Analytics måste du skapa en migreringsplan till Azure Synapse Analytics för din organisation senast den 29 februari 2024.

Den här artikeln beskriver hur du använder azure CLI-kommandoradsgränssnittet för att skapa Azure Data Lake Analytics-konton, skicka USQL-jobb och kataloger. Jobbet läser en TSV-fil (Tab Separated Values) och konverterar den till en fil med kommaavgränsade värden (CSV).

Förutsättningar

Innan du börjar behöver du följande:

Prenumeration för Azure. Se Hämta en kostnadsfri utvärderingsversion av Azure.
Den här artikeln kräver att du kör Azure CLI version 2.0 eller senare. Om du behöver installera eller uppgradera kan du läsa Installera Azure CLI.

Så här loggar du in på din Azure-prenumeration:

az login

Du uppmanas att bläddra till en URL och ange en autentiseringskod. Följ sedan anvisningarna för att ange dina autentiseringsuppgifter.

När du har loggat in visar inloggningskommandot dina prenumerationer.

Så här använder du en specifik prenumeration:

az account set --subscription <subscription id>

Skapa Data Lake Analytics-konto

Du behöver ett Data Lake Analytics-konto innan du kan köra några jobb. Om du vill skapa ett Data Lake Analytics-konto måste du ange följande:

Azure-resursgrupp. Ett Data Lake Analytics-konto måste skapas i en Azure-resursgrupp. Med Azure Resource Manager kan du arbeta med resurserna i ditt program som en grupp. Du kan distribuera, uppdatera eller ta bort alla resurser för ditt program i en enda samordnad åtgärd.

Så här listar du de befintliga resursgrupperna under din prenumeration:

az group list

Om du vill skapa en ny resursgrupp:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Data Lake Analytics-kontonamn. Varje Data Lake Analytics-konto har ett namn.
Plats. Använd ett av De Azure-datacenter som stöder Data Lake Analytics.
Standardkonto för Data Lake Store: Varje Data Lake Analytics-konto har ett Data Lake Store-standardkonto.

Så här listar du det befintliga Data Lake Store-kontot:

az dls account list

Så här skapar du ett nytt Data Lake Store-konto:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Använd följande syntax för att skapa ett Data Lake Analytics-konto:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

När du har skapat ett konto kan du använda följande kommandon för att visa kontona och visa kontoinformation:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Ladda upp data till Data Lake Store

I den här handledningen bearbetar du några sökloggar. Sökloggen kan lagras i Data Lake Store eller Azure Blob Storage.

Azure-portalen innehåller ett användargränssnitt för att kopiera vissa exempeldatafiler till standardkontot för Data Lake Store, som innehåller en sökloggfil. Se Förbereda källdata för att ladda upp data till standardkontot för Data Lake Store.

Om du vill ladda upp filer med Hjälp av Azure CLI använder du följande kommandon:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics kan också komma åt Azure Blob Storage. Information om hur du laddar upp data till Azure Blob Storage finns i Använda Azure CLI med Azure Storage.

Skicka Data Lake Analytics-jobb

Data Lake Analytics-jobben är skrivna på U-SQL-språket. Mer information om U-SQL finns i Komma igång med U-SQL-språk och U-SQL-språkreferens.

Skapa ett Data Lake Analytics-jobbskript

Skapa en textfil med följande U-SQL-skript och spara textfilen på din arbetsstation:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Det här U-SQL-skriptet läser källdatafilen med Extractors.Tsv()och skapar sedan en csv-fil med Outputters.Csv().

Ändra inte de två sökvägarna om du inte kopierar källfilen till en annan plats. Data Lake Analytics skapar utdatamappen om den inte finns.

Det är enklare att använda relativa sökvägar för filer som lagras i Data Lake Store-standardkonton. Du kan också använda absoluta sökvägar. Till exempel:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Du måste använda absoluta sökvägar för att komma åt filer i länkade lagringskonton. Syntaxen för filer som lagras i ett länkat Azure Storage-konto är:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Anmärkning

Azure Blob-container med offentliga blobar stöds inte. Azure Blob-container med offentliga containrar stöds inte.

För att skicka jobb

Använd följande syntax för att skicka ett jobb.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Till exempel:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Så här listar du jobb och visar jobbinformation

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Så här avbryter du jobb

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Hämta jobbresultat

När ett jobb har slutförts kan du använda följande kommandon för att visa utdatafilerna och ladda ned filerna:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"