Azure Data Lake Tools voor Visual Studio Code gebruiken

In dit artikel leert u hoe u Azure Data Lake Tools voor Visual Studio Code (VS Code) kunt gebruiken om U-SQL-scripts te maken, testen en uitvoeren. De informatie wordt ook behandeld in de volgende video:

Benodigdheden

Azure Data Lake Tools voor VS Code ondersteunt Windows, Linux en macOS. Lokale U-SQL-uitvoering en lokale foutopsporing werkt alleen in Windows.

• Visual Studio Code

Voor macOS en Linux:

• .NET 5.0 SDK
• Mono 5.2.x

Azure Data Lake Tools installeren

Nadat u de vereisten hebt geïnstalleerd, kunt u Azure Data Lake Tools voor VS Code installeren.

Azure Data Lake Tools installeren

1. Open Visual Studio Code.

2. Selecteer Extensies in het linkerdeelvenster. Voer Azure Data Lake Tools in het zoekvak in.

3. Selecteer Installeren naast Azure Data Lake Tools.

   

   Na een paar seconden wordt de knop Installeren gewijzigd in Opnieuw laden.

4. Selecteer Opnieuw laden om de Azure Data Lake Tools-extensie te activeren.

5. Selecteer Venster opnieuw laden om te bevestigen. U kunt Azure Data Lake Tools zien in het deelvenster Extensies .

Azure Data Lake Tools activeren

Maak een .usql-bestand of open een bestaand .usql-bestand om de extensie te activeren.

Werken met U-SQL

Als u met U-SQL wilt werken, moet u een U-SQL-bestand of een map openen.

Het voorbeeldscript openen

Open het opdrachtenpalet (Ctrl+Shift+P) en voer ADL in: Voorbeeldscript openen. Er wordt een ander exemplaar van dit voorbeeld geopend. U kunt ook een script op dit exemplaar bewerken, configureren en verzenden.

Een map voor uw U-SQL-project openen

1. Selecteer in Visual Studio Code het menu Bestand en selecteer vervolgens Map openen.

2. Geef een map op en selecteer vervolgens Map selecteren.

3. Selecteer het menu Bestand en selecteer Vervolgens Nieuw. Er wordt een naamloos bestand-1 toegevoegd aan het project.

4. Voer de volgende code in het bestand Naamloos-1 in:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   UITVOER @departments NAAR "/Output/departments.csv" USING Outputters.CSV();

   Het script maakt een departments.csv bestand met enkele gegevens die zijn opgenomen in de map /output.

5. Sla het bestand op als myUSQL.usql in de geopende map.

Een U-SQL-script compileren

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
2. Voer ADL in: Script compileren. De compileerresultaten worden weergegeven in het venster Uitvoer . U kunt ook met de rechtermuisknop op een scriptbestand klikken en vervolgens ADL: Script compileren om een U-SQL-taak te compileren. Het compilatieresultaat wordt weergegeven in het deelvenster Uitvoer .

Een U-SQL-script verzenden

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
2. Voer ADL in: Taak indienen. U kunt ook met de rechtermuisknop op een scriptbestand klikken en vervolgens ADL: Taak verzenden selecteren.

Nadat u een U-SQL-taak hebt verzonden, worden de indieningslogboeken weergegeven in het uitvoervenster in VS Code. De taakweergave verschijnt in het rechterdeelvenster. Als de inzending is geslaagd, wordt de taak-URL ook weergegeven. U kunt de taak-URL openen in een webbrowser om de realtime taakstatus bij te houden.

Op het tabblad SAMENVATTING van de taakweergave ziet u de taakdetails. Hoofdfuncties omvatten het opnieuw indienen van een script, het dupliceren van een script en het openen in de portal. Op het tabblad DATA van de taakweergave kunt u verwijzen naar de invoerbestanden, uitvoerbestanden en resourcebestanden. Bestanden kunnen worden gedownload naar de lokale computer.

De standaardcontext instellen

U kunt de standaardcontext instellen om deze instelling toe te passen op alle scriptbestanden als u geen parameters voor bestanden afzonderlijk hebt ingesteld.

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: Stel standaardcontext in. Of klik met de rechtermuisknop op de scripteditor en selecteer ADL: Standaardcontext instellen.

3. Kies het gewenste account, de database en het gewenste schema. De instelling wordt opgeslagen in het xxx_settings.json configuratiebestand.

   

Parameters voor script instellen

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL: Stel scriptparameters in.

3. Het bestand xxx_settings.json wordt geopend met de volgende eigenschappen:

   • account: Een Azure Data Lake Analytics-account onder uw Azure-abonnement dat nodig is om U-SQL-taken te compileren en uit te voeren. U moet het computeraccount configureren voordat u U-SQL-taken compileert en uitvoert.
   • database: Een database onder uw account. De standaardwaarde is master.
   • schema: Een schema onder uw database. De standaardwaarde is dbo.
   • optionalSettings:
     • prioriteit: Het prioriteitsbereik is van 1 tot 1000, met 1 als hoogste prioriteit. De standaardwaarde is 1000.
     • degreeOfParallelism: Het parallellisme varieert van 1 tot 150. De standaardwaarde is de maximale parallelle uitvoering die is toegestaan in uw Azure Data Lake Analytics-account.

   

Git-negeerlijst instellen

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: Stel Git Ignore in.

   • Als u geen .gitIgnore-bestand in uw VS Code-werkmap hebt, wordt er een bestand met de naam .gitIgnore gemaakt in uw map. Er worden standaard vier items (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) toegevoegd aan het bestand. U kunt indien nodig meer updates maken.
   • Als u al een .gitIgnore-bestand in uw VS Code-werkmap hebt, voegt het hulpprogramma vier items toe (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) in uw .gitIgnore-bestand als de vier items niet in het bestand zijn opgenomen.

   

Werken met code-behind-bestanden: C Sharp, Python en R

Azure Data Lake Tools ondersteunt meerdere aangepaste codes. Zie U-SQL ontwikkelen met Python, R en C Sharp voor Azure Data Lake Analytics in VS Code voor instructies.

Werken met assemblages

Zie U-SQL-assembly's ontwikkelen voor Azure Data Lake Analytics-taken voor meer informatie over het ontwikkelen van assembly's.

U kunt Data Lake Tools gebruiken om aangepaste codeassembly's te registreren in de Data Lake Analytics-catalogus.

Een assembly registreren

U kunt de assembly registreren via de ADL: Assembly registreren of ADL: Assembly (Geavanceerd) registreren opdracht.

Via de ADL registreren: gebruik de opdracht Register Assembly

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.
2. Voer ADL in: Assemblage registreren.
3. Geef het lokale assemblypad op.
4. Selecteer een Data Lake Analytics-account.
5. Selecteer een database.

Het portaal wordt geopend in een browser en geeft het assembly-registratieproces weer.

Een handigere manier om de opdracht ADL: Assembly registreren te activeren is door met de rechtermuisknop op het .dll-bestand in Verkenner te klikken.

Registreren via de opdracht ADL: Assembly (Geavanceerd) registreren

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: Registerassemblage (Geavanceerd).

3. Geef het lokale assemblypad op.

4. Het JSON-bestand wordt weergegeven. Controleer en pas indien nodig de assembly-afhankelijkheden en resourceparameters aan. Instructies worden weergegeven in het venster Uitvoer . Als u wilt doorgaan met de assembly-registratie, slaat u het JSON-bestand op (Ctrl+S).

   

Een andere manier om de opdracht ADL: Assembly (Geavanceerd) registreren te activeren, is door met de rechtermuisknop op het .dll bestand in Verkenner te klikken.

De volgende U-SQL-code laat zien hoe u een assembly aanroept. In het voorbeeld is de assemblynaam test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Lokale U-SQL-uitvoering en lokale foutopsporing gebruiken voor Windows-gebruikers

Lokale U-SQL-uitvoering test uw lokale gegevens en valideert uw script lokaal voordat uw code wordt gepubliceerd naar Data Lake Analytics. U kunt de lokale foutopsporingsfunctie gebruiken om de volgende taken uit te voeren voordat uw code wordt verzonden naar Data Lake Analytics:

• Debuggen van uw C# code-behind.
• Doorloop de code.
• Valideer uw script lokaal.

De lokale functie voor uitvoeren en lokale foutopsporing werkt alleen in Windows-omgevingen en wordt niet ondersteund op macOS- en Linux-besturingssystemen.

Zie de lokale U-SQL-uitvoering en lokale foutopsporing met Visual Studio Code voor instructies over lokale uitvoering en lokale foutopsporing.

Verbinding maken met Azure

Voordat u U-SQL-scripts kunt compileren en uitvoeren in Data Lake Analytics, moet u verbinding maken met uw Azure-account.

Verbinding maken met Azure met behulp van een opdracht

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen.

2. Voer ADL in: Aanmelden. De aanmeldingsgegevens worden rechtsonder weergegeven.

   

   

3. Selecteer Kopiëren en openen om de aanmeldingswebpagina te openen. Plak de code in het vak en selecteer Vervolgens Doorgaan.

   

4. Volg de instructies om u aan te melden vanaf de webpagina. Wanneer u verbinding hebt, wordt de naam van uw Azure-account weergegeven op de statusbalk in de linkerbenedenhoek van het VS Code-venster.

Als u zich wilt afmelden, voert u de opdracht ADL: Afmelden in.

Verbinding maken met Azure vanuit de verkenner

Vouw AZURE DATALAKE uit, selecteer Aanmelden bij Azure en volg stap 3 en stap 4 van Verbinding maken met Azure met behulp van een opdracht.

U kunt zich niet afmelden bij de verkenner. Als u zich wilt afmelden, raadpleegt u Verbinding maken met Azure met behulp van een opdracht.

Een extractiescript maken

U kunt een extractiescript maken voor .csv-, .tsv- en .txt-bestanden met behulp van de opdracht ADL: EXTRACT-script maken of vanuit Azure Data Lake Explorer.

Een extractiescript maken met behulp van een opdracht

1. Selecteer Ctrl+Shift+P om het opdrachtenpalet te openen en voer ADL in: EXTRACT-script maken.
2. Geef het volledige pad voor een Azure Storage-bestand op en selecteer de Enter-toets.
3. Selecteer één account.
4. Selecteer voor een .txt bestand een scheidingsteken om het bestand uit te halen.

Het extractiescript wordt gegenereerd op basis van uw vermeldingen. Kies een van de twee opties voor een script dat de kolommen niet kan detecteren. Zo niet, dan wordt er slechts één script gegenereerd.

Een extractiescript maken vanuit de verkenner

Een andere manier om het extractiescript te maken, is via het snelmenu met de rechtermuisknop in het .csv-, .tsv- of .txt-bestand in Azure Data Lake Store of Azure Blob Storage.

Volgende stappen

• U-SQL ontwikkelen met Python, R en C Sharp voor Azure Data Lake Analytics in VS Code
• Lokale U-SQL-uitvoering en lokale foutopsporing met Visual Studio Code
• Zelfstudie: Aan de slag met Azure Data Lake Analytics
• Zelfstudie: U-SQL-scripts ontwikkelen met behulp van Data Lake Tools voor Visual Studio