Delen via

U-SQL ontwikkelen met Python, R en C# voor Azure Data Lake Analytics in Visual Studio Code

Meer informatie over het gebruik van Visual Studio Code (VS Code) om Python-, R- en C#-code achter te schrijven met U-SQL en taken te verzenden naar de Azure Data Lake-service. Zie Azure Data Lake Tools voor Visual Studio Code gebruiken voor meer informatie over Azure Data Lake Tools voor VS Code.

Voordat u code-behind aangepaste code schrijft, moet u een map of werkruimte openen in VS Code.

Vereisten voor Python en R

Registreer Python- en R-extensiesassembly's voor uw ADL-account.

  1. Open uw account in het portaal.

    • Selecteer Overzicht.
    • Selecteer Voorbeeldscript.

  2. Klik op Meer.

  3. Selecteer U-SQL-extensies installeren.

  4. Er wordt een bevestigingsbericht weergegeven nadat de U-SQL-extensies zijn geïnstalleerd.

    Schermopnamen van het selecteren van voorbeeldscripts in Overzicht, het selecteren van Meer en Het installeren van U-SQL-extensies.

    Opmerking

    Installeer VSCode Python en R-extensie voor de beste ervaringen in de taalservice Python en R.

Python-bestand ontwikkelen

  1. Selecteer het nieuwe bestand in uw werkruimte.

  2. Schrijf uw code in U-SQL. Hier volgt een codevoorbeeld.

    REFERENCE ASSEMBLY [ExtPython];
@t  = 
    SELECT * FROM 
    (VALUES
        ("D1","T1","A1","@foo Hello World @bar"),
        ("D2","T2","A2","@baz Hello World @beer")
    ) AS 
        D( date, time, author, tweet );

@m  =
    REDUCE @t ON date
    PRODUCE date string, mentions string
    USING new Extension.Python.Reducer("pythonSample.usql.py", pyVersion : "3.5.1");

OUTPUT @m
    TO "/tweetmentions.csv"
    USING Outputters.Csv();

  3. Klik met de rechtermuisknop op een scriptbestand en selecteer vervolgens ADL: Python-code achter bestand genereren.

  4. Het xxx.usql.py-bestand wordt gegenereerd in uw werkmap. Schrijf uw code in het Python-bestand. Hier volgt een codevoorbeeld.

    def get_mentions(tweet):
    return ';'.join( ( w[1:] for w in tweet.split() if w[0]=='@' ) )

def usqlml_main(df):
    del df['time']
    del df['author']
    df['mentions'] = df.tweet.apply(get_mentions)
    del df['tweet']
    return df

  5. Klik met de rechtermuisknop in het USQL-bestand om Script compileren of Taak verzenden te selecteren om de taak te starten.

R-bestand ontwikkelen

  1. Selecteer het nieuwe bestand in uw werkruimte.

  2. Schrijf uw code in het U-SQL-bestand. Hier volgt een codevoorbeeld.

    DEPLOY RESOURCE @"/usqlext/samples/R/my_model_LM_Iris.rda";
DECLARE @IrisData string = @"/usqlext/samples/R/iris.csv";
DECLARE @OutputFilePredictions string = @"/my/R/Output/LMPredictionsIris.txt";
DECLARE @PartitionCount int = 10;

@InputData =
    EXTRACT SepalLength double,
            SepalWidth double,
            PetalLength double,
            PetalWidth double,
            Species string
    FROM @IrisData
    USING Extractors.Csv();

@ExtendedData =
    SELECT Extension.R.RandomNumberGenerator.GetRandomNumber(@PartitionCount) AS Par,
        SepalLength,
        SepalWidth,
        PetalLength,
        PetalWidth
    FROM @InputData;

// Predict Species

@RScriptOutput =
    REDUCE @ExtendedData
    ON Par
    PRODUCE Par,
            fit double,
            lwr double,
            upr double
    READONLY Par
    USING new Extension.R.Reducer(scriptFile : "RClusterRun.usql.R", rReturnType : "dataframe", stringsAsFactors : false);
OUTPUT @RScriptOutput
TO @OutputFilePredictions
USING Outputters.Tsv();

  3. Klik met de rechtermuisknop in het USQL-bestand en selecteer vervolgens ADL: R-code achter bestand genereren.

  4. Het bestand xxx.usql.r wordt gegenereerd in uw werkmap. Schrijf uw code in het R-bestand. Hier volgt een codevoorbeeld.

    load("my_model_LM_Iris.rda")
outputToUSQL=data.frame(predict(lm.fit, inputFromUSQL, interval="confidence"))

  5. Klik met de rechtermuisknop in het USQL-bestand, u kunt Script compileren of Taak verzenden selecteren om de taak te starten.

C#-bestand ontwikkelen

Een code-behind-bestand is een C#-bestand dat is gekoppeld aan één U-SQL-script. U kunt een script definiëren dat is toegewezen aan UDO, UDA, UDT en UDF in het bestand achter de code. De UDO, UDA, UDT en UDF kunnen rechtstreeks in het script worden gebruikt zonder eerst de assembly te registreren. Het code-behind-bestand wordt in dezelfde map geplaatst als het bijhorende U-SQL-scriptbestand. Als het script xxx.usql heet, wordt de code-behind benoemd als xxx.usql.cs. Als u het code-behind-bestand handmatig verwijdert, wordt de functie code-behind uitgeschakeld voor het bijbehorende U-SQL-script. Zie Voor meer informatie over het schrijven van klantcode voor U-SQL-script het schrijven en gebruiken van aangepaste code in U-SQL: User-Defined Functions.

  1. Selecteer het nieuwe bestand in uw werkruimte.

  2. Schrijf uw code in het U-SQL-bestand. Hier volgt een codevoorbeeld.

    @a = 
    EXTRACT 
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string 
    FROM @"/Samples/Data/SearchLog.tsv" 
    USING Extractors.Tsv();

@d =
    SELECT DISTINCT Region 
    FROM @a;

@d1 = 
    PROCESS @d
    PRODUCE 
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();

OUTPUT @d1 
    TO @"/output/SearchLogtest.txt" 
    USING Outputters.Tsv();

  3. Klik met de rechtermuisknop in het USQL-bestand en selecteer vervolgens ADL: CS-code achter bestand genereren.

  4. Het xxx.usql.cs-bestand wordt gegenereerd in uw werkmap. Schrijf uw code in het CS-bestand. Hier volgt een codevoorbeeld.

    namespace USQLApplication_codebehind
{
    [SqlUserDefinedProcessor]

    public class MyProcessor : IProcessor
    {
        public override IRow Process(IRow input, IUpdatableRow output)
        {
            output.Set(0, input.Get<string>(0));
            output.Set(1, input.Get<string>(0));
            return output.AsReadOnly();
        } 
    }
}

  5. Klik met de rechtermuisknop in het USQL-bestand; u kunt Script compileren of Taak verzenden selecteren om de taak te laten draaien.

Volgende stappen