Analysera webbplatsloggar med Azure Data Lake Analytics

2023-12-20

Lär dig hur du analyserar webbplatsloggar med Data Lake Analytics, särskilt för att ta reda på vilka referensanvändare som stötte på fel när de försökte besöka webbplatsen.

Viktigt!

Azure Data Lake Analytics drogs tillbaka den 29 februari 2024. Lär dig mer med det här tillkännagivandet.

För dataanalys kan din organisation använda Azure Synapse Analytics eller Microsoft Fabric.

Förutsättningar

Visual Studio 2015 eller Visual Studio 2013.
Data Lake Verktyg för Visual Studio.

När Data Lake Tools för Visual Studio har installerats visas ett Data Lake-objekt på menyn Verktyg i Visual Studio:
Grundläggande kunskaper om Data Lake Analytics och Data Lake Tools för Visual Studio. Kom igång genom att läsa:
- Utveckla U-SQL-skript med hjälp av Data Lake-verktyg för Visual Studio.
Ett Data Lake Analytics-konto. Se Skapa ett Azure Data Lake Analytics-konto.
Installera exempeldata. Öppna ditt Data Lake Analytics-konto i Azure-portalen och välj Exempelskript på den vänstra menyn och välj sedan Kopiera exempeldata.

Ansluta till Azure

Innan du kan skapa och testa U-SQL-skript måste du först ansluta till Azure.

Ansluta till Data Lake Analytics

Öppna Visual Studio.
Välj Alternativ och inställningar för Data Lake>.
Välj Logga in eller Ändra användare om någon har loggat in och följ anvisningarna.
Välj OK för att stänga dialogrutan Alternativ och inställningar.

Bläddra bland dina Data Lake Analytics-konton

Öppna Server Explorer från Visual Studio genom att trycka på CTRL+ALT+S.
Från Server Explorer expanderar du Azure och expanderar sedan Data Lake Analytics. Du kommer att se en lista över dina Data Lake Analytics-konton om det finns några. Du kan inte skapa Data Lake Analytics-konton från studion. Information om hur du skapar ett konto finns i Komma igång med Azure Data Lake Analytics med Hjälp av Azure-portalen eller Kom igång med Azure Data Lake Analytics med Azure PowerShell.

Utveckla U-SQL-program

Ett U-SQL-program är främst ett U-SQL-skript. Mer information om U-SQL finns i Komma igång med U-SQL.

Du kan lägga till användardefinierade tilläggsoperatorer i programmet. Mer information finns i Utveckla U-SQL-användardefinierade operatorer för Data Lake Analytics-jobb.

Skapa och skicka ett Data Lake Analytics-jobb

Välj Fil > Nytt > projekt.
Välj projekttypen U-SQL.
Välj OK. Visual Studio skapar en lösning med en Script.usql-fil.

Ange följande skript i filen Script.usql:

// Create a database for easy reuse, so you don't need to read from a file very time.
CREATE DATABASE IF NOT EXISTS SampleDBTutorials;

// Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
RETURNS @result TABLE
(
    s_date DateTime,
    s_time string,
    s_sitename string,
    cs_method string,
    cs_uristem string,
    cs_uriquery string,
    s_port int,
    cs_username string,
    c_ip string,
    cs_useragent string,
    cs_cookie string,
    cs_referer string,
    cs_host string,
    sc_status int,
    sc_substatus int,
    sc_win32status int,
    sc_bytes int,
    cs_bytes int,
    s_timetaken int
)
AS
BEGIN

    @result = EXTRACT
        s_date DateTime,
        s_time string,
        s_sitename string,
        cs_method string,
        cs_uristem string,
        cs_uriquery string,
        s_port int,
        cs_username string,
        c_ip string,
        cs_useragent string,
        cs_cookie string,
        cs_referer string,
        cs_host string,
        sc_status int,
        sc_substatus int,
        sc_win32status int,
        sc_bytes int,
        cs_bytes int,
        s_timetaken int
    FROM @"/Samples/Data/WebLog.log"
    USING Extractors.Text(delimiter:' ');
    RETURN;
END;

// Create a table for storing referrers and status
DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
@weblog = SampleDBTutorials.dbo.WeblogsView();
CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
(
    INDEX idx1
    CLUSTERED(Year ASC)
    DISTRIBUTED BY HASH(Year)
) AS

SELECT s_date.Year AS Year,
    s_date.Month AS Month,
    s_date.Day AS Day,
    cs_referer,
    sc_status,
    COUNT(DISTINCT c_ip) AS cnt
FROM @weblog
GROUP BY s_date,
        cs_referer,
        sc_status;

Information om U-SQL finns i Komma igång med U-SQL-språket Data Lake Analytics.

Lägg till ett nytt U-SQL-skript i projektet och ange följande:

// Query the referrers that ran into errors
@content =
    SELECT *
    FROM SampleDBTutorials.dbo.ReferrersPerDay
    WHERE sc_status >=400 AND sc_status < 500;

OUTPUT @content
TO @"/Samples/Outputs/UnsuccessfulResponses.log"
USING Outputters.Tsv();

Växla tillbaka till det första U-SQL-skriptet och ange ditt Analytics-konto bredvid knappen Skicka .
Välj Script.usql i Solution Explorer och välj sedan Skapa skript. Kontrollera resultatet i Output-fönstret.
Välj Script.usql i Solution Explorer och välj sedan Skicka skript.
Kontrollera att analyskontot är det konto där du vill köra jobbet och välj sedan Skicka. Sändningsresultat och jobblänk är tillgängliga i fönstret Data Lake Tools för Visual Studio-resultat när sändningen har slutförts.
Vänta tills jobbet har slutförts. Om jobbet misslyckades saknar det troligtvis källfilen. Se avsnittet Förutsättningar i den här självstudiekursen. Mer felsökningsinformation finns i Övervaka och felsöka Azure Data Lake Analytics-jobb.

När jobbet har slutförts visas följande skärm:
Upprepa nu steg 7–10 för Script1.usql.

För att se jobbutdata

Från Server Explorer expanderar du Azure, expanderar Data Lake Analytics, expanderar ditt Data Lake Analytics-konto, expanderar Lagringskonton, högerklickar på standardkontot för Data Lake Storage och väljer sedan Utforskaren.
Dubbelklicka på Exempel för att öppna mappen och dubbelklicka sedan på Utdata.
Dubbelklicka på UnsuccessfulResponses.log.
Du kan också dubbelklicka på utdatafilen i diagramvyn för jobbet för att navigera direkt till utdata.

Nästa steg

Information om hur du kommer igång med Data Lake Analytics med olika verktyg finns i:

Dela via