Använda Synapse Studio för att övervaka dina Apache Spark-program

Med Azure Synapse Analytics kan du använda Apache Spark för att köra notebooks, jobb och andra typer av program på dina Apache Spark-pooler i din workspace.

Den här artikeln beskriver hur du övervakar dina Apache Spark-program så att du kan hålla ett öga på den senaste statusen, problemen och förloppet.

Visa Apache Spark-applikationer

Du kan visa alla Apache Spark-program från Monitor -Apache Spark-program>.

Visa slutförda Apache Spark-program

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de slutförda Apache Spark-programmen väljer du Apache Spark-programmet.

1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

2. Uppdatera jobbet.

3. Klicka på Jämför program för att använda jämförelsefunktionen. Mer information om den här funktionen finns i Jämför Apache Spark-program.

4. Klicka på Spark-historikservern för att öppna sidan Historikserver.

5. Kontrollera sammanfattningsinformationen .

6. Kontrollera diagnostiken på fliken Diagnostik .

7. Kontrollera loggarna. Du kan visa fullständig logg över Livy-, Prelaunch- och Driver-loggar genom att välja olika alternativ i listrutan. Och du kan hämta nödvändig logginformation direkt genom att söka efter nyckelord. Klicka på Ladda ned logg för att ladda ned logginformationen till den lokala filen och markera kryssrutan Filtrera fel och varningar för att filtrera de fel och varningar du behöver.

8. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Som standard visar diagrammet alla jobb. Du kan filtrera den här vyn efter jobb-ID.

9. Som standard är förloppsvisningen markerad. Du kan kontrollera dataflödet genom att välja Förlopp/Läst/Skrivet/Varaktighet i listrutan Visa.

10. Om du vill spela upp jobbet klickar du på knappen Uppspelning . Du kan när som helst klicka på knappen Stoppa för att stoppa.

11. Använd rullningslisten för att zooma in och zooma ut jobbdiagrammet. Du kan också välja Zooma till Anpassa för att få den att passa skärmen.

12. Jobbdiagramnoden visar följande information för varje steg:

    • Jobb-ID

    • Aktivitetsnummer

    • Varaktighetstid

    • Antal rader

    • Läsdata: summan av indatastorleken och shuffle-lässtorleken

    • Skrivna data: summan av utdatastorleken och shuffle-skrivstorleken

    • Stegnummer

      

13. Hovra musen över ett jobb så visas jobbinformationen i knappbeskrivningen:

    • Ikon för jobbstatus: Om jobbet är lyckat visas det som en grön "√"; om jobbet upptäcker något problem visas det som ett gult "!"

    • Jobb-ID

    • Allmän del:

      • Framsteg
      • Varaktighetstid
      • Totalt antal uppgifter

    • Datadel:

      • Totalt antal rader
      • Lässtorlek
      • Textstorlek

    • Skev del:

      • Dataskev
      • Tidsförskjutning

    • Etappnummer

      

14. Klicka på Stegnummer för att expandera alla faser som ingår i jobbet. Klicka på Dölj bredvid jobb-ID:t för att dölja alla faser i jobbet.

15. Klicka på Visa information i ett stegdiagram. Informationen för en fas visas.

    

Övervaka Förloppet för Apache Spark-programmet

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de Apache Spark-program som körs väljer du det skickade Apache Spark-programmet. Om Apache Spark-programmet fortfarande körs kan du övervaka förloppet.

1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

2. Avbryt Apache Spark-programmet.

3. Uppdatera jobbet.

4. Klicka på knappen Spark-användargränssnitt för att gå till sidan Spark-jobb.

5. För jobbdiagram, sammanfattning, diagnostik, loggar. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Se steg 5–15 i Visa slutförda Apache Spark-program.

Visa avbrutna Apache Spark-program

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de avbrutna Apache Spark-programmen väljer du Apache Spark-programmet.

1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

2. Återställ jobbet.

3. Klicka på Jämför program för att använda jämförelsefunktionen. Mer information om den här funktionen finns i Jämför Apache Spark-program.

4. Öppna länken för Apache-historikservern genom att klicka på Spark-historikservern.

5. Visa diagrammet. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Se steg 5–15 i Visa slutförda Apache Spark-program.

Felsöka ett Apache Spark-program som misslyckades

Öppna Övervaka och välj sedan Apache Spark-program. Om du vill visa information om de misslyckade Apache Spark-programmen väljer du Apache Spark-programmet.

1. Kontrollera varaktigheten Slutförda aktiviteter, Status och Total.

2. Uppdatera jobbet.

3. Klicka på Jämför program för att använda jämförelsefunktionen. Mer information om den här funktionen finns i Jämför Apache Spark-program.

4. Öppna länken för Apache-historikservern genom att klicka på Spark-historikservern.

5. Visa diagrammet. Du kan se en översikt över ditt jobb i det genererade jobbdiagrammet. Se steg 5–15 i Visa slutförda Apache Spark-program.

Visa indatainformation/utdatainformation

Välj ett Apache Spark-program och klicka på fliken Indata/Utdata för att visa datum för indata och utdata för Apache Spark-programmet. Den här funktionen kan hjälpa dig att felsöka Spark-jobbet. Och datakällan stöder tre lagringsmetoder: gen1, gen2 och blob.

Fliken Indata

1. Klicka på knappen Kopiera indata för att klistra in indatafilen till den lokala filen.

2. Klicka på knappen Exportera till CSV för att exportera indatafilen i CSV-format.

3. Du kan söka efter filer med indatanyckelord i sökrutan (nyckelord inkluderar filnamn, läsformat och sökväg).

4. Du kan sortera indatafilerna genom att klicka på Namn, Läs format och sökväg.

5. Använd musen för att hovra över en indatafil. Ikonen för knappen Ladda ned/kopiera sökväg/Mer visas.

6. Klicka på knappen Mer . Kopiera sökväg/Visa i Utforskaren/Egenskaper visas i snabbmenyn.

   

   • Kopieringssökväg: kan kopiera fullständig sökväg och relativ sökväg.

   • "Visa i 'Utforskaren': kan hoppa till det länkade lagringskontot (Data->Linked)."

   • Egenskaper: visa de grundläggande egenskaperna för filen (Filnamn/Filsökväg/Läsformat/Storlek/Ändrad).

     

Utdatafliken

Visar samma funktioner som indatafliken.

Jämföra Apache Spark-program

Det finns två sätt att jämföra program. Du kan jämföra genom att välja Jämför program eller klicka på knappen Jämför i anteckningsbok för att visa det i notebook-filen.

Jämför efter program

Klicka på knappen Jämför program och välj ett program för att jämföra prestanda. Du kan se skillnaden mellan de två programmen.

1. Använd musen för att hovra över ett program och sedan visas ikonen Jämför program .

2. Klicka på ikonen Jämför program så visas sidan Jämför program.

3. Klicka på knappen Välj program för att öppna sidan Välj jämförelseprogram .

4. När du väljer jämförelseprogrammet måste du antingen ange programmets URL eller välja från den återkommande listan. Klicka sedan på OK-knappen .

   

5. Jämförelseresultatet visas på sidan jämför program.

   

Jämför i notebook

Klicka på knappen Jämför i anteckningsbok på sidan Jämför program för att öppna anteckningsboken. Standardnamnet för .ipynb-filen är Recurrent Application Analytics.

I filen Notebook: Recurrent Application Analytics kan du köra den direkt när du har angett Spark-poolen och språket.

Nästa steg

Mer information om hur du övervakar pipelinekörningar finns i artikeln Övervaka pipelinekörningar med Synapse Studio .