Utveckla och felsöka ETL-pipelines med en notebook i Lakeflow Declarative Pipelines

Den här artikeln beskriver hur du använder en notebook i Lakeflow deklarativa pipelines för att utveckla och felsöka en ETL-pipeline.

Översikt över notesböcker i deklarativa arbetsflöden för Lakeflow

När du arbetar med en Python- eller SQL-notebook-fil som är konfigurerad som källkod för en befintlig pipeline kan du ansluta notebook-filen direkt till pipelinen. När notebookfilen är ansluten till pipelinen är följande funktioner tillgängliga:

• Starta och verifiera pipelinen från anteckningsboken.
• Visa pipelinens dataflödesdiagram och händelselogg för den senaste uppdateringen i notebook-filen.
• Visa pipeline-diagnostik i anteckningsboksredigeraren.
• Visa status av pipelinens kluster i anteckningsboken.
• Få åtkomst till Lakeflow-användargränssnittet för deklarativa pipelines från anteckningsboken.

Förutsättningar

• Du måste ha en befintlig pipeline med en Python- eller SQL-notebook-fil konfigurerad som källkod.
• Du måste antingen vara ägare till pipelinen eller ha CAN_MANAGE behörighet.

Begränsningar

• De funktioner som beskrivs i den här artikeln är endast tillgängliga i Azure Databricks-notebook-filer. Arbetsytefiler stöds inte.
• Webbterminalen är inte tillgänglig när den är ansluten till en pipeline. Därför visas den inte som en flik i den nedre panelen.

Ansluta en notebook till en pipeline

I anteckningsboken klickar du på den nedrullningsbara menyn som används för att välja beräkning. Rullgardinsmenyn visar alla dina deklarativa pipelines för Lakeflow där denna notebook används som källkod. Om du vill ansluta anteckningsboken till en pipeline väljer du den i listan.

Visa pipelinens klusterstatus

För att enkelt förstå tillståndet för pipelinens kluster visas dess status i listrutan beräkning med en grön färg som anger att klustret körs.

Verifiera pipeline-kod

Du kan verifiera pipelinen för att söka efter syntaxfel i källkoden utan att bearbeta några data.

Gör något av följande för att verifiera en pipeline:

• I det övre högra hörnet i anteckningsboken klickar du på Verifiera.
• Tryck på Shift+Enter i valfri notebook-cell.
• I listrutan för en cell klickar du på Verifiera pipeline.

Starta uppdateringen av en pipeline

Om du vill starta en uppdatering av pipelinen klickar du på knappen Starta i det övre högra hörnet i anteckningsboken. Se Kör en uppdatering i Lakeflow Deklarativa Pipelines.

Visa status för en uppdatering

Den översta panelen i anteckningsboken visar huruvida en pipelineuppdatering är:

• Starting
• Validera
• Stoppa

Visa fel och diagnostik

När du har startat en pipelineuppdatering eller validering visas eventuella fel med en röd understrykning. Hovra över ett fel för mer information.

Visa pipeline-händelser

När du är ansluten till en pipeline finns det en flik för händelseloggar för Lakeflow Deklarativa Pipelines längst ned i notebook-filen.

Visa dataflödesdiagrammet för pipelinen

Om du vill visa en pipelines dataflödesdiagram använder du diagramfliken Lakeflow Deklarativa Pipelines längst ned i anteckningsboken. Om du väljer en nod i diagrammet visas schemat i den högra panelen.

Så här kommer du åt Lakeflow-användargränssnittet för Deklarativa Pipelines från notebooken

För att enkelt hoppa till Lakeflow Declarative Pipelines UI, använd menyn i det övre högra hörnet av anteckningsboken.

Komma åt drivrutinsloggar och Spark-användargränssnittet från notebooken

Drivrutinsloggarna och Spark-användargränssnittet som är associerade med pipelinen som utvecklas kan enkelt nås från anteckningsbokens Visa-meny .