ETL-pijplijnen ontwikkelen en fouten opsporen met een notebook in Lakeflow-declaratieve pijplijnen

In dit artikel wordt beschreven hoe u een notebook in Lakeflow Declarative Pipelines gebruikt voor het ontwikkelen en opsporen van fouten in ETL-pijplijnen.

Overzicht van notebooks in declaratieve Lakeflow-pijplijnen

Wanneer u werkt aan een Python- of SQL-notebook dat is geconfigureerd als broncode voor een bestaande pijplijn, kunt u het notebook rechtstreeks verbinden met de pijplijn. Wanneer het notebook is verbonden met de pijplijn, zijn de volgende functies beschikbaar:

• Start en valideer de pijplijn vanuit het notebook.
• Bekijk de gegevensstroomgrafiek en het gebeurtenislogboek van de pijplijn voor de meest recente update in het notebook.
• Bekijk diagnostische gegevens van pijplijnen in de notebook-editor.
• Bekijk in het notebook de status van het cluster van de pijplijn.
• Open de declaratieve pijplijngebruikersinterface van Lakeflow vanuit het notebook.

Vereiste voorwaarden

• U moet een bestaande pijplijn hebben met een Python- of SQL-notebook die is geconfigureerd als broncode.
• U moet de eigenaar van de pijplijn zijn of de bevoegdheid CAN_MANAGE hebben.

Beperkingen

• De functies in dit artikel zijn alleen beschikbaar in Azure Databricks-notebooks. Werkruimtebestanden worden niet ondersteund.
• De webterminal is niet beschikbaar wanneer deze is gekoppeld aan een pijplijn. Als gevolg hiervan is het niet zichtbaar als een tabblad in het onderste deelvenster.

Een notebook verbinden met een pijplijn

Klik in het notitieblok op de vervolgkeuzelijst die wordt gebruikt om berekening te selecteren. In de vervolgkeuzelijst ziet u al uw Lakeflow-declaratieve pijplijnen met dit notebook als broncode. Als u het notebook wilt verbinden met een pijplijn, selecteert u het in de lijst.

De clusterstatus van de pijplijn weergeven

Om de status van het cluster van uw pijplijn gemakkelijk te begrijpen, wordt de status ervan weergegeven in de vervolgkeuzelijst Compute met een groene kleur om aan te geven dat het cluster wordt uitgevoerd.

Pijplijncode valideren

U kunt de pijplijn valideren om te controleren op syntaxisfouten in uw broncode zonder gegevens te verwerken.

Ga op een van de volgende manieren te werk om een pijplijn te valideren:

• Klik in de rechterbovenhoek van het notitieblok op Valideren.
• Druk op Shift+Enter in een willekeurige notitieblokcel.
• Klik in het vervolgkeuzemenu van een cel op Pijplijn valideren.

Een pijplijnupdate starten

Als u een update van uw pijplijn wilt starten, klikt u op de knop Start in de rechterbovenhoek van het notitieblok. Zie Een update uitvoeren in Lakeflow Declarative Pipelines.

De status van een update weergeven

In het bovenste deelvenster van het notebook wordt aangegeven of er een pijplijnupdate heeft plaatsgevonden.

• Starting
• Valideren
• Het stoppen

Fouten en diagnostische gegevens weergeven

Nadat u een pijplijnupdate of validatie hebt gestart, worden eventuele fouten inline weergegeven met een rode onderstreping. Beweeg de muisaanwijzer over een fout om meer informatie te zien.

Pijplijn gebeurtenissen weergeven

Wanneer deze aan een pipeline is gekoppeld, bevindt zich onderaan het notebook een tabblad met het gebeurtenislogboek van Lakeflow Declarative Pipelines.

De pijplijngegevensstroomgrafiek weergeven

Als u de gegevensstroomgrafiek van een pijplijn wilt weergeven, gebruikt u het grafiektabblad Lakeflow Declarative Pipelines onderaan het notebook. Als u een knooppunt in de grafiek selecteert, wordt het bijbehorende schema weergegeven in het rechterdeelvenster.

Toegang krijgen tot de declaratieve pijplijngebruikersinterface van Lakeflow vanuit het notebook

Om eenvoudig naar de Lakeflow Declarative Pipelines-gebruikersinterface te gaan, gebruikt u het menu in de rechterbovenhoek van het notebook.

Toegang tot stuurprogrammalogboeken en de Spark-gebruikersinterface vanuit het notebook

De stuurprogrammalogboeken en de Spark-gebruikersinterface die zijn gekoppeld aan de pijplijn die wordt ontwikkeld, kunnen eenvoudig worden geopend vanuit het menu Weergave van het notitieblok.