Dela via

Hantera Python-beroenden för Lakeflow Declarativa Pipelines

Deklarativa pipelines för Lakeflow stöder externa beroenden i dina pipelines. Databricks rekommenderar att du använder ett av två mönster för att installera Python-paket:

  1. Använd miljöinställningarna för att lägga till paket i pipelinemiljön för alla källfiler i en pipeline.
  2. Importera moduler eller bibliotek från källkod som lagras i arbetsytefiler. Se Importera Python-moduler från Git-mappar eller arbetsytefiler.

Lakeflow deklarativa pipelines stöder också användning av globala och klusterspecifika init-skript. Dessa externa beroenden, särskilt init-skript, ökar dock risken för problem med körningsuppgraderingar. Minimera användningen av init-skript i dina pipelines för att minimera dessa risker. Om bearbetningen kräver init-skript kan du automatisera testningen av din pipeline för att upptäcka problem tidigt. Om du använder init-skript rekommenderar Databricks att du ökar testfrekvensen.

Viktigt!

Eftersom JVM-bibliotek inte stöds i Lakeflow Deklarativa pipelines ska du inte använda ett init-skript för att installera JVM-bibliotek. Du kan dock installera andra bibliotekstyper, till exempel Python-bibliotek, med ett init-skript.

Python-bibliotek

Om du vill ange externa Python-bibliotek redigerar du miljön för din pipeline.

  1. Klicka på Inställningar i pipelineredigeraren.
  2. Under Pipeline-miljö väljer du Pennikon.Redigera miljö.
  3. Klicka på Plus-ikonen.Lägg till beroende.
  4. Ange namnet på beroendet. Databricks rekommenderar att du fäster versionen av biblioteket. Om du till exempel vill lägga till ett beroende av simplejson version 3.19 skriver du simplejson==3.19.*.

Du kan också installera ett Python-hjulpaket från en Unity Catalog-volym genom att ange dess sökväg, till exempel /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whl.

Kan jag använda Scala- eller Java-bibliotek i Lakeflow Deklarativa Pipelines?

Nej, Lakeflow Deklarativa Pipelines supportar endast SQL och Python. Du kan inte använda JVM-bibliotek i en pipeline. Installation av JVM-bibliotek orsakar oförutsägbart beteende och kan sluta fungera med framtida utgåvor av Deklarativa rörledningar för Lakeflow. Om din pipeline använder ett init-skript måste du också se till att JVM-bibliotek inte installeras av skriptet.