Köra och felsöka notebook-celler med Databricks Connect och Databricks-tillägget för Visual Studio Code

Du kan köra och felsöka notebook-filer, en cell i taget eller alla celler samtidigt och se deras resultat i Visual Studio Code-användargränssnittet med hjälp av Databricks-tillägget för Visual Studio Code Databricks Connect-integrering. All kod körs lokalt, medan all kod som involverar DataFrame-åtgärder körs på klustret i den fjärranslutna Azure Databricks-arbetsytan och körningssvar skickas tillbaka till den lokala anroparen. All kod felsöks lokalt, medan all Spark-kod fortsätter att köras på klustret i den fjärr Azure Databricks-arbetsytan. Spark-kärnkoden kan inte felsökas direkt från klienten.

Om du vill aktivera Databricks Connect-integrering för notebook-filer i Databricks-tillägget för Visual Studio Code måste du installera Databricks Connect i Databricks-tillägget för Visual Studio Code. Se Felsöka kod med Databricks Connect för Databricks-tillägget för Visual Studio Code.

Köra Python Notebook-celler

För notebook-filer med filnamn som har ett .py tillägg visas knapparna Kör cell, Kör ovan och Felsökningscell när du öppnar anteckningsboken i Visual Studio Code IDE. När du kör en cell visas resultatet på en separat flik i IDE. När du felsöker visar cellen som debuggas knapparna Fortsätt, Stoppa och Steg över . När du felsöker en cell kan du använda Visual Studio Code-felsökningsfunktioner som att titta på variablers tillstånd och visa anropsstacken och felsökningskonsolen.

För notebook-filer med filnamn som har ett .ipynb tillägg innehåller notebook-filen och dess celler ytterligare funktioner när du öppnar anteckningsboken i Visual Studio Code IDE. Se Köra celler och Arbeta med kodceller i Anteckningsboksredigeraren.

Mer information om notebook-format för filnamn med tilläggen .py och .ipynb finns i Importera och exportera Databricks-notebook-filer.

Kör Python Jupyter notebook-celler

För att köra eller felsöka en Python Jupyter-notebook (.ipynb):

1. I projektet öppnar du den Python Jupyter-notebook-fil som du vill köra eller felsöka. Kontrollera att Python-filen är i Jupyter Notebook-format och har tillägget .ipynb.

   Tips

   Du kan skapa en ny Python Jupyter-anteckningsbok genom att >köra kommandot Skapa: Ny Jupyter Notebook från kommandopaletten.

2. Klicka på Kör alla celler för att köra alla celler utan felsökning. Kör cell för att köra en enskild motsvarande cell utan felsökning eller Kör efter rad för att köra en enskild cell rad för rad med begränsad felsökning, med variabelvärden som visas i panelen Jupyter (View > Open View > Jupyter).

   För fullständig felsökning i en enskild cell anger du brytpunkter och klickar sedan på Felsök cell på menyn bredvid cellens kör-knapp .

   När du klickar på något av de här alternativen kan du uppmanas att installera saknade Python Jupyter Notebook-paketberoenden. Klicka för att installera.

   Mer information finns i Jupyter Notebooks i VS Code.

Globala variabler i notebook

Följande globala notebook-filer är också aktiverade:

• spark, som representerar en instans av databricks.connect.DatabricksSession, är förkonfigurerad för att instansiera DatabricksSession genom att hämta autentiseringsuppgifter för Azure Databricks från tillägget. Om DatabricksSession redan har instansierats i en notebook-cellskod används de här DatabricksSession inställningarna i stället. Se Kodexempel för Databricks Connect för Python.

• udf, förkonfigurerad som ett alias för pyspark.sql.functions.udf, vilket är ett alias för Python-UDF:er. Se pyspark.sql.functions.udf.

• sql, förkonfigurerad som ett alias för spark.sql. spark, som beskrevs tidigare, representerar en förkonfigurerad instans av databricks.connect.DatabricksSession. Se Spark SQL.

• dbutils, förkonfigurerad som en instans av Databricks Utilities, som importeras från databricks-sdk och instansieras genom att autentiseringsuppgifter för Azure Databricks hämtas från tillägget. Se Använda Databricks-verktyg.

  Kommentar

  Endast en delmängd av Databricks Utilities stöds för notebooks med Databricks Connect.

  Om du vill aktivera dbutils.widgetsmåste du först installera Databricks SDK för Python genom att köra följande kommando i terminalen för den lokala utvecklingsdatorn:

  pip install 'databricks-sdk[notebook]'
  

• display, förkonfigurerad som ett alias för Jupyters inbyggda IPython.display.display. Se IPython.display.display.

• displayHTML, förkonfigurerad som ett alias för dbruntime.display.displayHTML, som är ett alias för display.HTML från ipython. Se IPython.display.html.

Notebook-magier

Följande notebook-magi aktiveras också:

• %fs, vilket är samma sak som att göra dbutils.fs anrop. Se Blanda språk.

• %sh, som kör ett kommando med hjälp av cellmagi %%script på den lokala datorn. Detta kör inte kommandot på den fjärranslutna Azure Databricks-arbetsytan. Se Blanda språk.

• %md och %md-sandbox, som kör cellmagi %%markdown. Se Blanda språk.

• %sql, som kör spark.sql. Se Blanda språk.

• %pip, som kör pip install på den lokala datorn. Detta körs pip install inte på den fjärranslutna Azure Databricks-arbetsytan. Se Hantera bibliotek med %pip kommandon.

• %run, som kör en annan notebook. Se Orkestrera anteckningsböcker och modularisera kod i anteckningsböcker.

  Kommentar

  Om du vill aktivera %runmåste du först installera nbformat-biblioteket genom att köra följande kommando i terminalen för den lokala utvecklingsdatorn:

  pip install nbformat
  

Ytterligare funktioner som är aktiverade är:

• Spark DataFrames konverteras till Pandas DataFrames, som visas i Jupyter-tabellformat.

Begränsningar

Begränsningar för att köra celler i notebook-filer i Visual Studio Code är:

• Notebookens magiska kommandon %r och %scala stöds inte och visar ett fel om de anropas. Se Blanda språk.
• Notebook-%sql stöder inte vissa DML-kommandon, till exempel Visa tabeller.