Köra shell-kommandon i Azure Databricks-webbterminalen

Azure Databricks-webbterminalen är ett bekvämt och mycket interaktivt sätt att köra gränssnittskommandon i ett kommandoradsgränssnitt (CLI), inklusive Databricks CLI-kommandon, för att vidta åtgärder på Databricks-objekt programmatiskt. Det är särskilt användbart för avancerade användningsfall, till exempel batchåtgärder på flera filer, som befintliga användargränssnitt (UIs) kanske inte har fullt stöd för.

Flera användare kan använda webbterminalen på en dator.

Du kan använda webbterminalen för att göra följande:

• Gör snabbfilredigeringar med Vim eller Emacs.
• Övervaka resursanvändning med kommandon som htop (klusteranvändning) eller nvidia-smi (GPU-användning).
• Kör icke Spark Python-skript.
• Kör filåtgärder med gränssnittskommandon som mv och mkdir.
• Installera och hantera bibliotek på en beräkningsplattform.
• Använd Databricks CLI för att automatisera olika aspekter av Azure Databricks.

Krav

• Webbterminalen är inaktiverad som standard för alla arbetsyteanvändare. Information om hur du aktiverar den finns i Aktivera webbterminalen.
• Behörighet att ansluta till en dator.
• Om du vill använda webbterminalen med standardåtkomstläge (tidigare läget för delad åtkomst) måste beräkningen finnas på Databricks Runtime 15.1 eller senare.

Starta webbterminalen

Du kan starta webbterminalen från beräkningssidan eller från en anteckningsbok.

Från en notebook-fil

Så här startar du webbterminalen från en notebook:

1. Anslut notebook för att beräkna.
2. Längst ned i anteckningsbokens högra sidofält klickar du på terminalikonen Starta webbterminalen.
3. Du kan också klicka på listrutan för den bifogade beräkningsresursen, för muspekaren över den, och sedan klicka på Webbterminal.

Webbterminalen öppnas i en panel längst ned på skärmen. Med knapparna längst upp till höger i panelen kan du:

• Öppna en ny terminalsession på en ny flik.
• Ladda in en terminalsession igen.
• Stäng den nedre panelen. Om du vill öppna panelen igen klickar du på Längst ned i det högra sidofältet.

Från sidan med beräkningsinformation

Så här startar du webbterminalen från sidan med beräkningsinformation:

1. Klicka på Beräkning i arbetsytans sidofält.
2. På fliken All-purpose compute klickar du på namnet på beräkningen.
3. Starta beräkningen genom att klicka på Start .
4. På fliken Appar klickar du på Webbterminal.

En ny flik öppnas med webbterminalens användargränssnitt och Bash-prompten.

Använda webbterminal

I webbterminalen kan du köra kommandon från roten i containern för beräkningsdrivrutinsnoden.

Varje användare kan ha upp till 100 aktiva webbterminalsessioner (flikar) öppna. Inaktiva webbterminalsessioner kan tidsutgå och webbterminalen återansluts, vilket resulterar i en ny skalkommandoprocess. Om du vill behålla Bash-sessionen rekommenderar Databricks att du använder tmux.

Kör Databricks CLI-kommandon

Du kan också använda webbterminalen för att köra Databricks CLI-kommandon. Det tillgängliga CLI:et är alltid den senaste versionen och autentiseringen baseras på den aktuella användaren.

Beräkningen måste uppfylla följande krav:

• Databricks Runtime 15.0 eller senare

• Arbetsytan får inte vara aktiverad för Private Link

Starta webbterminalen och kör följande kommando för att mata ut information om den aktuella användaren:

   databricks current-user me

Paketkommandon är också tillgängliga, vilket gör att du kan skapa och hantera databricks-tillgångspaket direkt från webbterminalen på Databricks-arbetsytan. Om du till exempel vill skapa, distribuera och köra ett enkelt paket med hjälp av standardmallen:

1. Från webbterminalroten går du till arbetsytans startsida och kör bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Acceptera standardmallprompterna och ändra sedan till paketkatalogen och distribuera den:

   cd my_project
   databricks bundle deploy
   

   Du kan visa det distribuerade my_project paketet i användargränssnittet för Databricks-arbetsytan.

3. Kör slutligen standardjobbet i paketet:

   databricks bundle run my_project_job
   

   Gå till Jobbkörningar för att se det pågående jobbet.

Konfigurera webbterminalen

Du kan ange beständiga konfigurationer för webbterminalen med hjälp av .bashrc-konfigurationsfiler.

Databricks hämtar automatiskt filer med namnet .bashrc från arbetsytefilsystemets hemmapp. Inställningar från dessa filer aktiveras automatiskt varje gång du startar en ny terminalsession.

Om du vill hämta andra filer (till exempel .zshrc) för webbterminalen kan du hämta dem från .bashrc-filen för att spara konfigurationen.

Spara alla konfigurationsfiler i arbetsytans mapp där du kan konfigurera dem med hjälp av en textredigerare.

Begränsningar

• Azure Databricks stöder inte körning av Spark-jobb från webbterminalen.

• Azure Databricks-webbterminalen är inte tillgänglig i följande beräkningstyper:

  • Jobbberäkning
  • Beräkning som startas med miljövariabeluppsättningen DISABLE_WEB_TERMINAL=true .
  • Standardberäkning på Databricks Runtime-versionen under 15.1.
  • Standardberäkning med ARM-instanstyper på Databricks Runtime under 16.4.
  • Serverlös beräkning med serverlös miljöversion 1.
  • Compute startade med Spark-konfigurationen spark.databricks.pyspark.enableProcessIsolation inställd på true.

• Det finns en hård gräns på 12 timmar sedan den första sidinläsningen, varefter alla anslutningar, även om de är aktiva, avslutas. Du kan uppdatera webbterminalen för att återansluta. Databricks rekommenderar att du använder tmux för att bevara shell-sessionen.

• ARM-beräkningsresurser på Databricks Runtime under 16.4 kan inte använda webbterminaler för att komma åt arbetsytefiler, inklusive filer i Git-mappar.

• Om du aktiverar Docker Container Services inaktiveras webbterminalen.