Delen via

Shell-opdrachten uitvoeren in azure Databricks-webterminal

De Azure Databricks-webterminal biedt een handige en zeer interactieve manier om shell-opdrachten uit te voeren in een opdrachtregelinterface (CLI), waaronder Databricks CLI-opdrachten, om programmatisch acties uit te voeren op Databricks-objecten. Het is vooral handig voor geavanceerde gebruiksvoorbeelden, zoals batchbewerkingen op meerdere bestanden, die bestaande gebruikersinterfaces (UIS's) mogelijk niet volledig ondersteunen.

Meerdere gebruikers kunnen de webterminal op één rekenproces gebruiken.

U kunt de webterminal gebruiken om het volgende te doen:

  • Maak snelle bestandsbewerkingen met behulp van Vim of Emacs.
  • Bewaak het resourcegebruik met opdrachten zoals htop (clustergebruik) of nvidia-smi (GPU-gebruik).
  • Voer niet-Spark Python-scripts uit.
  • Voer bestandsbewerkingen uit met shell-opdrachten zoals mv en mkdir.
  • Bibliotheken installeren en beheren op computersystemen.
  • Gebruik de Databricks CLI om verschillende aspecten van Azure Databricks te automatiseren.

Vereisten

Waarschuwing

Azure Databricks proxyt de webterminalservice vanaf poort 7681 op het Spark-stuurprogramma van de rekenkracht. Deze webproxy is alleen bedoeld voor gebruik met de webterminal. Als de poort bezet is wanneer de berekening wordt gestart of er een conflict is, werkt de webterminal mogelijk niet zoals verwacht. Als andere webservices worden gestart op poort 7681, kunnen rekengebruikers worden blootgesteld aan mogelijke beveiligingsexplots. Databricks en Microsoft zijn niet verantwoordelijk voor problemen die het gevolg zijn van de installatie van niet-ondersteunde software op een rekenproces.

  • Webterminal is standaard uitgeschakeld voor alle werkruimtegebruikers. Zie De webterminal inschakelen om deze in te schakelen.
  • BIJLAGE TOEVOEGEN AAN toestemming voor een computer.
  • Als u de webterminal wilt gebruiken met de standaardtoegangsmodus (voorheen gedeelde toegangsmodus), moet de berekening zijn ingesteld op Databricks Runtime 15.1 of hoger.

De webterminal starten

U kunt de webterminal starten vanaf de pagina met rekengegevens of vanuit een notebook.

Vanuit een notitieblok

De webterminal starten vanuit een notebook:

  1. Verbind het notebook om te berekenen.
  2. Klik onder aan de rechterzijbalk van het notitieblok op het terminalpictogram terminalpictogram om de webterminal te starten.
  3. U kunt ook op de vervolgkeuzelijst van gekoppelde berekeningen klikken, de muisaanwijzer boven de gekoppelde berekeningen houden en vervolgens op Web Terminal klikken.

De webterminal wordt geopend in een paneel onderaan het scherm. Met de knoppen in de rechterbovenhoek van het deelvenster kunt u het volgende doen:

  • Nieuw vensterpictogram. Open een nieuwe terminalsessie op een nieuw tabblad.
  • Synchronisatiepictogram. Laad een terminalsessie opnieuw.
  • Pictogram Sluiten. Sluit het onderste paneel. Als u het deelvenster opnieuw wilt openen, klikt u op terminalpictogram onder aan de rechterzijbalk.

Van de pagina met compute-gegevens

De webterminal starten vanaf de pagina met rekengegevens:

  1. Klik in de zijbalk van de werkruimte op Compute.
  2. Klik op het tabblad Alles berekenen op de naam van de berekening.
  3. Klik op Start om het rekenproces te starten.
  4. Klik op het tabblad Apps op Web Terminal.

Er wordt een nieuw tabblad geopend met de gebruikersinterface van de webterminal en de Bash-prompt.

Webterminal gebruiken

In de webterminal kunt u commando's uitvoeren als rootgebruiker binnen de container van het berekeningsknooppunt.

Elke gebruiker kan maximaal 100 actieve webterminalsessies (tabbladen) openen. Niet-actieve webterminalsessies kunnen een time-out hebben en de webapplicatie van de webterminal wordt opnieuw verbonden, waardoor een nieuw shell-proces ontstaat. Als u uw Bash-sessie wilt behouden, raadt Databricks het gebruik van tmux aan.

Databricks CLI-opdrachten uitvoeren

U kunt de webterminal ook gebruiken om Databricks CLI-opdrachten uit te voeren. De beschikbare CLI is altijd de nieuwste versie en verificatie is gebaseerd op de huidige gebruiker.

Opmerking

Configuratieprofielopdrachten worden niet ondersteund bij het uitvoeren van CLI-opdrachten in de webterminal. Dit komt doordat de webterminal omgevingsvariabelen gebruikt om te verifiëren bij de CLI, die voorafgaat aan configuratieprofielen in de verificatievolgorde van de evaluatie.

De berekening moet voldoen aan de volgende vereisten:

  • Databricks Runtime 15.0 of hoger
  • De werkruimte mag niet zijn ingeschakeld voor Private Link

Start de webterminal en voer de volgende opdracht uit om informatie over de huidige gebruiker uit te voeren:

   databricks current-user me

Bundelopdrachten zijn ook beschikbaar, waarmee u uw Databricks Asset Bundles rechtstreeks vanuit de webterminal in de Databricks-werkruimte kunt maken en beheren. Als u bijvoorbeeld een eenvoudige bundel wilt maken, implementeren en uitvoeren met behulp van de standaardsjabloon:

  1. Navigeer vanuit de root-directory van de webterminal naar de map van uw werkruimte en voer bundle init uit.

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. Accepteer de standaardsjabloonprompts en ga vervolgens naar de bundelmap en implementeer deze:

    cd my_project
databricks bundle deploy

    U kunt de geïmplementeerde my_project bundel bekijken in de gebruikersinterface van de Databricks-werkruimte.

  3. Voer ten slotte de standaardtaak uit in de bundel:

    databricks bundle run my_project_job

    Navigeer naar Taakuitvoeringen om de lopende taak te bekijken.

Uw webterminal configureren

U kunt permanente configuraties voor uw webterminal instellen met behulp van .bashrc-configuratiebestanden.

Databricks haalt automatisch bestanden met de naam .bashrc uit de basismap van het bestandssysteem van uw werkruimte. Instellingen van deze bestanden worden automatisch geactiveerd telkens wanneer u een nieuwe terminalsessie start.

Als u andere bestanden (zoals .zshrc) wilt bronen voor uw webterminal-ervaring, moet u deze bron gebruiken vanuit uw bashrc-bestand om de configuratie te behouden.

Sla alle configuratiebestanden op in uw werkruimtemap, waar u ze kunt configureren met behulp van een teksteditor.

Beperkingen

  • Azure Databricks biedt geen ondersteuning voor het uitvoeren van Spark-taken vanuit de webterminal.

  • Azure Databricks-webterminal is niet beschikbaar in de volgende rekentypen:

    • Taken berekenen
    • Compute gestart met de DISABLE_WEB_TERMINAL=true omgevingsvariabeleset.
    • Standard compute op Databricks Runtime versie lager dan 15.1.
    • Standaard berekenen met ARM-exemplaartypen in Databricks Runtime lager dan 16.4.
    • Serverloze rekenkracht met serverloze omgeving versie 1.
    • Compute gestart met de Spark-configuratie spark.databricks.pyspark.enableProcessIsolation ingesteld op true.

  • Er is een vaste limiet van 12 uur sinds de eerste pagina wordt geladen, waarna een verbinding, zelfs als actief, wordt beëindigd. U kunt de webterminal vernieuwen om opnieuw verbinding te maken. Databricks raadt het gebruik van tmux aan om uw shell-sessie te behouden.

  • ARM-rekenresources in Databricks Runtime lager dan 16.4 kunnen geen webterminals gebruiken voor toegang tot werkruimtebestanden, inclusief bestanden in Git-mappen.

  • Als u Docker Container Services inschakelt, wordt de webterminal uitgeschakeld.