Delen via


Rekenresources voor notebooks

In dit artikel worden de opties voor rekenresources van notebooks beschreven. U kunt een notebook uitvoeren op een rekenresource voor alle doeleinden, serverloze berekeningen of, voor SQL-opdrachten, kunt u een SQL-warehouse gebruiken, een type rekenproces dat is geoptimaliseerd voor SQL-analyses. Zie Computevoor meer informatie over rekentypen.

Serverloze rekenkracht voor notebooks

Met serverloze computing kunt u uw notebook snel verbinden met on-demand computingresources.

Als u wilt koppelen aan de serverloze berekening, klikt u op de vervolgkeuzelijst Verbinden in het notitieblok en selecteert u serverloze.

Zie Serverloze compute voor notebooks voor meer informatie.

Automatisch sessieherstel voor serverloze notebooks

Inactieve beëindiging van serverloze rekenkracht kan ertoe leiden dat u in uw notebooks bezig zijnde werk kwijtraakt, zoals Python-variabelewaarden. U kunt dit voorkomen door automatische sessieherstel in te schakelen voor serverloze notebooks.

  1. Klik op uw gebruikersnaam in de rechterbovenhoek van uw werkruimte en klik vervolgens op Instellingen in de vervolgkeuzelijst.
  2. Selecteer Developerin de zijbalk Instellingen.
  3. Schakel onder Experimentele functies de optie Automatisch sessieherstel in voor de instelling voor serverloze notebooks .

Als u deze instelling inschakelt, kan Databricks een momentopname maken van de geheugenstatus van het serverloze notebook voordat deze wordt beëindigd. Wanneer u terugkeert naar een notitieblok nadat de verbinding is verbroken, wordt boven aan de pagina een banner weergegeven. Klik op Opnieuw verbinding maken om de werkstatus te herstellen.

Wanneer u opnieuw verbinding maakt, wordt in Databricks uw volledige werkomgeving hersteld, waaronder:

  • Python-variabelen, -functies en -klassedefinities: de Python-zijde van uw notebook blijft behouden, zodat u niet opnieuw hoeft te importeren of opnieuw te declareren.
  • Spark-gegevensframes, cacheweergaven en tijdelijke weergaven: gegevens die u hebt geladen, getransformeerd of in de cache opgeslagen (inclusief tijdelijke weergaven), zodat u kostbare herlaad- of hercomputatie vermijdt.
  • Spark-sessiestatus: alle configuratie-instellingen op Spark-niveau, tijdelijke weergaven, cataloguswijzigingen en door de gebruiker gedefinieerde functies (UDF's) worden opgeslagen, zodat u ze niet opnieuw hoeft in te stellen.

Deze functie heeft beperkingen en biedt geen ondersteuning voor het herstellen van het volgende:

  • Spark-statussen ouder dan 4 dagen
  • Spark-statussen groter dan 50 MB
  • Gegevens met betrekking tot SQL-scripts
  • Bestandsingangen
  • Vergrendelingen en andere gelijktijdigheidsprimitieven
  • Netwerkverbindingen

een notebook koppelen aan een rekenresource voor alle doeleinden

Als u een notebook wilt koppelen aan een rekenresource voor alle doeleinden, hebt u de KAN KOPPELEN AAN machtiging voor de rekenresource.

Belangrijk

Zolang een notebook is gekoppeld aan een rekenresource, heeft elke gebruiker met de machtiging KAN UITVOEREN op het notebook impliciete machtigingen om toegang te krijgen tot de rekenresource.

Als u een notebook wilt koppelen aan een rekenresource, klikt u op de rekenkiezer op de werkbalk van het notitieblok en selecteert u de resource in de vervolgkeuzelijst.

In het menu ziet u een selectie van alle reken- en SQL-warehouses die u onlangs hebt gebruikt of die momenteel worden uitgevoerd.

Notitieblok koppelen

Als u een keuze wilt maken uit alle beschikbare berekeningen, klikt u op Meer.... Selecteer een van de beschikbare algemene reken- of SQL-magazijnen.

dialoogvenster meer clusters

U kunt ook een nieuwe rekenresource voor alle doeleinden maken door Nieuwe resource maken te selecteren... in de vervolgkeuzelijst.

Belangrijk

Voor een gekoppeld notebook zijn de volgende Apache Spark-variabelen gedefinieerd.

Klas Variabelenaam
SparkContext sc
SQLContext/HiveContext sqlContext
SparkSession (Spark 2.x) spark

Maak SparkSessiongeen , SparkContextof SQLContext. Dit leidt tot inconsistent gedrag.

Een notebook gebruiken met een SQL-warehouse

Wanneer een notebook is gekoppeld aan een SQL-warehouse, kunt u SQL- en Markdown-cellen uitvoeren. Als u een cel uitvoert in een andere taal (zoals Python of R), treedt er een fout op. SQL-cellen die worden uitgevoerd op een SQL-magazijn, worden weergegeven in de querygeschiedenis van het SQL-warehouse. De gebruiker die een query heeft uitgevoerd, kan het queryprofiel uit het notebook bekijken door te klikken op het verstreken tijdstip onderaan de uitvoer.

Notebooks die zijn gekoppeld aan SQL Warehouses ondersteunen SQL Warehouse-sessies, waarmee u variabelen kunt definiëren, tijdelijke weergaven kunt maken en de status kunt behouden voor meerdere queryuitvoeringen. Hierdoor kunt u iteratief SQL-logica bouwen zonder dat u alle instructies tegelijk hoeft uit te voeren. Zie Wat zijn SQL Warehouse-sessies?

Voor het uitvoeren van een notebook is een pro- of serverloze SQL Warehouse vereist. U moet toegang hebben tot de werkruimte en het SQL-warehouse.

Ga als volgt te werk om een notebook toe te voegen aan een SQL Warehouse :

  1. Klik op de rekenkiezer op de werkbalk van het notitieblok. In de vervolgkeuzelijst ziet u rekenresources die momenteel worden uitgevoerd of die u onlangs hebt gebruikt. SQL-magazijnen zijn gemarkeerd met SQL Warehouse-label.

  2. Selecteer een SQL Warehouse in het menu.

    Als u alle beschikbare SQL-magazijnen wilt zien, selecteert u Meer... in de vervolgkeuzelijst. Er wordt een dialoogvenster weergegeven met rekenresources die beschikbaar zijn voor het notebook. Selecteer SQL Warehouse-, kies het magazijn dat u wilt gebruiken en klik op koppelen.

    dialoogvenster meer cluster met SQL Warehouse geselecteerd

U kunt ook een SQL Warehouse selecteren als de rekenresource voor een SQL-notebook wanneer u een werkstroom of geplande taak maakt.

Beperkingen van SQL Warehouse

Zie Bekende beperkingen voor Databricks-notebooks voor meer informatie.