Architectuur op hoog niveau

Dit artikel bevat een algemeen overzicht van de Azure Databricks-architectuur, met inbegrip van de bedrijfsarchitectuur, in combinatie met Azure.

Databricks-objecten

Een Azure Databricks-account is de constructie op het hoogste niveau die u gebruikt voor het beheren van Azure Databricks in uw organisatie. Op accountniveau beheert u het volgende:

• Identiteit en toegang: gebruikers, groepen, service-principals en inrichting van gebruikers.

• Werkruimtebeheer: Werkruimten maken, bijwerken en verwijderen in meerdere regio's.

• Beheer van Unity Catalog-metastore: Metastore maken en koppelen aan werkruimten.

• Gebruiksbeheer: facturering, naleving en beleid.

Een account kan meerdere werkruimten en Unity Catalog-metastores bevatten.

• Werkruimten zijn de samenwerkingsomgeving waar gebruikers rekenworkloads uitvoeren, zoals opname, interactief verkennen, geplande taken en ML-training.

• Unity Catalog-metastores zijn het centrale beheersysteem voor gegevensassets, zoals tabellen en ML-modellen. U ordent gegevens in een metastore onder een naamruimte met drie niveaus:

<catalog-name>.<schema-name>.<object-name>

Metastores zijn gekoppeld aan werkruimten. U kunt één metastore koppelen aan meerdere Azure Databricks-werkruimten in dezelfde regio, zodat elke werkruimte dezelfde gegevensweergave heeft. Besturingselementen voor gegevenstoegang kunnen worden beheerd in alle gekoppelde werkruimten.

Werkruimtearchitectuur

Azure Databricks werkt vanuit een besturingsvlak en een rekenvlak.

• Het besturingsvlak bevat de back-endservices die Azure Databricks beheert in uw Azure Databricks-account. De webtoepassing bevindt zich in het besturingsvlak.

• Het rekenvlak is waar uw gegevens worden verwerkt. Er zijn twee typen rekenvlakken, afhankelijk van de berekening die u gebruikt.

  • Voor serverloze berekeningen worden de serverloze rekenresources uitgevoerd in een serverloze rekenlaag in uw Azure Databricks-account.
  • Voor klassieke Azure Databricks-berekeningen bevinden de rekenresources zich in uw Azure-abonnement in de zogenaamde klassieke rekenlaag. Dit verwijst naar het netwerk in uw Azure-abonnement en de bijbehorende resources.

  Zie Compute voor meer informatie over klassieke berekeningen en serverloze berekeningen.

Azure Databricks-werkruimten hebben een gekoppeld opslagaccount dat bekend staat als het werkruimteopslagaccount. Het opslagaccount voor de werkruimte bevindt zich in uw Azure-abonnement.

In het volgende diagram wordt de algemene architectuur voor Azure Databricks-werkruimten beschreven.

Serverloos rekenvlak

In het serverloze rekenvlak worden Azure Databricks-rekenresources uitgevoerd in een rekenlaag binnen uw Azure Databricks-account. Azure Databricks maakt een serverloze rekenlaag in dezelfde Azure-regio als het klassieke rekenvlak van uw werkruimte. U selecteert deze regio bij het maken van een werkruimte.

Om klantgegevens binnen het serverloze rekenvlak te beveiligen, wordt serverloze berekening uitgevoerd binnen een netwerkgrens voor de werkruimte, met verschillende beveiligingslagen om verschillende Azure Databricks-werkruimten en extra netwerkcontroles tussen clusters van dezelfde klant te isoleren.

Voor meer informatie over netwerken in het serverloze rekenvlak, serverloze rekenvlaknetwerken.

Klassiek rekenvlak

In het klassieke rekenvlak worden Azure Databricks-rekenresources uitgevoerd in uw Azure-abonnement. Nieuwe rekenresources worden gemaakt in het virtuele netwerk van elke werkruimte in het Azure-abonnement van de klant.

Een klassiek rekenvlak heeft natuurlijke isolatie omdat deze wordt uitgevoerd in het eigen Azure-abonnement van elke klant. Zie Het klassieke rekenvlak netwerken voor meer informatie over netwerken in het klassieke rekenvlak.

Zie Azure Databricks-regio's voor regionale ondersteuning.

Werkruimteopslag

Wanneer u een werkruimte maakt, maakt Azure Databricks een account in uw Azure-abonnement dat moet worden gebruikt als het werkruimteopslagaccount.

Het opslagaccount van de werkruimte bevat:

• Systeemgegevens voor werkruimten: systeemgegevens van werkruimten worden gegenereerd wanneer u verschillende Azure Databricks-functies gebruikt, zoals het maken van notebooks. Deze bucket bevat notebookrevisies, taakuitvoeringsgegevens, opdrachtresultaten en Spark-logboeken
• Werkruimtecatalogus voor Unity Catalog: Als uw werkruimte automatisch is ingeschakeld voor Unity Catalog, bevat het werkruimteopslagaccount de standaardwerkruimtecatalogus. Alle gebruikers in uw werkruimte kunnen assets maken in het standaardschema in deze catalogus. Zie Aan de slag met Unity Catalog.
• DBFS (verouderd): DBFS-root en DBFS-mounts zijn verouderd en kunnen uitgeschakeld zijn in uw werkruimte. DBFS (Databricks File System) is een gedistribueerd bestandssysteem in Azure Databricks-omgevingen die toegankelijk zijn onder de dbfs:/ naamruimte. DBFS-hoofd- en DBFS-koppelingen bevinden zich beide in de dbfs:/ naamruimte. Het opslaan en openen van gegevens door DBFS-root of DBFS-koppelingen te gebruiken is een verouderd patroon en wordt niet aanbevolen door Databricks. Zie Wat is DBFS? voor meer informatie.

Zie Firewall-ondersteuning inschakelen voor uw werkruimteopslagaccount om de toegang tot uw werkruimteopslagaccount te beperken van alleen geautoriseerde resources en netwerken.