Aktivera brandväggsstöd för arbetsytans lagringskonto

Varje Azure Databricks-arbetsyta har ett associerat Azure Storage-konto i en hanterad resursgrupp som kallas lagringskontot för arbetsytan. Lagringskontot för arbetsytan innehåller systemdata för arbetsytor (jobbutdata, systeminställningar och loggar), DBFS-rot och i vissa fall en Unity Catalog-arbetsytekatalog. I den här artikeln beskrivs hur du begränsar åtkomsten till ditt arbetsytelagringskonto från endast auktoriserade resurser och nätverk med hjälp av en ARM-mall (Azure Resource Manager), Azure CLI eller PowerShell.

Vad är brandväggsstöd för ditt lagringskonto i en arbetsyta?

Som standard accepterar Azure Storage-kontot för ditt arbetsytelagringskonto autentiserade anslutningar från alla nätverk. Du kan begränsa den här åtkomsten genom att aktivera brandväggsstöd för arbetsytans lagringskonto. Detta säkerställer att offentlig nätverksåtkomst inte tillåts och att arbetsytans lagringskonto inte är tillgängligt från obehöriga nätverk. Du kanske vill konfigurera detta om din organisation har Azure-principer som säkerställer att lagringskonton är privata.

När brandväggsstöd för ditt arbetsytelagringskonto är aktiverat måste all åtkomst från tjänster utanför Azure Databricks använda godkända privata slutpunkter med Private Link. Azure Databricks skapar en åtkomstanslutning för att ansluta till lagringen med hjälp av en Hanterad Azure-identitet. Åtkomst från serverlös beräkning i Azure Databricks måste antingen använda tjänstslutpunkter eller privata slutpunkter.

Krav

• Din arbetsyta måste aktivera VNet-injektion för anslutningar från det klassiska beräkningsplanet.

• Arbetsytan måste aktivera säker klusteranslutning (ingen offentlig IP/NPIP) för anslutningar från det klassiska beräkningsplanet.

• Din arbetsyta måste finnas i Premium-planen.

• Du måste ha ett separat undernät för de privata slutpunkterna för lagringskontot. Detta är utöver de två viktigaste undernäten för grundläggande Azure Databricks-funktioner.

  Undernätet måste finnas i samma virtuella nätverk som arbetsytan eller i ett separat virtuellt nätverk som arbetsytan kan komma åt. Använd den minsta storleken /28 i CIDR-notation.

• Om du använder Cloud Fetch med Microsoft Fabric-Power BI-tjänst måste du alltid använda en gateway för privat åtkomst till arbetsytans lagringskonto eller inaktivera Cloud Fetch. Se Steg 2 (rekommenderas): Konfigurera privata slutpunkter för virtuella molnhämtningsklientnät.

• För Azure CLI- eller PowerShell-distributionsmetoder måste du skapa Azure Databricks-åtkomstanslutningsappen och spara resurs-ID:t. Detta kräver att du använder antingen en systemtilldelad eller användartilldelad hanterad identitet. Se Access Connector för Databricks. Du kan inte använda Azure Databricks-åtkomstanslutningen i den hanterade resursgruppen.

Du kan också använda ARM-mallen i steg 5: Aktivera brandvägg för ditt arbetsytelagringskonto för att skapa en ny arbetsyta. I så fall stänger du av all beräkning på arbetsytan innan du följer steg 1 till och med 4.

Steg 1: Skapa privata slutpunkter till lagringskontot

Skapa två privata slutpunkter till ditt arbetsytelagringskonto från ditt virtuella nätverk som du använde för VNet-inmatning för Target-underresursens värden: dfs och blob.

1. Gå till din arbetsyta.

2. Under Essentials klickar du på namnet på den hanterade resursgruppen.

3. Under Resursernoterar du namnet på ditt lagringskonto för arbetsytan. Namnet börjar med dbstorage.

4. I sökrutan överst i portalen anger du och väljer Privat slutpunkt.

5. Klicka på + Skapa.

6. I fältet Resursgrupp namn anger du resursgruppen.

   Viktigt!

   Resursgruppen får inte vara samma som den hanterade resursgrupp som ditt arbetsytelagringskonto finns i.

7. I fältet Namn skriver du ett unikt namn för den här privata slutpunkten:

   • Skapa en DFS-slutpunkt för den första privata slutpunkten som du skapar för varje källnätverk. Databricks rekommenderar att du lägger till suffixet -dfs-pe
   • Skapa en blobslutpunkt för den andra privata slutpunkten som du skapar för varje källnätverk. Databricks rekommenderar att du lägger till suffixet -blob-pe

   Fältet Namn på nätverksgränssnitt fylls i automatiskt.

8. Ange fältet region till arbetsytans region.

9. Klicka på Nästa: Resurs.

10. I Anslutningsmetodväljer du Anslut till en Azure-resurs i min katalog.

11. I Prenumerationväljer du den prenumeration som arbetsytan finns i.

12. I Resurstypväljer du Microsoft.Storage/storageAccounts.

13. I Resursväljer du lagringskontot för din arbetsyta.

14. I Underresurs för målväljer du målresurstypen.

    • För den första privata slutpunkten som du skapar för varje källnätverk anger du detta till dfs.
    • För den andra privata slutpunkten som du skapar för varje källnätverk anger du detta till blob.

15. Klicka på Nästa: Virtuellt nätverk.

16. I fältet Virtuellt nätverk väljer du ett VNet.

17. I undernätsfältet anger du undernätet till det separata undernät som du har för de privata slutpunkterna för lagringskontot.

    Det här fältet kan fyllas i automatiskt med undernätet för dina privata slutpunkter, men du kan behöva ange det explicit. Du kan inte använda ett av de två arbetsyteundernäten som används för grundläggande Azure Databricks-arbetsytefunktioner, som vanligtvis kallas private-subnet och public-subnet.

18. Ändra standardinställningarna privat IP-konfiguration och programsäkerhetsgrupp om det behövs.

19. Klicka på Nästa: DNS-. Fliken DNS fylls i automatiskt till rätt prenumeration och resursgrupp som du valde tidigare. Ändra dem om det behövs.

20. Klicka på Nästa: Taggar och lägg till taggar om du vill.

21. Granska fälten genom att klicka på Nästa: Granska + skapa..

22. Klicka på Skapa.

Steg 2 (rekommenderas): Konfigurera privata slutpunkter för virtuella molnhämtningsklientnät

Cloud Fetch är en mekanism i ODBC och JDBC för att hämta data parallellt via molnlagring för att få data snabbare till BI-verktyg. Om du hämtar frågeresultat som är större än 1 MB från BI-verktygen använder du förmodligen Cloud Fetch.

Om du använder Cloud Fetch, skapa privata slutpunkter till arbetsytans lagringskonto från vilka som helst av dina Cloud Fetch-klienters virtuella nätverk.

För varje källnätverk för Cloud Fetch-klienter skapar du två privata slutpunkter som använder två olika målunderresursvärden värden: dfs och blob. Mer information finns i Steg 1: Skapa privata slutpunkter till lagringskontot. I de här stegen för fältet Virtuellt nätverk när du skapar den privata slutpunkten måste du ange ditt virtuella källnätverk för varje Cloud Fetch-klient.

Steg 3: Bekräfta godkännanden av slutpunkter

När du har skapat alla dina privata slutpunkter till lagringskontot kontrollerar du om de är godkända. De kan godkänna automatiskt eller så kan du behöva godkänna dem på lagringskontot.

1. Gå till din arbetsyta i Azure Portal.
2. Under Essentials klickar du på namnet på den hanterade resursgruppen.
3. Under Resurser klickar du på resursen av typen Lagringskonto som har ett namn som börjar med dbstorage.
4. I sidofältet klickar du på Nätverk.
5. Klicka på Privata Slutpunktsanslutningar.
6. Kontrollera anslutningstillståndet för att bekräfta att de säger Godkänd eller markera dem och klicka på Godkänn.

steg 4: Auktorisera serverlösa beräkningsanslutningar

Du måste auktorisera serverlös beräkning för att ansluta till ditt lagringskonto för arbetsytan genom att ansluta en nätverksanslutningskonfiguration (NCC) till din arbetsyta. När en NCC är kopplad till en arbetsyta läggs nätverksreglerna automatiskt till i Azure Storage-kontot för arbetsytans lagringskonto. Anvisningar finns i Konfigurera en brandvägg för serverlös beräkningsåtkomst.

Om du vill aktivera åtkomst från serverlös beräkning i Azure Databricks med hjälp av privata slutpunkter kontaktar du ditt Azure Databricks-kontoteam.

Steg 5: Aktivera brandvägg för arbetsytans lagringskonto

Konfigurera stöd för lagringsbrandväggen för din Databricks-arbetsyta med ARM-mallimplementering, Azure CLI eller PowerShell.

Aktivera stöd för lagringsbrandvägg med hjälp av ARM-mallen

Det här steget använder en ARM-mall för att hantera Azure Databricks-arbetsytan. Du kan också uppdatera eller skapa din arbetsyta med Terraform. Se azurerm_databricks_workspace Terraform provider. Om du vill inaktivera brandväggsstöd för ditt lagringskonto för arbetsytan följer du samma process men anger parametern Storage Account Firewall (storageAccountFirewall i mallen) till Disabled.

1. I Azure-portalen söker du efter och väljer Deploy a custom template.

2. Klicka på Skapa en egen mall i redigeraren.

3. Kopiera ARM-mallen från ARM-mallen för brandväggsstöd för ditt arbetsytas lagringskonto och klistra in den i redigeraren.

4. Klicka på Spara.

5. Granska och redigera fält. Använd samma parametrar som du använde för att skapa arbetsytan, till exempel prenumeration, region, arbetsytenamn, undernätsnamn, resurs-ID för det befintliga virtuella nätverket.

   En beskrivning av fälten finns i ARM-mallfält.

6. Klicka på Granska och skapa, och sedan Skapa.

Aktivera stöd för lagringsbrandvägg med hjälp av Azure CLI

• Om du vill aktivera brandväggsstöd med hjälp av åtkomstanslutningsappen med en systemtilldelad identitet kör du i Cloud Shell:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Om du vill aktivera brandväggsstöd med hjälp av åtkomstanslutningsappen med en användartilldelad identitet kör du i Cloud Shell:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Om du vill inaktivera brandväggsstöd med hjälp av åtkomstanslutningsappen kör du i Cloud Shell:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Aktivera stöd för lagringsbrandvägg med PowerShell

• Om du vill aktivera brandväggsstöd med hjälp av åtkomstanslutningsappen med en systemtilldelad identitet kör du i Cloud Shell:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Om du vill aktivera brandväggsstöd med hjälp av åtkomstanslutningsappen med en användartilldelad identitet kör du i Cloud Shell:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Om du vill inaktivera brandväggsstöd med hjälp av åtkomstanslutningsappen kör du i Cloud Shell:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"