Dela via

Konfigurera privat anslutning till Azure Databricks

Den här sidan innehåller instruktioner för att konfigurera privata klientdelsanslutningar, vilket skyddar anslutningen mellan användare och deras Azure Databricks-arbetsytor.

Varför välja en front-end-anslutning?

Oavsett om du använder serverlös eller klassisk beräkning måste användarna ansluta till Azure Databricks. Organisationer väljer att ansluta till Azure Databricks av flera skäl, bland annat följande:

  • Förbättrad säkerhet: Genom att begränsa all åtkomst till privata slutpunkter och inaktivera offentlig åtkomst minimerar du attackytan och kontrollerar att alla användarinteraktioner med Azure Databricks sker via ett säkert, privat nätverk.
  • Efterlevnadskrav: Många organisationer har strikta efterlevnadsmandat som kräver att all data- och hanteringsplantrafik ska finnas kvar i sina privata nätverksgränser, även för SaaS-tjänster som Azure Databricks.
  • Förenklad nätverksarkitektur (för specifika användningsfall): Om du bara använder serverlös beräkning, eller om din primära interaktion med Azure Databricks sker via webbgränssnittet eller REST-API:erna, och du inte har något omedelbart behov av privat anslutning till datakällor från Azure Databricks (som kräver en serverdelsanslutning), förenklar en klientdelskonfiguration den övergripande nätverksdesignen.
  • Dataexfiltreringsskydd: Genom att förhindra offentlig åtkomst och tvinga all trafik via privata slutpunkter minskar du risken för dataexfiltrering, vilket säkerställer att trafik endast kan nås från autentiserade nätverksmiljöer.

Anslutningsmodell

Du kan konfigurera privat anslutning på något av två sätt:

  • Ingen offentlig åtkomst: Den här konfigurationen inaktiverar all offentlig åtkomst till arbetsytan. All användartrafik måste komma från ett VNet som är anslutet via en privat slutpunkt. Den här modellen krävs för fullständig trafikprivatisering. För fullständig trafikprivatisering behöver du också en private link-backend-anslutning. Se Begrepp för Azure Private Link.
  • Hybridåtkomst: Private Link är aktiv, men offentlig åtkomst är fortfarande aktiverad med kontextbaserade ingresskontroller och IP-åtkomstlistor. Med kontextbaserade ingresskontroller kan du begränsa åtkomsten baserat på identitet, typ av begäran och nätverkskälla. På så sätt kan du på ett säkert sätt tillåta åtkomst från betrodda offentliga källor (till exempel statiska företags-IP-adresser) medan du fortfarande använderPrivate Link för privat anslutning.

Den här guiden beskriver hur du implementerar den rekommenderade modellen ingen offentlig åtkomst . Vi uppnår detta med hjälp av en standardtopologi för nav-och-ekernätverk.

Översikt över arkitektur

Den här modellen använder transit VNet:

  • Överföring av virtuellt nätverk: Det här är ditt centrala virtuella nätverk som innehåller alla privata slutpunkter som behövs för klientåtkomst till arbetsytor och webbläsarautentisering. Din arbetsyta för webbläsarautentisering är också ansluten till det här virtuella nätverket.

Azure Private Link-nätverksarkitektur.

Innan du börjar

Granska följande krav och rekommendationer:

Kravspecifikation

Nätverkskonfiguration

  • Ett virtuellt transitnätverk som konfigurerats för följande:
    • Den fungerar som den primära överföringspunkten för all användar-/klienttrafik som ansluter till ditt Azure-nätverk.
    • Den tillhandahåller centraliserad anslutning för lokala eller andra externa nätverk.
    • Den hanterar delade tjänster och innehåller den primära vägen för utgående Internettrafik (utgående).
  • Ett dedikerat undernät måste finnas i ditt virtuella arbetsytenätverk specifikt för privata slutpunkter. Om det inte finns någon skapar du den.
  • Dina privata DNS-zoner hanteras av Azure DNS.

Metodtips

Azure Databricks rekommenderar följande för en flexibel och hanterbar konfiguration:

  • Arkitektur: Nätverket måste följa den Microsoft-rekommenderade hub-spoke-arkitekturen. Se Nätverkstopologi för hub-spoke i Azure.
  • Arbetsyta för isolerad autentisering: Skapa en separat arbetsyta för webbläsarautentisering i ditt virtuella överföringsnätverk för att förbättra motståndskraften. Den här dedikerade arbetsytan ska vara värd för den privata slutpunkten för webbläsarautentisering, vilket förhindrar en enskild felpunkt om andra arbetsytor tas bort. Se Steg 3: Skapa en browser_authentication privat slutpunkt.

Konfigurera privat anslutning för en befintlig arbetsyta

Innan du börjar måste du stoppa alla beräkningsresurser som kluster, pooler eller klassiska SQL-lager. Det går inte att köra några beräkningsresurser för arbetsytan, eller så misslyckas uppgraderingsförsöket. Azure Databricks rekommenderar att du planerar tidpunkten för uppgraderingen för driftstopp.

  1. På sidan Arbetsytor väljer du Beräkning.
  2. Välj varje aktivt beräkningskluster och klicka på Avsluta längst upp till höger.

Steg 1: Verifiera VNet-inmatad arbetsyta med offentlig åtkomst aktiverad

  1. Gå till din Azure Databricks-arbetsyta i Azure-portalen.
  2. I avsnittet översikt över arbetsytan kontrollerar du att din Azure Databricks-arbetsyta använder ditt eget virtuella nätverk:
    1. Under Inställningar väljer du fliken Nätverk . Bekräfta följande inställningar:
      1. Säker klusteranslutning (ingen offentlig IP-adress) är aktiverad.
      2. Tillåt åtkomst till offentligt nätverk är aktiverat.

Steg 2: Skapa databricks_ui_api en privat slutpunkt

  1. På fliken Nätverk på arbetsytan väljer du Privata slutpunktsanslutningar.
  2. Klicka på Plus-ikonen.Privat slutpunkt.
  3. Välj resursgruppen för slutpunkten och ange ett namn som my-workspace-fe-pe. Kontrollera att regionen matchar din arbetsyta.
  4. Klicka på Nästa: Resurs.
  5. Ange Målunderresurs till databricks_ui_api.
  6. Klicka på Nästa: Virtuellt nätverk.
  7. Välj ditt virtuella transitnätverk. Ditt virtuella transitnätverk är ett separat, befintligt VNet i nätverksarkitekturen som hanterar och skyddar utgående trafik, som ofta innehåller en central brandvägg.
  8. Välj det undernät som är värd för de privata slutpunkterna.
  9. Klicka på Nästa och kontrollera att Integrera med privat DNS-zon är inställt på Ja. Den bör automatiskt välja privatelink.azuredatabricks.net zonen.

Kommentar

Länka den privata DNS-zonen till ditt virtuella överföringsnätverk och placera den i en separat resursgrupp med dina andra privata DNS-zoner för bättre organisation.

Steg 3: Skapa en browser_authentication privat slutpunkt

Skapa en privat slutpunkt för webbläsarautentisering för att stödja enkel inloggning via din privata nätverkssökväg. Azure Databricks rekommenderar att du hostar den här slutpunkten på en dedikerad privat arbetsyta för webbautentisering.

Skapa en resursgrupp

  1. I Azure-portalen går du till och väljer Resursgrupper.
  2. Klicka på + Skapa.
  3. Ange ett namn för resursgruppen, till exempel web-auth-rg-eastus.
  4. För Region väljer du samma Azure-region där dina databricks-arbetsytor för produktion distribueras.
  5. Klicka på Granska + skapaoch sedan Skapa.

Skapa ett virtuellt nätverk

  1. I Azure Portal söker du efter och väljer Virtuella nätverk.
  2. Klicka på + Skapa.
  3. På fliken Grundläggande väljer du den resursgrupp som du nyss skapade och ger det virtuella nätverket ett beskrivande namn, till exempel web-auth-vnet-eastus.
  4. Kontrollera att regionen matchar din resursgrupp.
  5. På fliken IP-adresser definierar du ett IP-adressutrymme för det virtuella nätverket, 10.20.0.0/16till exempel . Du uppmanas också att skapa ett första undernät.
  6. Välj Granska + skapa och sedan Skapa.

Skapa och skydda arbetsytan för privat webbautentisering

  1. I Azure-portalen söker du efter och väljer Azure Databricks. Klicka på + Skapa.
  2. På fliken Grundläggande konfigurerar du följande:
    1. Välj den resursgrupp som du nyss skapade.
    2. Ge arbetsytan ett beskrivande namn, till exempel WEB_AUTH_DO_NOT_DELETE_<region>.
    3. Välj samma region som resursgruppen och det virtuella nätverket.
  3. Klicka på Nästa:Nätverk och konfigurera följande:
    1. Distribuera Azure Databricks-arbetsytan med säker klusteranslutning (ingen offentlig IP): Välj Ja.
    2. Distribuera Azure Databricks-arbetsytan i ditt eget virtuella nätverk (VNet): Välj Ja.
    3. Virtuellt nätverk: Välj det virtuella nätverk som du nyss skapade. Du uppmanas att definiera undernätsintervall.
    4. Åtkomst till offentligt nätverk: Välj Inaktiverad.
    5. Obligatoriska NSG-regler: Välj NoAzureDatabricksRules.
  4. Klicka på Granska + skapaoch sedan Skapa.

När arbetsytan har skapats måste du skydda den från oavsiktlig borttagning.

  1. I Azure-portalen navigerar du till den arbetsyta som du nyss skapade.
  2. Gå till Inställningar och välj Lås.
  3. Klicka på + Lägg till.
  4. Ange Låstyp till Ta bort och ange ett beskrivande låsnamn.
  5. Klicka på OK.

Kommentar

  • Kör inga Databricks-arbetsbelastningar, till exempel kluster, jobb, på den här arbetsytan.
  • Lägg inte till några andra privata slutpunkter än browser_authentication. Mer specifikt ska du inte skapa en databricks_ui_api slutpunkt för den här arbetsytan.

Steg 4: Konfigurera och verifiera DNS

När du har distribuerat de privata slutpunkterna måste du kontrollera att DNS matchar Azure Databricks-URL:er korrekt till deras nya privata IP-adresser.

  1. Verifiera privata DNS-zonposter:
    1. I Azure-portalen söker du efter och navigerar till den privata DNS-zonen med namnet privatelink.azuredatabricks.net.
    2. Kontrollera att följande A poster finns och peka på slutpunkternas privata IP-adresser:
      1. Arbetsytans användargränssnitt/API-post:
        • Namn: Ditt unika arbetsyte-ID, till exempel adb-xxxxxxxxxxxxxxxx.x
        • Värde: Den privata IP-adressen för din databricks_ui_api privata slutpunkt.
      2. Autentiseringspost för webbläsare:
        • Namn: Välj ett beskrivande namn som pl-auth.<your_region>.
        • Värde: Den privata IP-adressen för din browser_authentication privata slutpunkt.

Steg 5: Verifiera åtkomst till privata nätverk

Bekräfta att du kan komma åt arbetsytan via din privata nätverksanslutning.

Från ett anslutet nätverk

Om ditt lokala nätverk redan är anslutet till ditt virtuella Azure-nätverk, via VPN eller ExpressRoute, är testet enkelt:

  • Öppna en webbläsare från datorn och gå direkt till url:en för Din Azure Databricks-arbetsyta för att logga in. En lyckad inloggning bekräftar att din privata anslutning fungerar.

Använda en test-VM

Om du inte kan komma åt arbetsytans virtuella nätverk från din aktuella plats skapar du en tillfällig virtuell dator (en "jump box") att testa från:

  1. Skapa en virtuell dator: Skapa en virtuell Windows-dator i Azure-portalen. Placera det i ett undernät med samma överförings-VNet där du konfigurerade din privata klientdelsslutpunkt.
  2. Anslut till den virtuella datorn: Använd en fjärrskrivbordsklient för att ansluta till den nya virtuella datorn.
  3. Testa från den virtuella datorn: När du har anslutit till den virtuella datorn öppnar du en webbläsare, går till Azure-portalen och letar reda på din Azure Databricks-arbetsyta.
  4. Starta arbetsyta: Klicka på Starta arbetsyta. En lyckad inloggning bekräftar att åtkomsten från ditt privata virtuella nätverk fungerar korrekt.

Verifiera DNS med nslookup

  1. Anslut till en virtuell dator i ditt konfigurerade virtuella nätverk eller till ditt lokala nätverk via VPN eller Azure ExpressRoute. Datorn måste kunna använda Azures privata DNS.
  2. Öppna en kommandotolk eller terminal och använd nslookup för att verifiera DNS-matchning.
# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Anpassad DNS-konfiguration

När du använder en privat klientdelsslutpunkt med din egen anpassade DNS måste du kontrollera att både arbetsytans URL och URL:erna för SSO-autentisering (enkel inloggning) matchar korrekt till den privata slutpunktens IP-adress.

Den mest tillförlitliga metoden är att konfigurera DNS-servern så att den vidarebefordrar frågor för alla Databricks-domäner till Azures interna DNS.

  1. Konfigurera villkorlig vidarebefordran för följande domäner till Din Azure DNS-server:
    • *.azuredatabricks.net
    • *.privatelink.azuredatabricks.net
    • *.databricksapps.com
  2. Kontrollera att ditt virtuella nätverk är länkat till den privata DNS-zonen i Azure.

På så sätt kan Azure automatiskt matcha alla nödvändiga värdnamn, inklusive URL:er för enkel inloggning och arbetsytor, till din privata slutpunkts IP-adress.

Alternativ: Manuella A-poster

Om villkorlig vidarebefordran inte är ett alternativ måste du manuellt skapa DNS-poster A .

  1. URL för arbetsyta: Skapa en A post som mappar URL:en per arbetsyta, till exempel adb-1111111111111.15.azuredatabricks.net, till den privata slutpunktens IP-adress.
  2. URL för SSO-autentisering: Skapa en A post som mappar den regionala SSO-URL:en, till exempel westus.pl-auth.azuredatabricks.net, till samma privata slutpunkts-IP-adress.

Vissa Azure-regioner använder flera kontrollplansinstanser för SSO. Du kan behöva skapa flera A poster för autentisering. Kontakta ditt Azure Databricks-kontoteam för att få en fullständig lista över domäner för din region.

Nästa steg