Dela via

Vad är Lakehouse Federation?

Lakehouse Federation är frågefederationsplattformen för Databricks. Termen frågefederation beskriver en samling funktioner som gör att användare och system kan köra frågor mot flera datakällor utan att behöva migrera alla data till ett enhetligt system.

Det finns två typer av federation: frågefederation och katalogfederation. Den här sidan beskriver skillnaderna mellan typerna.

Frågefederation jämfört med katalogfederation

I följande tabell sammanfattas de viktigaste skillnaderna mellan frågefederation och katalogfederation:

Attribute Sökfederation Katalogfederation
Frågesökväg Unity Catalog-frågor skickas ned till den externa databasen med hjälp av JDBC. Frågan körs både i Databricks och med hjälp av fjärrberäkning. Unity Catalog-frågor har direkt åtkomst till den externa tabellen i objektlagringen. Katalogfederation är tillgängligt för plattformar som stöder direkt åtkomst till deras katalog- och lagringstjänster. Frågan körs bara på Databricks-beräkning, vilket innebär att katalogfederationen är mer kostnadseffektiv och prestandaoptimerad än frågefederation.
Användningsfall
  • Du behöver ad hoc-rapportering eller proof-of-concept-åtkomst till driftdata som lagras i externa databaser.
  • Du vill minimera dataflytten och upprätthålla direktåtkomst till externa system.

När källan stöder både Lakehouse Federation och Lakeflow Connect rekommenderar Databricks Lakeflow Connect om prestanda på högre datavolymer och lägre svarstid är prioriteringar.
  • Du migrerar till Unity Catalog men måste stegvis fasa in data som hanteras från en extern katalog.
  • Du vill ha en långsiktig hybridmodell där vissa data finns kvar i en extern katalog och vissa data hanteras av Unity Catalog.
Översikt över steg
  • Skapa en anslutning i Unity Catalog med dina åtkomstautentiseringsuppgifter och JDBC-URL.
  • Skapa en extern katalog med hjälp av anslutningen.
  • Bevilja behörigheter till användare på tabeller i den externa katalogen.
  • Kör sökfrågor. Dessa skickas ned till den externa databasen.
  • Skapa en anslutning i Unity Catalog för åtkomst till den externa katalogen.
  • Skapa en lagringsautentisering och en extern plats för tabellvägar.
  • Skapa en extern katalog med hjälp av anslutningen och den externa platsen.
  • Bevilja behörigheter till användare på tabeller i den externa katalogen.
  • Kör sökningar. Dessa exekveras direkt mot objektlagringen.

Datakällor som stöds

Anslut till följande källor med hjälp av frågefederation:

Anslut till följande källor med hjälp av katalogfederation:

Ytterligare resurser