Delen via

Gegevensvirtualisatie met PolyBase in SQL Server

Van toepassing op: SQL Server Niet ondersteund. Azure SQL Database Azure Synapse Analytics Analytics Platform System (PDW)

PolyBase maakt gegevensvirtualisatie mogelijk voor SQL Server.

Wat is PolyBase?

Met PolyBase kan uw SQL Server-exemplaar rechtstreeks vanuit SQL Server, Oracle, Teradata, MongoDB-, Hadoop-clusters, Cosmos DB en S3 compatibele objectopslag query's uitvoeren met Transact-SQL (T-SQL) zonder clientverbindingssoftware afzonderlijk te installeren. U kunt ook de algemene ODBC-connector gebruiken om verbinding te maken met aanvullende providers met behulp van ODBC-stuurprogramma's van derden. Met PolyBase kunnen T-SQL-query's de gegevens uit externe bronnen toevoegen aan relationele tabellen in een exemplaar van SQL Server.

PolyBase biedt ook ondersteuning voor het uitvoeren van query's op semi-gestructureerde en gestructureerde gegevensindelingen zoals CSV-, Parquet-, JSON- en Delta Lake-bestanden. Hierdoor kunt u naadloos gegevens op basis van bestanden integreren in uw T-SQL-werkstromen.

Een belangrijke use case voor gegevensvirtualisatie met de functie PolyBase is om de gegevens op de oorspronkelijke locatie en indeling te laten blijven. U kunt de externe gegevens virtualiseren via het SQL Server-exemplaar, zodat deze op dezelfde manier kunnen worden opgevraagd als elke andere tabel in SQL Server. Dit proces minimaliseert de noodzaak van ETL-processen voor gegevensverplaatsing. Dit scenario voor gegevensvirtualisatie is mogelijk met het gebruik van PolyBase-connectors.

Ondersteunde SQL-producten en -services

PolyBase biedt dezelfde functies voor de volgende SQL-producten van Microsoft:

Verbeteringen in SQL Server 2025 PolyBase

Nieuw bij SQL Server 2025 (17.x) Preview Bijzonderheden
Systeemeigen ondersteuning voor CSV, Parquet en Delta 1 PolyBase Query Service voor installatie van externe gegevens is niet meer vereist voor gebruik OPENROWSET, CREATE EXTERNAL TABLEof CREATE EXTERNAL TABLE AS SELECT met de volgende typen externe gegevens: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS) of S3-Compatible Object storage.
Algemene ODBC-gegevensbronnen gebruiken in Linux Zie PolyBase configureren voor toegang tot externe gegevens met algemene ODBC-typen voor meer informatie.
Ondersteuning voor TDS 8.0 Wanneer u functies van het Microsoft ODBC-stuurprogramma voor SQL Server in Windows gebruikt, is TDS 8.0 beschikbaar voor SQL Server als externe gegevensbron. Bekijk belangrijke wijzigingen in SQL Server 2025 Preview.
Beheerde identiteit Managed Identity is beschikbaar voor SQL Server die is ingeschakeld door Azure Arc en SQL Server 2025 op Azure-VM's.

1 Op SQL Server 2025 (17.x) Preview is PolyBase Query Service voor externe gegevens nog steeds vereist om verbinding te maken met andere databases. Bijvoorbeeld: SQL Server, Oracle, DB2, Teradata, MongoDB of ODBC.

Verbeteringen in SQL Server 2022 PolyBase

Nieuw bij SQL Server 2022 (16.x) Bijzonderheden
S3-compatibele objectopslag SQL Server 2022 (16.x) voegt nieuwe connector, S3-compatibele objectopslag toe met behulp van de S3 REST API. U kunt zowel OPENROWSET als CREATE EXTERNAL TABLE gebruiken om query's uit te voeren op gegevensbestanden in S3-compatibele objectopslag.
Sommige connectors zijn gescheiden van PolyBase-services De S3-compatibele objectopslagconnector, ADSL Gen2 en Azure Blob Storage, zijn niet langer afhankelijk van PolyBase-services. PolyBase-services moeten nog steeds worden uitgevoerd ter ondersteuning van connectiviteit met Oracle, Teradata, MongoDB en Generic ODBC. De PolyBase-functie moet nog steeds worden geïnstalleerd op uw SQL Server-exemplaar.
Parquet-bestandsindeling PolyBase kan nu query's uitvoeren op gegevens uit Parquet-bestanden die zijn opgeslagen op S3-compatibele objectopslag. Zie voor meer informatie Virtualiseer Parquet-bestand in S3-compatibele objectopslag met PolyBase.
Delta-tabelindeling PolyBase kan nu query's uitvoeren op gegevens uit de Delta-tabelindeling die is opgeslagen op S3-compatibele objectopslag, Azure Storage Account V2 en Azure Data Lake Storage Gen2. Zie voor meer informatie de deltatabel virtualiseren met PolyBase
Maak externe tabel als selecteren (CETAS) PolyBase kan nu CETAS gebruiken om een externe tabel te maken en vervolgens parallel het resultaat van een Transact-SQL-instructie SELECT te exporteren naar Azure Data Lake Storage Gen2, Azure Storage Account V2 en S3-compatibele objectopslag. Zie CREATE EXTERNAL TABLE AS SELECT (CETAS) voor meer informatie.

Zie wat er nieuw is in SQL Server 2022 (16.x) voor meer nieuwe functies van SQL Server 2022.

Aanbeveling

Zie Aan de slag met PolyBase in SQL Server 2022 voor een zelfstudie over PolyBase-functies en -mogelijkheden in SQL Server 2022 (16.x).

PolyBase-connectors

De functie PolyBase biedt connectiviteit met de volgende externe gegevensbronnen:

Externe gegevensbronnen SQL Server 2016-2019 met PolyBase SQL Server 2022 (16.x) met PolyBase APS PDW Azure Synapse Analytics
Oracle, MongoDB, Teradata Lezen Lezen Nee. Nee.
Algemene ODBC Lezen (alleen voor Windows) Lezen (alleen voor Windows) Nee. Nee.
Azure-opslag Lezen/schrijven Lezen/schrijven Lezen/schrijven Lezen/schrijven
Hadoop Lezen/schrijven Nee. Lezen/schrijven Nee.
SQL Server Lezen Lezen Nee. Nee.
S3-compatibele objectopslag Nee. Lezen/schrijven Nee. Nee.
  • SQL Server 2022 (16.x) en latere versies bieden geen ondersteuning voor Hadoop.
  • SQL Server 2016 (13.x) heeft PolyBase geïntroduceerd met ondersteuning voor verbindingen met Hadoop en Azure Blob Storage.
  • SQL Server 2019 (15.x) heeft meer connectors geïntroduceerd, waaronder SQL Server, Oracle, Teradata en MongoDB.
  • SQL Server 2022 (16.x) heeft de S3-compatibele opslagconnector geïntroduceerd.
  • SQL Server 2019 (15.x) Cumulatieve update 19 introduceerde ondersteuning voor Oracle TNS.
  • Sql Server 2022 (16.x) Cumulatieve update 2 heeft ondersteuning geïntroduceerd voor Oracle TNS.

Voorbeelden van externe connectors zijn:

1 PolyBase ondersteunt twee Hadoop-providers, Hortonworks Data Platform (HDP) en Cloudera Distributed Hadoop (CDH), via SQL Server 2019. SQL Server-ondersteuning voor externe gegevensbronnen van HDFS Cloudera (CDP) en Hortonworks (HDP) is afgeschaft en is niet opgenomen in SQL Server 2022 (16.x) en latere versies. Zie Opties voor big data op het Microsoft SQL Server-platformvoor meer informatie.

PolyBase gebruiken in een exemplaar van SQL Server:

  1. Installeer PolyBase in Windows of installeer PolyBase op Linux.
  2. Vanaf SQL Server 2019 (15.x) schakelt u PolyBase in sp_configure, indien nodig.
  3. Maak een externe gegevensbron.
  4. Maak een externe tabel.

Azure-integratie

Met behulp van PolyBase kunnen T-SQL-query's ook gegevens importeren en exporteren uit Azure Blob Storage. Bovendien maakt PolyBase Azure Synapse Analytics in staat om gegevens te importeren en exporteren uit Azure Data Lake Store en vanuit Azure Blob Storage.

Waarom PolyBase gebruiken?

Met PolyBase kunt u gegevens uit een SQL Server-exemplaar samenvoegen met externe gegevens. Voordat PolyBase gegevens aan externe gegevensbronnen heeft toegevoegd, kunt u het volgende doen:

  • Breng de helft van uw gegevens over, zodat alle gegevens zich op één locatie bevinden.
  • Voer een query uit op beide gegevensbronnen en schrijf vervolgens aangepaste querylogica om de gegevens op clientniveau te koppelen en te integreren.

Met PolyBase kunt u Transact-SQL gebruiken om de gegevens samen te voegen.

PolyBase vereist niet dat u extra software installeert in uw Hadoop-omgeving. U kunt een query uitvoeren op externe gegevens met behulp van dezelfde T-SQL-syntaxis die wordt gebruikt om een query uit te voeren op een databasetabel. De ondersteuningsacties die door PolyBase worden geïmplementeerd, vinden allemaal transparant plaats. De auteur van de query heeft geen kennis nodig over de externe bron.

PolyBase gebruikt

PolyBase maakt de volgende scenario's mogelijk in SQL Server:

  • Naadloze gegevenstoegang: Query's uitvoeren op andere RDBM's of externe bestanden, zoals CSV-, Parquet- en Delta Lake-tabellen, met behulp van T-SQL alsof het systeemeigen tabellen zijn.
  • Niet-laden koude gegevens: Terwijl u het gemakkelijk toegankelijk houdt.
  • Verbeterde productiviteit: Verminder de tijd en moeite die nodig zijn om gegevens uit meerdere bronnen te integreren en te analyseren.
  • Kostenefficiëntie: Minimaliseer de noodzaak voor gegevensreplicatie en opslagkosten die zijn gekoppeld aan traditionele methoden voor gegevensintegratie.
  • Realtime inzichten: Realtime gegevensquery's en inzichten inschakelen zonder vertragingen die worden veroorzaakt door gegevensverplaatsing of synchronisatie.
  • Veiligheid: Gebruik SQL Server-beveiligingsfuncties voor gedetailleerde machtigingen, referentiebeheer en beheer.

Prestatie

Er is geen vaste limiet voor het aantal bestanden of de hoeveelheid gegevens waarop query's kunnen worden uitgevoerd. Queryprestaties zijn afhankelijk van de hoeveelheid gegevens, gegevensindeling, de manier waarop gegevens worden georganiseerd en complexiteit van query's en joins.

Zie Prestatieoverwegingen in PolyBase voor SQL Server voor meer informatie over prestatierichtlijnen en aanbevelingen voor PolyBase.

Upgrade uitvoeren naar SQL Server 2022

Vanaf SQL Server 2022 (16.x) Worden Hortonworks Data Platform (HDP) en Cloudera Distributed Hadoop (CDH) niet meer ondersteund. Als gevolg van deze wijzigingen moet u externe PolyBase-gegevensbronnen die zijn gemaakt in eerdere versies van SQL Server die azure Storage gebruiken TYPE = HADOOP , handmatig verwijderen voordat u migreert naar SQL Server 2022 (16.x) of hoger. Het verwijderen van externe gegevensbronnen vereist ook het verwijderen van de bijbehorende databaseobjecten, zoals referenties voor databasebereik en externe tabellen.

Azure Storage-connectors moeten worden gewijzigd op basis van de volgende referentietabel:

Externe gegevensbron Van Tot
Azure Blob Storage (opslagdienst van Azure) wasb[s] abs
ADLS Gen 2 abfs[s] adls

Aan de slag

Voordat u PolyBase gebruikt, moet u PolyBase installeren in Windows of PolyBase installeren in Linux en PolyBase inschakelen in sp_configure indien nodig.

Zie Aan de slag met PolyBase in SQL Server 2022 voor een zelfstudie over PolyBase-functies en -mogelijkheden.

Voor meer tutorials over verschillende externe gegevensbronnen, bekijk:

Gegevensvirtualisatie op andere platforms

Functies voor gegevensvirtualisatie zijn ook beschikbaar op andere platforms:

Verwante inhoud