read_kinesis strömmande tabellvärdesfunktion

Gäller för: Databricks SQL Databricks Runtime 13.3 LTS och senare

Returnerar en tabell med poster som lästs från en eller flera strömmar i Kinesis.

Syntax

read_kinesis ( { parameter => value } [, ...] )

Argument

read_kinesis kräver namngiven parameteranrop.

Det enda argumentet som krävs är streamName. Alla andra argument är valfria.

Beskrivningarna av argumenten är korta här. Mer information finns i Amazon Kinesis-dokumentationen.

Det finns flera sätt att ansluta och autentisera med AWS. Den rekommenderade metoden är att skapa en Databricks-tjänstautentiseringsuppgift och ange den med hjälp av serviceCredential alternativet . Du kan också autentisera med hjälp av awsAccessKey och awsSecretKey. Dessa alternativ kan antingen anges i funktionsargumenten secret med hjälp av funktionen, anges manuellt i argumenten eller konfigureras som miljövariabler enligt nedan. roleArn, roleExternalID, roleSessionName kan också användas för att autentisera med AWS med hjälp av instansprofiler. Om inget av dessa anges använder den standardkedjan för AWS-providern.

Följande argument används för att kontrollera läsdataflödet och svarstiden för Kinesis:

Returer

En tabell med Kinesis-uppgifter enligt följande schema:

Kolumnerna (stream, shardId, sequenceNumber) utgör en primärnyckel.

Exempel

-- Streaming Ingestion from Kinesis
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        awsAccessKey => secret('test-databricks', 'awsAccessKey'),
        awsSecretKey => secret('test-databricks', 'awsSecretKey'),
        initialPosition => 'earliest');

-- The data would now need to be queried from the testing.streaming_table

-- A streaming query when the environment variables already contain AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest');

-- A streaming query when the roleArn, roleSessionName, and roleExternalID are configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest',
        roleArn => 'arn:aws:iam::123456789012:role/MyRole',
        roleSessionName => 'testing@databricks.com');

Relaterade funktioner

• sequence funktion
• read_kafka tabellvärdesfunktion
• read_pubsub strömmande tabellvärdesfunktion