Dela via


Hämta data från Azure Storage

I den här artikeln får du lära dig hur du hämtar data från Azure Storage (ADLS Gen2-container, blobcontainer eller enskilda blobar). Du kan mata in data i tabellen kontinuerligt eller som en engångsinmatning. När data har matats in blir de tillgängliga för frågor.

  • Kontinuerlig inmatning (förhandsversion ): Kontinuerlig inmatning innebär att du konfigurerar en inmatningspipeline som gör att ett eventhouse kan lyssna på Azure Storage-händelser. Pipelinjen meddelar händelsehuset att hämta information när händelser som man prenumererar på inträffar. Händelserna är BlobCreated och BlobRenamed.

    Viktigt!

    Den här funktionen är i förhandsversion.

  • Engångsinmatning: Använd den här metoden för att hämta data från Azure Storage som en engångsåtgärd.

Anmärkning

Varning

Inmatning från ett Azure Storage-konto (kontinuerligt och en gång) med hjälp av en privat länk stöds inte.

Förutsättningar

Krav för kontinuerlig inmatning

i Azure:

Lägg till arbetsytans identitetsrolltilldelning till lagringskontot

  1. Från inställningarna för arbetsytan i Fabric kopierar du arbetsytans identitets-ID.

    Skärmbild av arbetsyteinställningen med arbetsyte-ID markerat.

  2. I Azure-portalen bläddrar du till ditt Azure Storage-konto och väljer Åtkomstkontroll (IAM)>Lägg till> rolltilldelning.

  3. Välj Lagringsblobdataläsare.

  4. I dialogrutan Lägg till rolltilldelning väljer du + Välj medlemmar.

  5. Klistra in i arbetsytans identitets-ID, välj programmet och välj sedan Granska>+ tilldela.

Skapa en container med datafil

  1. I lagringskontot väljer du Containrar.

  2. Välj + Container, ange ett namn för containern och välj Spara.

  3. Ange containern, välj ladda upp och ladda upp datafilen som förbereddes tidigare.

    Mer information finns i format som stöds och komprimering som stöds.

  4. På snabbmenyn [...] väljer du Containeregenskaper och kopiera URL:en för inmatning under konfigurationen.

    Skärmbild som visar listan över containrar med snabbmenyn öppen med containeregenskaper markerade.

Källa

Ange källan för att hämta data.

  1. Öppna EventHouse på arbetsytan och välj databasen.

  2. I menyfliksområdet KQL-databas väljer du Hämta data.

  3. Välj datakällan i den tillgängliga listan. I det här exemplet matar du in data från Azure Storage-.

    Skärmbild av hämta datafönstret med källfliken markerad.

Konfigurera

  1. Välj en måltabell. Om du vill mata in data i en ny tabell väljer du + Ny tabell och anger ett tabellnamn.

    Anmärkning

    Tabellnamn kan innehålla upp till 1 024 tecken, inklusive blanksteg, alfanumeriskt, bindestreck och understreck. Specialtecken stöds inte.

  2. I Konfigurera Azure Blob Storage-anslutning kontrollerar du att Kontinuerlig inmatning är aktiverat. Den är aktiverad som standard.

  3. Konfigurera anslutningen genom att skapa en ny anslutning eller med hjälp av en befintlig anslutning.

    Så här skapar du en ny anslutning:

    1. Välj Anslut till ett lagringskonto.

      Skärmbild av fliken Konfigurera med kontinuerlig inmatning och anslutning till ett valt konto.

    2. Använd följande beskrivningar för att fylla i fälten.

      inställning Fältbeskrivning
      Prenumeration Prenumerationen på lagringskontot.
      Bloblagringskonto Lagringskontonamn.
      Behållare Lagringscontainern som innehåller den fil som du vill mata in.

      Anmärkning

      Det går inte att använda en privat länk .

    3. Öppna listrutan i fältet Anslutning och välj + Ny anslutning och spara> sedanStäng. Anslutningsinställningarna är förifyllda.

    Anmärkning

    Att skapa en ny anslutning resulterar i en ny Eventstream. Namnet definieras som <storate_account_name>_eventstream. Se till att du inte tar bort händelseströmmen för kontinuerlig inmatning från arbetsytan.

    Så här använder du en befintlig anslutning:

    1. Välj Välj ett befintligt lagringskonto.

      Skärmbild av fliken Konfigurera med kontinuerlig inmatning och anslutning till ett befintligt konto valt.

    2. Använd följande beskrivningar för att fylla i fälten.

      inställning Fältbeskrivning
      RTA-lagringskonto En händelseström som är ansluten till ditt lagringskonto från Fabric.
      Behållare Lagringscontainern som innehåller den fil som du vill mata in.
      Anslutning Detta fylls i i förväg med anslutningssträngen
    3. I fältet Anslutning öppnar du listrutan och väljer den befintliga anslutningssträngen i listan. Välj sedan Spara>stäng.

  4. Du kan också expandera Filfilter och ange följande filter:

    inställning Fältbeskrivning
    Mappsökväg Filtrerar data för att mata in filer med en specifik mappsökväg.
    Filtillägg Filtrerar data för att mata in filer med ett specifikt filnamnstillägg.
  5. I avsnittet Inställningar för Eventstearm kan du välja de händelser som ska övervakas i Avancerade inställningar>Händelsetyper. Som standard är Ny blob skapad markerad. Du kan också välja Blob byt namn.

    Skärmbild av Avancerade inställningar med listrutan Händelsetyper expanderad.

  6. Välj Nästa för att förhandsgranska data.

Undersöka

Fliken Granska öppnas med en förhandsgranskning av data.

Slutför inmatningsprocessen genom att välja Slutför.

Skärmbild av fliken Inspektera.

Anmärkning

För att framkalla kontinuerlig inmatning och förhandsgranskningsdata kontrollerar du att du har laddat upp en ny lagringsblob efter konfigurationen.

Valfritt:

  • Använd listrutan schemadefinitionsfil för att ändra den fil som schemat härleds från.

  • Använd listrutan filtyp för att utforska Avancerade alternativ baserat på datatyp.

  • Använd listrutan Table_mapping för att definiera en ny mappning.

  • Välj </> för att öppna kommandovisningsprogrammet för att visa och kopiera de automatiska kommandon som genereras från dina indata. Du kan också öppna kommandona i en frågeuppsättning

  • Välj pennikonen för att redigera kolumner.

Redigera kolumner

Anmärkning

  • För tabellformat (CSV, TSV, PSV) kan du inte mappa en kolumn två gånger. Om du vill mappa till en befintlig kolumn tar du först bort den nya kolumnen.
  • Du kan inte ändra en befintlig kolumntyp. Om du försöker mappa till en kolumn med ett annat format kan du få tomma kolumner.

Vilka ändringar du kan göra i en tabell beror på följande parametrar:

  • Tabelltyp är ny eller existerande
  • Mappningstypen är ny eller befintlig
Tabelltyp Mappningstyp Tillgängliga justeringar
Ny tabell Ny kartläggning Byt namn på kolumn, ändra datatyp, ändra datakälla, mappningstransformering, lägga till kolumn, ta bort kolumn
Befintlig tabell Ny kartläggning Lägg till kolumn (där du sedan kan ändra datatyp, byta namn på och uppdatera)
Befintlig tabell Befintlig kartläggning ingen

Skärmbild av kolumner som är öppna för redigering.

Kartläggning av transformationer

Vissa dataformatmappningar (Parquet, JSON och Avro) stöder enkla inmatningstidstransformeringar. Om du vill använda mappningstransformeringar skapar eller uppdaterar du en kolumn i fönstret Redigera kolumner.

Mappningstransformeringar kan utföras på en kolumn av typen sträng eller datetime, där källan har datatypen int eller long. Mer information finns i den fullständiga listan över stödda kartläggningstransformationer.

Avancerade alternativ baserat på datatyp

Tabell (CSV, TSV, PSV):

  • Om du matar in tabellformat i en befintlig tabell kan du välja Avancerat>behåll tabellschema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.

    Skärmbild av avancerade alternativ.

  • Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. För att använda den första raden som kolumnnamn, välj Första raden är kolumnrubriken.

    Skärmbild från första raden som är kolumnrubriksomkopplaren.

Tabell (CSV, TSV, PSV):

  • Om du matar in tabellformat i en befintlig tabell kan du välja Table_mapping>Använd befintligt schema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.

  • Om du vill använda den första raden som kolumnnamn väljer du Rubrik för första raden.

    Skärmbild av avancerade CSV-alternativ.

JSON:

  • Välj Kapslade nivåer mellan 1 och 100 för att fastställa kolumndelningen för JSON-data.

    Skärmbild av avancerade JSON-alternativ.

Sammanfattning

I fönstret Sammanfattning markeras alla steg med gröna bockmarkeringar när datainmatningen har slutförts. Du kan välja ett kort för att utforska data, ta bort inmatade data eller skapa en instrumentpanel med nyckelmått.

Skärmbild av sammanfattningssidan för kontinuerlig inmatning med slutförd inmatning.

När du stänger fönstret kan du se anslutningen på fliken Utforskaren under Dataströmmar. Härifrån kan du filtrera dataströmmarna och ta bort en dataström.

Skärmbild av KQL-databasutforskaren med dataströmmar markerade.