Datalagring

Den här artikeln beskriver datalagring i Azure Time Series Insights Gen2. Det täcker varma och kalla aspekter, datatillgänglighet och bästa praxis.

Tillhandahållande

När du skapar en Azure Time Series Insights Gen2-miljö har du följande alternativ:

• Lagring av kalla data:
  • Skapa en ny Azure Storage-resurs i den prenumeration och region som du har valt för din miljö.
  • Koppla ett befintligt Azure Storage-konto. Det här alternativet är bara tillgängligt genom att distribuera från en Azure Resource Manager-mall och visas inte i Azure Portal.
• Varm datalagring:
  • Ett varmt lagringsutrymme är valfritt och kan aktiveras eller avaktiveras vid eller efter etableringen. Om du bestämmer dig för att aktivera ett varmt lager vid ett senare tillfälle och det redan finns data i ditt kyllager kan du läsa det här avsnittet nedan för att förstå det förväntade beteendet. Tiden för varm lagring av data kan ställas in mellan 7 och 31 dagar, och detta kan också justeras efter behov.

När en händelse matas in indexeras den både i varmlagring (om aktiverad) och kalla lagringen.

Datatillgänglighet

Azure Time Series Insights Gen2 partitionerar och indexerar data för optimal sökprestanda. Data blir tillgängliga för frågor från både varmt (om aktiverat) och kalllager när det har indexerats. Mängden data som matas in och dataflödesfrekvensen per partition kan påverka tillgängligheten. Granska begränsningarna för händelsekällans dataflöde och metodtips för bästa prestanda. Du kan också konfigurera en fördröjningsvarning så att du meddelas om din miljö har problem med att bearbeta data.

Varm butik

Data i ditt varma lager är endast tillgängliga via Time Series Query-API:er, Azure Time Series Insights TSI Explorer eller Power BI Connector. Frågor om varm lagring är kostnadsfria och det finns ingen kvot, men det finns en gräns på 30 samtidiga begäranden.

Beteende för varm lagring

• När det är aktiverat dirigeras alla data som strömmas till din miljö till ditt varma lager, oavsett händelsetidsstämpel. Observera att pipelinen för strömmande inmatning är byggd för direktuppspelning i nära realtid och att inmatning av historiska händelser inte stöds.

• Kvarhållningsperioden beräknas baserat på när händelsen indexerades i ett varmt lager, inte tidsstämpeln för händelsen. Det innebär att data inte längre är tillgängliga i ett varmt lager efter att kvarhållningsperioden har förflutit, även om tidsstämpeln för händelsen är för framtiden.

  • Exempel: en händelse med 10 dagars väderprognoser matas in och indexeras i en varm lagringscontainer som konfigurerats med en kvarhållningsperiod på 7 dagar. Efter sju dagar är prognosen inte längre tillgänglig i den varma lagringen, men kan hämtas från kall lagring.

• Om du aktiverar varmt lager i en befintlig miljö som redan har nyligen indexerade data i kall lagring bör du tänka på att ditt varma lager inte fylls i igen med dessa data.

• Om du precis har aktiverat ett varmt lager och har problem med att visa dina senaste data i Utforskaren kan du tillfälligt inaktivera frågor för varm lagring:

  

Kall lagring

I det här avsnittet beskrivs Azure Storage-information som är relevant för Azure Time Series Insights Gen2.

En grundlig beskrivning av Azure Blob Storage finns i introduktionen om lagringsblobar.

Ditt cold storage-konto

Azure Time Series Insights Gen2 behåller upp till två kopior av varje händelse i ditt Azure Storage-konto. En kopia lagrar händelser ordnade efter inmatningstid, vilket alltid ger åtkomst till händelser i en tidsbeställd sekvens. Med tiden skapar Azure Time Series Insights Gen2 också en ompartitionerad kopia av data för att optimera för högpresterande frågor.

Alla dina data lagras på obestämd tid i ditt Azure Storage-konto.

Skriva och redigera dataklumpar

För att säkerställa frågeprestanda och datatillgänglighet ska du inte redigera eller ta bort några blobar som Azure Time Series Insights Gen2 skapar.

Åtkomst till kalllagerdata

Förutom att komma åt dina data från Azure Time Series Insights Explorer och Time Series Query-API:er kanske du också vill komma åt dina data direkt från Parquet-filerna som lagras i det kalla arkivet. Du kan till exempel läsa, transformera och rensa data i en Jupyter-anteckningsbok och sedan använda den för att träna din Azure Machine Learning-modell i samma Spark-arbetsflöde.

För att komma åt data direkt från ditt Azure Storage-konto behöver du läsbehörighet till det konto som används för att lagra dina Azure Time Series Insights Gen2-data. Du kan sedan läsa valda data baserat på skapandetiden för Parquet-filen som finns i PT=Time mappen som beskrivs nedan i avsnittet Parquet-filformat . Mer information om hur du aktiverar läsåtkomst till ditt lagringskonto finns i Hantera åtkomst till dina lagringskontoresurser.

Databorttagning

Ta inte bort dina Azure Time Series Insights Gen2-filer. Hantera relaterade data endast inifrån Azure Time Series Insights Gen2.

Parquet-filformat och mappstruktur

Parquet är ett kolumnformat med öppen källkod som utformats för effektiv lagring och prestanda. Azure Time Series Insights Gen2 använder Parquet för att aktivera Time Series ID-baserade frågeprestanda i stor skala.

Mer information om filtypen Parquet finns i Parquet-dokumentationen.

Azure Time Series Insights Gen2 lagrar kopior av dina data enligt följande:

• Mappen PT=Time partitioneras efter inmatningstid och lagrar data ungefär efter ankomst. Dessa data bevaras över tid och du kan komma åt dem direkt utanför Azure Time Series Insight Gen2, till exempel från dina Spark-anteckningsböcker. Tidsstämpeln <YYYYMMDDHHMMSSfff> motsvarar datainmatningstiden. Och <MinEventTimeStamp><MaxEventTimeStamp> motsvarar intervallet för händelsetidsstämplar som ingår i filen. Sökvägen och filnamnet formateras som:

  V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<MinEventTimestamp>_<MaxEventTimestamp>_<TsiInternalSuffix>.parquet

• Mapparna PT=Live och PT=Tsid innehåller en andra kopia av dina data, ompartitionerade för frågeprestanda i tidsserier i stor skala. Dessa data är optimerade över tid och är inte statiska. Under ompartitioneringen kan vissa händelser finnas i flera blobar och blobnamnen kan ändras. Dessa mappar används av Azure Time Series Insights Gen2 och bör inte nås direkt. du bör endast använda PT=Time för det ändamålet.

Azure Time Series Insights Gen2-händelser mappas till Parquet-filinnehåll på följande sätt:

• Varje händelse mappas till en enda rad.
• Varje rad innehåller tidsstämpelkolumnen med en tidsstämpel för händelsen. Egenskapen tidsstämpel är aldrig null. Den anger som standard den tid då händelsen visas om tidsstämpelegenskapen inte har angetts i händelsekällan. Den lagrade tidsstämpeln finns alltid i UTC.
• Varje rad innehåller TSID-kolumnen (Time Series ID) enligt definitionen när Azure Time Series Insights Gen2-miljön skapas. TSID-egenskapsnamnet innehåller suffixet _string .
• Alla andra egenskaper som skickas som telemetridata mappas till kolumnnamn som slutar med _bool (boolesk), _datetime (tidsstämpel), _long (lång), _double (dubbel), _string (sträng) eller _dynamic (dynamisk), beroende på egenskapstyp. Mer information finns i om datatyper som stöds.
• Det här mappningsschemat gäller för den första versionen av filformatet, som refereras till som V=1, och lagras i basmappen med samma namn. När den här funktionen utvecklas kan det här mappningsschemat ändras och referensnamnet ökas.

Nästa steg

• Läs mer om datamodellering.

• Planera din Azure Time Series Insights Gen2-miljö.