Den här artikeln innehåller information om vanliga frågor om att exportera Microsoft Dataverse-tabelldata till Azure Synapse Analytics och Azure Data Lake.
Kan jag manuellt utföra uppgifter som att skapa, uppdatera, ta bort eller ange principer för automatisk borttagning av datafiler i den anslutna Azure-lagringen?
Datafiler bör inte ändras av en kund och inga kundfiler ska placeras i datamapparna.
Anmärkning
Om du vill släppa inaktuella och stagnerande data i datasjön utan att bryta Azure Synapse Link kan du överväga att använda funktionen Fråga och analysera de inkrementella uppdateringarna
Hur kommer jag åt mina tabellrelationer?
För att få åtkomst till många-till-många-relationer är relationen tillgänglig som en tabell att välja från sidan Lägg till tabeller för en ny länk och från länken Hantera tabeller för en befintlig länk.
Anmärkning
All relationsdata finns som standard i rent tilläggsläge när de skrivs i CSV-format.
Hur kan jag få uppskattade kostnader innan jag lägger till Azure Synapse Link?
Azure Synapse Link är en kostnadsfri funktion med Dataverse. Användning av Azure Synapse Link för Dataverse medför inte ytterligare avgifter under Dataverse. Överväg dock potentiella kostnader för Azure-tjänsten:
- Datalagring i Azure Data Lake Storage Gen2: Priser för Azure Storage Data Lake Gen2 | Microsoft Azure
- Dataförbrukningskostnad (till exempel Synapse-arbetsyta): Priser – Azure Synapse Analytics | Microsoft Azure För omfattande Information om Microsoft Cost Management går du till: Planera för att hantera Azure-kostnader – Microsoft Cost Management | Microsoft Learn
Vad händer när jag lägger till en kolumn?
När du lägger till en ny kolumn i en tabell i källan, läggs den också till i slutet av filen i motsvarande filpartition i destinationen. Även om de rader som fanns innan kolumnen lades till inte visas i den nya kolumnen, visar nya eller uppdaterade rader den nyligen tillagda kolumnen.
Vad händer när jag tar bort en kolumn?
När du tar bort en kolumn från en tabell i källan tas inte kolumnen bort från målet. I stället uppdateras inte längre raderna och markeras som null samtidigt som föregående rader bevaras.
Vad händer om jag ändrar datatypen för en kolumn?
Att ändra datatypen för en kolumn är en kritisk ändring och du måste ta bort länken och länka om.
Vad händer när jag tar bort en rad?
Borttagning av en rad hanteras på olika sätt baserat på vilka alternativ för dataskrivning du väljer:
- Uppdatering på plats med CSV-format: Det här är standardläget. När du tar bort en tabellrad i det här läget tas även raden bort från motsvarande datapartition i Azure Data Lake. Data tas alltså bort svårt från destinationen.
- Endast tillägg med CSV-format och inkrementell mappuppdatering: I det här läget, när en rad i en Dataverse-tabell tas bort, raderas den inte från destinationen. I stället läggs en rad till och anges som
isDeleted=Truetill filen i motsvarande datapartition i Azure Data Lake. - Exportera till Delta lake-format: Azure Synapse Link utför en mjuk borttagning av data under nästa deltasynkroniseringscykel, följt av en hård borttagning efter 30 dagar.
Varför visas inte en kolumnrubrik i den exporterade filen?
Azure Synapse Link följer Common Data Model för att göra det möjligt för data och dess betydelse att delas mellan program och affärsprocesser som Microsoft Power Apps, Power BI, Dynamics 365 och Azure. I varje CDM-mapp lagras metadata som en kolumnrubrik i model.json-filen. Mer information: Common Data Model och Azure Data Lake Storage Gen2 | Microsoft Learn
Varför ökar eller ändras Model.json fillängden för datatyperna och behåller inte det som definieras i Dataverse?
Model.json behåller databaslängden för kolumnens storlek. Dataverse har ett begrepp om databaslängd för varje kolumn. Om du skapar en kolumn med storleken 200 och senare minskar den till 100 tillåter Dataverse fortfarande att dina befintliga data finns i Dataverse. Det gör det genom att hålla DBLength till 200 och MaxLength till 100. Det du ser i Model.json är DBLength och om du använder det för underordnade processer kommer du aldrig att etablera mindre utrymme för dina Dataverse-kolumner.
Anmärkning
Pm-fält definieras som varchar(max) med en maximal standardlängd på 9999.
Vilka datum- och tidsformat kan förväntas i exporterade Dataverse-tabeller?
Det finns tre datum- och tidsformat som kan förväntas i de exporterade Dataverse-tabellerna.
| Kolumnnamn | Format | Datatyp | Example |
|---|---|---|---|
| SinkCreatedOn och SinkModifiedOn | M/d/åååå H:mm:ss tt | tidpunkt | 2021-06-28 16:34:35 |
| CreatedOn | yyyy-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Alla andra kolumner | yyyy-MM-dd'T'HH:mm:ss'Z' | tidpunkt | 2021-06-25T16:21:12Z |
Anmärkning
CreatedOn-datatypen har ändrats från datetime till datetimeOffset 2022-07-29. Om du vill redigera datatypsformatet för en tabell som skapades före ändringen släpper du och läser tabellen.
Du kan välja olika kolumnbeteenden för en datum- och tidskolumn i Dataverse, vilket uppdaterar datatypsformatet. Mer information: Beteende och format för kolumnen Datum och tid
Varför visas 1.csv eller 1_001.csv filnamn i stället för vanliga filnamn som partitionerats med datum och tid för vissa Dataverse-tabeller?
Det här beteendet förväntas när du väljer exportläge endast för tillägg och har tabeller utan en giltig CreatedOn-kolumn . Blobar är ordnade i filer som 1.csv, 2.csv (använder anpassad partitionering på grund av att det inte finns något giltigt skapandedatum). När någon partition närmar sig 95% av MaxBlockPerBlobLimit genererar systemet automatiskt en ny fil – som här visas som 1_001.csv.
När ska jag använda en årlig eller månatlig partitionsstrategi?
För Dataverse-tabeller där datavolymen är hög inom ett år rekommenderar vi att du använder månatliga partitioner. Detta resulterar i mindre filer och bättre prestanda. Om raderna i Dataverse-tabeller uppdateras ofta kan uppdelning i flera mindre filer dessutom förbättra prestanda vid scenarier med uppdateringar på plats. Delta Lake är endast tillgängligt med årlig partition på grund av dess överlägsna prestanda jämfört med CSV-format.
Vad är endast läge för tillägg och vad är skillnaden mellan uppdateringsläge och uppdateringsläge på plats?
I endast tilläggsläge läggs inkrementella data från Dataverse-tabeller till i motsvarande filpartition i sjön. Mer information: Avancerade konfigurationsalternativ i Azure Synapse Link
När använder jag endast tilläggsläge för en historisk vy över ändringar?
Endast tilläggsläge är det rekommenderade alternativet för skrivning Dataverse, särskilt när datavolymerna är höga i en partition med ofta förändrade data. Återigen är detta ett vanligt och starkt rekommenderat alternativ för företagskunder. Dessutom kan du välja att använda det här läget för scenarier där avsikten är att stegvis granska ändringar från Dataverse och bearbeta ändringarna för ETL-, AI- och ML-scenarier. Tilläggsläget ger en historik över ändringar istället för den senaste ändringen eller på platsuppdateringen, och möjliggör flera tidsserier från AI-scenarier, till exempel förutsägelse eller prognosanalys baserat på historiska värden.
Hur hämtar jag den senaste raden för varje post och utesluter borttagna rader när jag exporterar data i läget lägg till endast?
I läget Endast tillägg ska du identifiera den senaste versionen av posten med samma ID med hjälp av VersionNumber och SinkModifiedOn och sedan den senaste isDeleted=0-versionen.
Varför ser jag duplicerade versionsnummer när jag exporterar data med tilläggsläge?
För append-läge, om Azure Synapse Link för Dataverse inte får en bekräftelse från Azure Data Lake om att data har återsparats på grund av någon anledning, till exempel nätverksfördröjningar, försöker Azure Synapse Link igen i dessa scenarier och återsparar data igen. Nedströmsförbrukningen bör göras motståndskraftig mot det här scenariot genom att filtrera data med hjälp av SinkModifiedOn.
Varför ser jag skillnader i kolumnerna Sinkmodifiedon och Modifiedon?
Det är väntat.
Modifiedon är det datum och den tid då posten ändrades i Dataverse; Sinkmodifiedon är det datum och den tid då posten ändrades i datasjön.
Vilka Dataverse-tabeller stöds inte för export?
Alla tabeller som inte har aktiverat ändringsspårning stöds inte utöver följande systemtabeller:
- bilaga
- Kalender
- Kalenderregel
Anmärkning
Du kan lägga till granskningstabellen för export med hjälp av Azure Synapse Link för Dataverse. Export av granskningstabellen stöds dock endast med Delta Lake-profiler.
Använder jag funktionen för export med Delta Lake, kan jag stoppa ett Apache Spark-jobb eller ändra exekveringstiden?
Delta Lake-konverteringsjobbet utlöses när det skedde en dataändring i det konfigurerade tidsintervallet. Det finns inget alternativ för att stoppa eller pausa Apache Spark-poolen. Du kan dock ändra tidsintervallet efter att länken har skapats under Hantera tabeller > Avancerat tidsintervall.
Stöder Azure Synapse Link uppslagskolumner?
Uppslagskolumner består av ett ID och ett värde. Uppslagsvärden ändras bara i rottabellen. För att bättre återspegla värdet för en uppslagskolumn rekommenderar vi att du ansluter till den ursprungliga rottabellen för att hämta det senaste värdet.
Stöder Azure Synapse Link beräknade kolumner?
I Dataverse behåller beräknade kolumner endast formelinformationen och det verkliga värdet beror på bastabellkolumnen. Därför stöds endast beräknade kolumner när alla kolumner finns i samma exporterade tabell.
Vilka Dataverse-tabeller använder endast tilläggsläge som standard?
Alla tabeller som inte har ett createdOn-fält synkroniseras med endast tilläggsläge som standard. Detta inkluderar relationstabeller och tabellen ActivityParty.
Varför visas felmeddelandet – Innehållet i katalogen på sökvägen kan inte visas?
- Dataverse-data lagras i den anslutna lagringscontainern. Du behöver rollen "Storage Blob Data Contributor" i det länkade lagringskontot för att utföra läs- och frågeåtgärder via Synapse-arbetsytan.
- Om du väljer att exportera data med Delta Lake-format rensas CSV-filen efter Delta Lake-konverteringen. Du måste fråga efter data med non_partitioned tabeller via Synapse arbetsytan.
Varför visas felmeddelandet – det går inte att massinläsa eftersom filen är ofullständig eller inte kunde läsas (endast CSV-fil)?
Dataverse-data kan kontinuerligt ändras genom att skapa, uppdatera och ta bort transaktioner. Det här felet orsakas av att den underliggande filen ändras när du läser data från den. För tabeller med kontinuerliga ändringar bör du därför ändra din användningspipeline så att ögonblicksbildsdata (partitionerade tabeller) används. Mer information: Felsökning av serverlös SQL-pool
Hur kan jag använda Azure Synapse Link för att arkivera kritiska data?
Azure Synapse Link for Dataverse är utformat för analysändamål. Vi rekommenderar att kunderna använder långsiktig kvarhållning i arkivsyfte. Mer information: Översikt över långsiktig datakvarhållning i Dataverse
Varför ser jag inga dataändringar i datasjön när poster har tagits bort i Dataverse?
För ett direkt SQL-anrop för att ta bort en post, utlöses inte tjänsten Azure Synapse Link for Dataverse eftersom BPO.Delete inte anropas. För en exempelfunktion går du till Så här rensar du ärvd åtkomst.