Dela via

Övervaka kontoaktivitet med systemtabeller

Den här artikeln beskriver begreppet systemtabeller i Azure Databricks och markerar resurser som du kan använda för att få ut mesta möjliga av dina systemtabelldata.

Vad är systemtabeller?

Systemtabeller är ett analytiskt lager värdbaserat på Azure Databricks för ditt kontos driftdata som finns i system katalogen. Systemtabeller kan användas för historisk observerbarhet i hela ditt konto.

Anteckning

Dokumentation om system.information_schemafinns i Informationsschema.

Krav

  • För att få åtkomst till systemtabeller måste arbetsytan vara aktiverad för Unity Catalog. Mer information finns i Åtkomstsystemtabeller.
  • Systemtabeller är inte tillgängliga i följande regioner:
    • Azure Kina-regioner
    • Azure-regioner för statliga myndigheter
    • Västra Indien
    • Schweiz, västra

Vilka systemtabeller är tillgängliga?

För närvarande är Azure Databricks värd för följande systemtabeller:

Tabell beskrivning Stöder direktuppspelning Fri kvarhållningsperiod Innehåller globala eller regionala data
Granskningsloggar (offentlig förhandsversion) Innehåller poster för alla granskningshändelser från arbetsytor i din region. För en lista över tillgängliga granskningshändelser, se Diagnostikloggreferens.
Tabellsökväg: system.access.audit		 Ja 365 dagar Regionalt för händelser på arbetsytenivå. Global för händelser på kontonivå.
Fakturerbar användning Innehåller poster för all fakturerbar användning i ditt konto.
Tabellsökväg: system.billing.usage		 Ja 365 dagar Global
Renrumshändelser (offentlig förhandsversion) Fångar händelser som rör rena rum.
Tabellsökväg: system.access.clean_room_events		 Ja 365 dagar Regionell
Kluster En långsamt föränderlig dimensionstabell som innehåller hela historiken för beräkningskonfigurationer över tid för alla kluster. Ja 365 dagar Regionell
Kolumn härkomst Innehåller en post för varje läs- eller skrivhändelse i en Unity Catalog-kolumn (men inkluderar inte händelser som inte har någon källa).
Tabellsökväg: system.access.column_lineage		 Ja 365 dagar Regionell
Dataklassificeringsresultat (Beta) Lagrar identifieringar på kolumnnivå av känsliga dataklasser i aktiverade kataloger i metaarkivet.
Tabellsökväg: system.data_classification.results		 Nej 365 dagar Regionell
Resultat av datakvalitetsövervakning (Beta) Lagrar resultat av datakvalitetsövervakningskontroller (färskhet, fullständighet) och incidentinformation, inklusive nedströmspåverkan och rotorsaksanalys, i aktiverade tabeller i metaarkivet.
Tabellsökväg: system.data_quality_monitoring.table_results		 Nej Obestämd Regionell
Databricks Assistant-händelser (offentlig förhandsversion) Spårar användarmeddelanden som skickas till Databricks Assistant.
Tabellsökväg: system.access.assistant_events		 Nej 365 dagar Regionell
Datamaterialiseringshändelser vid Delta Sharing Registrerar händelser för datamaterialisering som skapats från vyer, materialiserade vyer och strömmande tabelldelning.
Tabellsökväg: system.sharing.materialization_history		 Ja 365 dagar Regionalt för händelser på arbetsytenivå.
Tidslinje för jobbkörning (offentlig förhandsvisning) Spårar start- och sluttiderna för jobbkörningar.
Tabellsökväg: system.lakeflow.job_run_timeline		 Ja 365 dagar Regionell
Tidslinje för jobbaktivitet (offentlig förhandsversion) Spårar start- och sluttider samt beräkningsresurser som används för jobbkörningar.
Tabellsökväg: system.lakeflow.job_task_run_timeline		 Ja 365 dagar Regionell
Jobbaktiviteter (offentlig förhandsversion) Spårar alla arbetsuppgifter som körs inom kontot.
Tabellsökväg: system.lakeflow.job_tasks		 Ja 365 dagar Regionell
Jobb (offentlig förhandsversion) Spårar alla jobb som skapats i kontot.
Tabellsökväg: system.lakeflow.jobs		 Ja 365 dagar Regionell
Marketplace-säljtrattshändelser (offentlig förhandsversion) Innehåller konsumentintryck och funneldata för dina annonser.
Tabellsökväg: system.marketplace.listing_funnel_events		 Ja 365 dagar Regionell
Åtkomst till Marketplace-lista (offentlig förhandsversion) Innehåller konsumentinformation för slutförda begärda data eller hämta data händelser på dina listor.
Tabellsökväg: system.marketplace.listing_access_events		 Ja 365 dagar Regionell
Metadata för MLflow-spårningsexperiment (offentlig förhandsversion) Varje rad representerar ett experiment som skapats i det Databricks-hanterade MLflow-systemet.
Tabellsökväg: system.mlflow.experiments_latest		 Ja 180 dagar Regionell
MLflow-spårningskörningsmetadata (offentlig förhandsversion) Varje rad representerar en körning som skapats i det Databricks-hanterade MLflow-systemet.
Tabellsökväg: system.mlflow.runs_latest		 Ja 180 dagar Regionell
MLflow-spårningskörningsmått (offentlig förhandsversion) Innehåller de tidseriemått som loggas till MLflow som är associerade med en viss modellträning, utvärdering eller agentutveckling.
Tabellsökväg: system.mlflow.run_metrics_history		 Ja 180 dagar Regionell
Modell som betjänar slutpunktsdata (offentlig förhandsversion) En långsamt föränderlig dimensionstabell som lagrar metadata för varje hanterad grundmodell i en modell som betjänar slutpunkten.
Tabellsökväg: system.serving.served_entities		 Ja 365 dagar Regionell
Modell som betjänar slutpunktsanvändning (offentlig förhandsversion) Samlar in tokenantal för varje begäran till en modell som betjänar slutpunkten och dess svar. Om du vill samla in slutpunktsanvändningen i den här tabellen måste du aktivera användningsspårning på serverdelsslutpunkten.
Tabellsökväg: system.serving.endpoint_usage		 Ja 90 dagar Regionell
Nätverksåtkomsthändelser (inkommande) (offentlig förhandsversion) En tabell som registrerar en händelse för varje gång inkommande åtkomst till en arbetsyta nekas av en ingressprincip.
Tabellsökväg: system.access.inbound_network		 Ja 30 dagar Regionell
Nätverksåtkomsthändelser (utgående) (offentlig förhandsversion) En tabell som registrerar en händelse varje gång utgående internetåtkomst nekas från ditt konto.
Tabellsökväg: system.access.outbound_network		 Ja 365 dagar Regionell
Tidslinje för nod Samlar in användningsmätvärdena för dina allmänna och jobbrelaterade beräkningsresurser.
Tabellsökväg: system.compute.node_timeline		 Ja 90 dagar Regionell
Nodtyper Samlar in de tillgängliga nodtyperna med sin grundläggande maskinvaruinformation.
Tabellsökväg: system.compute.node_types		 Nej Obestämd Regionell
Tidslinje för uppdatering av pipeline (offentlig förhandsversion) Spårar start- och sluttider och beräkningsresurser som används för pipelineuppdateringar.
Tabellsökväg: system.lakeflow.pipeline_update_timeline		 Ja 365 dagar Regionell
Pipelines (offentlig förhandsversion) Spårar alla pipelines som skapats i kontot.
Tabellsökväg: system.lakeflow.pipelines		 Ja 365 dagar Regionell
Förutsägelseoptimering (offentlig förhandsversion) Spårar drifthistoriken för funktionen för förutsägande optimering.
Tabellsökväg: system.storage.predictive_optimization_operations_history		 Nej 180 dagar Regionell
Prissättning En historisk logg över SKU-priser. En post läggs till varje gång SKU-pris ändras.
Tabellsökväg: system.billing.list_prices		 Nej Obestämd Global
Frågehistorik (offentlig förhandsversion) Samlar in register för alla databaserfrågor som körs på SQL-datalager och serverlös databehandling för anteckningsböcker och jobb.
Tabellsökväg: system.query.history		 Nej 180 dagar Regionell
SQL Warehouse-händelser (offentlig förhandsversion) Samlar in händelser som rör SQL-lager. Till exempel starta, stoppa, köra, skala upp och ned.
Tabellsökväg: system.compute.warehouse_events		 Ja 365 dagar Regionell
SQL-lager (offentlig förhandsversion) Innehåller den fullständiga historiken för konfigurationer över tid för alla SQL-lager.
Tabellsökväg: system.compute.warehouses		 Ja 365 dagar Regionell
Tabellhärledning Innehåller en post för varje händelse av läsning eller skrivning på en Unity Catalog-tabell eller sökväg.
Tabellsökväg: system.access.table_lineage		 Ja 365 dagar Regionell
Arbetsytor (offentlig förhandsversion) Tabellen workspaces_latest är en långsamt föränderlig dimensionstabell med metadata för alla arbetsytor i kontot.
Tabellsökväg: system.access.workspaces_latest		 Nej Obestämd Global

Fakturerbara användnings- och pristabeller är kostnadsfria att använda. Tabeller i den offentliga förhandsversionen kan också användas under förhandsversionen, men kan medföra en avgift i framtiden.

Anteckning

Du kan se andra systemtabeller i ditt konto, förutom de som anges ovan. Dessa tabeller är för närvarande i privat förhandsversion och är tomma som standard. Om du är intresserad av att använda någon av dessa tabeller kontaktar du ditt Databricks-kontoteam.

Relationer i systemtabeller

Följande entitetsrelationsdiagram beskriver hur de systemtabeller som är tillgängliga för närvarande är relaterade till varandra. Det här diagrammet visar de primära och externa nycklarna i varje tabell.

Entitetsrelationsdiagram över Databricks-systemtabeller

Åtkomst till systemtabeller

Eftersom systemtabeller styrs av Unity Catalog måste du ha minst en Unity Catalog-aktiverad arbetsyta i ditt konto för att få åtkomst till ditt kontos systemtabeller. Systemtabeller innehåller data från alla arbetsytor i ditt konto, men de kan bara nås från en Unity Catalog-aktiverad arbetsyta.

Metaarkivet måste finnas på Unity Catalog Privilege Model Version 1.0 för att få åtkomst till systemtabeller. Se Uppgradera till arv av privilegier.

Bevilja åtkomst till systemtabeller

Åtkomst till systemtabeller styrs av Unity Catalog. Ingen användare har åtkomst till dessa systemscheman som standard. För att bevilja åtkomst måste en användare som både är metaarkivadministratör och kontoadministratör bevilja USE och SELECT behörigheter för systemschemana. Se avsnitt Hantera privilegier i Unity Catalog.

Systemtabeller är skrivskyddade och kan inte ändras.

Anteckning

Om ditt konto skapades efter den 9 november 2023 kanske du inte har någon metaarkivadministratör som standard. Mer information finns i Komma igång med Unity Catalog.

Innehåller systemtabeller data för alla arbetsytor i ditt konto?

Systemtabeller innehåller driftdata för alla arbetsytor i ditt konto som distribueras i samma molnregion. Vissa tabeller innehåller globala data. Mer information finns i listan över tillgängliga tabeller.

Även om systemtabeller bara kan nås via en Unity Catalog-arbetsyta innehåller de driftdata från arbetsytor som inte är Unity-kataloger i ditt konto.

Var lagras systemtabelldata?

Ditt kontos data för systemtabeller lagras i en lagringstjänst från Azure Databricks som finns i samma region som ditt metastore. Data delas säkert med dig via Delta Sharing.

Varje tabell har en fri datakvarhållningsperiod. Mer information finns i kolumnen Fri kvarhållningsperiod i Vilka systemtabeller är tillgängliga?.

Var finns systemtabeller i Catalog Explorer?

Systemtabellerna i ditt konto finns i en katalog med namnet system, som ingår i alla Unity Catalog-metaarkiv. system I katalogen visas scheman som access och billing som innehåller systemtabellerna.

Överväganden för systemtabeller för direktuppspelning

Azure Databricks använder Delta Sharing för att dela systemtabellsdata med kunder. Tänk på följande när du strömmar med Delta Sharing:

  • Om du använder direktuppspelning med systemtabeller anger du alternativet skipChangeCommits till true. Detta säkerställer att strömningsjobbet inte störs av borttagningar i systemtabellerna. Se Ignorera uppdateringar och borttagningar.
  • Trigger.AvailableNow stöds inte med Delta Sharing-strömning. Den konverteras till Trigger.Once.

Om du använder en utlösare i strömningsjobbet och upptäcker att den inte kommer ikapp den senaste systemtabellversionen rekommenderar Databricks att du ökar den schemalagda frekvensen för jobbet.

Läsa inkrementella ändringar från systemtabeller för direktuppspelning

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Kända problem

  • Nya kolumner kan när som helst läggas till i befintliga systemtabeller. Frågor som förlitar sig på ett fast schema kan brytas om nya kolumner introduceras. Befintliga kolumner kommer inte att ändras eller tas bort. Om du skriver systemtabelldata till en annan måltabell kan du överväga att aktivera schemautveckling.
  • Inget stöd för realtidsövervakning. Data uppdateras under dagen. Om du inte ser någon logg för en händelse nyligen kan du gå tillbaka senare.
  • Systemtabellschemat __internal_logging stöder nyttolastloggning med hjälp av AI Gateway-aktiverade slutsatsdragningstabeller för externa modeller och etablerade dataflödesarbetsbelastningar. Det här schemat är synligt för kontoadministratörer, men det kan inte aktiveras och bör inte användas för kundarbetsflöden.
  • Om du vill aktivera systemtabeller kan du behöva bevilja nätverksåtkomst till systemtabellerna Blob Storage-slutpunkt. Information om hur du visar en lista över lagringsslutpunkten för alla regioners systemtabeller finns i IP-adresser för lagringsslutpunkt.
  • Systemschemana system.operational_data och system.lineage är inaktuella och innehåller tomma tabeller.