Övervaka måtttabeller

Den här sidan beskriver de måtttabeller som skapats av Databricks Lakehouse Monitoring. Information om instrumentpanelen som skapats av en övervakare finns i Använda den genererade SQL-instrumentpanelen.

När en övervakare körs i en Databricks-tabell skapas eller uppdateras två måtttabeller: en tabell med profilmått och en tabell med driftmått.

• Tabellen profilmått innehåller sammanfattningsstatistik för varje kolumn och för varje kombination av tidsfönster, segment och grupperingskolumner. För InferenceLog analys innehåller analystabellen även mått för modellnoggrannhet.
• Tabellen driftmått innehåller statistik som spårar ändringar i distributionen för ett mått. Drifttabeller kan användas för att visualisera eller avisera om ändringar i data i stället för specifika värden. Följande typer av drift beräknas:
  • På varandra följande drift jämför ett fönster med föregående tidsfönster. På varandra följande drift beräknas endast om det finns ett på varandra följande tidsfönster efter aggregering enligt de angivna kornigheterna.
  • Baslinjeavvikelse jämför ett fönster med baslinjefördelningen som bestäms av baslinjetabellen. Baslinjeavvikelse beräknas endast om en baslinjetabell tillhandahålls.

Där måtttabeller finns

Övervaka måtttabeller sparas i {output_schema}.{table_name}_profile_metrics och {output_schema}.{table_name}_drift_metrics, där:

• {output_schema} är katalogen och schemat som anges av output_schema_name.
• {table_name} är namnet på tabellen som övervakas.

Så här beräknas övervakningsstatistik

Varje statistik och mått i måtttabellerna beräknas för ett angivet tidsintervall (kallas "fönster"). För Snapshot analys är tidsfönstret en enskild tidpunkt som motsvarar den tid då måttet uppdaterades. För TimeSeries och InferenceLog analys baseras tidsfönstret på de kornigheter som anges i create_monitor och värdena i det timestamp_col angivna i profile_type argumentet.

Mått beräknas alltid för hela tabellen. Om du anger ett segmenteringsuttryck beräknas dessutom mått för varje datasektor som definieras av uttryckets värde.

Till exempel:

slicing_exprs=["col_1", "col_2 > 10"]

genererar följande sektorer: en för col_2 > 10, en för col_2 <= 10och en för varje unikt värde i col1.

Segment identifieras i måtttabellerna med kolumnnamnen slice_key och slice_value. I det här exemplet skulle en sektornyckel vara "col_2 > 10" och motsvarande värden skulle vara "true" och "false". Hela tabellen motsvarar slice_key = NULL och slice_value = NULL. Segment definieras av en enda sektornyckel.

Mått beräknas för alla möjliga grupper som definieras av tidsfönster och segmentnycklar och värden. För analys beräknas dessutom InferenceLog mått för varje modell-ID. Mer information finns i Kolumnscheman för genererade tabeller.

Ytterligare statistik för övervakning av modellnoggrannhet (InferenceLog endast analys)

Ytterligare statistik beräknas för InferenceLog analys.

• Modellkvalitet beräknas om både label_col och prediction_col tillhandahålls.
• Segment skapas automatiskt baserat på distinkta värden för model_id_col.
• För klassificeringsmodeller beräknas rättvise- och biasstatistik för sektorer som har ett booleskt värde.

Tabeller för frågeanalys och driftmått

Du kan köra frågor mot måtttabellerna direkt. Följande exempel baseras på InferenceLog analys:

SELECT
  window.start, column_name, count, num_nulls, distinct_count, frequent_items
FROM census_monitor_db.adult_census_profile_metrics
WHERE model_id = 1    — Constrain to version 1
  AND slice_key IS NULL    — look at aggregate metrics over the whole data
  AND column_name = "income_predicted"
ORDER BY window.start

Kolumnscheman för genererade tabeller

För varje kolumn i den primära tabellen innehåller måtttabellerna en rad för varje kombination av grupperingskolumner. Kolumnen som är associerad med varje rad visas i kolumnen column_name.

För mått som baseras på mer än en kolumn, till exempel mått för modellnoggrannhet, column_name anges till :table.

För profilmått används följande grupperingskolumner:

• tidsfönster
• granularitet (TimeSeries och InferenceLog endast analys)
• loggtyp – indatatabell eller baslinjetabell
• segmentnyckel och värde
• modell-ID (InferenceLog endast analys)

För driftmått används följande ytterligare grupperingskolumner:

• jämförelsetidsfönster
• drifttyp (jämförelse med föregående fönster eller jämförelse med baslinjetabell)

Scheman för måtttabellerna visas nedan och visas även i referensdokumentationen för Databricks Lakehouse Monitoring API.

Tabellschema för profilmått

I följande tabell visas schemat för tabellen med profilmått. Om ett mått inte är tillämpligt på en rad är motsvarande cell null.

[1] Format för struct för confusion_matrix, precision, recalloch f1_score:

[2] För tidsserie- eller slutsatsdragningsprofiler ser övervakaren tillbaka 30 dagar från det att övervakaren skapas. På grund av den här brytningen kan den första analysen innehålla ett partiellt fönster. Till exempel kan gränsen på 30 dagar falla i mitten av en vecka eller månad, i vilket fall hela veckan eller månaden inte ingår i beräkningen. Det här problemet påverkar bara det första fönstret.

[3] Den version som visas i den här kolumnen är den version som användes för att beräkna statistiken på raden och kanske inte är den aktuella versionen av övervakaren. Varje gång du uppdaterar måtten försöker övervakaren räkna om tidigare beräknade mått med den aktuella övervakningskonfigurationen. Den aktuella övervakningsversionen visas i övervakningsinformationen som returneras av API:et och Python-klienten.

[4] Exempelkod för att hämta den 50:e percentilen: SELECT element_at(quantiles, int((size(quantiles)+1)/2)) AS p50 ... eller SELECT quantiles[500] ... .

[5] Visas endast om övervakaren har InferenceLog analystyp och båda label_col och prediction_col tillhandahålls.

[6] Visas endast om övervakaren har InferenceLog analystypen och problem_type är classification.

Tabellschema för driftmått

I följande tabell visas schemat för tabellen med driftmått. Drifttabellen genereras endast om en baslinjetabell tillhandahålls eller om det finns ett på varandra följande tidsfönster efter aggregering enligt de angivna kornigheterna. Om ett mått inte är tillämpligt på en rad är motsvarande cell null.

[7] För tidsserie- eller slutsatsdragningsprofiler ser övervakaren tillbaka 30 dagar från det att övervakaren skapas. På grund av den här brytningen kan den första analysen innehålla ett partiellt fönster. Till exempel kan gränsen på 30 dagar falla i mitten av en vecka eller månad, i vilket fall hela veckan eller månaden inte ingår i beräkningen. Det här problemet påverkar bara det första fönstret.

[8] Den version som visas i den här kolumnen är den version som användes för att beräkna statistiken på raden och kanske inte är den aktuella versionen av övervakaren. Varje gång du uppdaterar måtten försöker övervakaren räkna om tidigare beräknade mått med den aktuella övervakningskonfigurationen. Den aktuella övervakningsversionen visas i övervakningsinformationen som returneras av API:et och Python-klienten.

[9] Utdata från populationens stabilitetsindex är ett numeriskt värde som representerar hur olika två fördelningar är. Intervallet är [0, inf). PSI < 0.1 innebär ingen betydande befolkningsförändring. PSI < 0.2 anger måttlig befolkningsförändring. PSI >= 0,2 indikerar betydande befolkningsförändring.