Referens för tabell i system för förutsägande optimering

Den här artikeln beskriver tabellschemat för förutsägande optimeringsåtgärdshistorik och innehåller exempelfrågor. Förutsägelseoptimering optimerar din datalayout för högsta prestanda och kostnadseffektivitet. Systemtabellen spårar drifthistoriken för den här funktionen. Information om förutsägande optimering finns i Förutsägande optimering för hanterade Unity Catalog-tabeller.

Tabellsökväg: Den här systemtabellen finns på system.storage.predictive_optimization_operations_history.

Leveransöverväganden

• Det kan ta upp till 24 timmar innan data fylls i.
• Förutsägande optimering kan köra flera åtgärder i samma kluster. I så fall uppskattas den andel av DBU:er som tillskrivs var och en av de olika åtgärderna. Därför är usage_unit inställt på ESTIMATED_DBU. Ändå är det totala antalet DBU som spenderas på klustret korrekt.

Tabellschema för förutsägande optimering

Systemtabellen för förutsägande optimeringsåtgärdshistorik använder följande schema:

Åtgärdsmått

Måtten som registreras i kolumnen operation_metrics varierar beroende på åtgärdstyp:

• COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, , number_of_output_filesamount_of_output_data_bytes
• VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
• ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
• CLUSTERING: number_of_removed_files, number_of_clustered_files, , amount_of_data_removed_bytesamount_of_clustered_data_bytes
• AUTO_CLUSTERING_COLUMN_SELECTION: old_clustering_columns, new_clustering_columns, has_column_selection_changed, additional_reason (innehåller orsaken till att kolumnvalet har ändrats eller inte har ändrats)

Exempelfrågor

Följande avsnitt innehåller exempelfrågor som du kan använda för att få insikter om systemtabellen för förutsägande optimering. För att dessa frågor ska fungera måste du ersätta parametervärdena med dina egna värden.

Den här artikeln innehåller följande exempelfrågor:

• Hur många uppskattade DBU:er har förutsägande optimering använts under de senaste 30 dagarna?
• På vilka tabeller spenderade förutsägelseoptimering mest under de senaste 30 dagarna (uppskattad kostnad)?
• På vilka tabeller utför förutsägande optimering flest åtgärder?
• Hur många totala byte har komprimerats för en viss katalog?
• Vilka tabeller hade flest antal byte rensade?
• Vad är framgångsgraden för åtgärder som körs av förutsägande optimeringar?

Hur många uppskattade DBU:er har förutsägande optimering använts under de senaste 30 dagarna?

SELECT SUM(usage_quantity)
  FROM system.storage.predictive_optimization_operations_history
  WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30;

Om du vill hitta det samma värde för en specifik ETL-pipeline kan du först hitta tabellerna i denna pipeline och sedan söka efter DBUs.

-- Find all full table names for the pipeline:
WITH pipeline_mapping AS (
  SELECT DISTINCT target_table_full_name AS target_table_name
  FROM system.access.table_lineage
  WHERE entity_type = 'PIPELINE' AND entity_id = :pipeline_id
)
-- Select all operations for any table in that pipeline:
SELECT SUM(usage_quantity)
  FROM system.storage.predictive_optimization_operations_history
  WHERE
    CONCAT_WS('.', catalog_name, schema_name, table_name)
      IN ( SELECT target_table_name FROM pipeline_mapping)
    AND usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30;

På vilka tabeller spenderade förutsägelseoptimering mest under de senaste 30 dagarna (uppskattad kostnad)?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
  usage_unit = "ESTIMATED_DBU"
  AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC;

På vilka tabeller utför prediktiv optimering flest åtgärder?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  operation_type,
  COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC;

Hur många totala byte har komprimerats för en viss katalog?

SELECT
  schema_name,
  table_name,
  SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
  metastore_name = :metastore_name
  AND catalog_name = :catalog_name
  AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC;

Vilka tabeller har fått flest byte borttagna?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC;

Vad är framgångsgraden för åtgärder som körs av förutsägande optimeringar?

WITH operation_counts AS (
  SELECT
    COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
    COUNT(DISTINCT operation_id) as total_operations
  FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts;