计算系统表参考

本文提供了计算系统表的参考指南。 可以使用这些表监视帐户中非无服务器全用途计算、作业计算和 Lakeflow 声明性管道计算的活动和指标。 计算表包括：

• clusters：记录您帐户中的计算配置。
• node_types：包括每个当前可用节点类型的单个记录，包括硬件信息。
• node_timeline：包括计算利用率指标的逐分钟记录。

群集表架构

群集表是一个变化缓慢的维度表，其中包含各种用途计算、作业计算、Lakeflow 声明性管道计算和管道维护计算的计算配置的完整历史记录。

表路径：此系统表位于 system.compute.clusters

访问模式参考

下表翻译了 data_security_mode 列中可能的值。 该列也可以 null 用于某些管道和系统创建的群集。

旧访问模式使用以下值进行记录：

节点类型表架构

节点类型表通过基本硬件信息捕获当前可用的节点类型。

表路径：此系统表位于 system.compute.node_types.

节点时间线表架构

节点时间线表以分钟粒度捕获节点级资源利用率数据。 每个记录包含每个实例在给定分钟内的数据。 此表记录了您帐户中用于通用计算、作业计算、Lakeflow 声明性管道计算和管道维护的计算资源的节点时间表。

表路径：此系统表位于 system.compute.node_timeline.

已知限制

• 在 2023 年 10 月 23 日之前标记为已删除的计算资源不会显示在群集表中。 这可能会导致 system.billing.usage 表中的联接与群集表中的记录不匹配。 所有活动的计算资源都已回填。
• 这些表仅包含通用和作业计算的记录。 它们不包含无服务器计算、Lakeflow 声明性管道计算或 SQL 仓库的记录。
• 运行不到 10 分钟的节点可能不会显示在 node_timeline 表中。

示例查询

可以使用以下示例查询来回答常见问题：

• 将群集记录与最新的计费记录联接
• 确定平均利用率和峰值利用率最高的计算资源

将群集记录与最新的计费记录联接

此查询可帮助你了解一段时间内的支出。 将 usage_start_time 更新到最新的计费周期后，它会获取对计费记录的最新更新，以加入群集数据。

在特定的运行期间，每个记录都与群集所有者相关联。 因此，如果群集所有者发生更改，成本将根据群集的使用时间准确归属于正确的所有者。

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

确定平均利用率和峰值利用率最高的计算资源

确定具有最高的平均 CPU 利用率和最高的峰值 CPU 利用率的通用和作业计算。

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;