Apache Spark 应用程序详细信息监视

借助 Microsoft Fabric，可以使用 Apache Spark 在工作区中运行笔记本、作业和其他类型的应用程序。 本文介绍如何监视 Apache Spark 应用程序。

可以从 Fabric Monitoring Hub 或项的“最近运行”面板访问 Spark 监视详细信息页。

若要从最近的运行面板打开 Apache Spark 应用程序作业，请执行以下作：

• 在 Spark 作业定义或笔记本项上下文菜单中，选择“ 最近运行”。
• 在“最近运行”页中，选择一个作业以打开其监视详细信息。

“作业”选项卡

“ 作业 ”选项卡显示所选 Spark 应用程序的作业运行列表。 可以查看作业 ID、说明、状态、阶段、任务、持续时间、处理的数据、数据读取、写入的数据和代码片段等详细信息。

• 单击 作业 ID 可展开或折叠作业的详细信息。
• 单击 “作业说明 ”以直接导航到 Spark UI 中的作业或阶段页。
• 单击 代码片段 以查看并复制与该作业相关的代码。
• 在高并发 Spark 会话中运行时，使用 筛选器 图标（右上角）按 Notebook 筛选作业。

“资源”选项卡

“资源”选项卡显示执行程序使用情况图，该图在 Spark 执行期间以近乎实时的方式直观显示 Spark 执行程序的分配和利用率。 有关详细信息，请参阅 监视 Apache Spark 应用程序资源利用率。

摘要面板

在应用程序监视页中，单击右上角的“属性”图标以打开或折叠摘要面板。 可在此处查看应用程序详细信息，包括：

“日志”选项卡

“ 日志 ”选项卡提供对 Livy、Prelaunch 和驱动程序进程的完整日志的访问权限。

• 使用左侧面板选择要查看的日志类型。
• 按关键字搜索或按状态、Notebook 或 Lakehouse 筛选日志（对于高并发会话）。
• 单击“下载日志”以在本地保存日志。

“数据”选项卡

“数据”选项卡允许复制或下载输入/输出文件信息并查看文件属性。

• 展开或折叠要导航的左侧面板。
• 查看文件名、格式、大小、源和路径等详细信息。
• 直接下载文件、复制路径或查看属性。

“项快照”选项卡

“ 项快照 ”选项卡允许浏览与 Spark 应用程序关联的项，包括笔记本、Spark 作业定义和管道。

快照包括：

• 执行时笔记本代码和参数值。
• 提交时 Spark 作业定义设置和参数。

“项快照”选项卡允许浏览和查看与 Apache Spark 应用程序关联的项，包括笔记本、Spark 作业定义和/或管道。 项快照页显示为笔记本执行操作时代码和参数值的快照。 它还显示提交 Spark 作业定义时所有设置和参数的快照。 如果 Apache Spark 应用程序由管道触发，则相关项选项卡还会显示相应的管道和 Spark 活动。

在“项快照”页中，可以：

• 浏览分层树中的相关项。
• 对每个项使用 “更多作 ”菜单。
• 单击快照项以查看其内容。
• 使用痕迹导航跟踪从所选项到根目录的导航。

诊断面板

诊断面板提供 Spark 顾问生成的实时建议和错误分析。 借助内置模式，Spark 顾问可帮助你避免常见错误、分析故障并确定其根本原因。

相关内容

查看 Apache Spark 应用程序的详细信息后，还可以直接监视 Notebook 单元格下的 Spark 作业进度。 有关详细信息，请参阅：

• 笔记本上下文监视和调试