在 Microsoft Fabric 中运行笔记本时,将启动 Apache Spark 会话,它会用于运行作为笔记本单元执行的一部分提交的查询。 启用高并发模式后,无需每次运行笔记本时启动新的 Spark 会话。
如果已运行高并发会话,则可以将笔记本附加到高并发会话,从而立即获取 Spark 会话来运行查询并实现更大的会话利用率。
注意
基于高并发模式的会话共享始终位于单用户边界内。 笔记本需要具有匹配的 Spark 配置,应属于同一工作区,具有相同的默认湖屋和库,才能共享单个 Spark 会话。
会话共享条件
若要让笔记本共享单个 Spark 会话,笔记本必须符合以下条件:
- 由同一用户运行。
- 具有相同的默认 Lakehouse。 没有默认 Lakehouse 的笔记本可以与同样没有默认 Lakehouse 的其他笔记本共享会话。
- 具有相同的 Spark 计算配置。
- 具有相同的库包。 可以将不同的内联库安装作为笔记本单元格的一部分,并且仍与具有不同库依赖项的笔记本共享会话。
配置高并发模式
默认情况下,所有 Fabric 工作区都以高并发模式启用。 使用以下步骤配置高并发功能:
在 Fabric 工作区中单击 “工作区设置 ”选项。
导航到 “数据工程/科学 ”部分 >Spark 设置>高并发性。
在 高并发 部分中,启用 笔记本电脑专用 设置。 可以选择在此窗格中启用或禁用设置。
启用高并发选项后,允许用户在其笔记本中启动高并发会话或附加到现有的高并发会话。
禁用高并发模式后,会隐藏配置非活动时段的部分,还会隐藏笔记本菜单中启动新的高并发会话的选项。
在高并发会话中运行笔记本
打开 Fabric 工作区。
创建笔记本或打开现有笔记本。
导航到菜单功能区中的“运行”选项卡,然后选择“会话类型”下拉列表,其中“标准”为默认选项。
选择“新建高并发会话”。
启动高并发会话后,可以在高并发会话中添加最多 5 个笔记本。
创建新的笔记本,然后导航到上述步骤中提到的“运行”菜单,在下拉列表中,你现在将看到新创建的高并发会话列出。
选择现有的高并发会话后,会将第二个笔记本附加到该会话。
附加完笔记本后,可以立即开始执行笔记本步骤。
高并发会话状态还会显示在任何时间点附加到给定会话的笔记本数。
如果在任何时候您觉得附加到高并发会话的笔记本需要更专用的计算资源,可以选择在“运行”菜单选项卡中选择将笔记本从高并发会话中分离出来,从而将笔记本切换到标准会话。
可以在 状态栏中查看会话状态、类型和 ID。 选择 会话 ID 以浏览在此高并发会话中执行的作业,并在监视详细信息页上查看 Spark 会话的日志。
还可以为管道中的笔记本配置高并发模式,并使用 会话标记对共享会话进行分组。
监视和调试在高并发会话中运行的笔记本
在共享会话中运行多个笔记本时,监视和调试通常是不简单的任务。 对于 Fabric 中的高并发模式,它提供了日志分离功能,允许用户跟踪不同笔记本中的 Spark 事件发出的日志。
当会话正在进行或处于完成状态时,可以通过导航到“运行”菜单并选择“所有运行”选项来查看会话状态
这会打开笔记本的运行历史记录,其中显示了当前活动的 Spark 会话和历史会话的列表
用户通过选择会话可以访问监视详细信息视图,该视图显示已在会话中运行的所有 Spark 作业的列表。
对于高并发会话,用户可以使用“相关笔记本”选项卡从不同笔记本中标识作业及其关联的日志,它还会显示运行该作业的笔记本。
相关内容
在本文档中,你基本了解了笔记本中通过高并发模式实现的会话共享。 前往下一篇文章,了解如何使用 Lakehouse 和 Notebooks 创建并开始使用你自己的数据工程体验:
- 若要开始使用 Lakehouse,请参阅 在 Microsoft Fabric 中创建 lakehouse。
- 若要开始使用笔记本,请参阅 如何使用 Microsoft Fabric 笔记本。