在 Fabric 中创建、配置和使用环境

Microsoft Fabric 环境是所有硬件和软件设置的合并项。 在环境中,可以选择不同的 Spark 运行时、配置计算资源、从公共存储库或本地目录安装库,以及设置其他设置。

本文概述了如何创建、配置和使用环境。

创建环境

可以从多个入口点创建新环境:

标准入口点:

  1. 在 Fabric 中,导航到所需的工作区。

  2. 选择 “新建”项 并找到 “环境”。

    显示如何在 Fabric 门户中创建新环境的屏幕截图。

  3. 命名环境并选择“ 创建”。

选择时创建:

  1. 打开一个笔记本或一个Spark作业定义文件。

  2. 选择“ 环境 ”下拉列表,然后选择“ 新建环境”。

    显示如何在笔记本中选择环境期间创建新环境的屏幕截图。

  3. 命名环境并选择“ 创建”。

创建环境后,选择运行时版本。 从下拉菜单中选择运行时 1.3(Spark 3.5、Delta 3.2)。

显示如何为环境选择运行时版本的屏幕截图。

配置环境

环境具有三个主要组件:

  • Spark 计算,其中包括 Spark 运行时。
  • 图书馆。
  • 资源。

发布需要 Spark 计算和库配置才能有效。 资源是可以实时更改的共享存储。 有关详细信息,请参阅 “保存和发布更改”。

配置 Spark 计算

对于环境,可以使用自己的默认设置和预安装的包从各种 Spark 运行时 中进行选择。 若要查看可用的运行时,请转到环境的 “开始 ”选项卡,然后选择“ 运行时”。 选择最适合需求的运行时。

显示在环境中选择运行时的屏幕截图。

重要

  • 如果要使用现有配置或库更新环境的运行时,则必须基于更新的运行时版本重新发布内容。
  • 如果现有配置或库与新更新的运行时版本不兼容,发布将失败。 必须移除不兼容的配置或库,然后再次发布环境。

Fabric Spark 计算 提供在 Spark 上运行的无与伦比的速度和效率,以及要求定制的体验。 在环境中,可以从工作区管理员和容量管理员创建的各种池中进行选择。 可以进一步调整配置并管理 Spark 属性,以在 Spark 会话中生效。 有关详细信息,请参阅 Fabric 环境中的 Spark 计算配置设置

管理库

每个 Spark 运行时都提供内置库。 使用 Fabric 环境,还可以从公共源安装库,或者上传你或组织生成的自定义库。 成功安装库后,它们可在 Spark 会话中使用。 有关详细信息,请参阅 Fabric 环境中的库管理。 有关在 Fabric 中管理库的最佳做法,请参阅 在 Fabric 中管理 Apache Spark 库

使用资源

环境中的 “资源 ”部分有助于在开发阶段管理小型资源。 上传到环境的文件在附加时可在笔记本中访问。 有关详细信息,请参阅 管理 Fabric 环境中的资源

保存和发布更改

在“ 开始 ”选项卡上,可以轻松找到 “保存发布”。 当 Spark 计算 部分中存在未保存或未发布的挂起更改时,将激活它们。

显示“保存和发布”位置的屏幕截图。

重要

  • 如果启用了专用链接,工作区中的第一个 Spark 作业需要触发 VNet 预配,这可能需要大约 10-15 分钟。 由于环境发布也作为 Spark 作业运行,因此在启用专用链接后执行的第一个 Spark 作业时,可能会遇到额外的延迟。

Spark 计算 部分中挂起的更改时,还会看到一个横幅,提示你 保存发布。 功能与按钮的功能相同:

  • 刷新浏览器或使其保持打开状态时,未保存的更改将丢失。 选择“ 保存” 以确保在离开之前记录更改。 保存不会应用配置,而是缓存系统中的更改。
  • 若要将更改应用到 Spark 计算,请选择“ 发布”。 发布前,将显示 “挂起的更改 ”页以供最终评审。 接下来,选择“ 发布所有 ”以在 Fabric 环境中启动配置。 此过程可能需要一些时间,尤其是在涉及库更改时。
  • 若要取消发布过程,请选择横幅中的 “查看进度 ”并取消作。
  • 发布完成后会出现一条通知。 如果在过程中出现任何问题,将出现错误通知。

环境一次只接受一个 发布 作。 在正在进行的“发布”作期间,无法更改Spark 计算部分。

发布不会影响在 “资源” 部分中添加、删除或编辑文件和文件夹。 用于管理资源的作是实时的。 “ 发布” 作不会阻止“ 资源 ”部分中的更改。

共享现有环境

Fabric 支持共享具有不同权限级别的项。

显示如何共享环境的屏幕截图。

共享环境项时,收件人会自动收到“读取”权限。 通过此权限,他们可以浏览环境的配置,并将其附加到笔记本或 Spark 作业。 若要顺利执行代码,请确保在共享笔记本和 Spark 作业定义时为附加环境授予读取权限。

还可以使用“共享”和“编辑”权限共享环境。 具有“共享”权限的用户可以继续与他人共享环境。 同时,具有“编辑”权限的收件人可以更新环境的内容。

附加环境

可以将 Fabric 环境附加到 数据工程/科学 工作区或笔记本和 Spark 作业定义。

将环境附加为工作区默认值

重要

选择环境作为工作区默认值后,只有工作区管理员可以更新默认环境的内容。

选择 工作区设置>数据工程/科学>Spark 设置 以查看 “环境 ”选项卡。

显示“工作区设置设置默认环境”窗格的屏幕截图。

工作区管理员可以定义整个工作区的默认工作负载。 此处配置的值的有效范围是附加到“工作区设置”的笔记本和 Spark 作业定义。

显示工作区配置有效范围的屏幕截图。

“设置默认环境”开关可以增强用户体验。 默认情况下,此开关设置为“关闭”。 如果没有默认的 Spark 属性或库作为工作区默认值,则可以在此情况下定义 Spark 运行时。 如果要为工作区准备默认的 Spark 计算和库,可以将开关切换到 “打开 ”,并轻松地将环境附加为工作区默认值。 此选项会使环境中的所有配置都像工作区设置一样有效。

显示默认环境选择的屏幕截图。

将环境附加到笔记本或 Spark 作业定义

笔记本 ”和 “Spark 作业定义 ”选项卡上都提供了环境。 当笔记本和 Spark 作业定义附加到环境时,它们可以访问其库、计算配置和资源。 资源管理器列出了与你共享的所有可用环境,这些环境来自当前工作区,并且来自你有权访问的其他工作区。

显示在笔记本中附加环境的位置的屏幕截图。

如果在活动会话期间切换到其他环境,则在下一个会话之前,新选择的环境不会生效。

从另一个工作区附加环境时,两个工作区必须具有相同 的容量和网络安全设置。 尽管可以从具有不同容量或网络安全设置的工作区中选择环境,但会话无法启动。

从其他工作区附加环境时,该环境中的计算配置将被忽略。 相反,池和计算配置默认为当前工作区的设置。