Microsoft Fabric 环境提供了用于运行 Spark 作业的灵活配置。 库提供了开发人员想要在其工作中添加的可重用代码。 除了每个 Spark 运行时附带的内置库外,还可以在 Fabric 环境中安装公共库和自定义库。 你可以轻松地将环境附加到笔记本和 Spark 作业定义。
注意
导航到环境所在的工作区,选择你的环境和库管理选项位于“ 库 ”选项卡下。如果没有创建环境,请参阅 Fabric 中的创建、配置和使用环境。
内置库
在 Fabric 中,每个运行时版本都预加载了一组特选的内置库,这些库针对 Python、R、Java 和 Scala 的性能、兼容性和安全性进行了优化。 通过环境中的“内置库”部分,可以根据所选运行时浏览和搜索这些预安装的库。
若要查看预安装的包的列表及其每个运行时的版本,请参阅 Fabric 中的 Apache Spark 运行时。
重要
Fabric 支持管理包的不同方式。 有关在 Fabric 中管理库的更多选项和 最佳做法 ,请参阅 在 Fabric 中管理 Apache Spark 库 :当工作区具有网络功能(如 工作区出站访问保护 或 托管 VNet)时,将阻止公共存储库(如 PyPI)的访问。 请遵循 在 Fabric 中管理具有有限网络访问权限的库 中的指示,以便在环境中实现无缝库管理。
公共库
公共库源自 Fabric 当前支持的存储库(如 PyPI 和 Conda)。
添加新的公共库
若要添加新的公共库,请选择源并指定库的名称和版本。 还可以上传 Conda 环境规范 .yml 文件以指定公共库。 上传的 .yml 文件内容将被提取并追加到列表中。
添加库名称时,库名称的自动完成功能仅限于最常用的库。 如果要安装的库不在列表中,则不会收到自动完成提示。
请改为通过输入相应库的全名直接在 PyPI 或 Conda 中搜索该库。 如果库名称有效,则会看到可用版本。 如果库名称无效,将收到一条警告,指出该库不存在。
批量添加公共库
环境支持上传 .yml 文件以批量管理多个公共库。 提取 .yml 文件的内容,并将其添加到公共库列表中。
注意
当前不支持 .yml 文件中的自定义 Conda 频道。 仅识别来自 PyPI 和 Conda 的库。
筛选公用库
在 “公共库 ”页上的搜索框中输入关键字,以筛选公共库列表并找到所需的关键字。
更新公共库
若要更新现有公共库的版本,请转到环境并打开 公共库 或 自定义库。 选择所需的库,选择版本下拉列表,并更新其版本。
删除公用库
将鼠标悬停在相应行上时,将显示每个库的回收站选项。 若要删除多个公共库,请选择它们,然后选择“ 删除”。
查看依赖项
每个公用库都有各种依赖项。 将鼠标悬停在相应行上时,将显示视图依赖项选项。
导出到YML文件
Fabric 提供了将完整公共库列表导出到文件并将其下载到 .yml 本地目录的选项。
自定义库
自定义库是指由你或贵组织构建的代码。 Fabric 支持自定义库文件(.whl.py格式.jar和.tar.gz格式)。
注意
Fabric 仅支持 R 语言的 .tar.gz 文件。 用于Python语言的.whl和.py文件格式。
上传自定义库
你可以将自定义库从本地目录上传到 Fabric 环境。
删除自定义库
将鼠标悬停在相应行上时,将显示每个库的回收站选项。 若要删除多个自定义库,请选择它们,然后选择“ 删除”。
下载所有自定义库
选择自定义库,逐个下载到本地默认下载目录。