本文介绍无服务器 Lakeflow 声明性管道的配置。
Databricks 建议使用无服务器模式开发新的管道。 某些工作负荷可能需要配置经典计算或使用旧版 Hive 元存储。 请参阅 配置 Lakeflow 声明性管道的经典计算 ，以及 将 Lakeflow 声明性管道与旧版 Hive 元存储配合使用。
注释
- 无服务器管道始终使用 Unity Catalog。 请参阅 将 Unity 目录与 Lakeflow 声明性管道配合使用。
- 有关无服务器计算限制，请参阅 无服务器计算限制。
- 不能在无服务器管道的 JSON 配置中
clusters对象中手动添加计算设置。 如果尝试这样做，将会导致错误。
- 如果需要通过 Azure 专用链接连接您的无服务器 Lakeflow 声明性管道，请联系您的 Databricks 代表。
要求
- 若要使用无服务器管道，工作区必须已启用 Unity Catalog。
- 您的工作区必须位于支持无服务器的区域。
建议的无服务器管道配置
重要
配置无服务器管道不需要群集创建权限。 默认情况下，所有工作区用户都可以使用无服务器管道。
无服务器管道会删除大多数配置选项，因为 Azure Databricks 管理所有基础结构。 创建新管道时，默认值为使用无服务器。 若要了解如何配置无服务器管道，请参阅 “配置 Lakeflow 声明性管道”。
还可以将已经配置了 Unity Catalog 的现有管道转换为使用无服务器方案。 请参阅 将现有流水线转换为使用无服务器。
其他配置注意事项
以下配置选项也可用于无服务器管道：
- 在生产环境中运行管道时，可以选择使用连续管道模式。 请参阅触发与连续管道模式。
- 根据成功或失败条件为电子邮件更新添加“通知”。 请参阅 为管道事件添加电子邮件通知。
- 使用“配置”字段设置管道的键值对。 这些配置有两个用途：
- 设置可在源代码中引用的任意参数。 请参阅 Lakeflow 声明性管道中的参数使用。
- 配置管道设置和 Spark 配置。 请参阅 Lakeflow 声明性管道属性参考指南。
- 使用 预览 通道来测试您的管道，以检查待定的 Lakeflow 声明性管道运行时的更改并试用新功能。
无服务器预算策略
重要
此功能目前以公共预览版提供。
无服务器预算策略允许组织对无服务器使用情况应用自定义标记，以实现精细计费属性。 选中“无服务器”复选框后，将显示“预算”策略设置，可在其中选择要应用于管道的策略。 标记继承自无服务器预算策略，只能由工作区管理员编辑。
注释
为你分配无服务器预算策略后，现有管道不会自动标记你的策略。 如果要将策略附加到现有管道，则必须手动更新这些管道。
有关无服务器预算策略的详细信息，请参阅 无服务器预算策略的属性使用情况。
选择性能模式
对于触发的管道，可以使用管道计划程序中的 性能优化 设置选择无服务器计算性能模式。 禁用此设置后，管道将使用标准性能模式。 标准性能模式旨在降低可接受略高启动延迟的工作负荷的成本。 使用标准性能模式的无服务器工作负荷通常在触发后四到六分钟内启动，具体取决于计算可用性和优化的计划。
启用 性能优化 后，管道会针对性能进行优化，从而加快对时间敏感工作负荷的启动和执行速度。
这两种模式使用相同的 SKU，但标准性能模式消耗的 DBU 较少，这反映了较低的计算使用量。
注释
若要在连续管道中使用标准性能模式，请联系 Databricks 帐户团队。
无服务器管道功能
除了简化配置外，无服务器管道还具有以下功能：
- 具体化视图的增量刷新：在可能的情况下，具体化视图的更新会以增量方式进行刷新。 增量刷新的结果与完全重新计算的结果相同。 如果无法以增量方式计算结果，更新将使用完全刷新。 请参阅具体化视图的增量刷新。
- 流管道化：为了提高流数据工作负载（例如数据引入）的利用率、吞吐量和改善延迟，将对微批进行管道化。 换句话说，与标准 Spark 结构化流式处理按顺序运行微批处理不同，无服务器 Lakeflow 声明性管道并发运行微批处理，从而提高计算资源利用率。 流管道在无服务器 Lakeflow 声明性管道中默认启用。
- 纵向自动缩放：无服务器 Lakeflow 声明性管道通过自动分配最具成本效益的实例类型（能够运行管道而不会因内存不足错误而失败），增强了 Databricks 增强型自动缩放提供的横向自动缩放。 请参阅什么是垂直自动缩放？
将现有管道转换为使用无服务器
可以将配置有 Unity 目录的现有管道转换为无服务器管道。 完成以下步骤：
- 在 Azure Databricks 工作区的边栏中，单击作业和管道。
- 单击 管道名称。
- 单击“设置”。
- 在右侧栏中的“计算”下，单击
- 选中 Serverless 旁边的框。
- 单击“ 保存”。
重要
启用无服务器时，为管道配置的任何计算设置都将被删除。 如果将流水线切换回非无服务器更新，则必须重新配置期望的计算设置到流水线配置中。
如何查找无服务器管道的 DBU 使用情况？
可以通过查询计费使用情况表（Azure Databricks 系统表的一部分）来查找无服务器 Lakeflow 声明性管道的 DBU 使用情况。 请参阅无服务器管道的 DBU 消耗量是什么？