为 Azure Databricks 创建链接服务

  • 5 分钟

若要在 Azure Databricks 工作区中运行笔记本，Azure 数据工厂管道必须能够连接到该工作区；这需要进行身份验证。 要启用此经过身份验证的连接，必须执行两项配置任务：

  1. 为 Azure Databricks 工作区生成 访问令牌 。
  2. 在 Azure 数据工厂资源中创建 链接服务 ，该资源使用访问令牌连接到 Azure Databricks。

生成访问令牌

访问令牌为 Azure Databricks 提供身份验证方法，替代用户名和密码形式的凭据。 你可以为应用程序生成访问令牌，并指定到期期限，在此期限后必须在客户端应用程序中重新生成并更新令牌。

若要创建访问令牌，请使用 Azure Databricks 门户中“用户设置”页的“开发人员”选项卡上的“生成新令牌”选项。

Azure Databricks 门户中“用户设置”页中“访问令牌”选项卡的屏幕截图。

创建链接服务

若要从 Azure 数据工厂连接到 Azure Databricks，需要为 Azure Databricks 计算创建链接服务。 可以在 Azure 数据工厂工作室的“管理”部分的“链接服务”页中创建链接服务。

Azure 数据工厂工作室中“新建链接服务”向导的屏幕截图。

创建 Azure Databricks 链接服务时，必须指定以下配置设置：

设置 说明
名字 链接服务的唯一名称
说明 有意义的说明
集成运行时 用于在此链接服务中运行活动的集成运行时。 有关更多详细信息 ，请参阅 Azure 数据工厂中的集成运行时 。
Azure 订阅 预配了 Azure Databricks 的 Azure 订阅
Databricks 工作区 Azure Databricks 工作区
集群 将运行活动代码的 Spark 群集。 可以让 Azure Databricks 按需动态预配 作业群集 ，也可以在工作区中指定现有群集。
身份验证类型 Azure Databricks 将如何对链接的连接进行身份验证。 例如使用访问令牌（在这种情况下，需指定为工作区生成的访问令牌）。
群集配置 群集的 Databricks 运行时版本、Python 版本、工作器节点类型和工作器节点数。