Databricks Runtime 8.1 (EoS)

Databricks 于 2021 年 3 月发布了此版本。

以下发行说明提供了由 Apache Spark 3.1.1 提供支持的 Databricks Runtime 8.1 的相关信息。

新增功能和改进

• 新的 SQL 运算符减少了 JSON 字符串的复杂 ETL
• 表访问控制列表的控制可见性
• 新自动加载器选项可实现更佳性能
• 使用 OAuth 2.0 和服务主体（公共预览版）对 Azure Synapse Analytics 进行身份验证
• 在 Azure Synapse Analytics 表中手动插入 IDENTITY 列
• Azure 自动加载程序现支持使用服务主体对队列操作进行身份验证
• 使用 Kafka 指标跟踪流进度
• 使用 Delta Lake 流式处理源指标跟踪流进度

新的 SQL 运算符减少了 JSON 字符串的复杂 ETL

通过两个新 SQL 运算符 :: 和 :，你可以轻松从 JSON 字符串中提取数据。

• 若要将表达式转换为数据类型，请使用双冒号 ::。 例如，现在可以使用 cast(col as int)，而不是指定 col::int。
• 若要从半结构化数据中提取字段，请使用单个冒号 :。 如果你有一个包含 JSON 数据的 STRING 列，则可以使用语法 <json-column>:<field>（将 JSON field 中的键 <json-column> 提取为 STRING）从 JSON 字符串中提取字段。 可以将此与 :: 语法结合使用，以将数据转换为特定类型。

例如，如果你具有 JSON 数据：

{
  "store": {
    "bicycle": {
      "price": 19.95,
      "color": "red"
    }
  }
}

并从数据创建一个表 store_data：

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

语句 SELECT raw:store.bicycle.price::double FROM store_data 返回：

+--------+
| price  |
+--------+
| 19.95  |
+--------+

有关详细信息，请参阅查询 JSON 字符串。

表访问控制列表的控制可见性

若要避免因列出对表的所有已定义权限而泄露信息，你现在可以仅在以下情况下运行 SHOW GRANTS [<user>] <object> 语句：

• Databricks SQL 管理员或 <object> 的所有者。
• [<user>] 中指定的用户。

新自动加载器选项可实现更佳性能

自动连接器现在支持新的选项 cloudFiles.fetchParallelism，用于指定从队列服务中提取消息的并行度。

请参阅什么是自动加载程序？。

使用 OAuth 2.0 和服务主体（公共预览版）对 Azure Synapse Analytics 进行身份验证

Azure Synapse Analytics 连接器现在支持使用 OAuth 2.0 和 Microsoft Entra ID 服务主体进行身份验证，从而启用需要使用服务主体（而不是用户名和密码）进行身份验证的应用程序。 若要了解详细信息，请参阅 Azure Databricks 和 Synapse 之间的身份验证如何工作？，了解 Azure Synapse Analytics 连接器。

在 Azure Synapse Analytics 表中手动插入 IDENTITY 列

Azure Synapse Analytics 连接器现在支持根据 DataFrames 中设置的值将值显式插入 Azure Synapse Analytics 表中的 IDENTITY 列。 批处理和流式处理插入支持此功能，并启用需要自定义 IDENTITY 列值的用例。 有关详细信息，请参阅 Azure Synapse Analytics 连接器中的 identityInsert 参数 Azure Databricks Synapse 连接器选项参考。

Azure 自动加载器现支持使用服务主体对队列操作进行身份验证

现可使用授予有队列相关权限的 Microsoft Entra ID 服务主体进行身份验证，以便使用自动加载器执行队列操作。 此更改删除了以前对队列操作使用连接字符串和事件操作使用服务主体的要求，使你能够对这两种操作类型使用服务主体。 有关详细信息，请参阅什么是自动加载程序？。

使用 Kafka 指标跟踪流进度

Kafka 流式处理源现在报告使用者在每次批处理后滞后于最新批的偏移量。 可以使用这些指标跟踪流进度。 有关如何查看指标的详细信息，请参阅检索 Kafka 指标。

使用 Delta Lake 流式处理源指标跟踪流进度

Delta Lake 流式处理源现在报告积压工作有多大，以及在每次批处理后积压工作中的文件有多少。 可以使用这些指标跟踪流进度。 有关如何查看指标的详细信息，请参阅指标。

图书馆升级

• 升级了 Python 库：
  • koalas 已从 1.5.0 升级到 1.6.0。
• 新安装的 Python 库：
  • plotly 4.14.3
  • retrying 1.3.3
• R 已从 4.0.3升级到 4.0.4。
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
• 升级了 Java 库：
  • jetty 已从 9.4.34.v20201102 升级到 9.4.36.v20210114
• OpenJDK 8 内部版本已升级到 Zulu 8.52.0.23-CA-linux64（内部版本 1.8.0_282-b08）

Apache Spark

Databricks Runtime 8.1 包括 Apache Spark 3.1.1。 此版本包括 Databricks Runtime 8.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-34534] 修复使用 FetchShuffleBlocks 获取块时的 blockIds 顺序
• [SPARK-34613] [SQL] 修复视图不捕获禁用提示配置
• [SPARK-34392] [SQL] 支持 DateTimeUtils 中的 ZoneOffset +h:mm。 getZoneId
• [SPARK-34436] [SQL] DPP 支持 LIKE ANY/ALL 表达式
• [SPARK-34497] [SQL] 修复内置 JDBC 连接提供程序以还原 JVM 安全性上下文更改
• [SPARK-34543] [SQL] 在 v1 SET LOCATION 中解析分区规范时遵循 spark.sql.caseSensitive 配置
• [SPARK-34550] [SQL] 将过滤器推送到 Hive 元存储时跳过 InSet 的 null 值
• [SPARK-34531] [CORE] 删除 PrometheusServlet 中的实验性 API 标记

维护更新

请参阅 Databricks Runtime 8.1 维护更新。

系统环境

• 操作系统：Ubuntu 18.04.5 LTS
• Java：Zulu 8.52.0.23-CA-linux64（内部版本 1.8.0_282-b08）
• Scala：2.12.10
• Python：3.8.8（在 2021 年 5 月 26 日的维护更新中，更新自 3.8.6）
• R：R 版本4.0.4 (2021-02-15)
• Delta Lake 0.8.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2020-11-02 版本中的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）