Databricks Runtime 7.5 （EoS）

Databricks 于 2020 年 12 月发布了此版本。

以下发行说明提供了由 Apache Spark 3.0 支持的 Databricks Runtime 7.5 的相关信息。

新增功能

Delta Lake 新增功能和改进

此版本提供以下 Delta Lake 新功能和改进：

• 异步检查点可消除流微批处理持续时间峰值
• 最新表信息现在已经传递到目录
• MERGE INTO 操作现在支持嵌套列的模式演变
• MERGE INTO 操作现在可自动使用优化写入
• MERGE INTO 和 UPDATE 操作现在按名称解析嵌套结构列
• CLONE 已全面可用，您现在可以覆盖表属性
• RESTORE 已正式发布
• Scala 可隐式简化 Spark 读取和写入 API
• fetchParallelism 连接器选项可提高流式处理吞吐量
• 用新的自动加载程序指标跟踪流进度

异步检查点可消除流微批处理持续时间峰值

默认情况下，Delta Lake 每 10 次提交执行一次检查点。 在流式处理工作负载中，检查点可能会导致微批处理持续时间每 10 次提交出现一次较小的峰值。 异步检查点可消除这些峰值。

默认情况下，对于所有非一次性触发流式处理工作负载，异步检查点均处于启用状态。 使用异步检查点，流式写入器还会编写增强的检查点，因此无需主动选择使用增强的检查点。

若要禁用异步检查点，请设置 SQL 配置 spark.databricks.delta.checkpoint.async.enabled false。

批处理工作负载继续同步写入检查点，我们建议不要为批处理工作负载启用异步检查点。

最新的表信息现在被分发到目录中

Delta Lake 现在尽力将最新的表信息（如架构和表属性）传播到 Hive 元存储等目录。 这些信息可以帮助你利用编录工具了解 Delta 表的架构。

Delta Lake 在内部不依赖于此信息，但会尝试使其保持最新状态。 此外，Delta Lake 存储表属性 delta.lastUpdateVersion 和 delta.lastCommitTimestamp，以表示上次将更改推送到元存储的提交的版本和时间戳。 仅当表的架构或表中的属性不匹配时，才会更新元存储。 因此，上述表属性不一定反映表的最新版本。

如果表信息和元存储信息不同步，则可以运行一个命令，例如 DESCRIBE <table> 更新元存储。

MERGE INTO 操作现在支持嵌套列的架构演变

嵌套列的架构演变现在具有与顶级列相同的语义。 例如，可以将新的嵌套列自动添加到 StructType 列。 有关详细信息 ，请参阅合并中的自动架构演变 。

MERGE INTO 操作现在可自动使用优化写入

优化写入 可以为MERGE INTO开箱即用地提供更好的性能，尤其是在分区表上MERGE INTO。 若要禁用优化写入，请将 Spark 配置 spark.databricks.delta.optimizeWrite.enabled 设置为 false。

MERGE INTO和UPDATE操作现在通过名称解析嵌套结构列

更新操作UPDATE和MERGE INTO命令现在根据名称解决嵌套结构列。 也就是说，在比较或分配类型为 StructType 的列时，嵌套列的顺序并不重要（与顶级列的顺序完全相同）。 若要还原到按位置解析，请将 Spark 配置 spark.databricks.delta.resolveMergeUpdateStructsByName.enabled 设置为 false。

CLONE 已经是 GA，并且您现在可以覆盖表属性

CLONE 命令现已正式发布。 请参阅 CREATE TABLE CLONE。 此外，现在可以在使用CLONE时指定表属性重写。 如需示例，请参阅 在 Azure Databricks 上克隆表。

RESTORE 已正式发布

RESTORE 命令现已正式发布。 请参阅 RESTORE。

Scala 可隐式简化 Spark 读取和写入 API

可以导入 io.delta.implicits._ 以将 delta 方法与 Spark 读取和写入 API 结合使用。

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

fetchParallelism 连接器选项可提高流式处理吞吐量

AQS 连接器现在支持新的选项 fetchParallelism，用于指定从队列服务中提取消息的并行度。

用新的自动加载程序指标跟踪流进度

自动加载程序现在会报告积压工作 (backlog) 中存在多少个文件以及每个批处理后积压工作 (backlog) 的大小。 可以使用这些指标跟踪流进度。 若要详细了解如何查看指标，请参阅什么是自动加载程序？。

改进

使用 %pip 和 %conda magic 命令更广泛地支持笔记本范围的库

现在可以在启用了表 ACL 或凭据传递的高并发群集上，通过使用 %pip 和 %conda magic 命令来安装笔记本范围的库。

准确的 Spark SQL DECIMAL 显示

Spark SQL DECIMAL 数据类型现在显示在表中，不会丢失精度和小数位数。

基于 Hadoop 3.3 for ABFS 的 ADLS Gen 2 存储连接器

ADLS Gen 2 存储连接器的升级版基于 Hadoop 3.3 for ABFS。 升级的连接器包含许多稳定性改进（请参阅 Hadoop 稳定性），且支持 SAS 令牌身份验证。

其他修复

已删除 Spark 流式处理的 Databricks Kafka 连接器。 使用 Apache Spark 连接器。

库升级

• 升级了 Python 库：
  • koalas 已从 1.3.0 升级到 1.4.0。
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
• OpenJDK 8 内部版本已升级到 Zulu 8.50.0.51-CA-linux64（内部版本 1.8.0_275-b01）。

Apache Spark

Databricks Runtime 7.5 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.4 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-33611] [UI] 避免对重写的代理 URL 的查询参数进行两次编码
• [SPARK-33587] [CORE] 在出现嵌套的灾难性错误 (7.x) 时终止执行程序
• [SPARK-33140] [ SQL] 还原不使用传入 SparkSession 获取 SQLConf 的代码。
• [SPARK-33472] [SQL] 调整 RemoveRedundantSorts 规则顺序
• [SPARK-33422] [DOC] 修复左侧菜单项的正确显示
• [SPARK-27421] [ SQL] 在修剪分区列时修复 int 列和值类 java.lang.String 的筛选器
• [SPARK-33483] [ INFRA][测试] 修复老鼠排除模式并添加 LICENSE
• [SPARK-33464] [INFRA] 添加/删除（不需要的缓存和重构 GitHub Actions yaml）
• [SPARK-33407] [ PYTHON][7.x] 简化 Python UDF 中的异常消息（默认禁用）
• [SPARK-33435] [SQL] DSv2： REFRESHREFRESH TABLE 应使引用表的缓存失效
• [SPARK-33358] [SQL] 命令处理失败时返回代码
• [SPARK-33183] [DBCONNECT] 将 RemoveRedundantSorts.scala 添加到 ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE 应使缓存失效，即使表本身可能未缓存
• [SPARK-33140] [SQL] 修复增量编译
• [SPARK-33316] [SQL] 为from_avro和to_avro添加使用架构注册表和用户提供的可为null的Avro架构的单元测试
• [SPARK-33404] [SQL] 修复 date_trunc 表达式中的错误结果
• [SPARK-33339] [PYTHON] 由于发生非异常错误，Pyspark 应用程序将挂起
• [SPARK-33412] [ SQL] OverwriteByExpression 应根据表关系而不是输入查询解析其删除条件
• [SPARK-33391] [SQL] element_at 中的 CreateArray 未使用从 1 开始的索引。
• [SPARK-33316] [ SQL] 支持用户在 Avro 写入中为不可为 null 的催化剂架构提供可为 null 的 Avro 架构
• [SPARK-33372] [SQL] 修复删除 InSet bucket 的问题
• [SPARK-33371] [PYTHON] 更新 Python 3.9 的 setup.py 和测试
• [SPARK-33140] [ SQL] 删除 Rule[QueryPlan] 的所有子类中的 SQLConf 和 SparkSession
• [SPARK-33338] [SQL] 使用文本映射的 GROUP BY 不应失败
• [SPARK-33306] [SQL]在将日期转换为字符串时需要指定时区
• [SPARK-33284] [ WEB-UI] 在存储 UI 页中，单击任何用于对表进行排序的字段将导致标头内容丢失
• [SPARK-33362] [SQL] skipSchemaResolution 仍应需要解决查询
• [SPARK-32257] [SQL] 报告无效使用 SET/RESET 命令的显式错误
• [SPARK-32406] [SQL] 使 RESET 语法支持单一配置重置
• [SPARK-32376] [ SQL] 使 unionByName 的 null 填充行为能够在结构体列中正常工作
• [SPARK-32308] [SQL] 将 unionByName 的按名称解析逻辑从 API 代码移至分析阶段
• [SPARK-20044] [UI] 使用路径前缀反向代理 URL 支持前端反向代理之后的 Spark UI
• [SPARK-33268] [ SQL][python] 修复了从/向 PythonUserDefinedType 转换数据的 bug
• [SPARK-33292] [SQL] 消除文本 ArrayBasedMapData 字符串表示形式的歧义
• [SPARK-33183] [ SQL] 修复优化器规则 EliminateSorts 并添加物理规则以删除冗余排序
• [SPARK-33272] [SQL] 删除 QueryPlan.transformUpWithNewOutput 中的属性映射
• [SPARK-32090] [SQL] 改进 UserDefinedType.equal() 以使其对称
• [SPARK-33267] [SQL] 修复当其中一个值包含 null 时“In”筛选器上的 NPE 问题
• [SPARK-33208] [SQL] 更新 SparkSession#sql 的文档
• [SPARK-33260] [SQL] 修复 sortOrder 为 Stream 时来自 SortExec 的错误结果
• [SPARK-33230] [SQL] Hadoop 提交者在“spark.sql.sources.writeJobUUID”中获得唯一的作业 ID
• [SPARK-33197] [SQL] 更改 spark.sql.analyzer.maxIterations 在运行时生效
• [SPARK-33228] [ SQL] 替换具有相同逻辑计划的视图时不要取消缓存数据
• [SPARK-32557] [CORE] 记录和忽略历史记录服务器中每个条目的异常
• [SPARK-32436] [CORE] 在 HighlyCompressedMapStatus.readExternal 中初始化 numNonEmptyBlocks
• [SPARK-33131] [ SQL] 修复具有 HAVING 子句的分组集无法解析限定的列名称
• [SPARK-32761] [SQL] 允许聚合多个可折叠的不同表达式
• [SPARK-33094] [SQL] 使 ORC 格式将 Hadoop 配置从 DS 选项传播到基础 HDFS 文件系统

维护更新

请参阅 Databricks Runtime 7.5 维护更新。

系统环境

• 操作系统：Ubuntu 18.04.5 LTS
• Java：Zulu 8.50.0.51-CA-linux64（内部版本 1.8.0_275-b01）
• Scala：2.12.10
• Python：3.7.5
• R：R 版本 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2020-11-02 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）