Databricks Runtime 16.4 LTS

以下发行说明提供有关由 Apache Spark 3.5.2 提供支持的 Databricks Runtime 16.4 LTS 的信息。

Databricks 于 2025 年 5 月发布了此 LTS 版本。 此版本有 2 个变体，一个支持 Scala 2.12，一个支持 Scala 2.13。

从 DBR 17（Spark 4）开始，仅支持 Scala 2.13。 为了帮助你过渡，16.4 LTS 中提供了两个镜像：一个具有 Scala 2.12，一个具有 Scala 2.13。 在迁移到 DBR 17 之前，使用 2.13 映像测试和更新代码库到 Scala 2.13。

Scala 2.13 迁移指南

• Databricks Runtime 16.4 LTS 版本中的所有其他功能都是相同的。
• Databricks Runtime 16.4 Scala 2.12 映像和 16.4 Scala 2.13 映像之间的依赖关系版本可能有所不同。 在本页下方列出了每个镜像支持的库版本。
• 确保代码是用 Scala 2.13 编写的，并且可执行文件是使用 Scala 2.13 编译的。
• 请将项目基于 Spark 3.5 构建。

如果代码使用 sparklyr R 库，则必须改用支持 Scala 2.12 的图像。

Scala 2.12 和 2.13 之间的重大更改

主要重大更改

Databricks Runtime 将需要进行显著代码更改以支持其的情况视为重大主要更改。

• 集合不兼容：阅读 此官方 Scala 文档页 ，了解有关将集合迁移到 Scala 2.13 的详细信息。 如果代码使用早期版本的 Scala 代码，则使用 Databricks 时，集合将是不兼容的主要来源，尤其是 API 参数和返回类型。

• 哈希算法：查看使用 Scala 2.12 生成的代码时，不依赖于不保证排序的数据结构的隐式顺序，例如 HashMap 和 Set。 当你对元素进行迭代时，执行隐式排序的集合在 2.13（对比 2.12）下运行时可能会以不同的方式对元素进行排序。

次要重大更改

Databricks Runtime 将因版本更改而未引发特定错误消息的情况视为次要重大更改，但通常情况下您的代码无法在该版本下进行编译。 在这种情况下，错误消息可能会提供足够的信息来更新代码。

• 更严格的类型推理：使用 2.13 编译为 Scala 2.12 开发的代码时，编译器可能会报告它无法推断类型或提示类型歧义。 使用其数据类型显式批注变量通常可解决此问题。
• 删除特定语法：Scala 2.13 中已弃用某些语法，例如单引号字符串文本、 + 用于字符串串联的运算符（用于左侧的非String 类型）和后缀运算符（改用点表示法）。 有关更多详细信息，请参阅官方 Scala 文档中的 Scala 删除功能 。
• 输出消息：从 REPL 返回的消息的文本结果在 Scala 2.12 和 2.13 之间可能有所不同。 任何差异并不意味着语法或计算错误;相反，消息以不同的表示形式描述问题或上下文，或者以不同的表示形式呈现问题。 例如，在某些消息中，f: Foo = Foo(1) 可能会变为 f: Foo = Foo(i = 1)。

Databricks Runtime 16.4 LTS 的每个 Scala 版本支持的库版本列表：

• DBR 16.4 LTS Scala 2.12 库
• DBR 16.4 LTS Scala 2.13 库

新功能和改进

• 仪表板、警报和查询作为工作区文件得到支持
• Liquid 聚类自动压缩改进
• 自动加载程序现在可以清理源目录中已处理的文件
• 为从 Delta 表进行流式处理添加了类型扩展支持
• IDENTIFIER DBSQL 中现已提供对目录操作的支持
• 汇总表达式现在提供自动生成的临时别名
• 向 Python 数据源添加过滤器下推 API 支持
• Python UDF 回溯改进
• 现在，视图中的 UNION/EXCEPT/INTERSECT 和 EXECUTE IMMEDIATE 会返回正确的结果
• 数据源缓存计划配置和迁移指南
• 新增 listagg 功能和 string_agg 函数
• 对 MERGE INTO 专用计算具有精细访问控制的表的支持现已正式发布（正式版）

仪表板、警报和查询作为工作空间文件被支持

仪表板、警报和查询现在作为工作空间文件被支持。 现在可以从工作区文件系统可用的任意位置以编程方式与这些 Databricks 对象进行交互，包括写入、读取和删除它们，就像任何其他文件一样。 若要了解详细信息，请参阅 什么是工作区文件？ 以及 以编程方式与工作区文件交互。

Liquid 聚类自动压缩改进

Unity Catalog 管理的 liquid 聚类表现在能够触发自动压缩，以自动减少 OPTIMIZE 运行之间的小文件问题。

有关详细信息，请参阅 Azure Databricks 上 Delta Lake 的自动压缩。

自动加载程序现在可以清理源目录中已处理的文件

客户现在可以指示自动加载程序自动移动或删除已处理的文件。 使用 cloudFiles.cleanSource “自动加载”选项来启用此功能。

有关详细信息，请参阅下面的cloudFiles.cleanSource。

为从 Delta 表进行流式处理添加了类型扩展支持

此版本增加了对从具有类型扩展列数据的 Delta 表进行流式传输的支持，以及与使用 Databricks 到 Databricks 增量共享启用的类型扩展共享 Delta 表的支持。 类型扩展功能目前处于公开预览阶段。

有关详细信息，请参阅 类型扩大。

IDENTIFIER DBSQL 中现已提供对目录操作的支持

Azure Databricks 客户现在可以在执行以下目录操作时使用 IDENTIFIER 子句：

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

通过此新语法，客户可以使用为这些作定义的参数动态指定目录名称，从而实现更灵活和可重用的 SQL 工作流。 作为语法示例，请考虑 CREATE CATALOG IDENTIFIER(:param)，其中 param 是一个为指定目录名称而提供的参数。

有关更多详细信息，请参阅 IDENTIFIER 子句。

整理表达式现在提供自动生成的临时别名

自动生成的整理后表达式别名现在总会以确定性方式合并 COLLATE 信息。 自动生成的别名是暂时性的（不稳定的），不应依赖。 相反，最佳做法是一致且显式地使用 expression AS alias 。

向 Python 数据源添加筛选器下推 API 支持

在 Databricks Runtime 16.4 LTS 中，Azure Databricks 以类似于 SupportsPushDownFilters 接口的 API 形式添加了对过滤器下推到 Python 数据源批量读取的支持。 你现在可以实现 DataSourceReader.pushFilters 以接收可以下推的筛选器。 还可以实现此 API，以提供逻辑来选择要向下推送的筛选器、跟踪筛选器，以及通过 Apache Spark 返回应用程序的剩余筛选器。

筛选器下推允许数据源处理筛选器的子集。 这可以通过减少 Spark 需要处理的数据量来提高性能。

筛选器下推仅支持批量读取，不支持流式读取。 新 API 必须添加到DataSourceReader，而不是添加到 DataSource 或 DataSourceStreamReader。 筛选器列表必须解释为实现中元素的逻辑 AND。 此方法在查询规划过程中调用一次。 在默认实现中，它返回所有筛选器，这意味着无法向下推送任何筛选器。 使用子类来替代此方法，并实现筛选器下推逻辑。

最初，为了保持 API 简单，Azure Databricks 仅支持具有列、布尔运算符和文本值的 V1 筛选器。 筛选器序列化是占位符，将在将来的 PR 中实现。 例如：

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks 建议仅对本身支持筛选的数据源（例如数据库和 GraphQL API）实施此方法。

Python UDF 追溯改进

Python UDF 跟踪现在包括驱动程序和执行程序的帧以及客户端帧，从而生成更好的错误消息，这些错误消息显示更大和更相关的详细信息（例如 UDF 中帧的行内容）。

现在，视图中的 UNION/EXCEPT/INTERSECT 和 EXECUTE IMMEDIATE 会返回正确的结果

对具有顶级 UNION/EXCEPT/INTERSECT 和非别名列的临时和永久视图定义的查询以前返回了不正确的结果，因为 UNION/EXCEPT/INTERSECT 关键字被视为别名。 现在，这些查询将正确执行整个集合操作。

由于解析器将这些关键字解释为别名，因此具有顶级 EXECUTE IMMEDIATE ... INTOUNION/EXCEPT/ 和非别名列的 INTERSECT 也会将集合操作的错误结果写入指定变量。 同样，还允许包含无效尾文本的 SQL 查询。 在这些情况下，设置操作现在可以将正确的结果写入到指定变量，或者在 SQL 文本无效的情况下失败。

数据源缓存计划、配置和迁移指南

从DBR 16.4.0版本开始，从文件源表中读取数据将正确遵循查询选项，例如分隔符。 以前，缓存了第一个查询计划，并忽略了后续选项更改。 若要还原以前的行为，请将 spark.sql.legacy.readFileSourceTableCacheIgnoreOptions 设置为 true。

新增 listagg 功能和 string_agg 函数

从此版本开始，您可以使用 listagg 或 string_agg 函数来汇总组内的 STRING 和 BINARY 值。 有关详细信息，请参阅 string_agg。

对 MERGE INTO 专用计算具有精细访问控制的表的支持现已正式发布（正式版）

在 Databricks Runtime 16.3 及更高版本中，专用计算支持 MERGE INTO 使用精细访问控制的 Unity 目录表。 此功能现已正式发布。

请参阅 专用计算上的精细访问控制。

DBR 16.4 LTS 行为更改

• Delta 表：“DESCRIBE DETAIL 表”现在将显示表的 clusterByAuto 状态
• 修复以遵循数据源缓存计划选项
• 将修订规则从分析器移动到优化器
• variant_get和get_json_object现在会考虑Apache Spark中路径开头的空格
• 启用标志以禁止禁用 MERGE 操作的源具体化
• 将分区元数据日志启用定位点移动到表
• 更新 snowflake-jdbc 3.16.1 -> 3.22.0
• 在 DBR 16.2 和 16.3 中将 Json4 从 4.0.7 降级到 3.7.0-M11

Delta 表：“DESCRIBE DETAIL 表”现在将显示表的 clusterByAuto 状态

DESCRIBE DETAIL {table} 现在将显示当前聚类分析列旁边的表的 clusterByAuto 状态（true 或 false）。 有关更多详细信息 clusterByAuto，请参阅：自动液体聚类分析。

修复以遵循数据源缓存计划选项

此更新可确保缓存时为所有数据源计划设置表读取遵循选项，而不仅仅是第一个缓存的表读取。

以前，数据源表读取缓存了第一个计划，但未能在后续查询中考虑不同的选项。

例如，以下查询：

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

将生成以下输出：

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

通过此修补程序，它现在返回预期的输出：

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

如果工作负荷依赖于以前的错误行为，则此更改后可能会看到不同的结果。

将编辑规则从分析器移动到优化器

以前，DataFrames 可以在使用有效的 SECRET SQL 函数时创建包含编辑值的表。 保存对表具有有效机密访问权限的 DataFrame 时，此更改将删除修订，并且修订规则已从分析程序移至优化程序。

variant_get和get_json_object现在会考虑 Apache Spark 中路径前的空格

在此更改之前，在禁用 Photon 的情况下，variant_get 和 get_json_object 表达式的路径中的前导空格和制表符会被忽略。 例如， select get_json_object('{" key": "value"}', '$[' key']') 在提取值 " key"时不会有效。 但是，用户将能够提取此类密钥。

启用标志以禁止禁用 MERGE 操作的源具体化

以前，用户可以通过将 merge.materializeSource 设置为 none 来禁用 MERGE 中的源具体化。 启用新标志后，将禁止此操作并导致错误。 Databricks 计划仅针对以前未使用此配置标志的客户启用标志，因此，客户不应注意到行为的任何更改。

将分区元数据日志启用定位点移动到表

分区元数据日志功能已更改，以便使用 spark.databricks.nonDelta.partitionLog.enabled = true 创建表后，可以将它定位到表，使群集不会为群集处理的所有表设置 spark.databricks.nonDelta.partitionLog.enabled = true。

更新 snowflake-jdbc 3.16.1 -> 3.22.0

将依赖项 snowflake-jdbc 从 3.16.1 更新为 3.22.0。 如果用户直接使用库的 l3.16.1 版本，则可能会影响用户。

在 DBR 16.2 和 16.3 中将 Json4 从 4.0.7 降级到 3.7.0-M11

客户不能在同一应用程序中同时使用 databricks-connect 16.1+ 和 Apache Spark™ 3.5.x，因为 Json4s 版本 3.7.0-M11 与版本 4.0.7 之间的 API 行为存在显著差异。 为了解决此问题，Azure Databricks 已将 Json4 降级到 3.7.0-M11。

库升级（仅适用于 Scala 2.12 镜像）

• 升级了 R 库：
  • sparklyr 从 1.8.4 升级到 1.8.6（仅适用于 Databricks Runtime 16.4 LTS 版本的 Scala 2.12 镜像）
• 升级后的 Java 库：
  • io.delta.delta-sharing-client_2.12 从 1.2.3 到 1.2.4
  • org.json4s.json4s-ast_2.12 从 4.0.7 到 3.7.0-M11
  • org.json4s.json4s-core_2.12 从 4.0.7 到 3.7.0-M11
  • org.json4s.json4s-jackson_2.12 从 4.0.7 到 3.7.0-M11
  • org.json4s.json4s-scalap_2.12 从 4.0.7 到 3.7.0-M11

Scala 2.13 Databricks Runtime 版本被视为“新”版本，可能具有与 2.12 不同的库版本。 请参阅下表了解该发布映像中的特定库版本。 此版本中不包括 sparklyr。

Apache Spark

Databricks Runtime 16.4 LTS 包括 Apache Spark 3.5.2。 此版本包括 Databricks Runtime 16.3（EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-51206] [PYTHON][connect] 将箭头转换帮助程序移出 Spark Connect
• [SPARK-51566] [PYTHON] Python UDF 追溯改进
• [SPARK-51675] [SS] 在打开本地 DB 后修复列族创建，以避免创建快照（如果不必要）
• [SPARK-50892] [SQL]添加 UnionLoopExec，作为执行递归查询的物理运算符
• [SPARK-51670] [SQL] 将 Intersect 和 Except 重构为遵循 Union 示例，以便在单遍分析器中重复使用。
• [SPARK-47895] [BEHAVE-266][sql] 分组依据别名应该是幂等的
• [SPARK-51614] [SQL] 在分析器中引入 ResolveUnresolvedHaving 规则
• [SPARK-51662] [SQL] 使 OrcFileFormat 可比较
• [SPARK-51374] 还原“[CORE] 切换到在日志记录 API 中使用 java.util.Map”
• [SPARK-51652] [SQL] 重构 SetOperation 计算以便在单传递分析器中重复使用
• [SPARK-51622] [UI] ExecutionPage 上的标题部分
• [SPARK-51586] [SS] 在连续模式下初始化独立于列式支持的输入分区
• [SPARK-51070] [SQL] 在 ValidateExternalType 中使用 scala.collection.Set 而不是 Set
• [SPARK-51559] [SQL] 使最大广播表大小可配置
• [SPARK-51496] [SQL] CaseInsensitiveStringMap 比较应忽略大小写
• [SPARK-50416] [CORE] bin/load-spark-env.sh 所需的更易移植的终端/管道测试
• [SPARK-51509] [CORE][ui] 使 Spark Master 环境页支持筛选器
• [SPARK-51374] [CORE] 切换到在日志记录 API 中使用 java.util.Map
• [SPARK-50820] [SQL] DSv2：DML 中元数据列的条件置空
• [SPARK-48922] [SQL] 避免映射类型的相同表达式的冗余数组转换
• [SPARK-51446] [SQL] 改进压缩编解码器的 codecNameMap
• [SPARK-51341] [CORE] 使用合适的方式取消时间任务。
• [SPARK-51452] [UI] 改进线程转储表搜索
• [SPARK-51444] [CORE] 删除无法访问的 if 分支 从 TaskSchedulerImpl#statusUpdate 中
• [SPARK-51401] [SQL] 更改为 ExplainUtils.generateFieldString 直接调用 QueryPlan.generateFieldString
• [SPARK-49507] [SQL] 修复启用 metastorePartitionPruningFastFallback 后出现的情况问题
• [SPARK-51506] [ PYTHON][ss] 请勿强制用户在 TransformWithStateInPandas 中实现 close（）
• [SPARK-51624] [SQL] 在 CreateNamedStruct.dataType 中传播 GetStructField 元数据
• [SPARK-51201] [SQL] 使分区提示支持字节和短值
• [SPARK-51186] [PYTHON] 将StreamingPythonRunnerInitializationException添加至PySpark的基本异常类
• [SPARK-50286] [ SQL] 将 SQL 选项正确传播到 WriteBuilder
• [SPARK-51616] [SQL] 在 ResolveAliases 和 ResolveAggregateFunctions 之前运行 CollationTypeCasts
• [SPARK-51023] [CORE] 在 RPC 异常时记录远程地址日志
• [SPARK-51087] [PYTHON][connect] 在未安装内存探查器就进行内存分析时出现警告
• [SPARK-51073] [SQL] 从Unstable特性中删除SparkSessionExtensionsProvider
• [SPARK-51471] [ SS] RatePerMicroBatchStream - 在 startOffset 中偏移/时间戳大于 endOffset 时对 ASSERT 错误进行分类
• [SPARK-51062] [PYTHON] 修复 assertSchemaEqual 以比较小数精度和小数位数
• [SPARK-51612] [SQL] 在创建视图时，将 Spark 配置显示在 Desc As Json 中
• [SPARK-51573] [ SS] 修复流式传输状态检查点 v2 checkpointInfo 争用条件
• [SPARK-51252] [SS] 在 HDFS 状态存储中添加上次上传快照版本的实例指标
• [SPARK-51552] [SQL] 在标识符下时禁止持久化视图中的临时变量
• [SPARK-51625] [SQL] CTE 关系中的命令应触发内联
• [SPARK-51584] [SQL] 添加规则，用于通过 Offset 和 Suite 推送 Project 以测试项目
• [SPARK-51593] [SQL] 重构 QueryExecutionMetering 实例化
• [SPARK-49082] [SQL] 支持在 Avro 读取器中将日期扩大为 TimestampNTZ
• [SPARK-50220] [PYTHON] 支持 PySpark 中的 listagg
• [SPARK-51581] [CORE][sql] 使用 nonEmpty/isEmpty 对显式 Iterable 进行空检查
• [SPARK-42746] [SQL] 修复了 listagg 中新异常的错误类分类
• [SPARK-51580] [SQL] 当 HigherOrderFunction 中的 lambda 函数位置错误时引发适当的用户可见错误信息
• [SPARK-51589] [SQL] 修复了未能检查 |>SELECT 中的聚合函数的小型 bug
• [SPARK-50821] [PYTHON] 将 Py4J 从 0.10.9.8 升级到 0.10.9.9
• [SPARK-42746] [SQL] 实现 LISTAGG 函数
• [SPARK-48399] [SQL] Teradata：ByteType 应映射到 BYTEINT 而不是 BYTE（二进制）
• [SPARK-43221] [CORE] 主机本地块提取应使用存储于磁盘的块的块状态
• [SPARK-51467] [UI] 使环境页的表可筛选
• [SPARK-51569] [SQL] 如果没有类型更改，请勿在InSubquery中重新初始化InTypeCoercion
• [SPARK-51280] [CONNECT] 改进RESPONSE_ALREADY_RECEIVED错误类别
• [SPARK-51525] [SQL] Desc As JSON StringType 的排序规则字段
• [SPARK-51565] [SQL] 在窗口框架子句中支持 SQL 参数
• [SPARK-51544] [SQL] 仅添加唯一和必要的元数据列
• [SPARK-49349] [SQL] 使用 Generate 改进 LCA 的错误消息
• [SPARK-51418] [SQL] 修复 DataSource PARTITON TABLE w/ Hive 类型不兼容的分区列
• [SPARK-51269] [ SQL] 通过删除 defaultCompressionLevel 来简化 AvroCompressionCodec
• [SPARK-50618] [SS][sql] 使 DataFrameReader 和 DataStreamReader 更多地利用分析器
• [SPARK-51097] [SS] 重新引入 RocksDB 状态存储的最后上传快照版本的实例度量标准
• [SPARK-51321] [SQL] 添加对 PostgresDialect 和 MsSQLServerDialect 表达式下推的 rpad 和 lpad 支持
• [SPARK-51428] [ BEHAVE-264][sql] 为整理的表达式树重新确定性地分配别名
• [SPARK-51528] [SQL] 不要直接在 ProtobufCatalystDataConversionSuite 中比较哈希代码
• [SPARK-51443] [SS] 修复 DSv2 和 readStream 中的 singleVariantColumn。
• [SPARK-51397] [SS] 修复导致测试时间过长的维护池关闭处理不当问题。
• [SPARK-51522] [SQL] 禁用单通道分析器的延迟联合子级测试
• [SPARK-51079] [Fix-forward] 使用 Arrow 在 Pandas UDF、createDataFrame 和 toPandas 中支持大变量类型
• [SPARK-51112] [ES-1348599][connect] 避免在空表中使用 pyarrow 的 to_pandas
• [SPARK-51438] [SQL] 使 CatalystDataToProtobuf 和 ProtobufDataToCatalyst 实现正确的可比较性和可哈希性
• [SPARK-50855] [ DBR16.x][ss][CONNECT] Spark Connect 对 Scala 中的 TransformWithState 的支持
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column 应保留 EXISTS_DEFAULT 解析
• [SPARK-51468] [SQL] 还原“从 json/xml 中不应更改给定架构中的排序规则”
• [SPARK-51453] [SQL] AssertTrue 使用 toPrettySQL 而不是 simpleString
• [SPARK-51409] [SS] 在 changelog 编写器创建路径中添加错误分类
• [SPARK-51440] [SS] 当 Kafka 消息数据中的主题字段值为空且没有主题选项时，对 NPE 进行分类
• [SPARK-51425] [Connect] 添加客户端 API 以设置自定义 operation_id
• [SPARK-50652] [ SS] 增加对 RocksDB V2 向后兼容性的检查
• [SPARK-49164] [SQL] 修复 JDBC 关系中 SQL 查询谓词中的非 NullSafeEqual
• [SPARK-50880] [ SQL] 向 V2ExpressionSQLBuilder 添加新的 visitBinaryComparison 方法
• [SPARK-50838] [ SQL]在递归 CTE 中执行额外检查，以便在遇到被禁止的情况时抛出错误。
• [SPARK-51307] [SQL] CatalogStorageFormat 中的 locationUri 应解码以显示
• [SPARK-51079] [PYTHON] 使用 Arrow 在 Pandas UDF、createDataFrame 和 toPandas 中支持大变量类型
• [SPARK-50792] [SQL] 在 JDBC 中将二进制数据格式化为二进制文本。

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 在此处下载最近发布的驱动程序：

• 下载 Databricks ODBC 驱动程序
• 下载 Databricks JDBC 驱动程序

系统环境

• 作系统：Ubuntu 24.04.2 LTS。
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15 或 2.13.10
• Python：3.12.3
• R：4.4.0
• Delta Lake：3.3.1

已安装的 Python 库

已安装的 R 库

R 库安装自 2024-08-04 的 Posit Package Manager CRAN 快照。

已安装的 Java 和 Scala 库（Scala 2.13 群集版本）

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）