注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2020 年 2 月发布此版本。
注意
由于不再支持基础 Ubuntu 操作系统，因此对 Databricks Runtime 6.4 的支持于 2021 年 4 月 1 日终止。 Databricks 建议升级到 Databricks Runtime 7.x 或 8.x，以获取 Apache Spark 3.x 的优势以及这些较新的运行时中内置的许多新功能和改进。
你可以选择迁移到 Databricks Runtime 6.4 外延支持，除了操作系统版本、JDK 和少量 R 和 Python 库之外，它与 Databricks Runtime 6.4 完全相同。 请参阅 Databricks Runtime 6.4 外延支持 (EoS)。
以下发行说明提供了由 Apache Spark 提供支持的 Databricks Runtime 6.4 的相关信息。
新增功能
使用自动加载程序以增量方式处理新的数据文件（公共预览版）
当新数据文件在 ETL 过程中到达云 blob 存储时，你可以借助自动加载程序更高效地以增量方式处理这些数据文件。 这是对基于文件的结构化流式处理的改进，它通过重复列出云目录和跟踪已看到的文件来标识新文件。随着目录的增长，它的效率可能会非常低。 自动加载程序也比基于文件通知的结构化流更加方便且有效，这要求你在云上手动配置文件通知服务，并且不允许回填现有文件。 有关详细信息，请参阅什么是自动加载程序？。
通过幂等重试将数据加载到 Delta Lake（公共预览版）
使用 SQL 命令 COPY INTO，可通过幂等重试将数据加载到 Delta Lake。 若要将数据加载到 Delta Lake，现在必须使用 Apache Spark 数据帧 API。 如果在加载过程中出现故障，必须有效地处理它们。 新的 COPY INTO 命令提供了一种熟悉的声明性接口，可供 SQL 用户加载数据。 此命令会跟踪以前加载的文件，在出现故障时你可以安全地重新运行它。
对 Delta 表进行的所有写入、更新和删除操作的操作指标现在都显示在表历史记录中
现在，您可以在表的历史记录中查看 Delta 表上所有的写入、更新和删除操作指标（例如，文件数和行数）。 生成这些指标的功能在默认情况下是禁用的。 若要启用指标生成，请将 Spark 配置spark.databricks.delta.history.metricsEnabled 设置为 true。
Azure Databricks 笔记本中现已默认启用内联 Matplotlib 图形（公共预览版）
现在，默认情况下已启用“无需将图形传递给 display 方法即可显示 Matplotlib 图形”功能。 有关详细信息，请参阅 Matplotlib。
改进
修复了 Parquet StartsWith 筛选器 bug
修复了由于将筛选器 NullPointerException 向下推送到 Parquet 而导致的 StartWith。 如果 Parquet 文件中的列的大小写不同于外部表中定义的列的大小写，则会出现此问题。
Apache Spark
Databricks Runtime 6.4 包括 Apache Spark 2.4.5。 此版本包括 Databricks Runtime 6.3 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
- [SPARK-30657][SPARK-30658][SS] 修复了流式传输限制中的两个 bug [6.x]
- [SPARK-30433][SQL] 优化了收集冲突计划
- [SPARK-30633][SQL] 在类型为 LongType 时将 L 追加到种子
- [SPARK-29777][[SPARKR] 删除对递归调用不再有效的测试
- [SPARK-30645][[SPARKR] 将 Unicode 测试数据移到外部文件
- [SPARK-30630][ML] 弃用 2.4.5 版 GBT 中的 numTrees
- [SPARK-30082][SQL] 在生成替换查询时依赖于 Scala 类型强制转换
- [SPARK-30556][SQL] 将 sparkContext.localproperties 复制到 inSubqueryExec.executionContext 子线程
- [SPARK-30433][SQL] 在 ResolveReferences 中使冲突属性解析具有更大的可伸缩性
- [SPARK-29708][SQL] 更正了复制分组集时的聚合值
- [SPARK-29450][SS] 用追加模式来度量流式处理聚合的输出行数
-
[SPARK-30312][SQL] 通过添加
.enabled重命名配置 - [SPARK-30325][CORE] markPartitionCompleted 导致任务状态不一致
- [SPARK-30246][CORE] OneForOneStreamManager 可能会在 connectionTerminated 中泄漏内存
- [SPARK-28152][SQL] 为旧的 MsSqlServerDialect 数字映射添加旧配置文件
- [SPARK-30458][WEBUI] 修复了“阶段”页的时间行中错误的执行程序计算时间
- [SPARK-30312][SQL] 在截断表时保留路径权限和 acl
- [SPARK-30447][SQL] 常数传播为 Null 性问题
- [SPARK-30410][SQL] 计算具有大量分区的表的大小会导致生成大量日志
- [SPARK-30225][CORE] 在 NioBufferedFileInputStream 中更正在 EOF 之后的 read() 行为
- [SPARK-30285][CORE] 修复了 LiveListenerBus#stop 和 AsyncEventQueue#removeListenerOnError 之间的死锁
- [SPARK-26560][SQL] Spark 应能使用 jar 运行 Hive UDF，而不考虑当前线程上下文类加载器如何
- [SPARK-30339][SQL] 避免在函数查找中失败两次
- [SPARK-30269][SQL] 应使用旧分区统计信息来决定是否在分析分区时更新统计信息
- [SPARK-30318][CORE] 将 jetty 升级到 9.3.27.v20190418
- [SPARK-17398][SQL] 修复了在查询已分区的 JSON 表时出现的 ClassCastException
维护更新
请参阅 Databricks Runtime 6.4 维护更新。
系统环境
- 操作系统：Ubuntu 16.04.6 LTS
- Java：1.8.0_252
- Scala：2.11.12
- Python：3.7.3
- R：R 版本 3.6.2 (2019-12-12)
- Delta Lake：0.5.0
注意
尽管 Scala 2.12 已作为实验性功能在 Apache Spark 2.4 中提供，但 Databricks Runtime 6.4 不支持此功能。
本节内容：
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | 回调 | 0.1.0 | 博托 | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019年3月9日 |
| cffi | 1.12.2 | chardet | 3.0.4 | 密码系统 | 2.6.1 |
| 骑行者 | 0.10.0 | Cython | 0.29.6 | 装饰师 | 4.4.0 |
| docutils | 0.14 | IDNA | 2.8 | ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.13.3 |
| jmespath | 0.9.4 | Jupyter客户端 | 5.2.4 | jupyter-core | 4.4.0 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| 熊猫 | 0.24.2 | 帕尔索 | 0.3.4 | 替罪羊 | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | 果仁 | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | Python代码解析器 | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.6 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.8 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pyzmq | 18.0.0 |
| 请求 | 2.21.0 | s3transfer | 0.2.1 | scikit-learn | 0.20.3 |
| scipy | 1.2.1 | seaborn | 0.9.0 | setuptools | 40.8.0 |
| 6 | 1.12.0 | ssh-import-id | 5.5 | statsmodels | 0.9.0 |
| 龙卷风 | 6.0.2 | Traitlets | 4.3.2 | 无人参与升级 | 0.1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | wcwidth | 0.1.7 |
| 轮子 | 0.33.1 |
已安装的 R 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| 回移补丁 | 1.1.5 | 基础 | 3.6.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | 位 | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | 团状物 | 1.2.0 | 启动 | 1.3-23 |
| 酿造/冲泡 | 1.0-6 | 调用方 | 3.3.2 | 汽车 | 3.0-4 |
| 汽车数据 | 3.0-2 | 插入符号 | 6.0-84 | cellranger (细胞测序工具) | 1.1.0 |
| chron | 2.3-54 | 班级 | 7.3-15 | cli | 1.1.0 |
| 剪辑器 | 0.7.0 | clisymbols | 1.2.0 | 集群 | 2.1.0 |
| codetools | 0.2-16 | 色彩空间 | 1.4-1 | commonmark | 1.7 |
| 编译器 | 3.6.2 | 配置 | 0.3 | covr | 3.3.2 |
| 蜡笔 | 1.3.4 | 相声 | 1.0.0 | 卷曲 | 4.2 |
| 数据表 (data.table) | 1.12.6 | 数据集 | 3.6.2 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | desc | 1.2.0 | devtools | 2.2.1 |
| 摘要 | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| If "DT" is a term that should be translated: 如果“DT”代表一个需要翻译的术语，可以替换为适当的中文术语。 | 0.9 | 省略号 | 0.3.0 | 评估 | 0.14 |
| fansi | 0.4.0 | 快速映射 | 1.0.1 | forcats | 0.4.0 |
| foreach | 1.4.7 | 外国 | 0.8-75 | 锻造 | 0.2.0 |
| 文件系统 (if fs stands for "file system") | 1.3.1 | gbm | 2.1.5 | 泛 型 | 0.0.2 |
| ggplot2 | 3.2.1 | gh | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | 胶水 | 1.3.1 | gower | 0.2.1 |
| 图形 | 3.6.2 | grDevices | 3.6.2 | “业务流程参数” 网格 | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.0 |
| H₂O | 3.26.0.2 | 避风港 | 2.1.1 | 赫姆斯 | 0.5.1 |
| HTML工具 | 0.4.0 | HTML小插件 | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | 迭代器 | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | 标记 | 0.3 |
| 稍后 | 1.0.0 | 格子 | 0.20-38 | 熔岩 | 1.6.6 |
| lazyeval | 0.2.2 | 生命周期 | 0.1.0 | 更小 | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1.5 |
| mapproj | 1.2.6 | 地图 | 3.3.0 | maptools | 0.9-8 |
| 质量 | 7.3-51.5 | 矩阵 | 1.2-18 | MatrixModels | 0.4-1 |
| 缓存 | 1.1.0 | 方法 | 3.6.2 | mgcv | 1.8-31 |
| 默剧 | 0.7 | 明卡 | 1.2.4 | ModelMetrics | 1.2.2 |
| 蒙塞尔 | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-144 |
| nloptr | 1.2.1 | nnet | 7.3-12 | numDeriv | 2016年8月至1月1日 |
| openssl（开放SSL） | 1.4.1 | openxlsx | 4.1.2 | 平行 | 3.6.2 |
| pbkrtest | 0.4-7 | 柱子 | 1.4.2 | pkgbuild (软件包构建工具) | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.4 | 赞美 | 1.0.0 |
| prettyunits | 1.0.2 | pROC | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | 进度 | 1.2.2 | 承诺 | 1.1.0 |
| 原型 (proto) | 1.0.0 | 附注 (ps) | 1.3.0 | purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | readr（阅读器） | 1.3.1 | readxl | 1.3.1 |
| 食谱 | 0.1.7 | 重赛 | 1.0.1 | 遥控器 | 2.1.0 |
| reshape2 | 1.4.3 | 雷克斯 | 1.1.2 | 里约 | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversions | 2.0.0 |
| 磅秤 | 1.0.0 | 会话信息 | 1.1.1 | 光亮 | 1.4.0 |
| sourcetools | 0.1.7 | sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | 稀疏M | 1.77 | 空间 | 7.3-11 |
| 样 条 | 3.6.2 | sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2017年10月-1日 |
| statmod | 1.4.32 | 统计数据 | 3.6.2 | 统计数据4 | 3.6.2 |
| 字符串 | 1.4.3 | stringr | 1.4.0 | 生存 | 2.44-1.1 |
| sys | 3.3 | tcltk | 3.6.2 | 教学演示 | 2.10 |
| testthat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | 时间日期 | 3043.102 | 工具 | 3.6.2 |
| usethis | 1.5.1 | utf8 | 1.1.4 | 实用工具 | 3.6.2 |
| vctrs | 0.2.0 | viridisLite | 0.3.0 | 晶 须 | 0.4 |
| 无改动（具体含义和背景需要更多信息） | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | zeallot | 0.1.0 |
| 压缩包 | 2.0.4 |
已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.8.10 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.595 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.595 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.595 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.595 |
| com.amazonaws | AWS Java SDK Glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | AWS Java SDK支持 | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 流 (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.0.0 |
| com.fasterxml.jackson.core | Jackson注解 | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜片_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | Parquet-Hadoop数据包 | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11（Scala日志库） | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers解析器 | 2.7.3 |
| com.vlkan | FlatBuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | 指标-健康检查 | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | 指标-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | 指标-Servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api (Java中的注解API) | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-属性 | 1.1.5 |
| net.razorvine | 辉岩 | 4.13 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | 箭头内存 | 0.10.0 |
| org.apache.arrow | 箭头向量 | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0（孵化中） |
| org.apache.calcite | 如果没有标准的中文翻译且是专有名称，“calcite-core”可以保持不变。根据具体情况和语境决定是否需要翻译该术语。 | 1.2.0（孵化中） |
| org.apache.calcite | calcite-linq4j | 1.2.0（孵化中） |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | Hadoop客户端 | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.3 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.3 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| \ org.apache.orc | orc-core-nohive | 1.5.5 |
| \ org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| \ org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | Parquet 编码 | 1.10.1.2-databricks4 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | 动物园管理员 | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.10 |
| org.codehaus.janino | 雅尼诺 | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | Jetty-HTTP | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | 码头安全 | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.3.27.v20190418 |
| org.eclipse.jetty | Jetty 网页应用 | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-定位器 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | Hibernate验证器 | 5.1.1.Final |
| org.iq80.snappy | 活泼 | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss 日志 | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | 垫片 | 0.7.45 |
| .rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | Hive 元数据存储器 | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | 机械师_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |