无服务器 GPU 环境版本 3 (beta)

重要

Databricks 上的无服务器 GPU 计算处于 Beta 阶段。 在 Beta 版期间,支持的环境的内容(包括包列表或已安装的包版本)可能会更改。

本文概述了无服务器 GPU 环境版本 3 的系统环境信息。

为了确保应用程序的兼容性,无服务器 GPU 工作负载使用版本控制 API(称为环境版本),该 API 与较新的服务器版本保持兼容。

可以使用无服务器笔记本中的 环境 侧面板选择环境版本。 请参阅 设置无服务器 GPU 计算

新功能和改进

无服务器 GPU 环境 3 基于无服务器环境 3 (CPU) 构建。 查看 无服务器环境 3(CPU)中的新增功能。

已知问题

导入转换器时出现 Threadpoolctl 库警告

导入 transformers 库时,可能会看到以下错误消息。 这是无服务器 GPU 环境 3 中库的已知问题 threadpoolctl

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

若要解决此问题,请升级到 无服务器 GPU 环境 4 或升级 threadpoolctl 库:

pip install threadpoolctl==3.1.0

系统环境

  • 操作系统:Ubuntu 24.04.2 LTS
  • Python:3.12.3
  • Databricks Connect:16.4.2
  • NVIDIA CUDA 工具包:12.4

已安装的 Python 库

除了 无服务器环境 3(CPU)中包含的内容外,无服务器 GPU 环境 3 还包括以下内容:

  • torch 2.6.0
  • torchvision 0.21.0

若要在本地 Python 虚拟环境中重现无服务器 GPU 环境 3,请下载 requirements-env-gpu-3.txt 文件并运行 pip install -r requirements-env-gpu-3.txt。 此命令从无服务器 GPU 环境 3 安装所有开源库。

图书馆 版本 图书馆 版本 图书馆 版本
批注类型 0.7.0 anyio 4.2.0 asttokens 2.0.5
astunparse 1.6.3 azure-core 1.33.0 azure-storage-blob 12.23.0
Azure 存储 文件 数据湖 (azure-storage-file-datalake) 12.17.0 黑色 24.4.2 闪烁器 1.7.0
boto3 1.34.69 botocore 1.34.69 cachetools (缓存工具) 5.3.3
certifi 2024年6月2日 cffi 1.16.0 chardet 4.0.0
charset-normalizer (字符集正常化工具) 2.0.4 click 8.1.7 cloudpickle 3.0.0
通讯 0.2.1 contourpy 1.2.0 加密 42.0.5
骑行者 0.11.0 Cython 3.0.11 databricks-connect 16.4.4
Databricks软件开发工具包 (databricks-sdk) 0.49.0 databricks.serverless_gpu 0.5.3 dbus-python 1.3.2
debugpy 1.6.7 修饰器 5.1.1 Deprecated 1.2.18
莳萝 0.3.8 distlib 0.3.8 正在执行 0.8.3
各个方面概述 1.1.1 fastapi 0.115.12 文件锁 (filelock) 3.13.1
fonttools(字体工具) 4.51.0 fsspec 2024.3.1 未来 1.0.0
gitdb (Git数据库) 4.0.11 GitPython 3.1.37 google-api-core (谷歌 API 核心库) 2.20.0
google-auth (谷歌身份验证) 2.38.0 google-cloud-core (Google云核心) 2.4.3 谷歌云存储 (Google Cloud Storage) 3.1.0
google-crc32c 1.7.1 google-resumable-media (谷歌可恢复媒体) 2.7.2 googleapis-common-protos 1.69.2
grpcio 1.71.0 grpcio-status 1.71.0 h11 0.14.0
httplib2 0.20.4 IDNA 3.7 importlib-metadata 7.0.1
iniconfig 1.1.1 ipyflow-core 0.0.206 ipykernel 6.29.5
ipython 8.32.0 ipython-genutils(IPython通用工具) 0.2.0 ipywidgets 7.7.2
isodate 0.7.2 jedi 0.19.1 Jinja2 3.1.4
jmespath 1.0.1 joblib 1.4.2 jupyter_client(Jupyter 客户端) 8.6.0
jupyter_core(Jupyter核心) 5.7.2 kiwisolver 1.4.4 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 mlflow-skinny 2.21.3
mpmath 1.3.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.2.1 numpy 1.26.4 nvidia-cublas-cu12 12.4.5.8
nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127
nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147
nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2
nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127
oauthlib 3.2.2 OpenTelemetry API 1.31.1 opentelemetry-sdk(开源遥测软件开发工具包) 1.31.1
opentelemetry-semantic-conventions 0.52b1 包装 24.1 熊猫 1.5.3
parambench-train-comms 0.0.0 帕尔索 0.8.3 pathspec 0.10.3
替罪羊 0.5.6 pexpect 4.8.0 枕头 10.3.0
pip 25.0.1 platformdirs 3.10.0 plotly 5.22.0
Pluggy (Python库) 1.5.0 提示工具包 (prompt-toolkit) 3.0.43 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 15.0.2 pyarrow-hotfix 0.6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.68 Python代码解析器 2.21
pydantic (Python 数据验证库) 2.8.2 pydantic_core 2.20.1 pydot 3.0.4
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
pyodbc 5.0.1 pyparsing 3.0.9 pyspark 3.5.2+databricks.connect.16.4.2
pytest(Python 测试框架) 8.3.0 python-dateutil 2.9.0.post0 python-lsp-jsonrpc 1.1.2
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requests 2.32.2 rsa 4.9 s3transfer 0.10.4
scikit-learn 1.4.2 scipy 1.13.1 seaborn 0.13.2
setuptools 69.5.1 6 1.16.0 smmap 5.0.0
sniffio 1.3.0 sqlparse 0.5.3 ssh-import-id 5.11
堆栈数据 0.2.0 starlette 0.46.1 statsmodels 0.14.2
sympy 1.13.1 毅力 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 火炬 2.6.0+cu124 torchvision 0.21.0+cu124
龙卷风 6.4.1 Traitlets 5.14.3 triton 3.2.0
输入扩展 (typing_extensions) 4.12.1 tzdata 2024.1 ujson 5.10.0
unattended-upgrades 0.1 urllib3 2.2.2 uvicorn 0.34.0
virtualenv 20.29.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.45.1 裹住 1.14.1 齐普 3.17.0
zstandard 0.23.0