Anteckning
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Databricks Runtime 16.4 LTS for Machine Learning tillhandahåller en färdigto-go miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 16.4 LTS. Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML, ett verktyg för att automatiskt träna maskininlärningspipelines. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med TorchDistributor, DeepSpeed och Ray.
Tips/Råd
Information om versionsanteckningar för Databricks Runtime-versioner som har nått slutet av supporttiden (EoS) finns i Versionsanteckningar för Databricks Runtime med slut på support. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.
Nya funktioner och förbättringar
Databricks Runtime 16.4 LTS ML bygger på Databricks Runtime 16.4 LTS. För information om nyheter i Databricks Runtime 16.4 LTS, inklusive Apache Spark MLlib och SparkR, kan du se versionsanteckningarna för Databricks Runtime 16.4 LTS.
Andra ändringar
XGBoost4J-Spark är nu inaktuell
XGBoost4J-Spark är nu inaktuell och kommer inte att förinstalleras i nästa större Databricks Runtime ML-version. Databricks rekommenderar att du använder Python-API:et för xgboost.spark. Se Distribuerad träning av XGBoost-modeller med hjälp av xgboost.spark.
TensorFlow 2.17.x kan inte läsa in cuDNN-biblioteket
Det är ett känt problem i Databricks Runtime 16.4 LTS ML att TensorFlow 2.17.x (standardversion) inte kan komma åt GPU-enheter på grund av ett cuDNN-biblioteksinläsningsfel. Åtgärda problemet genom att uppgradera TensorFlow till version 2.18.x eller senare.
Systemmiljö
Systemmiljön i Databricks Runtime 16.4 LTS ML skiljer sig från Databricks Runtime 16.4 LTS enligt följande.
- För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
- CUDA 12.6
- cublas 12.6.0.22-1
- cusolver 11.6.4.38-1
- cupti 12.6.37-1
- cusparse 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCL 2.22.3
- TensorRT 10.2.0.19-1
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 16.4 LTS ML som skiljer sig från de som ingår i Databricks Runtime 16.4 LTS.
I det här avsnittet:
- Bibliotek på den översta nivån
- Python-bibliotek
- R-bibliotek
- Java- och Scala-bibliotek (Scala 2.12-kluster)
Bibliotek på den översta nivån
Databricks Runtime 16.4 LTS ML innehåller följande bibliotek på den översta nivån:
- Datamängder
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector (anslutning för TensorFlow i Spark)
- Scikit-learn
- direktuppspelning
- TensorFlow
- TensorBoard
- Transformatorer
Python-bibliotek
Databricks Runtime 16.4 LTS ML använder virtualenv sig av Python-pakethantering och innehåller många populära ML-paket.
Förutom de paket som anges i följande avsnitt innehåller Även Databricks Runtime 16.4 LTS ML följande paket:
- hyperopt 0.2.8+db1
- automl 1.30.0
Om du vill återskapa Databricks Runtime ML Python-miljön i din lokala virtuella Python-miljö laddar du ned filenrequirements-16.4.txt och kör pip install -r requirements-16.4.txt. Det här kommandot installerar alla bibliotek med öppen källkod som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl eller Databricks-förgreningen av hyperopt.
Python-bibliotek i CPU-kluster
| Bibliotek | Utgåva | Bibliotek | Utgåva | Bibliotek | Utgåva |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 1.5.2 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 | alembic | 1.14.1 |
| annoterade typer | 0.7.0 | anyio | 4.2.0 | argcomplete | 3.6.2 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindningar | 21.2.0 | pil | 1.2.3 |
| Astor | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| asynkron-lru | 2.0.4 | egenskaper | 23.1.0 | ljudläsning | 3.0.1 |
| automatikkommando | 2.2.2 | azure-core | 1.33.0 | azure-cosmos | 4.3.1 |
| azure-identity | 1.21.0 | azure-storage-blob (lagringstjänst i Azure) | 12.23.0 | Azure-lagring-fil-datainsjö | 12.17.0 |
| Babel | 2.11.0 | Tillbakadragande | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | svart | 24.4.2 |
| blekmedel | 4.1.0 | körriktningsvisare | 1.7.0 | salighet | 0.7.11 |
| boto3 | 1.34.69 | botocore | 1.34.69 | Brotli | 1.0.9 |
| cacheverktyg | 5.3.3 | katalog | 2.0.10 | kategorikodare | 2.6.3 |
| certifikat/certifiering | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kretsbrytare | 2.1.3 | klicka | 8.1.7 |
| cloudpathlib | 0.21.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 |
| färgstark | 0.5.6 | colorlog | 6.9.0 | kommunikation | 0.2.1 |
| kompositör | 0.29.0 | konfektyr | 0.1.5 | configparser | 5.2.0 |
| konturritning | 1.2.0 | coolname | 2.2.0 | kryptografi | 42.0.5 |
| cyklist | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.11 |
| dacite (en typ av vulkanisk bergart) | 1.9.2 | databricks-automl-runtime | 0.2.21 | Databricks-funktionsteknik | 0.10.2 |
| Databricks SDK | 0.30.0 | Datauppsättningar | 3.5.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | felsökning | 1.6.7 | dekoratör | 5.1.1 |
| DeepSpeed | 0.16.5 | defusedxml | 0.7.1 | Avrådes från användning | 1.2.18 |
| dill | 0.3.8 | distlib | 0.3.8 | dm-tree | 0.1.9 |
| Omvandling av docstring till markdown | 0.11 | einops | 0.8.1 | Ingångspunkter | 0,4 |
| utvärdera | 0.4.3 | utföra | 0.8.3 | översikt över aspekter | 1.1.1 |
| Farama-Aviseringar | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
| Fasttext-hjul | 0.9.2 | fillåsning | 3.13.1 | flaska | 2.2.5 |
| flatbuffers | 25.2.10 | fontverktyg | 4.51.0 | Fqdn | 1.5.1 |
| frozenlist | 1.4.0 | fsspec | 2023.5.0 | framtid | 0.18.3 |
| Gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.37 |
| google-api-core | 2.20.0 | Google-autentisering | 2.21.0 | google-auth-oauthlib | 1.2.1 |
| google-cloud-core | 2.4.3 | Google Cloud Storage - molntjänst för lagring | 2.10.0 | "google-crc32c" | 1.7.1 |
| Googlepasta | 0.2.0 | google-återupptagbar-media | 2.7.2 | googleapis-common-protos | 1.70.0 |
| gql | 3.5.2 | graphql-core | 3.2.4 | greenlet | 3.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | gymnasieskola | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.11.0 | hjson | 3.1.0 | ferier | 0.54 |
| htmlmin | 0.1.12 | httpcore | 1.0.8 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface-hub | 0.29.3 | IDNA | 3.7 |
| ImageHash | 4.3.1 | imageio | 2.33.1 | obalanserad inlärning | 0.12.3 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.5.2 | böja (grammatiskt) | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.6.1 |
| isoduration | 20.11.0 | det är farligt | 2.2.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
| Jedi | 0.19.1 | Jinja2 | 3.1.4 | jiter | 0.9.0 |
| jmespath | 1.0.1 | joblib | 1.4.2 | Joblibspark | 0.5.3 |
| json5 | 0.9.6 | jsonpatch | 1,33 | jsonpointer | 3.0.0 |
| jsonschema | 4.19.2 | jsonschema-specifikationer | 2023.7.1 | jupyter-händelser | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 |
| jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 | Keras | 3.9.0 |
| kiwisolver (ett verktyg/programvara) | 1.4.4 | langchain | 0.3.21 | langchain-core | 0.3.51 |
| textdelare för langchain | 0.3.8 | språkkoder | 3.5.0 | langsmith | 0.1.133 |
| språkdata | 1.3.0 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | trög laddare | 0,4 | libclang | 15.0.6.1 |
| librosa | 0.10.2 | lightgbm | 4.5.0 | blixtverktyg | 0.14.3 |
| linkify-it-py | 2.0.0 | llvmlite | 0.42.0 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.2.0 | Markdown | 3.4.1 |
| markdown –it-py | 2.2.0 | MarkupSafe | 2.1.3 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.17.1 | felstämning | 2.0.4 |
| ml-dtypes | 0.4.1 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 |
| MSAL | 1.32.0 | msal-förlängningar | 1.3.1 | MessagePack | 1.1.0 |
| multidikt | 6.0.4 | flera metoder | 1.12 | multiprocesshantering | 0.70.16 |
| murmurhash | 1.0.12 | mypy | 1.10.0 | mypy-extensions | 1.0.0 |
| namex | 0.0.8 | nbclient | 0.8.0 | nbconvert | 7.10.0 |
| nbformat | 5.9.2 | nest-asyncio | 1.6.0 | networkx bibliotek för nätverksanalys | 3.2.1 |
| ninja | 1.11.1.1 | nltk | 3.8.1 | nodeenv | 1.9.1 |
| anteckningsbok | 7.0.8 | anteckningsbok_shim | 0.2.3 | numba | 0.59.1 |
| numpy | 1.26.4 | oauthlib (ett OAuth-bibliotek) | 3.2.0 | Oci | 2.150.0 |
| openai | 1.69.0 | opencensus | 0.11.4 | OpenCensus-kontext | 0.1.3 |
| opentelemetri-api | 1.32.0 | opentelemetry-sdk | 1.32.0 | opentelemetry-semantic-conventions (semantiska konventioner för Opentelemetry) | 0.53b0 |
| opt_einsum | 3.4.0 | Optree | 0.15.0 | optuna | 3.6.1 |
| Optuna-integration | 3.6.0 | orjson | 3.10.16 | Åsidosätter | 7.4.0 |
| emballage | 24.1 | Pandas | 1.5.3 | pandocfilter | 1.5.0 |
| paramiko | 3.4.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| Patsy | 0.5.6 | pexpect (ett Python-bibliotek för styrning av fjärrterminaler) | 4.8.0 | phik | 0.12.4 |
| kudde | 10.3.0 | Pip (pakethanterare för Python) | 24,2 | platformdirs | 3.10.0 |
| plotly | 5.22.0 | pluggaktig | 1.0.0 | pmdarima | 2.0.4 |
| Pooch | 1.8.2 | (kontextberoende, ingen direkt översättning utan mer information) | 3.0.9 | prometheus-client | 0.14.1 |
| prompt-verktygslåda | 3.0.43 | profet | 1.1.6 | proto-plus | 1.26.1 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | py-cpuinfo | 9.0.0 |
| py-spy | 0.4.0 | pyarrow | 15.0.2 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantisk | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | PyNaCl | 1.5.0 | pyodbc | 5.0.1 |
| pyOpenSSL | 24.0.0 | pyparsing (ett Python-bibliotek för att analysera text) | 3.0.9 | pyright | 1.1.294 |
| pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 | python-editor (programredigerare för Python) | 1.0.4 |
| python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 |
| python-snappy | 0.6.1 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.5.0 | PyYAML | 6.0.1 |
| pyzmq | 25.1.2 | frågeformulär | 2.1.0 | stråle | 2.37.0 |
| Referenser | 0.30.2 | regex | 2023-10-03 | begäranden | 2.32.2 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | RFC 3339-valideringsverktyg | 0.1.4 |
| rfc3986-validator (validerare för RFC 3986) | 0.1.1 | rik | 13.3.5 | rep | 1.12.0 |
| rpds-py | 0.10.6 | RSA | 4,9 | ruamel.yaml | 0.18.10 |
| ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 | säkra tensorer | 0.4.4 |
| scikit-image | 0.23.2 | scikit-learn (en maskininlärningsbibliotek) | 1.4.2 | scipy | 1.13.1 |
| född vid havet | 0.13.2 | Send2Trash | 1.8.2 | meningstransformatorer | 3.4.1 |
| meningsstycke | 0.2.0 | setuptools | 74.0.0 | Shap | 0.46.0 |
| shellingham | 1.5.4 | simplejson | 3.17.6 | sex | 1.16.0 |
| Skärmaskin | 0.0.8 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | ljudfil | 0.12.1 | soupsieve | 2,5 |
| soxr | 0.5.0.post1 | rymdlik | 3.7.5 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
| seriööst | 2.5.1 | ssh-import-id | 5.11 | stapeldatastruktur | 0.2.0 |
| stanio | 0.5.1 | starlette | 0.46.2 | statsmodels (ett verktyg för statistisk modellering) | 0.14.2 |
| sympy | 1.13.1 | Tabellera | 0.9.0 | tilltrasslad i unicode | 0.2.0 |
| uthållighet | 8.2.2 | TensorBoard | 2.17.0 | tensorboard-data-server (datahanteringsserver för TensorBoard) | 0.7.2 |
| tensorboard-insticksmodul-profil | 2.17.0 | tensorboardX | 2.6.2.2 | TensorFlow | 2.17.0 |
| tensorflow-estimator (en komponent i TensorFlow för modeller) | 2.15.0 | termcolor | 3.0.1 | avslutad | 0.17.1 |
| textuell | 3.1.0 | tf_keras | 2.17.0 | thinc | 8.2.5 |
| threadpoolctl | 2.2.0 | TIFF-fil | 2023.4.12 | tiktoken | 0.7.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | Tokeniserare | 0.21.0 |
| Tomli | 2.0.1 | ficklampa | 2.6.0+cpu | torch-optimizer-verktyget | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.6.0 | Fackelsyn | 0.21.0+cpu |
| tornad | 6.4.1 | tqdm | 4.66.4 | Traitlets | 5.14.3 |
| Transformatorer | 4.50.2 | typskydd | 4.4.2 | typer | 0.15.2 |
| typer-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | typer av förfrågningar | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| typ-6 | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | obevakade uppgraderingar | 0,1 |
| URI-mall | 1.3.0 | urllib3 | 1.26.16 | uvicorn | 0.34.1 |
| validatorer | 0.34.0 | virtualenv | 20.26.2 | Visioner | 0.7.5 |
| wadllib | 1.3.6 | Wasabi | 1.1.3 | wcwidth | 0.2.5 |
| vessla | 0.4.1 | webcolors | 24.11.1 | webbkodningar | 0.5.1 |
| websocket-klient | 1.8.0 | websockets | 11.0.3 | Werkzeug | 3.0.3 |
| whatthepatch | 1.0.2 | hjul | 0.43.0 | ordmoln | 1.9.4 |
| inhöljd | 1.14.1 | xgboost | 2.0.3 | xgboost-ray | 0.1.19 |
| xxhash | 3.4.1 | yapf | 0.33.0 | jarl | 1.9.3 |
| ydata-profilering | 4.9.0 | blixtlås | 3.17.0 | zstd | 1.5.5.1 |
Python-bibliotek i GPU-kluster
Anmärkning
PyTorch använder CUDA PyPI-beroenden för att ge CUDA-stöd i stället för CUDA-biblioteksversionerna som är inbyggda i Databricks Runtime 16.4 LTS ML.
| Bibliotek | Utgåva | Bibliotek | Utgåva | Bibliotek | Utgåva |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerera | 1.5.2 | aiohttp | 3.9.5 |
| aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 | annoterade typer | 0.7.0 |
| anyio | 4.2.0 | argcomplete | 3.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindningar | 21.2.0 | pil | 1.2.3 | Astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | asynkron-lru | 2.0.4 |
| egenskaper | 23.1.0 | ljudläsning | 3.0.1 | automatikkommando | 2.2.2 |
| azure-core | 1.33.0 | azure-cosmos | 4.3.1 | azure-identity | 1.21.0 |
| azure-storage-blob (lagringstjänst i Azure) | 12.23.0 | Azure-lagring-fil-datainsjö | 12.17.0 | Babel | 2.11.0 |
| Tillbakadragande | 2.2.1 | backports.tarfile | 1.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.3 | svart | 24.4.2 | blekmedel | 4.1.0 |
| körriktningsvisare | 1.7.0 | salighet | 0.7.11 | boto3 | 1.34.69 |
| botocore | 1.34.69 | Brotli | 1.0.9 | cacheverktyg | 5.3.3 |
| katalog | 2.0.10 | kategorikodare | 2.6.3 | certifikat/certifiering | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| kretsbrytare | 2.1.3 | klicka | 8.1.7 | cloudpathlib | 0.21.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.5 | färgstark | 0.5.6 |
| colorlog | 6.9.0 | kommunikation | 0.2.1 | kompositör | 0.29.0 |
| konfektyr | 0.1.5 | configparser | 5.2.0 | konturritning | 1.2.0 |
| coolname | 2.2.0 | kryptografi | 42.0.5 | cyklist | 0.11.0 |
| cymem | 2.0.11 | Cython | 3.0.11 | dacite (en typ av vulkanisk bergart) | 1.9.2 |
| databricks-automl-runtime | 0.2.21 | Databricks-funktionsteknik | 0.10.2 | Databricks SDK | 0.30.0 |
| Datauppsättningar | 3.5.0 | dbl-tempo | 0.1.26 | dbus-python | 1.3.2 |
| felsökning | 1.6.7 | dekoratör | 5.1.1 | DeepSpeed | 0.16.5 |
| defusedxml | 0.7.1 | Avrådes från användning | 1.2.18 | dill | 0.3.8 |
| distlib | 0.3.8 | dm-tree | 0.1.9 | Omvandling av docstring till markdown | 0.11 |
| einops | 0.8.1 | Ingångspunkter | 0,4 | utvärdera | 0.4.3 |
| utföra | 0.8.3 | översikt över aspekter | 1.1.1 | Farama-Aviseringar | 0.0.4 |
| fastapi | 0.115.12 | fastjsonschema | 2.21.1 | Fasttext-hjul | 0.9.2 |
| fillåsning | 3.13.1 | flash_attn | 2.7.4.post1 | flaska | 2.2.5 |
| flatbuffers | 25.2.10 | fontverktyg | 4.51.0 | Fqdn | 1.5.1 |
| frozenlist | 1.4.0 | fsspec | 2023.5.0 | framtid | 0.18.3 |
| Gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.37 |
| google-api-core | 2.20.0 | Google-autentisering | 2.21.0 | google-auth-oauthlib | 1.2.1 |
| google-cloud-core | 2.4.3 | Google Cloud Storage - molntjänst för lagring | 2.10.0 | "google-crc32c" | 1.7.1 |
| Googlepasta | 0.2.0 | google-återupptagbar-media | 2.7.2 | googleapis-common-protos | 1.70.0 |
| gql | 3.5.2 | graphql-core | 3.2.4 | greenlet | 3.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | gymnasieskola | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.11.0 | hjson | 3.1.0 | ferier | 0.54 |
| htmlmin | 0.1.12 | httpcore | 1.0.8 | httplib2 | 0.20.4 |
| httpx | 0.28.1 | huggingface-hub | 0.29.3 | IDNA | 3.7 |
| ImageHash | 4.3.1 | imageio | 2.33.1 | obalanserad inlärning | 0.12.3 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.5.2 | böja (grammatiskt) | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.6.1 |
| isoduration | 20.11.0 | det är farligt | 2.2.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 |
| Jedi | 0.19.1 | Jinja2 | 3.1.4 | jiter | 0.9.0 |
| jmespath | 1.0.1 | joblib | 1.4.2 | Joblibspark | 0.5.3 |
| json5 | 0.9.6 | jsonpatch | 1,33 | jsonpointer | 3.0.0 |
| jsonschema | 4.19.2 | jsonschema-specifikationer | 2023.7.1 | jupyter-händelser | 0.10.0 |
| jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | jupyterlab | 4.0.11 |
| jupyterlab-pygments | 0.1.2 | jupyterlab_server | 2.25.1 | Keras | 3.9.0 |
| kiwisolver (ett verktyg/programvara) | 1.4.4 | langchain | 0.3.21 | langchain-core | 0.3.51 |
| textdelare för langchain | 0.3.8 | språkkoder | 3.5.0 | langsmith | 0.1.133 |
| språkdata | 1.3.0 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | trög laddare | 0,4 | libclang | 15.0.6.1 |
| librosa | 0.10.2 | lightgbm | 4.5.0 | blixtverktyg | 0.14.3 |
| linkify-it-py | 2.0.0 | llvmlite | 0.42.0 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.2.0 | Markdown | 3.4.1 |
| markdown –it-py | 2.2.0 | MarkupSafe | 2.1.3 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.17.1 | felstämning | 2.0.4 |
| ml-dtypes | 0.4.1 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.11.0 | mpmath | 1.3.0 |
| MSAL | 1.32.0 | msal-förlängningar | 1.3.1 | MessagePack | 1.1.0 |
| multidikt | 6.0.4 | flera metoder | 1.12 | multiprocesshantering | 0.70.16 |
| murmurhash | 1.0.12 | mypy | 1.10.0 | mypy-extensions | 1.0.0 |
| namex | 0.0.8 | nbclient | 0.8.0 | nbconvert | 7.10.0 |
| nbformat | 5.9.2 | nest-asyncio | 1.6.0 | networkx bibliotek för nätverksanalys | 3.2.1 |
| ninja | 1.11.1.1 | nltk | 3.8.1 | nodeenv | 1.9.1 |
| anteckningsbok | 7.0.8 | anteckningsbok_shim | 0.2.3 | numba | 0.59.1 |
| numpy | 1.26.4 | nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 |
| nvidia-cuda-nvrtc-cu12 | 12.4.127 | nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 |
| nvidia-cufft-cu12 | 11.2.1.3 | nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 |
| nvidia-cusparse-cu12 | 12.3.1.170 | nvidia-cusparselt-cu12 | 0.6.2 | nvidia-nccl-cu12 | 2.21.5 |
| nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 | oauthlib (ett OAuth-bibliotek) | 3.2.0 |
| Oci | 2.150.0 | openai | 1.69.0 | opencensus | 0.11.4 |
| OpenCensus-kontext | 0.1.3 | opentelemetri-api | 1.32.0 | opentelemetry-sdk | 1.32.0 |
| opentelemetry-semantic-conventions (semantiska konventioner för Opentelemetry) | 0.53b0 | opt_einsum | 3.4.0 | Optree | 0.15.0 |
| optuna | 3.6.1 | Optuna-integration | 3.6.0 | orjson | 3.10.16 |
| Åsidosätter | 7.4.0 | emballage | 24.1 | Pandas | 1.5.3 |
| pandocfilter | 1.5.0 | paramiko | 3.4.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | Patsy | 0.5.6 | pexpect (ett Python-bibliotek för styrning av fjärrterminaler) | 4.8.0 |
| phik | 0.12.4 | kudde | 10.3.0 | Pip (pakethanterare för Python) | 24,2 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggaktig | 1.0.0 |
| pmdarima | 2.0.4 | Pooch | 1.8.2 | (kontextberoende, ingen direkt översättning utan mer information) | 3.0.9 |
| prometheus-client | 0.14.1 | prompt-verktygslåda | 3.0.43 | profet | 1.1.6 |
| proto-plus | 1.26.1 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.13.6 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantisk | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | PyNaCl | 1.5.0 |
| pyodbc | 5.0.1 | pyOpenSSL | 24.0.0 | pyparsing (ett Python-bibliotek för att analysera text) | 3.0.9 |
| pyright | 1.1.294 | pytesseract | 0.3.10 | python-dateutil | 2.9.0.post0 |
| python-editor (programredigerare för Python) | 1.0.4 | python-json-logger | 2.0.7 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.10.0 | python-snappy | 0.6.1 | pytoolconfig | 1.2.6 |
| pytorch-ranger | 0.1.1 | pytz | 2024.1 | PyWavelets | 1.5.0 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | frågeformulär | 2.1.0 |
| stråle | 2.37.0 | Referenser | 0.30.2 | regex | 2023-10-03 |
| begäranden | 2.32.2 | requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 |
| RFC 3339-valideringsverktyg | 0.1.4 | rfc3986-validator (validerare för RFC 3986) | 0.1.1 | rik | 13.3.5 |
| rep | 1.12.0 | rpds-py | 0.10.6 | RSA | 4,9 |
| ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3transfer | 0.10.2 |
| säkra tensorer | 0.4.4 | scikit-image | 0.23.2 | scikit-learn (en maskininlärningsbibliotek) | 1.4.2 |
| scipy | 1.13.1 | född vid havet | 0.13.2 | Send2Trash | 1.8.2 |
| meningstransformatorer | 3.4.1 | meningsstycke | 0.2.0 | setuptools | 74.0.0 |
| Shap | 0.46.0 | shellingham | 1.5.4 | simplejson | 3.17.6 |
| sex | 1.16.0 | Skärmaskin | 0.0.8 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | ljudfil | 0.12.1 |
| soupsieve | 2,5 | soxr | 0.5.0.post1 | rymdlik | 3.7.5 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.30 |
| sqlparse | 0.4.2 | seriööst | 2.5.1 | ssh-import-id | 5.11 |
| stapeldatastruktur | 0.2.0 | stanio | 0.5.1 | starlette | 0.46.2 |
| statsmodels (ett verktyg för statistisk modellering) | 0.14.2 | sympy | 1.13.1 | Tabellera | 0.9.0 |
| tilltrasslad i unicode | 0.2.0 | uthållighet | 8.2.2 | TensorBoard | 2.17.0 |
| tensorboard-data-server (datahanteringsserver för TensorBoard) | 0.7.2 | tensorboard-insticksmodul-profil | 2.17.0 | tensorboardX | 2.6.2.2 |
| TensorFlow | 2.17.0 | tensorflow-estimator (en komponent i TensorFlow för modeller) | 2.15.0 | termcolor | 3.0.1 |
| avslutad | 0.17.1 | textuell | 3.1.0 | tf_keras | 2.17.0 |
| thinc | 8.2.5 | threadpoolctl | 2.2.0 | TIFF-fil | 2023.4.12 |
| tiktoken | 0.7.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| Tokeniserare | 0.21.0 | Tomli | 2.0.1 | ficklampa | 2.6.0+cu124 |
| torch-optimizer-verktyget | 0.3.0 | torcheval | 0.0.7 | torchmetrics | 1.6.0 |
| Fackelsyn | 0.21.0+cu124 | tornad | 6.4.1 | tqdm | 4.66.4 |
| Traitlets | 5.14.3 | Transformatorer | 4.50.2 | Triton | 3.2.0 |
| typskydd | 4.4.2 | typer | 0.15.2 | typer-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| typer av förfrågningar | 2.31.0.0 | types-setuptools | 68.0.0.0 | typ-6 | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | obevakade uppgraderingar | 0,1 | URI-mall | 1.3.0 |
| urllib3 | 1.26.16 | uvicorn | 0.34.1 | validatorer | 0.34.0 |
| virtualenv | 20.26.2 | Visioner | 0.7.5 | wadllib | 1.3.6 |
| Wasabi | 1.1.3 | wcwidth | 0.2.5 | vessla | 0.4.1 |
| webcolors | 24.11.1 | webbkodningar | 0.5.1 | websocket-klient | 1.8.0 |
| websockets | 11.0.3 | Werkzeug | 3.0.3 | whatthepatch | 1.0.2 |
| hjul | 0.43.0 | ordmoln | 1.9.4 | inhöljd | 1.14.1 |
| xgboost | 2.0.3 | xgboost-ray | 0.1.19 | xxhash | 3.4.1 |
| yapf | 0.33.0 | jarl | 1.9.3 | ydata-profilering | 4.9.0 |
| blixtlås | 3.17.0 | zstd | 1.5.5.1 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 16.4 LTS.
Java- och Scala-bibliotek (Scala 2.12-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 16.4 LTS innehåller Databricks Runtime 16.4 LTS ML följande JAR:er:
CPU-kluster
| grupp-id | Artefakt-ID | Utgåva |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU-kluster
| grupp-id | Artefakt-ID | Utgåva |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |