Databricks Runtime 15.1 (EoS)

Följande viktig information innehåller information om Databricks Runtime 15.1, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i april 2024.

Icke-bakåtkompatibla ändringar

Stöd för Databricks Runtime 15.0 och Databricks Runtime 15.0 för Machine Learning upphör den 31 maj 2024 eftersom en uppgradering av Pandas-biblioteket från 1.5.3 till 2.0.3 i 15.0 orsakade en icke-bakåtkompatibel ändring i flera Apache Spark-API:er. Mer information om de icke-bakåtkompatibla ändringarna finns i Pandas Python-biblioteket nedgraderas till 1.5.3. För att lösa den här inkompatibiliteten har Databricks släppt Databricks Runtime 15.1 och Databricks Runtime 15.1 för Machine Learning. Funktionerna som stöds av dessa versioner är desamma som 15.0-versionerna, men med Pandas-versionen nedgraderad till 1.5.3.

Alla befintliga kluster eller jobb som använder Databricks Runtime 15.0-versioner fortsätter att fungera men får inte produkt- eller säkerhetsuppdateringar. Du kan inte längre konfigurera ny beräkning som använder Databricks Runtime 15.0 eller Databricks Runtime 15.0 ML i Databricks-användargränssnittet. Om du inte använder funktioner eller API:er som kräver Pandas 2.0+, rekommenderar Databricks att du byter dessa arbetsbelastningar till Databricks Runtime 15.1.

Om du använder funktioner eller API:er som endast är tillgängliga i Pandas 2.0+ och inte använder några funktioner som påverkas av den här versionen rekommenderar Databricks att växla till Databricks Runtime 15.1 och uppgradera standardpaketet för Pandas med hjälp av kluster - eller notebook-omfångsbibliotek . Om du till exempel vill uppgradera Pandas-biblioteket i en Databricks-notebook-fil använder du följande kommando:

%pip install pandas==2.0.3

Pandas Python-biblioteket nedgraderas till 1.5.3

I den här versionen nedgraderas Pandas-biblioteket från version 2.0.3 till 1.5.3. Den här nedgraderingen krävdes eftersom inkompatibiliteter i 2.0.3-versionen av Pandas orsakade fel i vissa Pandas API på Spark-funktioner. Följande visar de funktioner som påverkas av 2.0.3-versionen av Pandas:

• pyspark.date_range: Parametern closed saknas och orsakar fel när den här funktionen anropas av befintlig kod.
• Funktionerna i GroupBy med MultiIndex kolumner ändras, vilket orsakar oväntat beteende.
• Vissa datetime attribut för DatetimeIndex (till exempel day, month, yearoch så vidare) returnerar int32 datatyper i stället för int64 datatyper.

Funktionen PySpark spark.sql() misslyckas nu för ogiltiga argumenttyper

I Databricks Runtime 15.1 och senare måste parametern args för namngivna parametrar eller positionsparametrar som skickas till funktionen spark.sql() vara en ordlista eller lista. Om någon annan objekttyp skickas utlöses följande fel: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Lagring av bibliotek i DBFS-roten är inaktuell och inaktiverad som standard

För att förbättra säkerheten för bibliotek på en Azure Databricks-arbetsyta är lagring av biblioteksfiler i DBFS-roten inaktuell och inaktiverad som standard från och med Databricks Runtime 15.1. Databricks rekommenderar att du laddar upp alla bibliotek, inklusive Python-bibliotek, JAR-filer och Spark-anslutningsappar, till arbetsytefiler, Unity Catalog-volymer eller med hjälp av en paketlagringsplats. Se Rekommendationer för att ladda upp bibliotek.

Om du vill återaktivera lagringsbibliotek i DBFS-roten anger du följande Spark-konfigurationsparameter: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Standardversionen av Python uppgraderas från 3.10 till 3.11

Med Databricks Runtime 15.1 är standardversionen av Python 3.11.0. Listan över uppgraderade Python-bibliotek finns i Biblioteksuppgraderingar.

JDK 11 tas bort

Som tidigare meddelats tas JDK 11 bort från Databricks Runtime 15.1 och senare. Databricks rekommenderar att du uppgraderar till JDK 17 när du uppgraderar till Databricks Runtime 15.1 och senare. Se Databricks SDK för Java.

Python REPL avslutas nu på ett smidigt sätt

Med Databricks Runtime 15.1 avslutas nu notebook-filens Python REPL-process på ett smidigt sätt vid avslut. Detta gör att alla atexitkrokar respekteras. I ett arbetsflöde med flera Python Notebook-uppgifter kan atexit-hookar som registrerats i den första aktiviteten köras innan den andra python-notebook-aktiviteten körs.

Nya funktioner och förbättringar

• satsen * (star) stöds nu i WHERE-satsen
• Konfigurationen spark.sql.json.enablePartialResults är nu aktiverad som standard
• Klusterbibliotek stöder nu requirements.txt filer
• Databricks CLI är nu tillgängligt i webbterminalen
• Lägga till standardlagringsplatser för Python i klusterkonfigurationer
• Webbterminal tillgänglig på standardkluster
• Autentiseringsuppgiftsöverföring och åtkomstkontrollerna för Hive-metastore-tabeller är föråldrade

*-satsen (stjärna) stöds nu i WHERE-satsen

Nu kan du använda stjärn-satsen (*) i satsen WHERE för att referera till alla kolumner från listan SELECT. Exempel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)

Konfigurationen spark.sql.json.enablePartialResults är nu aktiverad som standard

Spark-konfigurationen spark.sql.json.enablePartialResults är nu aktiverad som standard, vilket gör att JSON-parsern kan hantera parsningsfel för komplexa typer som struct, map och array utan att släppa de återstående fälten. Den här ändringen åtgärdar ett konsekvensproblem för JSON-datakällor med kolumnrensning.

Klusterbibliotek stöder nu requirements.txt filer

Nu kan du installera klusterbibliotek med hjälp av en requirements.txt fil som lagras i en arbetsytefil eller unity catalog-volym. I dedikerade och standardåtkomstlägeskluster kan filen referera till andra filer.requirements.txt I Kluster med delat åtkomstläge utan isolering stöds endast PyPI-paket. Se även beräkningsspecifika bibliotek.

Databricks CLI är nu tillgängligt i webbterminalen

Nu kan du använda Databricks CLI från webbterminalen i notebook-filen. Anteckningsboken måste vara ansluten till ett kluster i läget Dedikerad eller Ingen isolering för delad åtkomst. Mer information finns i Använda webbterminal och Databricks CLI.

Lägga till standardlagringsplatser för Python i klusterkonfigurationer

I Databricks Runtime 15.1 och senare kan du konfigurera globala pip index-url och extra-index-url parametrar för installation av kluster- och notebook-omfångsbibliotek när du konfigurerar ett kluster eller definierar en klusterprincip. Det gör du genom att ange miljövariablerna DATABRICKS_PIP_INDEX_URL och DATABRICKS_PIP_EXTRA_INDEX_URL.

Webbterminal tillgänglig på standardkluster

I Databricks Runtime 15.1 och senare kan du använda webbterminalen i kluster med standardåtkomstläge .

Åtkomstkontrollerna för autentiseringsuppgifter och Hive-metaarkivtabellen är inaktuella

Vidarebefordran av autentiseringsuppgifter och åtkomstkontroller för Hive metadatabastabeller är äldre datastyrningsmodeller. Uppgradera till Unity Catalog för att förenkla säkerheten och styrningen av dina data genom att tillhandahålla en central plats för att administrera och granska dataåtkomst över flera arbetsytor i ditt konto. Se även Vad är Unity Catalog?.

Stöd för återgivning av autentiseringsuppgifter och åtkomstkontroller för Hive-metastoretabeller kommer att tas bort i en kommande DBR-version.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • svart från 22.6.0 till 23.3.0
  • boto3 från 1.24.28 till 1.34.39
  • botocore från 1.27.96 till 1.34.39
  • certifi från 2022.12.7 till 2023.7.22
  • kryptografi från 39.0.1 till 41.0.3
  • databricks-sdk från 0.1.6 till 0.20.0
  • distlib från 0.3.7 till 0.3.8
  • googleapis-common-protos från 1.62.0 till 1.63.0
  • grpcio från 1.48.2 till 1.60.0
  • grpcio-status från 1.48.1 till 1.60.0
  • importlib-metadata från 4.6.4 till 6.0.0
  • ipykernel från 6.25.0 till 6.25.1
  • ipython från 8.14.0 till 8.15.0
  • ipywidgets från 7.7.2 till 8.0.4
  • jupyter_core från 5.2.0 till 5.3.0
  • jupyterlab-widgets från 1.0.0 till 3.0.5
  • matplotlib från 3.7.0 till 3.7.2
  • pip från 22.3.1 till 23.2.1
  • platformdirs från 2.5.2 till 3.10.0
  • protobuf från 4.24.0 till 4.24.1
  • pyarrow från 8.0.0 till 14.0.1
  • Pygments från 2.11.2 till 2.15.1
  • pyodbc från 4.0.32 till 4.0.38
  • begäranden från 2.28.1 till 2.31.0
  • s3transfer från 0.6.2 till 0.10.0
  • scikit-learn från 1.1.1 till 1.3.0
  • scipy från 1.10.0 till 1.11.1
  • setuptools från 65.6.3 till 68.0.0
  • statsmodels från 0.13.5 till 0.14.0
  • från 8.1.0 till 8.2.2
  • tornado från 6,1 till 6,3,2
  • typing_extensions från 4.4.0 till 4.7.1
  • urllib3 från 1.26.14 till 1.26.16
  • virtualenv från 20.16.7 till 20.24.2
  • widgetsnbextension från 3.6.1 till 4.0.5
  • zipp från 1.0.0 till 3.11.0
• Uppgraderade R-bibliotek:
  • pil från 12.0.1 till 14.0.0.2
  • askpass från 1.1 till 1.2.0
  • bas från 4.3.1 till 4.3.2
  • brygg från 1,0-8 till 1,0-10
  • brio från 1.1.3 till 1.1.4
  • bslib från 0.5.0 till 0.6.1
  • cli från 3.6.1 till 3.6.2
  • commonmark från 1.9.0 till 1.9.1
  • kompilator från 4.3.1 till 4.3.2
  • konfiguration från 0.3.1 till 0.3.2
  • cpp11 från 0.4.4 till 0.4.7
  • autentiseringsuppgifter från 1.3.2 till 2.0.1
  • curl från 5.0.1 till 5.2.0
  • data.table från 1.14.8 till 1.15.0
  • datauppsättningar från 4.3.1 till 4.3.2
  • DBI från 1.1.3 till 1.2.1
  • dbplyr från 2.3.3 till 2.4.0
  • desc från 1.4.2 till 1.4.3
  • sammanfatta från 0.6.33 till 0.6.34
  • dplyr från 1.1.2 till 1.1.4
  • e1071 från 1,7-13 till 1,7-14
  • utvärdera från 0,21 till 0,23
  • fansi från 1.0.4 till 1.0.6
  • fontawesome från 0.5.1 till 0.5.2
  • fs från 1.6.2 till 1.6.3
  • från 1.33.0 till 1.33.1
  • future.apply från 1.11.0 till 1.11.1
  • gargle från 1.5.1 till 1.5.2
  • gert från 1.9.2 till 2.0.1
  • ggplot2 från 3.4.2 till 3.4.4
  • glmnet från 4.1-7 till 4.1-8
  • lim från 1.6.2 till 1.7.0
  • grafik från 4.3.1 till 4.3.2
  • grDevices från 4.3.1 till 4.3.2
  • rutnät från 4.3.1 till 4.3.2
  • gtable från 0.3.3 till 0.3.4
  • hardhat från 1.3.0 till 1.3.1
  • haven från 2.5.3 till 2.5.4
  • htmltools från 0.5.5 till 0.5.7
  • htmlwidgets från 1.6.2 till 1.6.4
  • httpuv från 1.6.11 till 1.6.14
  • httr från 1.4.6 till 1.4.7
  • httr2 från 0.2.3 till 1.0.0
  • jsonlite från 1.8.7 till 1.8.8
  • stickning från 1,43 till 1,45
  • etikettering från 0.4.2 till 0.4.3
  • senare från 1.3.1 till 1.3.2
  • lava från 1.7.2.1 till 1.7.3
  • livscykel från 1.0.3 till 1.0.4
  • listenv från 0.9.0 till 0.9.1
  • lubridat från 1.9.2 till 1.9.3
  • markdown från 1.7 till 1.12
  • metoder från 4.3.1 till 4.3.2
  • openssl från 2.0.6 till 2.1.1
  • parallell från 4.3.1 till 4.3.2
  • pkgbuild från 1.4.2 till 1.4.3
  • pkgload från 1.3.2.1 till 1.3.4
  • från 1,8,8 till 1,8,9
  • prettyunits från 1.1.1 till 1.2.0
  • pROC från 1,18,4 till 1,18,5
  • processx från 3.8.2 till 3.8.3
  • prodlim från 2023.03.31 till 2023.08.28
  • framsteg från 1.2.2 till 1.2.3
  • progressr från 0.13.0 till 0.14.0
  • löften från 1.2.0.1 till 1.2.1
  • ps från 1.7.5 till 1.7.6
  • purrr från 1.0.1 till 1.0.2
  • ragg från 1.2.5 till 1.2.7
  • Rcpp från 1.0.11 till 1.0.12
  • RcppEigen från 0.3.3.9.3 till 0.3.3.9.4
  • readr från 2.1.4 till 2.1.5
  • recept från 1.0.6 till 1.0.9
  • rematch från 1.0.1 till 2.0.0
  • remotes från 2.4.2 till 2.4.2.1
  • reprex från 2.0.2 till 2.1.0
  • rlang från 1.1.1 till 1.1.3
  • rmarkdown från 2.23 till 2.25
  • RODBC från 1.3-20 till 1.3-23
  • roxygen2 från 7.2.3 till 7.3.1
  • rprojroot från 2.0.3 till 2.0.4
  • Rserve från 1,8-11 till 1,8-13
  • RSQLite från 2.3.1 till 2.3.5
  • sass från 0.4.6 till 0.4.8
  • skalar från 1.2.1 till 1.3.0
  • glänsande från 1.7.4.1 till 1.8.0
  • sparklyr från 1.8.1 till 1.8.4
  • splines från 4.3.1 till 4.3.2
  • statistik från 4.3.1 till 4.3.2
  • stats4 från 4.3.1 till 4.3.2
  • stringi från 1.7.12 till 1.8.3
  • stringr från 1.5.0 till 1.5.1
  • systemfonts från 1.0.4 till 1.0.5
  • tcltk från 4.3.1 till 4.3.2
  • testthat från 3.1.10 till 3.2.1
  • textshaping från 0.3.6 till 0.3.7
  • tidyr från 1.3.0 till 1.3.1
  • timechange från 0.2.0 till 0.3.0
  • timeDate från 4022.108 till 4032.109
  • tinytex från 0,45 till 0,49
  • verktyg från 4.3.1 till 4.3.2
  • utf8 från 1.2.3 till 1.2.4
  • från 4.3.1 till 4.3.2
  • uuid från 1.1-0 till 1.2-0
  • vctrs från 0.6.3 till 0.6.5
  • vroom från 1.6.3 till 1.6.5
  • waldo från 0.5.1 till 0.5.2
  • withr från 2.5.0 till 3.0.0
  • xfun från 0,39 till 0,41
  • xml2 från 1.3.5 till 1.3.6
  • yaml från 2.3.7 till 2.3.8
  • zip från 2.3.0 till 2.3.1
• Uppgraderade Java-bibliotek:
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.15.1 till 2.16.0
  • com.google.flatbuffers.flatbuffers-java från 1.12.0 till 23.5.26
  • com.typesafe.config från 1.2.1 till 1.4.3
  • org.apache.ant.ant från 1.9.16 till 1.10.11
  • org.apache.ant.ant-jsch från 1.9.16 till 1.10.11
  • org.apache.ant.ant-launcher från 1.9.16 till 1.10.11
  • org.apache.arrow.arrow-format från 12.0.1 till 15.0.0
  • org.apache.arrow.arrow-memory-core från 12.0.1 till 15.0.0
  • org.apache.arrow.arrow-memory-netty från 12.0.1 till 15.0.0
  • org.apache.arrow.arrow-vector från 12.0.1 till 15.0.0
  • org.apache.avro.avro från 1.11.2 till 1.11.3
  • org.apache.avro.avro-ipc från 1.11.2 till 1.11.3
  • org.apache.avro.avro-mapred från 1.11.2 till 1.11.3
  • org.apache.logging.log4j.log4j-1.2-api från 2.20.0 till 2.22.1
  • org.apache.logging.log4j.log4j-api från 2.20.0 till 2.22.1
  • org.apache.logging.log4j.log4j-core från 2.20.0 till 2.22.1
  • org.apache.logging.log4j.log4j-slf4j2-impl från 2.20.0 till 2.22.1
  • org.postgresql.postgresql från 42.6.0 till 42.6.1

Apache Spark

Databricks Runtime 15.1 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.3 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-45527] [DBRRM-805][es-1073714] Återställ "[SC-151626][core] Använd bråktal för att utföra resursberäkningen"
• [SPARK-47102] [DBRRM-803][sc-158253][SQL] Lägg till konfigurationsflaggan COLLATION_ENABLED
• [SPARK-46973] [SC-158140][dbrrm-777][SQL] Hoppa över V2-tabellsökning när en tabell finns i V1-tabellcachen
• [SPARK-46808] [SC-154113][python] Förfina felklasser i Python med automatisk sorteringsfunktion
• [SPARK-47251] [SC-158291][python] Blockera ogiltiga typer från args argumentet för sql kommandot
• [SPARK-47251] [SC-158121][python] Blockera ogiltiga typer från args argumentet för sql kommandot
• [SPARK-47108] [SC-157204][core] Satt derby.connection.requireAuthentication till false uttryckligen i CLIs
• [SPARK-45599] [SC-157537][core] Använd objektjämlikhet i OpenHashSet
• [SPARK-47099] [SC-157352][sql] Använd ordinalNumber för att enhetligt ange värdet paramIndex för för felklassen UNEXPECTED_INPUT_TYPE
• [SPARK-46558] [SC-151363][connect] Extrahera en hjälpfunktion för att eliminera duplicerad kod som hämtas MessageParameters från ErrorParams i GrpcExceptionConverter
• [SPARK-43117] [SC-156177][connect] Ge stöd för ProtoUtils.abbreviate upprepade fält
• [SPARK-46342] [SC-150283][sql] Ersätt IllegalStateException med SparkException.internalError i sql
• [SPARK-47123] [SC-157412][core] JDBCRDD hanterar inte fel korrekt i getQueryOutputSchema
• [SPARK-47189] [SC-157667][sql] Justera kolumnfelnamn och text
• [SPARK-45789] [SC-157101][sql] Stöd DESCRIBE TABLE för klustringskolumner
• [SPARK-43256] [SC-157699][sql] Ta bort felklass _LEGACY_ERROR_TEMP_2021
• [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics kontrollerar indatatyper
• [SPARK-47183] [SC-157660][python] Åtgärda felklassen för sameSemantics
• [SPARK-47179] [SC-157663][sql] Förbättra felmeddelandet från SparkThrowableSuite för bättre debuggability
• [SPARK-46965] [SC-155791][core] Kontrollera logType in Utils.getLog
• [SPARK-46832] [SC-156774][sql] Introduktion till sorterings- och sorteringsuttryck
• [SPARK-46946] [SC-155721][sql] Stöd för sändning av flera filtreringsnycklar i DynamicPruning
• [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Lägg till information om varianttyp i PySpark
• [SPARK-47101] [SC-157360][sql] Tillåt att kommatecken används i kolumnnamn på den översta nivån och ta bort kontrollen av kapslade typdefinitioner i HiveExternalCatalog.verifyDataSchema
• [SPARK-47173] [SC-157571][ss][UI] Åtgärda ett stavfel i förklaring av strömmande användargränssnitt
• [SPARK-47113] [SC-157348][core] Återställ S3A-slutpunktskorrigeringslogik för SPARK-35878
• [SPARK-47130] [SC-157462][core] Använd listStatus för att kringgå blockplatsinformation vid rensning av drivrutinsloggar
• [SPARK-43259] [SC-157368][sql] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2024
• [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec bör initiera osäker projektion
• [SPARK-47137] [SC-157463][python][CONNECT] Lägg till getAll i spark.conf för funktionsparitet med Scala
• [SPARK-46924] [SC-154905][core] Fixa Load New-knapp i Master/HistoryServer Logggränssnitt
• [SPARK-47069] [SC-157370][python][CONNECT] Introduktion spark.profile.show/dump för SparkSession-baserad profilering
• [SPARK-46812] [SC-157075][sql][PYTHON] Gör mapInPandas/mapInArrow stöd för ResourceProfile
• [SPARK-46833] [SC-155866][sql] Sorteringar – Introduktion till CollationFactory som tillhandahåller jämförelse- och hashningsregler för sortering som stöds
• [SPARK-47057] [SC-157036][python] Återaktivera MyPy-datatest
• [SPARK-46934] [SC-157084][sql] Läs/skriv tur och retur för structtyp med specialtecken med HMS
• [SPARK-46727] [SC-153472][sql] Port classifyException() i JDBC-dialekter i felklasser
• [SPARK-46964] [SC-155740][sql] Ändra signaturen för frågekörningsfelet hllInvalidLgK för att ta ett heltal som fjärde argumentet
• [SPARK-46949] [SC-155719][sql] Stöd för CHAR/VARCHAR via ResolveDefaultColumns
• [SPARK-46972] [SC-155888][sql] Åtgärda asymmetrisk ersättning för char/varchar i V2SessionCatalog.createTable
• [SPARK-47014] [SC-156778][python][CONNECT] Implementera metoder dumpPerfProfiles och dumpMemoryProfiles of SparkSession
• [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Stöd för v2-profilering i group/cogroup applyInPandas/applyInArrow
• [SPARK-47040] [SC-156773][connect] Tillåt att Spark Connect Server-skript väntar
• [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Stöd för v2-profilering i aggregerade Pandas UDF:er
• [SPARK-47004] [SC-156499][connect] Lade till fler tester i ClientStreamingQuerySuite för att öka Scala-klienttesttäckningen
• [SPARK-46994] [SC-156169][python] Omstrukturera PythonWrite för att förbereda stöd för strömmande skrivning för python-datakälla
• [SPARK-46979] [SC-156587][ss] Lägg till stöd för att ange nyckel- och värdekodare separat och även för varje col-familj i RocksDB-tillståndslagerprovidern
• [SPARK-46960] [SC-155940][ss] Testar flera indataströmmar med TransformWithState-operatorn
• [SPARK-46966] [SC-156112][python] Lägg till UDTF-API för "analysera"-metoden för att ange delmängd av indatatabellkolumner som ska väljas
• [SPARK-46895] [SC-155950][core] Ersätt Timer med en schemalagd exekutor med en enda tråd
• [SPARK-46967] [SC-155815][core][UI] Dölj Thread Dump och Heap Histogram för Dead exekutorer i Executors användargränssnittet
• [SPARK-46512] [SC-155826][core] Optimera blandningsläsning när både sortering och kombination används.
• [SPARK-46958] [SC-155942][sql] Lägg till tidszon som saknas för att tvinga fram standardvärden
• [SPARK-46754] [SC-153830][sql][AVRO] Åtgärda komprimeringskodmatchning i definitions- och skrivalternativ för avro-tabeller
• [SPARK-46728] [SC-154207][python] Kontrollera installationen av Pandas korrekt
• [SPARK-43403] [SC-154216][ui] Se till att gamla SparkUI i HistoryServer har kopplats från innan du läser in nytt
• [SPARK-39910] [SC-156203][sql] Delegera sökvägskvalifikation till filsystemet under DataSource-filsökvägens globbning
• [SPARK-47000] [SC-156123] Återställ "[SC-156123][core] Använd getTotalMemorySize...
• [SPARK-46819] [SC-154560][core] Flytta felkategorier och tillstånd till JSON
• [SPARK-46997] [SC-156175][core] Aktivera spark.worker.cleanup.enabled som standard
• [SPARK-46865] [SC-156168][ss] Lägg till Batch-stöd för TransformWithState-operatorn
• [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate undvik onödig setField åtgärd
• [SPARK-46970] [SC-155816][core] Skriv om OpenHashSet#hasher med pattern matching
• [SPARK-46984] [SC-156024][python] Ta bort pyspark.copy_func
• [SPARK-47000] [SC-156123][core] Använd getTotalMemorySize i WorkerArguments
• [SPARK-46980] [SC-155914][sql][MINOR] Undvik att använda interna API:er i änd-till-änd-tester.
• [SPARK-46931] Återställ "[SC-155661][ps] Implementera {Frame, Series}.to_hdf"
• [SPARK-46618] [SC-153828][sql] Förbättra felmeddelanden för DATA_SOURCE_NOT_FOUND fel
• [SPARK-46849] [SC-154586][sql] Kör optimeraren på CREATE TABLE kolumnstandarder
• [SPARK-46911] [SC-155724][ss] Lägga till deleteIfExists-operatorn till StatefulProcessorHandleImpl
• [SPARK-43273] [SQL] Stöd lz4raw för komprimeringskodc för Parquet
• [SPARK-47002] [SC-156223][python] Returnera bättre felmeddelande om UDTF-metoden 'analysera' fältet 'orderBy' av misstag returnerar en lista med strängar
• [SPARK-46890] [SC-155802][sql] Åtgärda CSV-parsningsfel med förekomst av standardvärden och kolumnrensning
• [SPARK-46977] [SC-155892][core] En misslyckad begäran om att hämta en token från en NameNode bör inte hoppa över efterföljande tokenbegäranden
• [SPARK-46608] [SC-151806][sql] Återställ bakåtkompatibilitet för JdbcDialect.classifyException
• [SPARK-46908] [SC-155702][sql] Support stjärnvillkor i WHERE-satsen
• [SPARK-46908] [SC-155702][sql] Support stjärnvillkor i WHERE-satsen
• [SPARK-46852] [SC-155665][ss] Ta bort användningen av explicit nyckelkodare och skicka den implicit till operatorn för transformWithState-operatorn
• [SPARK-46864] [SC-155669][ss] Inkorporera godtyckliga StateV2 i nytt felklassramverk
• [SPARK-45807] [SC-155706][sql] Return View efter att ha anropat replaceView(..)
• [SPARK-46899] [SC-154651][core] Ta bort POST API:er från MasterWebUI när spark.ui.killEnabled är false
• [SPARK-46868] [SC-154539][core] Stöd för Spark Worker Log UI
• [SPARK-46931] [SC-155661][ps] Implementera {Frame, Series}.to_hdf
• [SPARK-46940] [SC-155667][core] Ta bort oanvänd updateSparkConfigFromProperties och isAbsoluteURI i o.a.s.u.Utils
• [SPARK-46929] [SC-155659][core][CONNECT][ss] Använd ThreadUtils.shutdown för att stänga trådpooler
• [SPARK-46400] [SC-155658][core][SQL] När det finns skadade filer på den lokala maven-lagringsplatsen hoppar du över cacheminnet och försöker igen
• [SPARK-46932] [SC-155655] Rensa importen i pyspark.pandas.test_*
• [SPARK-46683] [SC-154120] Skriva en underfrågasgenerator som genererar underfrågor permutationer för att öka testtäckningen
• [SPARK-46914] [SC-154776][ui] Förkorta appnamnet i sammanfattningstabellen på historiksidan
• [SPARK-46831] [SC-154699][sql] Sorteringar – Utöka StringType och PhysicalStringType med collationId-fält
• [SPARK-46816] [SC-154415][ss] Lägg till basstöd för ny godtycklig tillståndshanteringsoperator, enskild valueState-typ, flera tillståndsvariabler och underliggande stöd för kolumnfamiljer för RocksDBStateStoreProvider med/utan kontrollpunkter för ändringsloggar
• [SPARK-46925] [SC-154890][python][CONNECT] Lägg till en varning som instruerar att installera memory_profiler för minnesprofilering
• [SPARK-46927] [SC-154904][python] Gör så att assertDataFrameEqual det fungerar korrekt utan PyArrow
• [SPARK-46021] [SC-148987][core] Stöd för att avbryta framtida jobb som tillhör en jobbgrupp
• [SPARK-46747] [SC-154789][sql] Undvik genomsökning i getTableExistsQuery för JDBC-dialekter
• [SPARK-46904] [SC-154704][ui] Åtgärda visningsproblem med sammanfattning av användargränssnittet för historik
• [SPARK-46870] [SC-154541][core] Stöd för Spark Master Log UI
• [SPARK-46893] [SC-154780][ui] Ta bort infogade skript från användargränssnittsbeskrivningar
• [SPARK-46910] [SC-154760][python] Eliminera JDK-krav i PySpark-installation
• [SPARK-46907] [SC-154736][core] Visa drivrutinsloggplatsen i Spark History Server
• [SPARK-46902] [SC-154661][ui] Åtgärda Spark History Server UI för användning av ej exporterad setAppLimit
• [SPARK-46687] [SC-154725][python][CONNECT] Grundläggande stöd för SparkSession-baserad minnesprofilering
• [SPARK-46623] [SC-153831][core][MLLIB][sql] Ersätt SimpleDateFormat med DateTimeFormatter
• [SPARK-46875] [SC-154627][sql] När mode är null bör en NullPointExceptionnot utlösas
• [SPARK-46872] [SC-154543][core] Återställ log-view.js till att inte vara en modul
• [SPARK-46883] [SC-154629][core] Stöd /json/clusterutilization API
• [SPARK-46886] [SC-154630][core] Aktivera spark.ui.prometheus.enabled som standard
• [SPARK-46873] [SC-154638][ss] Återskapa inte nya StreamingQueryManager för samma Spark-session
• [SPARK-46829] [SC-154419][core] Ta bort createExecutorEnv från SparkEnv
• [SPARK-46827] [SC-154280][core] Gör RocksDBPersistenceEngine för att stödja en symbolisk länk
• [SPARK-46903] [SC-154662][core] Stöd för Spark History Server Logg UI
• [SPARK-46874] [SC-154646][python] Ta bort pyspark.pandas beroende från assertDataFrameEqual
• [SPARK-46889] [SC-154639][core] Verifiera spark.master.ui.decommission.allow.mode inställning
• [SPARK-46850] [SC-154443][sql] Konvertera _LEGACY_ERROR_TEMP_2102 till UNSUPPORTED_DATATYPE
• [SPARK-46704] [SC-153323][core][UI] Korrigera MasterPage för att sortera Running Drivers tabell efter Duration kolumn korrekt
• [SPARK-46796] [SC-154279][ss] Se till att rätt fjärrfiler (som nämns i metadata.zip) används vid RocksDB-versionsbelastning
• [SPARK-46888] [SC-154636][core] Åtgärda Master för att avvisa /workers/kill/ begäranden om avaktivering är inaktiverad
• [SPARK-46818] [SC-154422][sql] Förbättra felmeddelanden för Intervall med icke-vikbara indata
• [SPARK-46898] [SC-154649][connect] Förenkla protobuf-funktionstransformeringen i Planner
• [SPARK-46828] [SC-154413][sql] Ta bort det ogiltiga försäkran om fjärrläge för Spark SQL Shell
• [SPARK-46733] [SC-154274][core] Förenkla BlockManager genom att avslutsfunktionen endast beror på avbrottstråden.
• [SPARK-46777] [SC-154016][ss] Refaktorera katalysstruktur StreamingDataSourceV2Relation för att vara mer i linje med batchversionen
• [SPARK-46515] [SC-151716] Lägg till funktionen MONTHNAME
• [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion bör kontrollera nullbarheten
• [SPARK-46787] [SC-154404][connect] bloomFilter funktionen ska utlösas AnalysisException för ogiltiga indata
• [SPARK-46779] [SC-154045][sql] InMemoryRelation instanser av samma cachelagrade plan bör vara semantiskt likvärdiga
• [SPARK-45827] [SC-153973] Tillåt inte partitionering i kolumnen Variant
• [SPARK-46797] [SC-154085][core] Byt spark.deploy.spreadOut namn till spark.deploy.spreadOutApps
• [SPARK-46094] [SC-153421] Stöd för JVM-profilering för executor
• [SPARK-46746] [SC-153557][sql][AVRO] Bifoga codec-tillägget till avro-datakällans filer
• [SPARK-46698] [SC-153288][core] Ersätt Timer med en enkeltrådig schemalagd verkställare för ConsoleProgressBar.
• [SPARK-46629] [SC-153835] Korrigering för STRUCT-typ DDL plockar inte upp nullbarhet och kommentar
• [SPARK-46750] [SC-153772][connect][PYTHON] DataFrame API:er rensar koden
• [SPARK-46769] [SC-153979][sql] Förfina tidsstämpelrelaterad schemainferens
• [SPARK-46765] [SC-153904][python][CONNECT] Ange shuffle datatypen för seed
• [SPARK-46579] [SC-151481][sql] Redigera JDBC-url i felmeddelanden och loggar
• [SPARK-46686] [SC-153875][python][CONNECT] Grundläggande stöd för SparkSession-baserad Python UDF-profilerare
• [SPARK-46748] Återställ "[SC-153800][core] Ta bort *slav**.sh scri...
• [SPARK-46707] [SC-153833][sql] Lade till kastbart fält i uttryck för att förbättra predikat-pushdown
• [SPARK-46519] [SC-151278][sql] Rensa oanvända felklasser från error-classes.json filen
• [SPARK-46677] [SC-153426][sql][CONNECT] Åtgärda dataframe["*"] upplösning
• [SPARK-46317] [SC-150184][python][CONNECT] Matcha mindre beteenden i SparkSession med fullständig testtäckning
• [SPARK-46748] [SC-153800][core] Ta bort *slav**.sh skript
• [SPARK-46663] [SC-153490][python] Inaktivera minnesprofilering för Pandas UDF:er med iteratorer
• [SPARK-46410] [SC-150776][sql] Tilldela felklasser/underklasser till JdbcUtils.classifyException
• [SPARK-46277] [SC-150126][python] Verifiera start-URL:er med den angivna konfigurationen
• [SPARK-46612] [SC-153536][sql] Konvertera inte matristypsträng som hämtats från jdbc-drivrutinen
• [SPARK-46254] [SC-149788][python] Ta bort inaktuell Python 3.8/3.7-versionskontroll
• [SPARK-46490] [SC-151335][sql] Kräv felklasser i SparkThrowable underklasser
• [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Minska drivarens heap-användning genom att minska livslängden för TaskInfo.accumulables()
• [SPARK-46541] [SC-153109][sql][CONNECT] Åtgärda den tvetydiga kolumnreferensen i självkoppling
• [SPARK-46381] [SC-150495][sql] Migrera underklasser AnalysisException till felklasser
• [SPARK-46351] [SC-150335][sql] Kräv en felklass i AnalysisException
• [SPARK-46220] [SC-149689][sql] Begränsa teckenuppsättningar i decode()
• [SPARK-46369] [SC-150340][core] Ta bort kill länk från RELAUNCHING drivrutiner i MasterPage
• [SPARK-46052] [SC-153284][core] Ta bort funktionen TaskScheduler.killAllTaskAttempts
• [SPARK-46536] [SC-153164][sql] Stöd för GROUP BY calendar_interval_type
• [SPARK-46675] [SC-153209][sql] Ta bort oanvänd inferTimestampNTZ i ParquetReadSupport
• [SPARK-46717] [SC-153423][core] Förenkla ReloadingX509TrustManager genom att avslutningsoperationen endast beror på avbrottstråden.
• [SPARK-46722] [SC-153438][connect] Lägg till ett test om bakåtkompatibilitetskontroll för StreamingQueryListener i Spark Connect (Scala/PySpark)
• [SPARK-46187] [SC-149580][sql] Justera codegen och icke-codegen-implementering av StringDecode
• [SPARK-46258] [SC-149799][core] Lägg till RocksDBPersistenceEngine
• [SPARK-46216] [SC-149676][core] Förbättra FileSystemPersistenceEngine för att stödja komprimering
• [SPARK-46189] [SC-149567][ps][SQL] Utför jämförelser och aritmetik mellan samma typer i olika Pandas-aggregeringsfunktioner för att undvika fel i tolkat läge
• [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Minska stackdjupet genom att ersätta Option.isDefined med Option.isEmpty
• [SPARK-46700] [SC-153329][core] Räkna den sista utmatningen för måttet av utmatade byte på shuffle-disken
• [SPARK-45642] [SC-150286][core][SQL] Fix FileSystem.isFile & FileSystem.isDirectory is deprecated
• [SPARK-46640] [SC-153272][sql] Fix RemoveRedundantAlias genom att exkludera subquery-attribut
• [SPARK-46681] [SC-153287][core] Omarbeta ExecutorFailureTracker#maxNumExecutorFailures för att undvika att beräkna defaultMaxNumExecutorFailures när MAX_EXECUTOR_FAILURES är konfigurerad
• [SPARK-46695] [SC-153289][sql][HIVE] Ställ alltid in hive.execution.engine till mr
• [SPARK-46325] [SC-150228][connect] Ta bort onödiga åsidosättningsfunktioner när du WrappedCloseableIterator skapar i ResponseValidator#wrapIterator
• [SPARK-46232] [SC-149699][python] Migrera alla återstående ValueError till PySpark-felramverket.
• [SPARK-46547] [SC-153174][ss] Svälj icke-fatala undantag i underhållsuppgift för att undvika dödläge mellan underhållstråd och strömmande aggregeringsoperatör.
• [SPARK-46169] [SC-149373][ps] Tilldela lämpliga JIRA-nummer för saknade parametrar från DataFrame API:et.
• [SPARK-45857] [SC-148096][sql] Framtvinga felklasserna i underklasser av AnalysisException

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 15.1.

Systemmiljö

• Operativsystem: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta lake: 3.1.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)