Databricks Runtime 14.3 LTS

Följande versionsinformation ger information om Databricks Runtime 14.3 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i februari 2024.

Nya funktioner och förbättringar

• Stöd för arbetsytefilsystem i PySpark User-Defined Funktioner (användardefinierade funktioner, UDF) i kluster med standardåtkomstläge (tidigare delat åtkomstläge)
• Stöd för optimeringar av raderingsvektorer utan Photon
• Spark-katalog-API:er stöds nu fullt ut i standardåtkomstläge
• Delta UniForm är nu allmänt tillgängligt
• Ny SQL-funktion EXECUTE IMMEDIATE
• Beräkna om datahoppningsstatistik för Delta-tabeller
• Fråga tillståndsinformation för tillståndskänsliga strömningsfrågor
• Använda Microsoft Entra-ID för Kafka-autentisering i standardkluster
• Stöd har lagts till för fil- och partitionsrensning för att förbättra frågeprestanda
• Deklarera tillfälliga variabler i en SQL-session
• uppdateringar av Thriftserver för att ta bort oanvända funktioner
• Använd säkerhetsarkiv- och nyckelarkivfiler i Unity Catalog-volymer
• Stöd för internt XML-filformat (offentlig förhandsversion)
• Stöd för Cloudflare R2-lagring (offentlig förhandsversion)
• Spark och dbutils-åtkomst till arbetsytefiler stöds på Unity Catalog-kluster med standardåtkomst
• Init-skript och stöd för klusterbibliotek i Unity Catalog-kluster med standardåtkomst

Stöd för filsystem i arbetsyta i PySpark User-Defined Functions (UDFs) på kluster med standardåtkomstläge (tidigare delat åtkomstläge)

PySpark-UDF:er på standardkluster kan nu importera Python-moduler från Git-mappar, arbetsytefilereller UC-volymer.

Mer information om hur du arbetar med moduler i Git-mappar eller arbetsytefiler finns i Arbeta med Python- och R-moduler.

Stöd för deletion vector-optimeringar MERGE utan Photon

Foton krävs inte längre för MERGE-åtgärder att utnyttja optimeringar av borttagningsvektorer. Se Vad är borttagningsvektorer?.

Spark-katalog-API:er stöds nu fullt ut i standardåtkomstläge

Nu kan du använda alla funktioner i spark.catalog-API:et i både Python och Scala vid beräkning som konfigurerats med standardåtkomstläge.

Delta UniForm är nu allmänt tillgängligt

UniForm är nu allmänt tillgängligt och använder IcebergCompatV2 tabellfunktionen. Nu kan du aktivera eller uppgradera UniForm i befintliga tabeller. Se Läs Delta-tabeller med Iceberg-klienter.

Ny SQL-funktion EXECUTE IMMEDIATE

Nu kan du använda syntaxen för EXECUTE IMMEDIATE för att stödja parametriserade frågor i SQL. Se EXECUTE IMMEDIATE.

Räkna om datasamplingsstatistik för Delta-tabeller

Nu kan du beräkna om statistik som lagras i Delta-loggen efter att du har ändrat kolumner som används för att hoppa över data. Se även Ange deltastatistikkolumner.

Förfråga statusinformation för tillståndskänsliga strömningsfrågor

Nu kan du fråga strukturerad streamingtillståndsinformation och metadata. Se Läsa information om status för strukturerad direktuppspelning.

Använda Microsoft Entra-ID för Kafka-autentisering i standardkluster

Nu kan du autentisera Event Hubs-tjänster via OAuth med Microsoft Entra-ID vid beräkning som konfigurerats med standardåtkomstläge. Se Autentisering av tjänsthuvudnamn med Microsoft Entra-ID och Azure Event Hubs.

Stöd har lagts till för fil- och partitionsrensning för att förbättra frågeprestanda

För att påskynda vissa sökfrågor som förlitar sig på null-tolerant likvärdighet inom JOIN-villkor, stöder vi nu DynamicFilePruning och DynamicPartitionPruning för EqualNullSafe operatorn i JOIN.

Deklarera tillfälliga variabler i en SQL-session

Den här versionen introducerar möjligheten att deklarera tillfälliga variabler i en session som kan anges och sedan refereras till inifrån frågor. Se även Variabler.

Thriftserver-uppdateringar för att ta bort oanvända funktioner

Thriftserver-koden har uppdaterats för att ta bort kod för föråldrade funktioner. På grund av dessa ändringar stöds inte längre följande konfigurationer:

• Hive-hjälp-JAR:erna, som konfigurerats med egenskapen hive.aux.jars.path, stöds inte längre för hive-thriftserver anslutningar.
• Hive global init-filen (.hiverc), vars plats har konfigurerats med egenskapen hive.server2.global.init.file.location eller HIVE_CONF_DIR miljövariabeln, stöds inte längre för hive-thriftserver anslutningar.

Använda truststore- och keystore-filer i Unity Catalog-volymer

Nu kan du använda truststore- och keystore-filer i Unity Catalog-volymer för att autentisera mot ett Confluent Schema Registry för avro- eller protokollbuffertdata. Se dokumentationen för avro - eller protokollbuffertar.

Stöd för internt XML-filformat (offentlig förhandsversion)

Stöd för internt XML-filformat finns nu i offentlig förhandsversion. Stöd för XML-filformat möjliggör inmatning, frågor och parsning av XML-data för batchbearbetning eller strömning. Den kan automatiskt härleda och utveckla schema- och datatyper, stöder SQL-uttryck som from_xmloch kan generera XML-dokument. Det kräver inte externa burkar och fungerar sömlöst med Auto Loader, read_files, COPY INTOoch DLT. Se Läsa och skriva XML-filer.

Stöd för Cloudflare R2-lagring (offentlig förhandsversion)

Nu kan du använda Cloudflare R2 som molnlagring för data som registrerats i Unity Catalog. Cloudflare R2 är främst avsett för användningsfall för deltadelning där du vill undvika de avgifter för utgående data som debiteras av molnleverantörer när data korsar regioner. R2 Storage stöder alla Databricks-data och AI-tillgångar som stöds i AWS S3, Azure Data Lake Storage och Google Cloud Storage. Se Använda Cloudflare R2-repliker eller migrera lagring till R2 och Skapa en lagringsautentiseringsuppgift för att ansluta till Cloudflare R2.

Stöd för Spark- och dbutils-åtkomst till arbetsytefiler på Unity Catalog-kluster med standardåtkomst.

Spark- och dbutils-läs- och skrivåtkomst till arbetsytefiler stöds nu för Unity Catalog-kluster i standardåtkomstläge. Se Arbeta med arbetsytefiler.

Stöd för Init-skript och klusterbibliotek på Unity Catalog-kluster med standardåtkomst

Installation av klusteromfattande init-skript och Python- och JAR-bibliotek på Unity Catalog-kluster i standardåtkomstläge, inklusive installation med klusterprinciper, är nu allmänt tillgänglig. Databricks rekommenderar att du installerar init-skript och bibliotek från Unity Catalog-volymer.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • fastjsonschema från 2.19.0 till 2.19.1
  • filelock från 3.12.4 till 3.13.1
  • googleapis-common-protos från 1.61.0 till 1.62.0
  • förpackningsstorlek från 22,0 till 23,2
• Uppgraderade R-bibliotek:
  • utländsk från 0,8-82 till 0,8-85
  • nlme från 3.1-162 till 3.1-163
  • rpart från 4.1.19 till 4.1.21
• Uppgraderade Java-bibliotek:
  • com.databricks.databricks-sdk-java från 0.7.0 till 0.13.0
  • org.apache.orc.orc-core från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
  • Uppgradering av org.apache.orc.orc-mapreduce från 1.9.1-shaded-protobuf till 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims från 1.9.1 till 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 från 2.9.0 till 2.11.0

Apache Spark

Databricks Runtime 14.3 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-46541] [SC-153546][sql][CONNECT] Åtgärda den tvetydiga kolumnreferensen i self-join
• [SPARK-45433] Återställ "[SC-145163][sql] Fix CSV/JSON schema infer...
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Gör addArtifact återförsökbart
• [SPARK-46660] [SC-153391][connect] ReattachExecute begär uppdateringar för att hålla SessionHolder aktiv
• [SPARK-46670] [SC-153273][python][SQL] Gör DataSourceManager själv klonbar genom att separera statiska och körningsdatakällor i Python
• [SPARK-46720] [SC-153410][sql][PYTHON] Omstrukturera Python-datakälla så att den överensstämmer med andra inbyggda DSv2-datakällor
• [SPARK-46684] [SC-153275][python][CONNECT] Fix CoGroup.applyInPandas/Arrow för att skicka argumenten korrekt
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Kasta fel på flera XML-datakällor
• [SPARK-46382] [SC-151881][sql]XML: Standardvärde ignoreSurroundingSpaces till true
• [SPARK-46382] [SC-153178][sql] XML: Uppdatera dokumentation för ignoreSurroundingSpaces
• [SPARK-45292] Revert "[SC-151609][sql][HIVE] Ta bort Guava från delade klasser från IsolatedClientLoader"
• [SPARK-45292] [SC-151609][sql][HIVE] Ta bort Guava från delade klasser från IsolatedClientLoader
• [SPARK-46311] [SC-150137][core] Logga det slutliga tillståndet för förare under Master.removeDriver
• [SPARK-46413] [SC-151052][python] Validera returnType för Arrow Python UDF
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Fixa Avro-läsare för att hantera nollängdsblock
• [SPARK-46537] [SC-151286][sql] Konvertera NPE och assertioner från kommandon till interna fel
• [SPARK-46179] [SC-151678][sql] Lägg till CrossDbmsQueryTestSuites, som kör andra DBMS mot gyllene filer med andra DBMS, från och med Postgres
• [SPARK-44001] [SC-151413][protobuf] Lägg till alternativ för att tillåta uppackning av protobufs välkända omslagstyper
• [SPARK-40876] [SC-151786][sql] Breddning av typfrämjande för decimaler med högre skala i Parquet-läsare
• [SPARK-46605] [SC-151769][connect] Gör så att lit/typedLit-funktionen i anslutningsmodulen stödja s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] literalverifiering bör inte öka detaljnivån till null-fält
• [SPARK-37039] [SC-153094][ps] Åtgärda Series.astype så att den fungerar korrekt vid saknade värden
• [SPARK-46312] [SC-150163][core] Använd lower_camel_case i store_types.proto
• [SPARK-46630] [SC-153084][sql] XML: Verifiera XML-elementnamnet vid skrivning
• [SPARK-46627] [SC-152981][ss][UI] Åtgärda tidslinjens verktygstipsinnehåll på strömmande användargränssnittet
• [SPARK-46248] [SC-151774][sql] XML: Stöd för ignoreCorruptFiles och ignoreMissingFiles-alternativ
• [SPARK-46386] [SC-150766][python] Förbättra kontroll av observationer (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Uppdateringskommentar på isZero i AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Åtgärda loggfel i handleStatusMessage
• [SPARK-46568] [SC-151685][python] Gör Python-datakällalternativ till en skiftlägesokänslig ordlista
• [SPARK-46611] [SC-151783][core] Ta bort ThreadLocal genom att ersätta SimpleDateFormat med DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Ge Literal.apply stöd för s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Åtgärda utdatanamnet för pyspark.sql.functions.user och session_user
• [SPARK-46621] [SC-151794][python] Åtgärda null från Exception.getMessage i undantag fångat av Py4J
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader bör respektera minnesläget när du skapar kolumnvektorer för kolumnen som saknas
• [SPARK-46613] [SC-151778][sql][PYTHON] Logga fullständigt undantag när det inte gick att söka efter Python-datakällor
• [SPARK-46559] [SC-151364][mllib] Sätt in export i paketnamnet med backticks
• [SPARK-46522] [SC-151784][python] Blockera registrering av Python-datakällor med namnkonflikter
• [SPARK-45580] [SC-149956][sql] Hanterar fallet där en kapslad underfråga blir en existenssammanfogning
• [SPARK-46609] [SC-151714][sql] Undvik exponentiell tillväxt i PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][sql] Åtgärda NPE när du beskriver utökad kolumn utan kolstatistik
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Använd TypeCoercion.findTightestCommonType för kompatibilitetskontroll
• [SPARK-40876] [SC-151129][sql] Breddning av typfrämjningar i Parquet-läsare
• [SPARK-46179] [SC-151069][sql] Hämta kod till återanvändbara funktioner i SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Stöd s.c.immutable.ArraySeq som customCollectionCls i MapObjects
• [SPARK-46585] [SC-151622][core] Direkt konstruerad metricPeaks som en immutable.ArraySeq i stället för att använda mutable.ArraySeq.toSeq i Executor
• [SPARK-46488] [SC-151173][sql] Hoppar över trimAll-anrop under tidsstämpelparsning
• [SPARK-46231] [SC-149724][python] Migrera alla återstående NotImplementedError & TypeError till felhanteringsramverket för PySpark
• [SPARK-46348] [SC-150281][core] Stöd spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] Logga Spark HA återställningsvaraktighet
• [SPARK-46358] [SC-150307][connect] Förenkla villkorskontrollen i ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Ersätt aktuell tid/datum innan du utvärderar infogade tabelluttryck.
• [SPARK-46563] [SC-151441][sql] Visa simpleString följer inte konfigurationen spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Minska stackdjupet genom att ersätta (sträng|matris).storlek med (sträng|matris).längd
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(alla fält från en struktur) resulterar i ett assertionsfel
• [SPARK-46565] [SC-151414][python] Förfina felklasser och felmeddelanden för Python-datakällor
• [SPARK-46576] [SC-151614][sql] Förbättra felmeddelanden för ej stödda sparlägen av datakälla
• [SPARK-46540] [SC-151355][python] Respektera kolumnnamn när Python-datakällans läsfunktion matar ut Radobjekt med namn.
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite läcker Hive's SessionState
• [SPARK-44556] [SC-151562][sql] Återanvänd OrcTail när du aktiverar vectorizedReader
• [SPARK-46587] [SC-151618][sql] XML: Åtgärda XSD-konvertering av stora heltal
• [SPARK-46382] [SC-151297][sql] XML: Fånga värden insprängda mellan element
• [SPARK-46567] [SC-151447][core] Ta bort ThreadLocal för ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Automatisk registrering av Python Data Source vid start
• [SPARK-28386] [SC-151014][sql] Kan inte matcha ORDER BY kolumner med GROUP BY och HAVING
• [SPARK-46524] [SC-151446][sql] Förbättra felmeddelanden för ogiltigt spara-läge
• [SPARK-46294] [SC-150672][sql] Rensa semantik av init jämfört med nollvärde
• [SPARK-46301] [SC-150100][core] Stöd spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Ta bort kontrollen för c>=0 från ExternalCatalogUtils#needsEscaping eftersom det alltid är sant
• [SPARK-46553] [SC-151360][ps] FutureWarning för interpolate med objekt-datatyp
• [SPARK-45914] [SC-151312][python] Stöd för commit och abort API för Python-datakälleskrivning
• [SPARK-46543] [SC-151350][python][CONNECT] Gör json_tuple kasta PySparkValueError för tomma fält
• [SPARK-46520] [SC-151227][python] Stöd för skrivning i överskrivningsläge för datakälla i Python
• [SPARK-46502] [SC-151235][sql] Stöd för tidsstämpeltyper i UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][connect] Skicka meddelandeparametrar i metadata för ErrorInfo
• [SPARK-46397] Revert "[SC-151311][python][CONNECT] Funktion sha2 bör utlösa PySparkValueError för ogiltig numBits"
• [SPARK-46170] [SC-149472][sql] Stöd för att införa adaptiva frågepostplaneringsstrategiregler i SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable ska inte ladda tabellen
• [SPARK-46397] [SC-151311][python][CONNECT] Funktion sha2 bör generera PySparkValueError för ogiltig numBits
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables utlöser inget undantag när tabellen eller vyn inte hittas
• [SPARK-46272] [SC-151012][sql] Stöd för CTAS med DSv2-källor
• [SPARK-46480] [SC-151127][core][SQL] Åtgärda NPE när tabellcache-uppgiften försöks
• [SPARK-46100] [SC-149051][core][PYTHON] Minska stackdjupet genom att ersätta (sträng|matris).storlek med (sträng|matris).längd
• [SPARK-45795] [SC-150764][sql] DS V2 stöder nedrullningsläge
• [SPARK-46485] [SC-151133][sql] V1Write bör inte lägga till Sortera när det inte behövs
• [SPARK-46468] [SC-151121] [SQL] Hantera COUNT-bugg för EXISTS-underfrågor med aggregering utan grupperingsnycklar
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL-stöd
• [SPARK-46498] [SC-151199][core] Ta bort shuffleServiceEnabled från o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Ange ombaseringskonfigurationerna till CORRECTED läge som standard
• [SPARK-45525] [SC-151120][sql][PYTHON] Stöd för skrivning av Python-datakälla med DSv2
• [SPARK-46505] [SC-151187][connect] Gör bytetröskeln konfigurerbar i ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Ta bort äldre ombasering av datetime i SQL-konfigurationer
• [SPARK-46443] [SC-151123][sql] Decimalprecision och skala bör bestämmas med H2-dialekt.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] Åtgärda Stapeldiagrammet för Operationens Varaktighet på sidan för Strukturerad Streaming
• [SPARK-46207] [SC-151068][sql] Stödjer MergeInto i DataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Lägg till ett nytt API i DataWriter för att skriva en iterator av poster
• [SPARK-46273] [SC-150313][sql] Stöd INSERT INTO/OVERWRITE med DSv2-källor
• [SPARK-46344] [SC-150267][core] Varna korrekt när en körning avslutas framgångsrikt men mastern är frånkopplad
• [SPARK-46284] [SC-149944][python][CONNECT] Lägg till session_user funktion i Python
• [SPARK-46043] [SC-149786][sql] Stöd för att skapa tabell med DSv2-källor
• [SPARK-46323] [SC-150191][python] Åtgärda utdatanamnet för pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][python][CONNECT] Lägg till Column.isNaN i PySpark
• [SPARK-46456] [SC-151050][core] Lägg till spark.ui.jettyStopTimeout för att ställa in Jetty-serverns tidsgräns för stopp, för att avblockera SparkContext-avstängning
• [SPARK-43427] [SC-150356][protobuf] spark protobuf: tillåt upcasting av osignerade heltalstyper
• [SPARK-46399] [SC-151013][14.x][Kärna] Lägg till avslutningsstatus i programsluthändelsen för användning av Spark-lyssnaren
• [SPARK-46423] [SC-150752][python][SQL] Gör Python Data Source-instansen till DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][python][SQL] Stöder Python-mått i Python Data Source
• [SPARK-46330] [SC-151015] Inläsning av Spark-gränssnittsblock under en lång tid när HybridStore är aktiverat
• [SPARK-46378] [SC-150397][sql] Ta fortfarande bort Sort efter konvertering av Aggregate till Project
• [SPARK-45506] [SC-146959][connect] Lägg till ivy URI-stöd i SparkConnect addArtifact
• [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close() för att undvika minnesläckage
• [SPARK-46427] [SC-150759][python][SQL] Ändra Python-datakällans beskrivning så att den är ganska förklarande
• [SPARK-45597] [SC-150730][python][SQL] Stöd för att skapa en tabell med hjälp av en Python-datakälla i SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][python] Lägg till getMessageParameters och getQueryContext-stöd
• [SPARK-46453] [SC-150897][connect] Kasta undantag från internalError() i SessionHolder
• [SPARK-45758] [SC-147454][sql] Introducera en mappare för hadoop-komprimeringskod
• [SPARK-46213] [PYTHON] Inför PySparkImportError för felramverk
• [SPARK-46230] [SC-149960][python] Migrera RetriesExceeded som en PySpark-felmeddelande
• [SPARK-45035] [SC-145887][sql] Åtgärda ignoreCorruptFiles/ignoreMissingFiles med flerradiga CSV/JSON kommer att rapportera fel
• [SPARK-46289] [SC-150846][sql] Stöd för sortering av UDTs i tolkat läge
• [SPARK-46229] [SC-150798][python][CONNECT] Lägg till applyInArrow i groupBy och cogroup i Spark Connect
• [SPARK-46420] [SC-150847][sql] Ta bort oanvänd transport i SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Migrera alla återstående RuntimeError till PySpark-felramverket
• [SPARK-45796] [SC-150613][sql] Stödja MODE() INOM GRUPP (ORDER BY kol)
• [SPARK-40559] [SC-149686][python][14.X] Lägg till applyInArrow till groupBy och cogroup
• [SPARK-46069] [SC-149672][sql] Stöd för att omvandla tidsstämpeltypen till datumtyp
• [SPARK-46406] [SC-150770][sql] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Konvertera IllegalStateException till internalError i sessionsiteratorer
• [SPARK-45807] [SC-150751][sql] Förbättra ViewCatalog API
• [SPARK-46009] [SC-149771][sql][CONNECT] Slå samman parsningsregeln för PercentileCont och PercentileDisc till functionCall
• [SPARK-46403] [SC-150756][sql] Avkoda parquet binary med getBytesUnsafe-metoden
• [SPARK-46389] [SC-150779][core] Stäng RocksDB/LevelDB-instansen manuellt när checkVersion utlöser undantag
• [SPARK-46360] [SC-150376][python] Förbättra felsökning av felmeddelanden med nytt getMessage API
• [SPARK-46233] [SC-149766][python] Migrera alla återstående AttributeError till PySparks felramverk
• [SPARK-46394] [SC-150599][sql] Åtgärda problem med spark.catalog.listDatabases() i scheman med specialtecken när spark.sql.legacy.keepCommandOutputSchema är inställt på sant
• [SPARK-45964] [SC-148484][sql] Ta bort den privata SQL-accessorn i XML- och JSON-paketet under katalysatorpaketet
• [SPARK-45856] [SC-148691] Flytta ArtifactManager från Spark Connect till SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] Åtgärda spark-connect-scala-client startskript
• [SPARK-46416] [SC-150699][core] Lägg till @tailrec i HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Begränsa teckenuppsättningar i encode()
• [SPARK-46253] [SC-150416][python] Planera att läsa in Python-datakällan med MapInArrow
• [SPARK-46339] [SC-150266][ss] Katalog med batchnummernamn ska inte behandlas som metadatalogg
• [SPARK-46353] [SC-150396][core] Omstrukturera för att förbättra RegisterWorker enhetstesttäckning
• [SPARK-45826] [SC-149061][sql] Lägg till en SQL-konfiguration för stackspårningar i DataFrame-frågekontext
• [SPARK-45649] [SC-150300][sql] Ena förberedelse-ramverket för OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][core] Åtgärda Master så att den uppdaterar en worker från UNKNOWN till ALIVE på RegisterWorker msg
• [SPARK-46388] [SC-150496][sql] HiveAnalysis missar mönsterskyddet för query.resolved
• [SPARK-46401] [SC-150609][core] Använd !isEmpty() på RoaringBitmap i stället för getCardinality() > 0 i RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] Klassificera undantag i JDBC-tabellkatalogen
• [SPARK-45798] [SC-150513][connect] Uppföljning: lägg till serverSessionId i SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Lägg till timestampNTZType-stöd
• [SPARK-46075] [SC-150393][connect] Förbättringar av SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Ersätt felaktig dokumentationsanvändning av setConf med conf.set
• [SPARK-46202] [SC-150420][connect] Exponera nya ArtifactManager-API:er för att stödja anpassade målkataloger
• [SPARK-45824] [SC-147648][sql] Tvinga fram felklassen i ParseException
• [SPARK-45845] [SC-148163][ss][UI] Lägg till antal borttagna tillståndsrader i strömmande användargränssnitt
• [SPARK-46316] [SC-150181][core] Aktivera buf-lint-action på core modul
• [SPARK-45816] [SC-147656][sql] Returnera NULL vid överflöde vid kastning från tidsstämpel till heltal
• [SPARK-46333] [SC-150263][sql] Ersätt IllegalStateException med SparkException.internalError i katalysator
• [SPARK-45762] [SC-148486][core] Stöd för shufflehanterare definierade i användar-järn genom att ändra startordning
• [SPARK-46239] [SC-149752][core] Dölj Jetty info
• [SPARK-45886] [SC-148089][sql] Visa full stacktrace i callSite för DataFrame-kontext
• [SPARK-46290] [SC-150059][python] Ändra saveMode till en boolesk flagga för DataSourceWriter
• [SPARK-45899] [SC-148097][connect] Ange errorClass i errorInfoToThrowable
• [SPARK-45841] [SC-147657][sql] Exponera stackspår genom DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Stöd killall i REST Submission API
• [SPARK-46234] [SC-149711][python] Introducera PySparkKeyError för PySpark-felramverk
• [SPARK-45606] [SC-147655][sql] Ta bort begränsningar för körningsfilter i flera lager
• [SPARK-45725] [SC-147006][sql] Ta bort IN-delkörningsfiltret som inte är standard
• [SPARK-45694] [SC-147314][spark-45695][SQL] Rensa den inaktuella API-användningen View.force och ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] Gör withOrigin mer generisk
• [SPARK-46292] [SC-150086][core][UI] Visa en sammanfattning av arbetare i MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Använd LazyList i stället för Stream
• [SPARK-45888] [SC-149945][ss] Tillämpa felklassramverk på tillståndsdatakälla (metadata)
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed bör behålla dict/map-ordningen
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Rensa SeqOps.view och ArrayOps.view konverteringar
• [SPARK-46029] [SC-149255][sql] Flytta enkelfnutt, _ och % för DS V2 pushdown
• [SPARK-46275] [SC-150189] Protobuf: Returnera null i tillåtande läge när deserialiseringen misslyckas.
• [SPARK-46320] [SC-150187][core] Stöd spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Tryck inte ned Parquet-radgruppfilter som spills över
• [SPARK-46300] [SC-150097][python][CONNECT] Matcha mindre beteendematchning i Kolumn med fullständig testtäckning
• [SPARK-46298] [SC-150092][python][CONNECT] Match varning om utfasning, testfall och fel för Catalog.createExternalTable
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Rensa den inaktuella API-användningen relaterad till StringContext/StringOps/RightProjection/LeftProjection/Either och typanvändning av BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][sql] Stöd SHOW TABLE EXTENDED i v2
• [SPARK-45737] [SC-147011][sql] Ta bort onödiga .toArray[InternalRow] i SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] Kräv instanslås för att hämta RocksDB-mått för att förhindra kapplöpning med bakgrundsoperationer
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed bör respektera dikteringsordningen
• [SPARK-46274] [SC-150043] [SQL] Åtgärda rangeoperatorn computeStats() för att kontrollera lång giltighet innan du konverterar
• [SPARK-46040] [SC-149767][sql][Python] Uppdatera UDTF API för "analysera" partitionerings-/ordningskolumner för att stödja allmänna uttryck
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty bör fungera med alla datatyper
• [SPARK-45678] [SC-146825][core] Behandla BufferReleasingInputStream.tillgänglig/reset under tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Rensa den inaktuella API-användningen relaterad till IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][sql] som introducerar select * except syntax
• [SPARK-46269] [SC-149816][ps] Aktivera fler NumPy-kompatibilitetsfunktionstester
• [SPARK-45807] [SC-149851][sql] Lägg till createOrReplaceView(..) / replaceView(..) i ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introducera en implicit funktion för Scala Array att omsluta till immutable.ArraySeq.
• [SPARK-46205] [SC-149655][core] Förbättra PersistenceEngine prestanda med KryoSerializer
• [SPARK-45746] [SC-149359][python] Returnera specifika felmeddelanden om UDTF-metoden "analysera" eller "eval" accepterar eller returnerar fel värden
• [SPARK-46186] [SC-149707][connect] Åtgärda olaglig tillståndsövergång när ExecuteThreadRunner avbröts innan den startades
• [SPARK-46262] [SC-149803][ps] Aktivera test för np.left_shift för Pandas-on-Spark-objekt.
• [SPARK-45093] [SC-149679][connect][PYTHON] Har korrekt stöd för felhantering och konvertering för AddArtifactHandler
• [SPARK-46188] [SC-149571][doc][3.5] Åtgärda CSS för Spark-dokumentets genererade tabeller
• [SPARK-45940] [SC-149549][python] Lägg till InputPartition i DataSourceReader-gränssnittet
• [SPARK-43393] [SC-148301][sql] Åtgärda buggen med översvämning i sekvensuttryck.
• [SPARK-46144] [SC-149466][sql] Misslyckades INSERT INTO ... REPLACE-sats om villkoret innehåller en underfråga
• [SPARK-46118] [SC-149096][sql][SS][connect] Använd SparkSession.sessionState.conf i stället för SQLContext.conf och markera SQLContext.conf som inaktuell
• [SPARK-45760] [SC-147550][sql] Lägg till with-uttryck för att undvika duplicering av uttryck
• [SPARK-43228] [SC-149670][sql] Kopplingsnycklar matchar också PartitioningCollection i CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][ps] Testa SparkPandasNotImplementedError med rensning av oanvänd kod
• [SPARK-46119] [SC-149205][sql] Åsidosätt toString metod för UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Använd ett smalare omfångsundantag för SQL-processor
• [SPARK-46191] [SC-149565][core] Förbättra FileSystemPersistenceEngine.persist felmeddelande om en befintlig fil existerar
• [SPARK-46036] [SC-149356][sql] Ta bort felklassen från funktionen raise_error
• [SPARK-46055] [SC-149254][sql] Omskrivning av katalogdatabas-API:er
• [SPARK-46152] [SC-149454][sql] XML: Lägg till DecimalType-stöd i XML-schemainferens
• [SPARK-45943] [SC-149452][sql] Flytta DetermineTableStats till lösningsregler
• [SPARK-45887] [SC-148994][sql] Justera codegen och icke-codegen-implementering av Encode
• [SPARK-45022] [SC-147158][sql] Ange kontext för datamängds-API-fel
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Ersätt toIterator med iterator för IterableOnce
• [SPARK-46141] [SC-149357][sql] Ändra standardvärdet för spark.sql.legacy.ctePrecedencePolicy till CORRECTED
• [SPARK-45663] [SC-146617][core][MLLIB] Ersätt IterableOnceOps#aggregate med IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Återanvänd Literal-objekt i ComputeCurrentTime-regeln
• [SPARK-45803] [SC-147489][core] Ta bort den som inte längre används RpcAbortException
• [SPARK-46148] [SC-149350][ps] Åtgärda pyspark.pandas.mlflow.load_model-test (Python 3.12)
• [SPARK-46110] [SC-149090][python] Använd felklasser i modulerna catalog, conf, connect, observation, pandas
• [SPARK-45827] [SC-149203][sql] Variantkorrigeringar med kodgen och vektoriserad läsare inaktiverad
• [SPARK-46080] Återställ "[SC-149012][python] Uppgradera Cloudpickle till 3.0.0"
• [SPARK-45460] [SC-144852][sql] Ersätt scala.collection.convert.ImplicitConversions till scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Ta bort den särskilda upplösningen för UnresolvedNamespace för vissa kommandon
• [SPARK-45600] [SC-148976][python] Gör Python-datakällans registrering sessionsnivå
• [SPARK-46074] [SC-149063][connect][SCALA] Otillräcklig information i felmeddelandet om UDF-fel
• [SPARK-46114] [SC-149076][python] Lägg till PySparkIndexError för felramverk
• [SPARK-46120] [SC-149083][connect][PYTHON] Ta bort hjälpfunktionen DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Uppdateringssökvägshantering för Python-datakälla
• [SPARK-46062] [14.x][sc-148991][SQL] Synkronisera flaggan isStreaming mellan CTE-definition och referens
• [SPARK-45698] [SC-146736][core][SQL][ss] Rensa den inaktuella API-användningen relaterad till Buffer
• [SPARK-46064] [SC-148984][sql][SS] Flytta ut EliminateEventTimeWatermark till analysatorn och ändra så att den endast börjar gälla när beroendet är löst.
• [SPARK-45922] [SC-149038][connect][CLIENT] Mindre refaktorisering av återförsök (uppföljning till flera återförsökspolicyer)
• [SPARK-45851] [SC-148419][connect][SCALA] Har stöd för flera principer i scala-klienten
• [SPARK-45974] [SC-149062][sql] Inkludera ej tom kontroll av scan.filterAttributes för RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets i klienten för Scala Spark Connect
• [SPARK-45136] [SC-146607][connect] Förbättra ClosureCleaner med stöd för Ammonite
• [SPARK-46084] [SC-149020][ps] Refaktorera datatypsgjutningsåtgärden för den kategoriska typen.
• [SPARK-46083] [SC-149018][python] Gör SparkNoSuchElementException som ett kanoniskt fel-API
• [SPARK-46048] [SC-148982][python][CONNECT] Stödjer DataFrame.groupingSets i Python Spark Connect
• [SPARK-46080] [SC-149012][python] Uppgradera Cloudpickle till 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Åtgärda protobuf-strängrepresentation för Pandas Functions API med Spark Connect
• [SPARK-46065] [SC-148985][ps] Bearbeta (DataFrame|Series).factorize() för att använda create_map.
• [SPARK-46070] [SC-148993][sql] Kompilera regexmönster i SparkDateTimeUtils.getZoneId utanför snabbslingan
• [SPARK-46063] [SC-148981][python][CONNECT] Förbättra felmeddelanden relaterade till argumenttyper i cute, rollup, groupby och pivot
• [SPARK-44442] [SC-144120][mesos] Ta bort Stöd för Mesos
• [SPARK-45555] [SC-147620][python] Innehåller ett felsökningsbart objekt för misslyckad sats
• [SPARK-46048] [SC-148871][python][SQL] Stöder DataFrame.groupingSets i PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Gör faulthandler till en körningskonfiguration för Python-körning i SQL
• [SPARK-45996] [SC-148586][python][CONNECT] Visa meddelanden om rätt beroendekrav för Spark Connect
• [SPARK-45681] [SC-146893][ui] Klona en js-version av UIUtils.errorMessageCell för konsekvent felåtergivning i användargränssnittet
• [SPARK-45767] [SC-147225][core] Ta bort TimeStampedHashMap och dess UT
• [SPARK-45696] [SC-148864][kärna] Fixa metoden tryCompleteWith i traiten Promise är föråldrad
• [SPARK-45503] [SC-146338][ss] Lägg till konfiguration för att ange RocksDB-komprimering
• [SPARK-45338] [SC-143934][core][SQL] Ersätt scala.collection.JavaConverters till scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Åtgärda ArrayIndexOutOfBoundsException i conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Förbättring av XSDToSchema API: Ändring till HDFS API för åtkomst till molnlagring
• [SPARK-45819] [SC-147570][core] Stöd clear i REST Submission API
• [SPARK-45552] [14.x][sc-146874][PS] Introducera flexibla parametrar för assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Ange ett gränssnitt för andra strömningskällor för att lägga till _metadata kolumner
• [SPARK-45929] [SC-148692][sql] Stöd för groupingSets-operation i dataframe-API:et
• [SPARK-46012] [SC-148693][core] EventLogFileReader bör inte läsa rullande loggar om appstatusfilen saknas
• [SPARK-45965] [SC-148575][sql] Flytta partitioneringsuttryck för DSv2 till functions.partitioning
• [SPARK-45971] [SC-148541][core][SQL] Korrigera paketnamnet på SparkCollectionUtils till org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Rensa den inaktuella API-användningen relaterad till MapOps & Fix method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Ta bort treatEmptyValuesAsNulls och använd nullValue alternativet i stället i XML
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Åtgärda typindikationer för att hantera list GenericAlias i Python 3.11+
• [SPARK-45999] [SC-148595][ps] Använd dedikerade PandasProduct i cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Åtgärda pyspark.ml.torch.tests.test_distributor i Python 3.11
• [SPARK-45994] [SC-148581][python] Ändra description-file till description_file
• [SPARK-45575] [SC-146713][sql] Stöd tidsresalternativ för df läs-API
• [SPARK-45747] [SC-148404][ss] Använd information om prefixnycklar i tillståndsmetadata för att hantera lästillstånd för aggregat av sessionsfönster
• [SPARK-45898] [SC-148213][sql] Skriv om katalogtabell-API:er för att använda ouppklarad logisk plan
• [SPARK-45828] [SC-147663][sql] Ta bort inaktuell metod i dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Uppgradera protobuf till 4.25.1 för att stödja Python 3.11
• [SPARK-45911] [SC-148226][core] Gör TLS1.3 till standard för RPC SSL
• [SPARK-45955] [SC-148429][ui] Dölj stöd för flamdiagram och tråddumpningsdetaljer
• [SPARK-45936] [SC-148392][ps] Optimera Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Rätt metaundantagsmatchningsregel för att hämta partitionsmetadata
• [SPARK-45655] [SC-148085][sql][SS] Tillåt icke-deterministiska uttryck inuti AggregateFunctions i CollectMetrics
• [SPARK-45946] [SC-148448][ss] Åtgärda användningen av den föråldrade metoden write i FileUtils för att ange standardteckenkodningen i RocksDBSuite
• [SPARK-45511] [SC-148285][ss] Statusdatakälla – Läsare
• [SPARK-45918] [SC-148293][ps] Optimera MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] Returnera de observerade metrikvärden från kommandon
• [SPARK-45867] [SC-147916][core] Stöd spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Lägg till en hjälpfunktion för parser
• [SPARK-45930] [SC-148399][sql] Stöder icke-deterministiska UDF:er i MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Skapa Python UDTF API för att sluta använda rader från indatatabellen
• [SPARK-45731] [SC-147929][sql] Uppdatera även partitionsstatistik med kommandot ANALYZE TABLE
• [SPARK-45868] [SC-148355][connect] Kontrollera att spark.table använder samma parser som vanilla Spark
• [SPARK-45882] [SC-148161][sql] BroadcastHashJoinExec sprida partitionering bör respektera CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][sql] Tilldela namn till fel _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] Behandla decimal(x, 0) på samma sätt som IntegralType i PromoteStrings
• [SPARK-45786] [SC-147552][sql] Åtgärda felaktiga decimal multiplikationer och divisionsresultat
• [SPARK-45871] [SC-148084][connect] Konvertering av optimeringssamlingar relaterade till .toBuffer i connect moduler
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager kan kontrollera en stoppad SparkContext
• [SPARK-45913] [SC-148289][python] Gör de interna attributen privata från PySpark-fel.
• [SPARK-45827] [SC-148201][sql] Lägg till variantdatatyp i Spark.
• [SPARK-44886] [SC-147876][sql] Inför CLUSTER BY sats för CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][core] Stöd spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Kontrollera server-sidans sessions-ID
• [SPARK-45896] [SC-148091][sql] Skapa ValidateExternalType med rätt förväntad typ
• [SPARK-45902] [SC-148123][sql] Ta bort oanvänd funktion resolvePartitionColumns från DataSource
• [SPARK-45909] [SC-148137][sql] Ta bort NumericType cast om den kan up-castas säkert i IsNotNull
• [SPARK-42821] [SC-147715][sql] Ta bort oanvända parametrar i splitFiles-metoder
• [SPARK-45875] [SC-148088][core] Ta bort MissingStageTableRowData från modulen core
• [SPARK-45783] [SC-148120][python][CONNECT] Förbättra felmeddelanden när Spark Connect-läget är aktiverat men fjärr-URL:en inte har angetts
• [SPARK-45804] [SC-147529][ui] Lägg till spark.ui.threadDump.flamegraphEnabled config för att slå på/av flamdiagram
• [SPARK-45664] [SC-146878][sql] Introducera en mappare för orc compression codecs
• [SPARK-45481] [SC-146715][sql] Introducera en mapper för parquet-komprimeringskodekar
• [SPARK-45752] [SC-148005][sql] Förenkla koden för att kontrollera orefererade CTE-relationer
• [SPARK-44752] [SC-146262][sql] XML: Uppdatera Spark Docs
• [SPARK-45752] [SC-147869][sql] Alla oreferenserade CTE:er bör kontrolleras av CheckAnalysis0
• [SPARK-45842] [SC-147853][sql] Refaktorera Katalogfunktionens API:er för att använda analyserare
• [SPARK-45639] [SC-147676][sql][PYTHON] Stöder inläsning av Python-datakällor i DataFrameReader
• [SPARK-45592] [SC-146977][sql] Problem med korrekthet i AQE med InMemoryTableScanExec
• [SPARK-45794] [SC-147646][ss] Introducera tillståndsmetadatakälla för förfrågan om metadata för strömmande tillståndsinformation
• [SPARK-45739] [SC-147059][python] Catch IOException i stället för enbart EOFException för felhanterare
• [SPARK-45677] [SC-146700] Bättre felloggning för observations-API
• [SPARK-45544] [SC-146873][core] Integrera SSL-stöd i TransportContext
• [SPARK-45654] [SC-147152][python] Lägg till Skriv-API för Python-datakälla
• [SPARK-45771] [SC-147270][core] Aktivera spark.eventLog.rolling.enabled som standard
• [SPARK-45713] [SC-146986][python] Stöd för registrering av Python-datakällor
• [SPARK-45656] [SC-146488][sql] Åtgärda observation vid namngivna observationer med samma namn på olika datauppsättningar
• [SPARK-45808] [SC-147571][connect][PYTHON] Bättre felhantering för SQL-undantag
• [SPARK-45774] [SC-147353][core][UI] Stöd spark.master.ui.historyServerUrl i ApplicationPage
• [SPARK-45776] [SC-147327][core] Ta bort den defensiva null-kontrollen för MapOutputTrackerMaster#unregisterShuffle som lagts till i SPARK-39553
• [SPARK-45780] [SC-147410][connect] Sprid alla Spark Connect-klientens tråd-lokala variabler i InheritableThread
• [SPARK-45785] [SC-147419][core] Stöd spark.deploy.appNumberModulo för att rotera appnummer
• [SPARK-45793] [SC-147456][core] Förbättra de inbyggda komprimeringskodexen
• [SPARK-45757] [SC-147282][ml] Undvik beräkning av NNZ i Binarizer
• [SPARK-45209] [SC-146490][core][UI] Flame Graph-stöd för körtrådsutmatningssida
• [SPARK-45777] [SC-147319][core] Support spark.test.appId i LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] Omstrukturera null-kontrollen för att ha genvägar
• [SPARK-45711] [SC-146854][sql] Introducera en mappare för avro-komprimeringskodex
• [SPARK-45523] [SC-146077][python] Ge ett användbart felmeddelande om UDTF returnerar None för en icke-nullbar kolumn
• [SPARK-45614] [SC-146729][sql] Tilldela namn till fel _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] Förbättra Dataset.isEmpty() genom att använda global gräns 1
• [SPARK-45569] [SC-145915][sql] Tilldela namnet till felet _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Korrigera Spark History Server för att sortera kolumn Duration korrekt
• [SPARK-45754] [SC-147169][core] Stöd spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Förenkla DataFrameStatFunctions.countMinSketch med CountMinSketchAgg
• [SPARK-45753] [SC-147167][kärna] Stöd spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] Förbättra MasterPage om du bara vill visa Resource kolumn när den finns
• [SPARK-45112] [SC-143259][sql] Använd unresolvedFunction-baserad upplösning i SQL Dataset-funktioner

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 14.3.

Systemmiljö

• Operativsystem: Ubuntu 22.04.3 LTS
  • Obs! Det här är Ubuntu-versionen som används av Databricks Runtime-containrar. DBR-containrarna körs på molnleverantörens virtuella datorer, som kan använda en annan Ubuntu-version eller Linux-distribution.
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta lake: 3.1.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-snapshot från den 2023-07-13: https://packagemanager.posit.co/cran/2023-07-13/.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)