Databricks Runtime 17.3 LTS

Versionsanteckningarna nedan ger information om Databricks Runtime 17.3 LTS, som drivs av Apache Spark 4.0.0.

Azure Databricks släppte den här LTS-versionen i oktober 2025.

Nya funktioner och förbättringar

• EXECUTE IMMEDIATE använda konstanta uttryck
• LIMIT ALL stöd för rekursiva CTE:er
• JDK 21 för klassisk beräkning (offentlig förhandsversion)
• Om du lägger till filer i Unity Catalog-volymer returneras rätt fel
• st_dump funktionsstöd
• Funktioner för polygoners invändiga ringar stöds nu

EXECUTE IMMEDIATE använda konstanta uttryck

Nu kan du skicka konstanta uttryck som SQL-strängen och som argument till parametermarkörer i EXECUTE IMMEDIATE -instruktioner.

LIMIT ALL stöd för rekursiva CTE:er

Du kan nu använda LIMIT ALL för att ta bort den totala storleksbegränsningen för rekursiva vanliga tabelluttryck (CTE).

JDK 21 för klassisk beräkning (offentlig förhandsversion)

Java Development Kit (JDK) 21 är i offentlig förhandsversion för klassisk beräkning. Information om hur du aktiverar det finns i Skapa ett kluster med en specifik JDK-version.

Vid bifogning till filer i Unity Catalog-volymer erhålls korrekt felmeddelande

All kod som försöker lägga till innehåll i en Unity Catalog-volymfil misslyckas nu med felmeddelandet "Illegal seek". Tidigare misslyckades det med ett felaktigt "åtgärd stöds inte"-fel.

st_dump funktionsstöd

Nu kan du använda st_dump funktionen för att hämta en matris som innehåller de enskilda geometrierna i indatageometrin. Se st_dump funktion.

Polygons invändiga ringfunktioner stöds nu

Du kan nu använda följande funktioner för att arbeta med interiörringar av polygoner.

• st_numinteriorrings: Hämta antalet inre gränser (ringar) för en polygon. Se st_numinteriorrings funktion.
• st_interiorringn: Extrahera den n:e inre gränsen för en polygon och returnera den som en linjedragning. Se st_interiorringn funktion.

Förändringar i beteende

• Standardvärdet för automatisk inläsning av inkrementell lista har ändrats
• Stöd för MV/ST-uppdateringsinformation i DESCRIBE EXTENDED AS JSON
• Lägg till metadatakolumn i DESCRIBE QUERY och DESCRIBE TABLE
• Åtgärda tidsmässig värdekonvertering i structlitraler när du använder Anslutningsläge
• Ändra decimalprecision och skala till SYSTEM_DEFAULT i anslutningsläge
• Stöd för komplexa typer av observationer i Spark Connect Scala-klienten
• Bevara null-värden i matris-, mappnings- och structlitraler
• Standardlägesändring för FSCK REPAIR TABLE kommando
• Bevara nullbarhet för typade literaler
• Åtgärda case-klasskonvertering i array och kartliteraler
• Korrekt hantering av null-structs när kolumner tas bort NullType
• Förbättrad hantering av null-structs i Parquet
• Uppgradera aws-msk-iam-auth biblioteket för Kafka

Standardvärdet för automatisk inläsning av inkrementell lista har ändrats

Standardvärdet för det inaktuella cloudFiles.useIncrementalListing alternativet har ändrats från auto till false. Azure Databricks utför nu fullständiga kataloglistor i stället för inkrementella kataloglistor för att förhindra att filer hoppar över på grund av icke-lexikal ordning. Till exempel 10-01-2025.csv kommer före 8-01-2025.csv lexikografiskt.

Databricks rekommenderar att du migrerar till filhändelser för snabbare och mer tillförlitlig filidentifiering.

Om du vill bevara det tidigare beteendet anger du cloudFiles.useIncrementalListing uttryckligen till auto.

Stöd för uppdateringsinformation för MV/ST i DESCRIBE EXTENDED AS JSON

Azure Databricks genererar nu ett avsnitt för materialiserad vy och uppdateringsinformation för strömmande tabell i DESCRIBE EXTENDED AS JSON utdata, inklusive senaste uppdateringstid, uppdateringstyp, status och schema.

Lägg till metadatakolumn i DESCRIBE QUERY och DESCRIBE TABLE

Azure Databricks innehåller nu en metadatakolumn i utdata från DESCRIBE QUERY och DESCRIBE TABLE för semantiska metadata.

För DESCRIBE QUERY, när du beskriver en fråga med måttvyer, sprids semantiska metadata via frågan om dimensioner refereras direkt och mått använder MEASURE() funktionen.

För DESCRIBE TABLEvisas metadatakolumnen endast för måttvyer, inte andra tabelltyper.

Åtgärda tidsmässig värdekonvertering i structlitraler när du använder Anslutningsläge

I Spark Connect-läge hanterar structlitraler i TypedLit nu korrekt tidsvärden i stället för att utlösa undantag.

Ändra decimalprecision och skala till SYSTEM_DEFAULT i anslutningsläge

När du använder Spark Connect-läge i Scala ändras nu decimalprecision och skalning i matris- och kartliteraler till SYSTEM_DEFAULT (38, 18).

Stöd för komplexa typer av observationer i Spark Connect Scala-klienten

Spark Connect Scala-klienten stöder nu matris-, kart- och struct-typer i observationer, vilket gör att beteendet överensstämmer med dedikerade kluster.

Bevara null-värden i matris-, mappnings- och structlitraler

I Spark Connect-läge bevaras nollvärden inuti matriser, mappar och struktur-literal i stället för att ersättas med protobufs standardvärden.

Standardlägesändring för FSCK REPAIR TABLE kommando

Kommandot FSCK REPAIR TABLE innehåller nu ett första reparationssteg för metadata som validerar kontrollpunkter och partitionsvärden innan referenser till saknade datafiler tas bort.

Bevara nullabilitet för skrivna literaler

Spark Connect Scala-klienten bevarar nu matrisens och mappningstypernas nullbarhet korrekt för typerade literaler. Tidigare behandlades matriselement och kartvärden alltid som nullbara.

Åtgärda case class-konvertering i matriser och map-litteraler

I Spark Connect-läge hanterar matris- och map-literaler i TypedLit nu korrekt case class-värden i stället för att utlösa undantag.

Korrekt hantering av nullstrukturer när kolumner tas bort NullType

När du skriver till Delta-tabeller bevarar Azure Databricks nu null struct-värden korrekt när du släpper NullType kolumner från schemat. Tidigare ersattes felaktigt noll-strukturer med icke-null strukturvärden där alla fält var satta till null.

Förbättrad hantering av null-structs i Parquet

Azure Databricks identifierar nu nollstrukturer korrekt när alla begärda structfält saknas i en Parquet-fil, vilket gör beteendet konsekvent mellan Photon-läsare och icke-Photon-läsare.

Uppgradera aws-msk-iam-auth biblioteket för Kafka

Biblioteket aws-msk-iam-auth har uppgraderats till version 2.0.1 för att stödja inställning av en regional STS-slutpunkt (Security Token Service) för Hanterad direktuppspelning för Apache Kafka-IAM-autentisering (MSK).

Biblioteksuppgraderingar

Uppgraderade Python-bibliotek:

Inga Python-bibliotek har uppgraderats i den här versionen.

Uppgraderade R-bibliotek:

Inga R-bibliotek har uppgraderats i den här versionen.

Uppgraderade Java-bibliotek:

Inga Java-bibliotek har uppgraderats i den här versionen.

Apache Spark

Databricks Runtime 17.3 LTS innehåller Apache Spark 4.0.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i version 17.2, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• SPARK-44856 Återställ "[SC-195808][python] Förbättra prestanda för Python UDTF-pilens serialiserare"
• SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Åtgärda hantering av null-värden i LiteralValueProtoConverter
• SPARK-53507 Lägg till information om störande ändringar i fel
• SPARK-53574 Åtgärda att AnalysisContext tömmas under inbäddad planlösning.
• SPARK-53444 Omarbeta kör omedelbart
• SPARK-53560 Kraschslinga vid återförsök av en obekräftade batch i Kafka-källan och AvailableNow-utlösaren
• SPARK-53127 Aktivera LIMIT ALLA för att åsidosätta gränsen för rekursionsrad
• SPARK-53574 Återställ "[SC-206548] Åtgärda att AnalysisContext rensas...
• SPARK-53674 Hantera LCA:er för analysverktyg med enkla pass vid tilldelning av alias
• SPARK-53492 Avvisa den andra ExecutePlan med ett operations-id som redan är avslutat.
• SPARK-53677 Förbättra felsökningen för JDBC-datakällan när frågan innehåller syntaxfel
• SPARK-53490 Åtgärda Protobuf-konvertering i observerade mätvärden
• SPARK-53671 Exkludera 0-args från @udf slutsatsdragning av eval-typ
• SPARK-53592 Omarbeta "Gör @udf stöd för vektoriserad UDF"
• SPARK-53654 Gör om "Förbättra stöd för frön i funktionen uuid"
• SPARK-53429 Stöd för direkt genomströmningspartitionering i PySpark Dataframe-API:et
• SPARK-53372 Delad testmiljöpaket för LDP
• SPARK-53574 Åtgärda att AnalysisContext tömmas under inbäddad planlösning.
• SPARK-53654 Återställ "[SC-207022][sql][PYTHON] Stöd seed i funktionen uuid"
• SPARK-53574 Återställ "[SC-206548] Åtgärda att AnalysisContext rensas under kapslad planmatchning"
• SPARK-53559 Åtgärda uppdateringar av HLL-skiss för att använda råsorteringsnyckelbyte
• SPARK-53654 Stöd seed i funktion uuid
• SPARK-52449 Gör datatyper för Expression.Literal.Map/Array valfria
• SPARK-53574 Åtgärda att AnalysisContext tömmas under inbäddad planlösning.
• SPARK-53625 Sprida metadatakolumner via projektioner för att hantera Inkompatibilitet för ApplyCharTypePadding
• SPARK-53558 Återställ "[SC-206544][sql] Visa fullständigt kvalificerat tabellnamn inklusive katalognamnet i undantagsmeddelandet när tabellen inte hittas"
• SPARK-53558 Visa fullständigt kvalificerat tabellnamn inklusive katalognamnet i undantagsmeddelandet när tabellen inte hittas
• SPARK-53357 Uppdatera pandas till 2.3.2
• SPARK-52659Vilseledande modulo-felmeddelande i ansi-läge
• SPARK-53592 Återställ "[SC-206971][python] Stöd @udf för vektoriserad UDF"
• SPARK-53592 Skapa @udf stöd för vektoriserad UDF
• SPARK-52601 Stöd för primitiva typer i TransformingEncoder
• SPARK-53355 åtgärda numpy 1.x representation i typkontroller
• SPARK-53387 Lägga till stöd för pil-UDF:er med PARTITION BY
• SPARK-52991 Implementera MERGE INTO med SCHEMA EVOLUTION för V2-datakälla
• SPARK-53568 Åtgärda flera små buggar i Felhanteringslogik för Spark Connect Python-klienten
• SPARK-43579 optim: Cacha omvandlaren mellan Arrow och pandas för återanvändning
• SPARK-53524 Åtgärda konvertering av tidsvärde i LiteralValueProtoConverter
• SPARK-53600 Ändra SessionHolder loggmeddelande för senaste åtkomsttid
• SPARK-53529 Åtgärda pyspark anslutningsklienten för att stödja IPv6
• SPARK-53537 Lägga till stöd för analys av CONTINUE HANDLER
• SPARK-53623 förbättrar prestanda för läsning av stora tabellegenskaper
• SPARK-53523 Respekt för namngivna parametrar spark.sql.caseSensitive
• SPARK-53449 Helt enkelt alternativ för inbyggda Datasource Scan-relaterade klasser
• SPARK-53620 SparkSubmit bör skriva ut stacktrace när exitFn anropas
• SPARK-53518 Ingen trunkering för catalogString av användardefinierad typ
• SPARK-53568 Återställ "[SC-206538][connect][PYTHON] Åtgärda flera små buggar i Felhanteringslogik för Spark Connect Python-klienten"
• SPARK-53602 Profildumpförbättring och korrigering av profileraredokument
• SPARK-53402 Stöd för API för direkt genomströmningspartitionering av datauppsättningar i Spark Connect i Scala
• SPARK-53491 Åtgärda exponentiell formatering av inputRowsPerSecond och processedRowsPerSecond i framstegsmetrik JSON
• SPARK-53413 Rensning av shuffle för kommandon
• SPARK-53518 Återställ "[SC-205989][sql] Ingen trunkering för catalogString av användardefinierad typ"
• SPARK-53568 Åtgärda flera små buggar i Felhanteringslogik för Spark Connect Python-klienten
• SPARK-53552 Optimera sql-funktionen substr
• SPARK-53527 Förbättra reservlösningen för analyzeExistenceDefaultValue
• SPARK-53584 Förbättra valideringen av process_column_param och dokumentationen av kolumnparametrar
• SPARK-53498 Korrekt hänvisning till pyspark/pipelines/cli.py från spark-pipelines binärfil
• SPARK-53518 Ingen trunkering för catalogString av användardefinierad typ
• SPARK-53233 Gör koden relaterad till streaming använder rätt paketnamn
• SPARK-53598 Kontrollera förekomsten av numParts innan du läser en stor tabellegenskap
• SPARK-53372 SDP End to End Testing Suite
• SPARK-53563 Optimera: sql_processor genom att undvika ineffektiv sammanfogning av strängar
• SPARK-53323 Aktivera Spark Connect-tester för df.asTable() i Arrow UDTF
• SPARK-53157 Frikoppla avsökningsintervall för drivrutin och exekutor
• SPARK-53555 Korrigering: SparkML-connect kan inte läsa in den sparade SparkML-modellen (äldre läge)
• SPARK-53361 Optimera JVM–Python-kommunikation i TWS genom att gruppera flera nycklar i en pilbatch
• SPARK-53233 Återställ "[SC-203716][sql][SS][mllib][CONNECT] Returnera koden relaterad till streaming så att den använder rätt paketnamn"
• SPARK-53233 Gör koden relaterad till streaming använder rätt paketnamn
• SPARK-53525 Spark Connect ArrowBatch Resultatdelning
• SPARK-53444 Återställ "[SC-206536][sql] Omarbeta kör omedelbart"
• SPARK-53594 Gör så att Arrow UDF respekterar användarspecificerad utvärderingstyp
• SPARK-53444 Omarbeta kör omedelbart
• SPARK-53582 Utöka isExtractable så att den kan tillämpas på UnresolvedExtractValue
• SPARK-53572 Undvik att kasta från ExtractValue.isExtractable
• SPARK-52346 Åtgärda initiering och inkrementeringslogik för räknaren vid flödesåterförsök
• SPARK-53561 Fånga avbrottsundantag i TransformWithStateInPySparkStateServer under outputStream.flush för att undvika en arbetskrasch
• SPARK-53512 Bättre enande av DSv2 PushDownUtils
• SPARK-53459 Använda ReadOnlySparkConf på fler platser
• SPARK-53549 Stäng alltid pilallokeraren när processen för listtillståndsbegäran har slutförts
• SPARK-53332 Aktivera StateDataSource med tillståndskontrollpunkt v2 (endast alternativet snapshotStartBatchId)
• SPARK-53550 Union-utdatapartitionering bör jämföra kanoniserade attribut
• SPARK-53506 Tillåt inte % mellan Decimal och float enligt ANSI
• SPARK-52238 Byt namn på fältet i pipelinespecifikationen från "definitioner" till "bibliotek"
• SPARK-53538ExpandExec bör initiera osäkra projektioner
• SPARK-53521 Omstrukturera Star-uttryck
• SPARK-53358 Förbättra felmeddelandet för typfel vid utdata i Python UDTF
• SPARK-53531 Bättre felmeddelande för HadoopRDD.getInputFormat
• SPARK-53434 ColumnarRows get bör också kontrollera isNullAt
• SPARK-53008 Lägg till rutinkontroll för dataåtkomst i SQL UDF från öppen källkod
• SPARK-44856 Förbättra prestanda för Python UDTF-pilserialiserare
• SPARK-53488 Uppdatera CollationTypeCoercion så att den är kompatibel med enkelpass analyzer-logik
• SPARK-53029 Stöd för returtypstvång för Arrow Python-UDF:er
• SPARK-53479 Justera == beteendet med pandas när du jämför med skalär i enlighet med ANSI
• SPARK-53497 Förbjud /|//|* mellan Decimal och float enligt ANSI
• SPARK-53441 Bools |/&/^ Ingen bör misslyckas enligt ANSI
• SPARK-53474 Lägg till DATA_SOURCE_V2_EXPR_FOLDING
• SPARK-53333 Aktivera StateDataSource med tillståndskontrollpunkt v2 (endast readChangeFeed)
• SPARK-53502 Förbättra namngivning av metoder i LiteralValueProtoConverter
• SPARK-52694 Lägg till o.a.s.sql.Encoders#udtAPI
• SPARK-53499 from_arrow_type bör respektera containsNull i ArrayType
• SPARK-53515 Ta bort oanvänd private lazy val från SchemaOfCsv/Xml
• SPARK-53480 Refaktorera kod för Python-runner i Arrow
• SPARK-53481 Skapa hybridköklass
• SPARK-53401 Aktivera direkt genomströmningspartitionering i DataFrame-API:et
• SPARK-52930 Använd DataType.Array/Map för Array/Map literaler
• SPARK-52346 Sprida partitionskolumner från målet för BatchTableWrite
• SPARK-53342 Åtgärda Arrow-konverteraren för att hantera flera postbatcher i en enda IPC-ström
• SPARK-53421 Sprida logiskt plan-ID i SDP-analys
• SPARK-53408 Ta bort oanvända funktioner från QueryCompilationErrors
• SPARK-53044 Ändra importaliaskonventionen för deklarativa pipelines från "sdp" till "dp"
• SPARK-53450 Null-värden fylls oväntat efter konvertering av hive-tabellgenomsökning till logisk relation
• SPARK-53290 Åtgärda bakåtkompatibilitetsbrytning för metadata
• SPARK-52982 Tillåt inte lateral koppling med Arrow Python-UDF:er
• SPARK-52851 Ta bort offentliga API:er för vid bifogande när flöden endast kan bifogas en gång
• SPARK-52511 Stöd för torrkörningsläge i kommandot spark-pipelines
• SPARK-53290 Återställ "[SC-204277][sql][CONNECT] Åtgärda bakåtkompatibilitetsbrott för metadata"
• SPARK-53290 Åtgärda bakåtkompatibilitetsbrytning för metadata
• SPARK-52577 Lägg till tester för deklarativa pipelines DatasetManager med Hive-katalog
• SPARK-53012 Stöd för Python UDTF i Spark Connect
• SPARK-53251 Aktivera DataFrame API-testning med asTable() för Arrow Python UDTFs
• SPARK-52432 Avgränsa DataflowGraphRegistry till Session
• SPARK-52853 Förhindra imperativa PySpark-metoder i deklarativa pipelines
• SPARK-52745 Se till att en av schema och columns i tabellgränssnittet implementeras och att columns är att föredra
• SPARK-52991 Återställ "[SC-204944][sql] Implementera MERGE INTO med SCHEMA EVOLUTION för V2-datakälla"
• SPARK-52981 Lägg till tabellargumentstöd för Arrow Python UDTFs
• SPARK-53487 Förbättra kommentarer i NormalizePlan.scala
• SPARK-52991 Implementera MERGE INTO med SCHEMA EVOLUTION för V2-datakälla
• SPARK-52281 Ändra ALTER TABLE ALTER COLUMN TYPE STRING så att standardsortering inte tillämpas om den ursprungliga datatypen var en instans av StringType
• SPARK-52759 Utlös undantag om pipelinen inte har några tabeller eller beständiga vyer
• SPARK-51575 Kombinera python-datakällans pushdown- och planläsningsarbetare
• SPARK-53359 Åtgärda Arrow UDTF för att hantera resultatet som iterator
• SPARK-52757 Byt namn på fältet "plan" i DefineFlow till "relation"
• SPARK-52431 Slutjusteringar av körningsmodul för deklarativa pipelines
• SPARK-52591 Verifiera direktuppspelning av DF:er som returneras av SDP-tabellen och fristående flödesdefinitioner
• SPARK-53030 Stödpilskrivare för strömmande Python-datakällor
• SPARK-52980 Stöd för Arrow Python UDTF:er
• SPARK-42841Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2005
• SPARK-52423 Lägg till namn på golang-paket som saknas i pipelines.proto
• SPARK-52409 Använd endast PipelineRunEventBuffer i tester
• SPARK-52533 Stöd för att endast aktivera drivrutinsprofiler
• SPARK-52716 Ta bort kommentar från Flödesdrag och referenser
• SPARK-52348 Lägga till stöd för Spark Connect-hanterare för pipelinekommandon
• SPARK-52281 Återställ "[SC-198058][sql] Ändra så att ALTER TABLE ALTER COLUMN TYPE STRING inte tillämpar standardsortering om den ursprungliga datatypen var en instans av StringType"
• SPARK-49386 Lägga till minnesbaserade tröskelvärden för shuffle-spill
• SPARK-52281 Ändra ALTER TABLE ALTER COLUMN TYPE STRING så att standardsortering inte tillämpas om den ursprungliga datatypen var en instans av StringType
• SPARK-53329 Förbättra undantagshanteringen när du lägger till artefakter
• SPARK-52772 Återställ "[SC-202707][engrm-327][SQL] Inkonsekvent tabellattributhantering under uppdateringar"
• SPARK-52772 Inkonsekvent tabellattributhantering under uppdateringar
• SPARK-51739 Verifiera pilschema från mapInArrow & mapInPandas & DataSource
• SPARK-53355 testa beteende för python UDF-typer
• SPARK-53443 Uppdatera python till SPDX-license
• SPARK-49968 Funktionen split ger felaktiga resultat med en tom regex och en gräns
• SPARK-52582 Förbättra minnesanvändningen för XML-parser
• SPARK-53452from_arrow_type bör respektera valueContainsNull
• SPARK-53103 Återställ "[SC-204946][ss] Generera ett fel om tillståndskatalogen inte är tom när frågan startar"
• SPARK-53103 Utlösa ett fel om tillståndskatalogen inte är tom när frågan startar
• SPARK-51575 Återgå "[SC-192406][python] Kombinera Python Data Source-pushdown och planera läsarbetare"
• SPARK-51575 Kombinera python-datakällans pushdown- och planläsningsarbetare
• SPARK-53095 Stöd för HMS v4.1
• SPARK-53126SparkErrorUtils#stackTraceToString Omstrukturera för att hantera null indata och använda den för att ersätta ExceptionUtils#getStackTrace
• SPARK-49489 HMS-klient respekterar hive.thrift.client.maxmessage.size
• SPARK-53108 Implementera funktionen time_diff i Scala
• SPARK-45265 Stöd för Hive 4.0-metaarkiv
• SPARK-53255 Förbud org.apache.parquet.Preconditions
• SPARK-52142 Visa tabellbegränsningar i SHOW CREATE TABLE KOMMANDO
• SPARK-52875 Förenkla V2-uttrycksöversättning om indata är kontextoberoende vikbara
• SPARK-53240 Förbud com.google.common.collect.(ArrayList)?Multimap
• SPARK-52875 Återställ "[SC-201880][sql] Förenkla V2-uttrycksöversättning om indata är kontextoberoende vikbara"
• SPARK-52141 Visa begränsningar i DESC-kommandon
• SPARK-53386 Stöd för frågeparametrar som slutar med semikolon i JDBC-kontakter
• SPARK-52875 Förenkla V2-uttrycksöversättning om indata är kontextoberoende vikbara
• SPARK-53437 InterpretedUnsafeProjection ska sätta Null4Bytes för fältet YearMonthIntervalType
• SPARK-53341 Utöka täckningsområdet för referenstest av deklarationer med flera variabler
• SPARK-53156 Spåra minnesmått för drivrutin när programmet slutar
• SPARK-52689 Skicka DML-mått till V2Write
• SPARK-52641 Primärnyckelkolumner ska inte vara nullbara
• SPARK-48547 Lägg till opt-in-flagga så att SparkSubmit automatiskt anropar System.exit när huvudmetoden för användarkod avslutas
• SPARK-52575 Introducera contextIndependentFoldable-attribut för uttryck
• SPARK-52860 Stöd för utveckling av V2-skrivschema i InMemoryTable
• SPARK-53435 Åtgärda konkurrenstillstånd i CachedRDDBuilder
• SPARK-51987 DSv2-uttryck i kolumnens standardvärden vid skrivning
• SPARK-52235 Lägg till implicit cast till DefaultValue V2-uttryck som skickas till DSV2
• SPARK-52236 Standardisera analysera undantag för standardvärde
• SPARK-53294 Aktivera StateDataSource med tillståndskontrollpunkt v2 (endast batchId-alternativ)
• SPARK-52095 Ändra tabell och kolumn för att skicka V2Expression till DSV2
• SPARK-53415 Helt enkelt alternativ för inbyggda filformat
• SPARK-53318 Stöd för tidstyp med make_timestamp_ltz()
• SPARK-53143 Åtgärda self join i DataFrame API – Join är inte det enda förväntade resultatet från analysatorn
• SPARK-53423 Flytta alla lösenrelaterade taggar för enkelpass till ResolverTag
• SPARK-52116 Förbättra undantaget för icke-deterministiska standardvärden
• SPARK-51906 Dsv2-uttryck i ändra tabell lägg till kolumner
• SPARK-53403 Förbättra tilläggs-/undertester under ANSI
• SPARK-53418 Support TimeType i ColumnAccessor
• SPARK-52777 Aktivera konfiguration av shuffle-rensningsläge i Spark SQL
• SPARK-52485 Kodrensning för deklarativa pipelines
• SPARK-53236 Använda Java-konstruktorer ArrayList i stället Lists.newArrayList för i Java-kod
• SPARK-53392 Flytta SpecializedArray-hantering till connect-common
• SPARK-53176 Spark-startprogrammet bör respektera --load-spark-defaults
• SPARK-53237 Använda Java Base64 i stället org.apache.commons.codec.binary.Base64 för instans
• SPARK-53390 Generera fel när bools med None astype till heltal enligt ANSI
• SPARK-53109 Stöd för TIME i funktionerna make_timestamp_ntz och try_make_timestamp_ntz i Scala
• SPARK-53393 Inaktivera minnesprofilering för Arrow Scalar Iterator-funktioner
• SPARK-53367 lägg till int till decimal tvång för pil-UDF:er
• SPARK-53365 Förena kod för att bevara konfigurationer i vyer och UDF:er
• SPARK-53228 Använda Java-konstruktorer Map i stället för Maps.new*HashMap()
• SPARK-53197 Använd java.util.Objects#requireNonNull i stället för com.google.common.base.Preconditions#checkNotNull
• SPARK-53216 Flytta is*(Blank|Empty) från object SparkStringUtils till trait SparkStringUtils
• SPARK-53385 Utvärdering av refaktoridentifierare
• SPARK-53384 Refaktorisera variabellösning utanför
• SPARK-53195 Använda Java InputStream.readNBytes i stället för ByteStreams.read
• SPARK-53205 Support createParentDirs i SparkFileUtils
• SPARK-53196 Använda Java OutputStream.nullOutputStream i stället för ByteStreams.nullOutputStream
• SPARK-53381 Undvik att skapa tillfälliga samlingar i toCatalystStruct
• SPARK-53275 Hantera tillståndskänsliga uttryck vid sortering i tolkningsläge
• SPARK-51585 Oracle-dialekten stöder pushdown-funktioner för datum och tid
• SPARK-53200 Använda Java Files.newInputStream i stället för Files.asByteSource().openStream()
• SPARK-53190 Använda Java InputStream.transferTo i stället för ByteStreams.copy
• SPARK-53188 Stöd readFully i SparkStreamUtils och JavaUtils
• SPARK-53354 Förenkla LiteralValueProtoConverter.toCatalystStruct
• SPARK-52873 Begränsa ytterligare när SHJ semi-/anti-sammanfogning kan ignorera dubblettnycklar på byggsidan
• SPARK-53180 Använda Java InputStream.skipNBytes i stället för ByteStreams.skipFully
• SPARK-53369 Åtgärda felmeddelande för UDF:er med CHAR/VARCHAR returtyp
• SPARK-53330 Åtgärda Arrow UDF med DayTimeIntervalType (gränser != start/slut)
• SPARK-53366 Tillämpa formateringsregler på sql/connect/shims
• SPARK-53348 Spara alltid ANSI-värdet när du skapar en vy eller förutsätter det när du frågar om det inte lagras
• SPARK-53119 Support touch i SparkFileUtils
• SPARK-52592 Stöd för att skapa en ps. Serie från en ps. Serie
• SPARK-53360 En gång ska strategin med ConstantFoldings idempotens inte brytas
• SPARK-53135 Stöd copyURLToFile i SparkFileUtils och JavaUtils
• SPARK-53150 Förbättra list(File|Path)s för att hantera icke-existerande, icke-katalog- och symlink-indata
• SPARK-53135 Återställ "[SC-203164][core][SQL] Stöd copyURLToFile i SparkFileUtils och JavaUtils"
• SPARK-53137 Stöd forceDeleteOnExit i SparkFileUtils och JavaUtils
• SPARK-53352 Förfina felmeddelandet för returtypen som inte stöds
• SPARK-53353 Misslyckas Scalar Iterator Arrow UDF med 0-argument
• SPARK-53135 Stöd copyURLToFile i SparkFileUtils och JavaUtils
• SPARK-53101 Support (left|right)Pad i SparkStringUtils
• SPARK-53117 Support moveDirectory i SparkFileUtils och JavaUtils
• SPARK-53121 Använd deleteRecursively i stället för FileUtils.forceDelete
• SPARK-53100 Använda Java String.substring i stället för StringUtils.substring
• SPARK-53092 Förbud org.apache.commons.lang3.SystemUtils
• SPARK-53328 Förbättra debuggbarheten för SparkML-connect
• SPARK-52065 Generera ett nytt planträd med utdatakolumner (namn, datatyp, nullabilitet) vid loggning av planändringar
• SPARK-51182 DataFrameWriter ska utlösa dataPathNotSpecifiedError när sökvägen inte har angetts
• SPARK-52410 Skriv av PipelineConf och använd SqlConf direkt
• SPARK-52852 Ta bort oanvända spark_conf i create_streaming_table
• SPARK-52714 Ta bort oanvänd kommentar arg i append_flow dekoratör
• SPARK-52663 Introducera namnfältet i pipelinespecifikationen
• SPARK-53091 Förbud org.apache.commons.lang3.Strings
• SPARK-52393 Registrering av SQL-grafelement i pipelineen
• SPARK-52912 Förbättra SparkStringUtils för att stödja is(Not)?(Blank|Empty)
• SPARK-53307 Ta bort retriesExceeded-fel från Spark Connect Python- och Scala-klienter
• SPARK-52346 Exekvering av deklarativ pipeline DataflowGraph och loggning av händelser
• SPARK-52877 Förbättra Prestanda för Python UDF Arrow Serializer
• SPARK-51920 Åtgärda sammansatt/kapslad typ i värdetillstånd för python TWS
• SPARK-52741 RemoveFiles ShuffleCleanup-funktionsläge fungerar inte med icke anpassningsbar körning
• SPARK-52238 Python-klient för deklarativa pipelines
• SPARK-51926 Lägg till felklass INVALID_CONF_VALUE.subXXX till konfigurationsfelklasser
• SPARK-53155 Global lägre agggregation bör inte ersättas med ett projekt
• SPARK-52911 Ta bort StringUtils.(split|chop)-användningen
• SPARK-51926 Återställ "[SC-195096][core][SQL] Lägg till felklassen INVALID_CONF_VALUE.subXXX till konfigurationsfel"
• SPARK-53346 Undvik att skapa tillfälliga samlingar i toCatalystArray/toCatalystMap
• SPARK-51926 Lägg till felklass INVALID_CONF_VALUE.subXXX till konfigurationsfelklasser
• SPARK-53136 tryWithResource &tryInitializeResource ska stänga resursen tyst
• SPARK-53132 Support list(File|Path)s i SparkFileUtils och JavaUtils
• SPARK-51896 Lägga till Java Enum-stöd för TypedConfigBuilder
• SPARK-53311 Gör PullOutNonDeterministic använda kanoniska uttryck
• SPARK-51527 Gör codegen-loggnivån konfigurerbar via SQLConf
• SPARK-52223 Lägg till SDP Spark Connect Protos
• SPARK-52283 Skapande och lösning av deklarativa pipelines DataflowGraph
• SPARK-52880 Förbättra toString med JEP-280 i stället för ToStringBuilder
• SPARK-53284 Justera importen av Spark-konfigurationen i tester
• SPARK-53050 Aktivera MultiIndex.to_series() för att returnera en strukt för varje post
• SPARK-52988 Åtgärda tävlingsförhållanden på CREATE TABLE och FUNKTION när IF NOT EXISTS används
• SPARK-52874 Stöd för Java Record
• SPARK-52710DESCRIBE SCHEMA ska skriva ut collation
• SPARK-49984 Korrigering supplementJava(Module|IPv6)Options för att endast uppdatera extraJavaOptions

Stöd för Azure Databricks ODBC/JDBC-drivrutin

Azure Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime.

Systemmiljö

• Operativsystem: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta lake: 4.0.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2025-03-20.

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)