Databricks Runtime 17.2

Följande versionsinformation ger information om Databricks Runtime 17.2, som drivs av Apache Spark 4.0.0.

Azure Databricks släppte den här versionen i september 2025.

Nya funktioner och förbättringar

• LIKE stöder UTF8_LCASE sortering
• st_exteriorring funktionen stöds nu
• Visa information om pushdown i EXPLAIN och Spark-användargränssnittet för fjärrgenomsökningar
• Deklarera flera sessioner eller lokala variabler i en enda DECLARE instruktion
• Stöd TEMPORARY för att skapa måttvyer
• Stöd för ytterligare kommandon med detaljerad åtkomstkontroll
• Selektivt och atomiskt ersätta data med INSERT REPLACE USING och INSERT REPLACE ON (GA)
• Använda intern I/O för LokiFileSystem.getFileStatus på S3
• ANSI-läge aktiverat som standard för Pandas API på Spark
• Auto Loader identifierar partitionskolumner i singleVariantColumn modus

LIKE stöder UTF8_LCASE sortering

Operatorn LIKE stöder UTF8_LCASE nu sortering, vilket möjliggör skiftlägesokänslig matchning.

st_exteriorring funktionen stöds nu

Nu kan du använda st_exteriorring funktionen för att extrahera den yttre gränsen för en polygon och returnera den som en linjedragning. Se st_exteriorring funktion.

Visa information om pushdown i EXPLAIN och Spark-användargränssnittet för fjärrgenomsökningar

Kommandot EXPLAIN och Spark-användargränssnittet för RemoteSparkConnectScan dedikerad beräkning visar nu predikat, aggregeringar, gruppera efter satser, gränser och exempel som skickas ned till fjärrgenomsökningen.

Deklarera flera sessioner eller lokala variabler i en enda DECLARE instruktion

I Databricks Runtime 17.2 och senare kan du deklarera flera sessionsvariabler eller lokala variabler av samma typ och standardvärde i en enda DECLARE instruktion. Se DECLARE VARIABLE och BEGIN END-sammansatt sats.

Stöd TEMPORARY för att skapa måttvyer

Du kan nu använda nyckelordet TEMPORARY när du skapar en måttvy. Tillfälliga måttvyer visas endast i sessionen som skapade dem och tas bort när sessionen avslutas. Se även CREATE VIEW.

Stöd för ytterligare kommandon med detaljerad åtkomstkontroll

Detaljerad åtkomstkontroll för dedikerad beräkning stöder nu kommandona FSCK REPAIR TABLE och DESCRIBE DETAIL .

Selektivt och atomiskt ersätta data med INSERT REPLACE USING och INSERT REPLACE ON (GA)

INSERT REPLACE USING och INSERT REPLACE ON är nu allmänt tillgängliga för Databricks Runtime 17.2. Båda SQL-kommandona ersätter en del av tabellen med resultatet av en fråga.

INSERT REPLACE USING ersätter rader när kolumnerna USING jämför lika under likhet. INSERT REPLACE ON ersätter rader när de matchar ett användardefinierat villkor.

Se INSERT i SQL-språkreferensen och skriv över data selektivt med Delta Lake.

Använda intern I/O för LokiFileSystem.getFileStatus på S3

LokiFileSystem.getFileStatus använder nu den interna I/O-stacken för Amazon S3-trafik och returnerar org.apache.hadoop.fs.FileStatus objekt i stället shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatusför .

ANSI-läge aktiverat som standard för Pandas API på Spark

ANSI_MODE är nu aktiverat som standard för Pandas API på Spark med compute.ansi_mode_support=True, vilket säkerställer ANSI-efterlevnadsparitet med inbyggda Pandas. Alternativet compute.fail_on_ansi_mode gäller fortfarande om compute.ansi_mode_support är inställt på False.

Automatisk inläsning härleder partitionskolumner i singleVariantColumn-läge

Automatisk inläsning härleder nu partitionskolumner från filsökvägar när data matas in som en halvstrukturerad varianttyp med hjälp av singleVariantColumn alternativet . Tidigare identifierades inte partitionskolumner automatiskt. Se Alternativ för automatisk inläsning.

Förändringar i beteende

• DESCRIBE CONNECTION visar miljöinställningar för JDBC-anslutningar
• Alternativ för att trunkera enhetlig historik under migrering av hanterade tabeller
• SQL-syntax för deltaläsningsalternativ i strömmande frågor
• Rätt resultat för split med tom regex och positiv gräns
• Korrigering url_decode och try_url_decode felhantering i Photon
• Delad körningsmiljö för Unity Catalog Python UDF:er
• Radspårning aktiverad som standard för nya tabeller

DESCRIBE CONNECTION visar miljöinställningar för JDBC-anslutningar

Azure Databricks innehåller nu användardefinierade miljöinställningar i DESCRIBE CONNECTION utdata för JDBC-anslutningar som stöder anpassade drivrutiner och körs isolerat. Andra anslutningstyper förblir oförändrade.

Alternativ för att trunkera enhetlig historik under migrering av hanterade tabeller

Nu kan du trunkera enhetlig historik när du migrerar tabeller med Uniform/Iceberg aktiverat med .ALTER TABLE...SET MANAGED Detta förenklar migreringen och minskar stilleståndstiden jämfört med att inaktivera och återaktivera Uniform manuellt.

SQL-syntax för deltaläsningsalternativ i strömmande frågor

Nu kan du ange Delta-läsalternativ för SQL-baserade strömningsfrågor med hjälp av WITH -satsen. Till exempel:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Rätt resultat för split med tom regex och positiv gräns

Azure Databricks returnerar nu rätt resultat när du använder split function med en tom regex och en positiv gräns. Tidigare trunkerade funktionen felaktigt den återstående strängen i stället för att inkludera den i det sista elementet.

Korrigering url_decode och try_url_decode felhantering i Photon

I Photon try_url_decode() och url_decode() med failOnError = false nu returnerar NULL du ogiltiga URL-kodade strängar i stället för att misslyckas med frågan.

Delad körningsmiljö för Unity Catalog Python UDF:er

Azure Databricks delar nu körningsmiljön för Användardefinierade Python-tabellfunktioner (UDF: er) från samma ägare och Spark-session. Det finns en valfri STRICT ISOLATION sats för att inaktivera delning för UDF:er med biverkningar, till exempel ändra miljövariabler eller köra godtycklig kod.

Radspårning aktiverad som standard för nya tabeller

Azure Databricks aktiverar nu radspårning som standard för alla nyligen skapade hanterade Unity Catalog-tabeller. Befintliga tabeller påverkas inte och behåller sina aktuella radspårningsinställningar.

Biblioteksuppgraderingar

Uppgraderade Python-bibliotek:

Inga Python-bibliotek har uppgraderats i den här versionen.

Uppgraderade R-bibliotek:

Inga R-bibliotek har uppgraderats i den här versionen.

Uppgraderade Java-bibliotek:

• io.delta.delta-sharing-client_2.13 från 1.3.3 till 1.3.5

Apache Spark

Databricks Runtime 17.2 innehåller Apache Spark 4.0.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i version 17.1, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• SPARK-53183 Använda Java Files.readString i stället för o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Introducera ansiConfig-fält igen i messageParameters för CAST_INVALID_INPUT och CAST_OVERFLOW
• SPARK-53124 Rensa onödiga fält från JsonTuple
• SPARK-53106 Lägga till schemautvecklingstester för TWS Scala spark connect-sviter
• SPARK-53201 Använd SparkFileUtils.contentEquals i stället för Files.equal
• SPARK-53308 Ta inte bort alias i RemoveRedundantAliases som skulle orsaka dubbletter
• SPARK-53241 Support createArray i SparkCollectionUtils
• SPARK-53239 Förbättra MapSort och SortArray prestanda via parallelSort
• SPARK-53184 Åtgärda melt() när värdekolumner blandar strängar och tal
• SPARK-53144 Gör CreateViewCommand i SparkConnectPlanner-sidoeffekten fri
• SPARK-53303 Använd den tomma tillståndskodaren när det ursprungliga tillståndet inte anges i TWS
• SPARK-52917 Lässtöd för att aktivera tur och retur för binärt i XML-format
• SPARK-53110 Implementera funktionen time_trunc i PySpark
• SPARK-53107 Implementera funktionen time_trunc i Scala
• SPARK-52146 Identifiera cykliska funktionsreferenser i SQL UDF:er
• SPARK-52469 Använda JEP 223 API för att bearbeta Java-version
• SPARK-53094 Åtgärda KUB med aggregerade HAVING satser
• SPARK-51874 Lägg till TypedConfigBuilder för Scala-uppräkning
• SPARK-53287 Lägga till ANSI-migreringsguide
• SPARK-43100 Push-baserade shuffle-mått måste deserialiseras korrekt
• SPARK-53045 DESCRIBE EXTENDED bör vara motståndskraftigt mot skadade metadata
• SPARK-53114 Support join i JavaUtils
• SPARK-53297 Åtgärda docstring för Api-dokument för StreamingTable Deklarativa pipelines
• SPARK-53181 Aktivera dokumenttester under ANSI
• SPARK-52482 Förbättra undantagshanteringen för att läsa vissa skadade zstd-filer
• SPARK-52990 Stöd StringSubstitutor
• SPARK-51874 Lägg till TypedConfigBuilder för Scala-uppräkning
• SPARK-53169 Ta bort kommentarer relaterade till "Set the logger level of File Appender to" från log4j2.properties
• SPARK-53080 Support cleanDirectory i SparkFileUtils och JavaUtils
• SPARK-53045 DESCRIBE EXTENDED bör vara motståndskraftigt mot skadade metadata
• SPARK-53000 Byt StringUtils.scala namn till StringConcat.scala i sql/api modulen
• SPARK-52952 Lägg till Skript för UDF-typtvång i PySpark
• SPARK-52998 Flera variabler inuti deklarerar
• SPARK-51817 Introducera ansiConfig-fält igen i messageParameters för CAST_INVALID_INPUT och CAST_OVERFLOW
• SPARK-52820 Samla in fullständiga planer i gyllene filer
• SPARK-53274 Stöd för pushdown för vänster och höger koppling i JDBCScanBuilder
• SPARK-52110 Implementera SQL-syntaxstöd för pipelines
• SPARK-52950 Aktivera ANSI-läge i DataSourceV2StrategySuite
• SPARK-52947 Åtgärda bildsökvägen i programmeringsguiden för deklarativa pipelines
• SPARK-52592 Stöd för att skapa en ps. Serie från en ps. Serie
• SPARK-53301 Differentiera typtips för Pandas UDF och Arrow UDF
• SPARK-53146 Gör MergeIntoTable i SparkConnectPlanner-sidoeffekten fri
• SPARK-53166 Använda SparkExitCode.EXIT_FAILURE i SparkPipelines -objekt
• SPARK-53288 Åtgärda kontrollfel med global direktuppspelningsgräns
• SPARK-52394 Åtgärda autokorrigeringsfelet dividera efter noll under ANSI-läge
• SPARK-51555 Lägg till funktionen time_diff()
• SPARK-52948 Aktivera test_np_spark_compat_frame under ANSI
• SPARK-53134 Rensa oanvända ANSI-importer i tester
• SPARK-52593 Undvik CAST_INVALID_INPUT av MultiIndex.to_seriesoch Series.dotDataFrame.dot i ANSI-läge
• SPARK-53291 Åtgärda nullbarhet för värdekolumnen
• SPARK-53097 Gör WriteOperationV2 i SparkConnectPlanner-sidoeffekten fri
• SPARK-53305 Stöd för TimeType i createDataFrame
• SPARK-52914 Stöd On-Demand Log Loading för rullande loggar i History Server
• SPARK-33538 Skicka IN/NOT-predikat direkt till Hive-metaarkivet
• SPARK-52849 Lägg till i stringifyExceptiono.a.s.util.Utils
• SPARK-52771 Åtgärda float32-typbreddning i truediv/floordiv
• SPARK-52502 Översikt över antal trådar
• SPARK-52788 Åtgärda fel vid konvertering av binärt värde i BinaryType till XML
• SPARK-53123 Support getRootCause i SparkErrorUtils
• SPARK-53129 Förbättra SparkShell till import java.net._ som standard
• SPARK-53061 Support copyFileToDirectory i SparkFileUtils
• SPARK-52683 Stöd för ExternalCatalog alterTableSchema
• SPARK-52871 Koppla o.a.s.sql.catalyst.util.SparkStringUtils till o.a.s.util.SparkStringUtils
• SPARK-52817 Åtgärda Like uttrycksprestanda
• SPARK-52545 Standardisera dubbelcitat för att följa SQL-specifikationen
• SPARK-52711 Åtgärda float32-typbreddning under mul/rmul ANSI
• SPARK-52615 Ersätt File.mkdirs med Utils.createDirectory
• SPARK-52381 JsonProtocol: Acceptera endast underklasser av SparkListenerEvent
• SPARK-52613 Återställa utskrift av fullständig stacktrace när HBase/Hive DelegationTokenProvider träffade undantaget
• SPARK-52651 Hantera användardefinierad typ i kapslad kolumnVektor
• SPARK-52611 Åtgärda SQLConf-versionen för excludeSubqueryRefsFromRemoveRedundantAliases...
• SPARK-52552 Hoppa över CHECK-begränsningstvingande för borttagningar av vektorborttagningar
• SPARK-52587 spark-shell 2.13-stödparameter -i-I
• SPARK-52492 Gör InMemoryRelation.convertToColumnarIfPossible anpassningsbar
• SPARK-52451 Gör WriteOperation i SparkConnectPlanner-sidoeffekten fri
• SPARK-53272 Refaktor-SPJ-pushdown-logik från BatchScanExec
• SPARK-53071 Support copyFile i SparkFileUtils
• SPARK-51415 Stöd för tidstypen efter make_timestamp()
• SPARK-51554 Lägg till funktionen time_trunc()
• SPARK-52426 Stöd för omdirigering av stdout/stderr till loggningssystem
• SPARK-51834 Stöd för tabellbegränsning från slutpunkt till slutpunkt
• SPARK-53063 Implementera och anropa nya API:er i FileCommitProtocol i stället för de inaktuella
• SPARK-52546 kontrollerar sparkContext om det har stoppats när catch code-blocket körs i execute(), annars returneras fel tillstånd.
• SPARK-53023 Ta bort commons-io beroende från sql/api modulen
• SPARK-52396 Artefaktrotkatalog bör använda tmpdir
• SPARK-53131 Förbättra SparkShell till import java.nio.file._ som standard
• SPARK-42322 Tilldela namn to_LEGACY_ERROR_TEMP_2235
• SPARK-51834 Stöd för tabellbegränsning från slutpunkt till slutpunkt
• SPARK-52484 Hoppa över child.supportsColumnar-försäkran från drivrutinssidan i ColumnarToRowExec
• SPARK-52384 Åtgärda bugganslutning bör vara okänsligt för JDBC-alternativ
• SPARK-52034 Lägga till vanliga metoder i SparkOperation-drag för thriftserveråtgärder
• SPARK-53031 Support getFile i SparkFileUtils
• SPARK-52976 Åtgärda att Python UDF inte accepterar sorterad sträng som indataparam/returtyp (17.x)
• SPARK-52943 Aktivera arrow_cast för alla Pandas UDF-evaltyper
• SPARK-53263 Stöd för TimeType i df.toArrow
• SPARK-53141 Lägg till API:er för att hämta minnesstorlek och minnesstorlek utanför minnet från resursprofilen
• SPARK-53259 Korrigera meddelandet för INVALID_UDF_EVAL_TYPE
• SPARK-53167 Spark launcher isRemote respekterar även egenskapsfilen
• SPARK-53165 Addera SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Förbättring UTF8String upprepa
• SPARK-53170 Förbättra SparkUserAppException för att ha cause parametern
• SPARK-52989 Lägga till explicit close() API i State Store-iteratorer
• SPARK-53074 Undvik partiell klustring i SPJ för att uppfylla ett barns nödvändiga distribution
• SPARK-52252 ScalaUDF-kodare i underfrågor bör matchas
• SPARK-53244 Lagra inte aktiverade konfigurationer med dubbel körning och preliminärt läge när vyn skapas
• SPARK-53192 Cachelagrade alltid en DataSource i Spark Connect-plancache
• SPARK-51813 Lägg till en icke-ullerbar DefaultCachedBatchKryoSerializer för att undvika nullspridning i DefaultCachedBatch-serde
• SPARK-52904 Använd på nytt "[SC-202233][python] Aktivera convertToArrowArrayS...
• SPARK-53253 Åtgärda register-UDF av typen SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Visa en lista över evaltyper som stöds i pilnoder
• SPARK-53130 Åtgärda toJson beteendet för sorterade strängtyper
• SPARK-53003 Support strip i SparkStringUtils
• SPARK-51902 Synkronisera OSS: Framtvinga kontrollbegränsning vid infogning av tabeller
• SPARK-52047 Höja PySparkValueError för diagramtyper som inte stöds
• SPARK-53004 Support abbreviate i SparkStringUtils
• SPARK-53066 Förbättra EXPLAIN utdata för push-nedtryckning för DSv2 Join
• SPARK-30848 Ta bort productHash från TreeNode
• SPARK-53046 Använda Java readAllBytes i stället för IOUtils.toByteArray
• SPARK-53206 Använd SparkFileUtils.move i stället för com.google.common.io.Files.move
• SPARK-53066 Förbättra EXPLAIN utdata för push-nedtryckning för DSv2 Join
• SPARK-53069 Åtgärda felaktiga tillståndslagermått med virtuella kolumnfamiljer
• SPARK-52904 Aktivera convertToArrowArraySafely som standard [17.x]
• SPARK-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-51562 Lägg till time funktion
• SPARK-52971 Begränsa inaktiv Python-arbetsköstorlek
• SPARK-53057 Support sizeOf i SparkFileUtils och JavaUtils
• SPARK-53040 Förbjuda självreferenser i de översta CTE:erna i rekursiva CTE:er
• SPARK-53104 Introducera ansi_mode_context för att undvika flera konfigurationskontroller per API-anrop
• SPARK-47547 Lägg till BloomFilter V2 och använd det som standard
• SPARK-53098DeduplicateRelations ska inte mappa om uttryck om gamla ExprId fortfarande finns i utdata
• SPARK-53049 Support toString i SparkStreamUtils
• SPARK-53062 Support deleteQuietly i SparkFileUtils och JavaUtils
• SPARK-53070 Support is(Not)?Empty i SparkCollectionUtils
• SPARK-53020 JPMS args bör också gälla för icke-SparkSubmit-processen
• SPARK-52968 Generera ytterligare tillståndslagermått
• SPARK-52975 Förenkla fältnamn i pushdown join sql
• SPARK-52926 SQLMetric har lagts till för fjärrschemat som hämtar tidsåtgången.
• SPARK-53059 Arrow UDF behöver inte vara beroende av Pandas
• SPARK-52646 Undvik CAST_INVALID_INPUT i __eq__ ANSI-läge
• SPARK-52622 Undvik CAST_INVALID_INPUT i DataFrame.melt ANSI-läge
• SPARK-52985 Raise TypeError för pandas numpy operand i jämförelseoperatorer
• SPARK-52580 Undvik CAST_INVALID_INPUT i replace ANSI-läge
• SPARK-52549 Inaktivera rekursiva CTE-självreferenser från fönsterfunktioner och inuti sortering
• SPARK-52895 Lägg inte till duplicerade element i resolveExprsWithAggregate
• SPARK-50748 Åtgärda ett problem med ett konkurrenstillstånd som inträffar när åtgärder avbryts
• SPARK-52737 Pushdown-predikat och antal appar till FsHistoryProvider när du listar program
• SPARK-53018 ArrowStreamArrowUDFSerializer bör respektera argument arrow_cast
• SPARK-53013 Åtgärda piloptimerad Python UDTF som inte returnerar några rader vid lateral koppling
• SPARK-51834 Synkronisera OSS: Stöd för tabellbegränsning från slutpunkt till slutpunkt ändrar begränsning för tillägg/släpp
• SPARK-52921 Ange outputPartitioning för UnionExec för samma utdatapartitonering som underordnade operatorer
• SPARK-52908 Förhindra att iteratorvariabelnamn kolliderar med namn på etiketter i sökvägen till AST-roten
• SPARK-52954 Arrow UDF har stöd för returtypstvång
• SPARK-52925 Returnera rätt felmeddelande för självreferenser för fästpunkter i rCTEs
• SPARK-52889 Implementera funktionen current_time i PySpark
• SPARK-52675 Avbryta hängande ML-hanterare i tester
• SPARK-52959 Stöd för UDT i piloptimerad Python UDTF
• SPARK-52962 BroadcastExchangeExec bör inte återställa mått
• SPARK-52956 Bevara aliasmetadata vid komprimerande projekt
• SPARK-52890 Implementera funktionerna to_time och try_to_time i PySpark
• SPARK-52888 Implementera funktionen make_time i PySpark
• SPARK-52892 Stödtid i funktionerna timme, minut och sekund i PySpark
• SPARK-52837 Stöd för TimeType i pyspark
• SPARK-52023 Åtgärda skadade data/segfault som returnerar Alternativet[Produkt] från udaf
• SPARK-52955 Ändra returtyperna för WindowResolution.resolveOrder och WindowResolution.resolveFrame till WindowExpression
• SPARK-52166 Lägga till stöd för PipelineEvents
• SPARK-51834 Korrigering: ta bort giltigt från toDDL
• SPARK-52735 Åtgärda feltillstånd som saknas för SQL UDF:er
• SPARK-51834 Synkronisera OSS-stöd för att skapa/ersätta tabell från slutpunkt till slutpunkt med villkor
• SPARK-51834 Synkronisera OSS uppdatering ÅterställdaIdentifier avmarkerar anrops
• SPARK-52929 Stöd för MySQL- och SQLServer-anslutningsappen för DSv2 Join-pushdown
• SPARK-52448 Lägg till förenklat structuttryck.Literal
• SPARK-52882 Implementera funktionen current_time i Scala
• SPARK-52905 Pil-UDF för fönster
• SPARK-52876 Åtgärda ett stavfel buffer till body i ChunkFetchSuccess.toString
• SPARK-52883 Implementera funktionerna to_time och try_to_time i Scala
• SPARK-52751 Verifiera inte kolumnnamnet i ivrigt dataframe['col_name']
• SPARK-52791 Åtgärda fel när du härleder en UDT med ett null-första element
• SPARK-52686Union bör lösas endast om det inte finns några dubbletter
• SPARK-52881 Implementera funktionen make_time i Scala
• SPARK-52919 Åtgärda DSv2 Join-pushdown för att använda tidigare aliaskolumn
• SPARK-52866 Lägg till stöd för try_to_date
• SPARK-52846 Lägg till ett mått i JDBCRDD för hur lång tid det tar att hämta resultatuppsättningen
• SPARK-52859 Lägg till SparkSystemUtils-egenskap
• SPARK-52823 Stöd för DSv2 Join-pushdown för Oracle-anslutningsprogram
• SPARK-52165 Konfigurera byggställningar för pipelineprojektet
• SPARK-52869 Lägg till FrameLessOffsetWindowFunction-validering för att valideraResolvedWindowExpression för återanvändning i analysverktyg med enkel åtkomst
• SPARK-52885 Implementera funktionerna timme, minut och sekund i Scala för time-typen
• SPARK-52903 Trimma alias på icke-toppnivå före LCA-lösning
• SPARK-52832 Åtgärda citat för JDBC-dialektidentifierare
• SPARK-52870 Korrekt citatvariabelnamn i FOR instruktion
• SPARK-52859 Lägg till SparkSystemUtils egenskap
• SPARK-52900 Använd SparkStringUtils.stringToSeq i FsHistoryProvider
• SPARK-52809 Håll inte läsare och iteratorreferenser för alla partitioner i lyssnare för slutförande av uppgifter för måttuppdatering
• SPARK-52815 Förbättra SparkClassUtils supporten getAllInterfaces
• SPARK-52795 Inkludera runId i tillståndsarkivloggar
• SPARK-52779 Stöd för TimeType-literal i Connect
• SPARK-52899 Åtgärda QueryExecutionErrorsSuite-test för att registrera H2Dialect-tillbaka
• SPARK-52862 Åtgärda nullabilitetskontrollen för Decimal('NaN')
• SPARK-52214 Pil-UDF för aggregering
• SPARK-52787 Omorganisera dir för strömningskörning runt körnings- och kontrollpunktsområden
• SPARK-51564 TIME-parsning i klockformatet på 12 timmar
• SPARK-52859 Lägg till SparkSystemUtils egenskap
• SPARK-51562 Lägg till time funktion
• SPARK-52850 Hoppa över att anropa konverteringar om identitetsfunktionen
• SPARK-52863 Rensa kodsökvägar för gamla Pandas-versioner
• SPARK-52516 Lagra inte tidigare iteratorreferens efter att du har avancerat till nästa fil i ParquetPartitionReaderFactory
• SPARK-52848 Undvik att casta till Double i gjutning TIME/TIMESTAMP till DECIMAL
• SPARK-52770 Supporttyp TIME i connect proto
• SPARK-52842 Nya funktioner och felkorrigeringar för analysverktyg med enkla pass
• SPARK-52620 Stöd för gjutning av TIME till DECIMAL
• SPARK-52783 RefaktorfönsterFunktionsverifieringslogik från checkAnalysis för återanvändning i analysverktyg med enkel pass
• SPARK-51695 Synkronisera TABELLEN SKAPA/ersätt/ändra i OSS för unik begränsning via DSv2
• SPARK-51695 Synkronisera OSS borttagningsbegränsning via DSv2
• SPARK-52824 CheckpointFileManager-felklassificering
• SPARK-52829 Åtgärda LocalDataToArrowConversion.convert för att hantera tomma rader korrekt
• SPARK-52811 Optimera ArrowTableToRowsConversion.convert för att förbättra dess prestanda
• SPARK-52796 Optimera LocalDataToArrowConversion.convert för att förbättra dess prestanda
• SPARK-51695 Synkronisera ÄNDRINGAR av tabelltillägg för OSS-villkorsparser
• SPARK-52619 Cast TimeType till IntegralType
• SPARK-52187 Presentera push-nedtryckning för Join för DSv2
• SPARK-52782 Returnera NULL från +/- på datetime med NULL
• SPARK-51695 Introducera parsningsändringar för tabellbegränsningar (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications bör vara positiv
• SPARK-52776 Dela inte comm-fältet i ProcfsMetricsGetter
• SPARK-52793 Support isUnix på o.a.s.util.Utils
• SPARK-52792 Ta bort commons-lang3 beroende från network-common
• SPARK-52797 Använd Utils.isWindows i stället för att omvärdera i PythonWorkerFactory
• SPARK-52784 Lägg till TimeZoneAware-gjutning i WindowFrameTypeCoercion.createBoundaryCast
• SPARK-52725 Fördröj initiering av resursprofilhanteraren tills plugin-programmet har lästs in
• SPARK-52565 Framtvinga ordningsupplösning före andra sorteringsordningsuttryck
• SPARK-52740 Åtgärda NPE i HDFSBackedStateStoreProvider som kommer åt StateStoreConf.sqlConf när kontrollpunktsformatversionen är >=2
• SPARK-52673 Lägga till grpc RetryInfo-hantering i Spark Connect-återförsöksprinciper
• SPARK-52724 Förbättra OOM-felhantering för sändningsanslutning med stöd för SHUFFLE_MERGE tips
• SPARK-52781 Åtgärda dtyeps-stavfel i internal.py
• SPARK-52730 Lagra underliggande drivrutin och databasversion i JDBCRDD
• SPARK-52727 Refaktorfönstermatchning för att återanvända den i enstaka analysverktyg
• SPARK-52695 Skrivstöd för användardefinierad typ för XML-filformat
• SPARK-52722 Inaktuell JdbcRDD-klass
• SPARK-51695 Introducera parsningsändringar för tabellbegränsningar (CHECK, PK, FK)
• SPARK-52763 Subtrahera supporttid
• SPARK-52768 Åtgärda stavfelsflyttning i Pandas/series.py
• SPARK-52730 Lagra underliggande drivrutin och databasversion i JDBCRDD
• SPARK-52694 Lägg till o.a.s.sql.Encoders#udtAPI
• SPARK-52720 Åtgärda float32-typbreddning under add/radd ANSI
• SPARK-52723 Verifiering av kolumnnamn på serversidan
• SPARK-52760 Åtgärda float32-typbreddning under sub/rsub ANSI
• SPARK-52738 Stöd för att aggregera TIME-typen med en UDAF när den underliggande bufferten är en UnsafeRow
• SPARK-52704 Förenkla interoperation mellan SQLConf- och filformatalternativ i TextBasedFileFormats
• SPARK-52706 Åtgärda inkonsekvenser och refaktoriska primitiva typer i parser
• SPARK-52718 Åtgärda float32-typbreddning under rmod/mod ANSI
• SPARK-52736 Åtgärda stavfelsflyttning i pyspark/pandas/generic.py

Stöd för Azure Databricks ODBC/JDBC-drivrutin

Azure Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

• Operativsystem: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta lake: 4.0.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2025-03-20.

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)