Databricks Runtime 15.4 LTS

Följande versionsanteckningar ger information om Databricks Runtime 15.4 LTS, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i augusti 2024.

Förändringar i beteende

• Om du använder en VARIANT som indata- eller utdatatyp med en Python UDF, UDAF eller UDTF genereras ett undantag
• spark.sql.legacy.jdbc.useNullCalendar är nu aktiverat som standard
• Ändra till standardschemabindningsläget för vyer
• Tillåt inte att du använder den odokumenterade ! syntaxen i stället NOT för externa booleska uttryck
• Tillåt inte syntax för odokumenterad kolumndefinition i vyer
• Konsekvent felhantering för Base64-avkodning i Spark och Photon
• Om du lägger till en CHECK begränsning för en ogiltig kolumn returneras nu UNRESOLVED_COLUMN. WITH_SUGGESTION felklass
• spark.sql.legacy.jdbc.useNullCalendar är nu aktiverat som standard
• pyodbc uppdateras från 4.0.38 till 4.0.39

Om du använder en VARIANT som indata- eller utdatatyp med en Python UDF, UDAF eller UDTF genereras ett undantag

[Icke-bakåtkompatibel ändring] I Databricks Runtime 15.3 och senare anropar du en Python-användardefinierad funktion (UDF), användardefinierad aggregeringsfunktion (UDAF) eller användardefinierad tabellfunktion (UDTF) som använder en VARIANT typ som argument eller returvärde genererar ett undantag. Den här ändringen görs för att förhindra problem som kan uppstå på grund av ett ogiltigt värde som returneras av någon av dessa funktioner. Mer information om typen finns i VARIANT Använda VARIANT för att lagra halvstrukturerade data.

spark.sql.legacy.jdbc.useNullCalendar är nu aktiverat som standard

spark.sql.legacy.jdbc.useNullCalendar är nu som standard inställt på true. Om den här ändringen påverkar dina förfrågningar (till exempel de som returnerar TIMESTAMP värden) ställer du in den till false i koden.

Ändra till standardschemabindningsläget för vyer

Vyerna anpassas nu till schemaändringar i den underliggande frågan med hjälp av schemakompensation med vanliga regler för gjutning. Det här är en ändring från det tidigare standardläget BINDING , vilket gav upphov till fel när en säker gjutning inte kunde utföras när vyn refererades till.

Se funktionerna CREATE VIEW och cast.

Tillåt inte att du använder den odokumenterade ! syntaxen i stället NOT för externa booleska uttryck

Med den här versionen tillåts inte längre användning av ! som synonym för NOT utanför booleska uttryck. Till exempel instruktioner som följande: CREATE ... IF ! EXISTS, IS ! NULL, en ! NULL kolumn- eller fältegenskap ! IN och ! BETWEEN måste ersättas med: CREATE ... IF NOT EXISTS, IS NOT NULL, en NOT NULL kolumn- eller fältegenskap NOT IN och NOT BETWEEN.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och gör din SQL mer portabel.

Den booleska prefixoperatorn! (till exempel !is_mgr eller !(true AND false)) påverkas inte av den här ändringen.

Tillåt inte syntax för odokumenterad kolumndefinition i vyer

Databricks stöder CREATE VIEW med namngivna kolumner och kolumnkommenterar. Tidigare har specifikationen av kolumntyper, NOT NULL begränsningar eller DEFAULT tillåtits. Med den här versionen kan du inte längre använda den här syntaxen.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och stöder framtida förbättringar.

Konsekvent felhantering för Base64-avkodning i Spark och Photon

Den här versionen ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Spark-hanteringen av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland misslyckas med att orsaka parsningsundantag, medan Spark tolkad körning korrekt orsakade IllegalArgumentException eller ConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.

Om du lägger till en CHECK begränsning för en ogiltig kolumn returneras nu UNRESOLVED_COLUMN. WITH_SUGGESTION felklass

För att ge mer informativa felmeddelanden i Databricks Runtime 15.3 och senare, returnerar en ALTER TABLE ADD CONSTRAINT-instruktion som innehåller en CHECK-begränsning som refererar till ett ogiltigt kolumnnamn, felklassen UNRESOLVED_COLUMN.WITH_SUGGESTION. Tidigare returnerades en INTERNAL_ERROR.

spark.sql.legacy.jdbc.useNullCalendar är nu aktiverat som standard

### spark.sql.legacy.jdbc.useNullCalendar är nu inställd som standardinställning på true. Om den här ändringen påverkar dina förfrågningar (till exempel de som returnerar TIMESTAMP värden) ställer du in den till false i koden.

pyodbc uppdateras från 4.0.38 till 4.0.39

Pyodbc-paketet uppdateras från version 4.0.38 till version 4.0.39. Den här ändringen krävs eftersom en bugg hittades i version 4.0.38 och den versionen har tagits bort från PyPI.

Nya funktioner och förbättringar

• UTF-8-valideringsfunktioner
• Api:er för typade datauppsättningar med Scala-UDF:er
• Aktivera UniForm Iceberg med hjälp av ALTER TABLE
• try_url_decode-funktionen
• Om du vill kan du tillåta att optimeraren förlitar sig på oimplementerade främmande nyckelbegränsningar
• Parallelliserade processkörningar för selektiva överskrivningar
• Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar
• Förbättrad frågesvarstid för COPY INTO kommandot
• Stöd för att ta bort tabellfunktionen för kontrollbegränsningar
• Dedikerad beräkning (tidigare beräkning med en enskild användare) stöder detaljerad åtkomstkontroll, materialiserade vyer och strömmande tabeller (offentlig förhandsversion)
• Utökat stöd för Java- och Scala-bibliotek
• Utökat stöd för Scala Dataset-åtgärder
• Scala är allmänt tillgängligt i Unity Catalogs standardberäkning
• Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentiseringsuppgifter (offentlig förhandsversion)

UTF-8-valideringsfunktioner

Den här versionen introducerar följande funktioner för validering av UTF-8-strängar:

• is_valid_utf8 verifierat om en sträng är en giltig UTF-8-sträng.
• make_valid_utf8 konverterar en potentiellt ogiltig UTF-8-sträng till en giltig UTF-8-sträng med ersättningstecken
• validate_utf8 genererar ett fel om indata inte är en giltig UTF-8-sträng.
• try_validate_utf8 returnerar NULL om indata inte är en giltig UTF-8-sträng.

Api:er för typade datauppsättningar med Scala-UDF:er

Den här versionen innehåller stöd för typsatta API:er för datauppsättningar med användardefinierade funktioner för Scala (exklusive användardefinierade aggregeringsfunktioner) på beräkning aktiverad med Unity Catalog med standardåtkomstläge (tidigare delat åtkomstläge). Se API:er för typade datauppsättningar.

Aktivera UniForm Iceberg med hjälp av ALTER TABLE

Nu kan du aktivera UniForm Iceberg på befintliga tabeller utan att skriva om datafiler. Se Aktivera Iceberg-läsningar på en redan befintlig tabell.

try_url_decode-funktion

Den här versionen introducerar funktionen try_url_decode , som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar NULL funktionen i stället för att skapa ett fel.

Om du vill kan du tillåta att optimeraren förlitar sig på icke-genomdrivna begränsningar för externnyckel.

För att förbättra frågeprestandan kan du nu ange nyckelordet RELY för FOREIGN KEY begränsningar när du skapar eller ändrar en tabell.

Parallelliserade jobbkörningar för selektiva överlagringar

Selektiva överskrivningar med replaceWhere kör nu jobb som tar bort och infogar nya data parallellt, vilket förbättrar sökfrågeprestanda och klusteranvändning.

Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar

Selektiva överskrivningar av replaceWhere på tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för infogade data. Dessa operationer använder en gömd _change_type kolumn, som finns i de underliggande Parquet-datafilerna, för att registrera ändringar utan skrivamplifiering.

Förbättrad frågesvarstid för COPY INTO kommandot

Den här versionen innehåller en ändring som förbättrar frågesvarstiden för COPY INTO kommandot. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer.

Stöd för att ta bort tabellfunktionen för kontrollbegränsningar

Nu kan du släppa checkConstraints tabellfunktionen från en Delta-tabell med hjälp av ALTER TABLE table_name DROP FEATURE checkConstraints. Se Inaktivera kontrollbegränsningar.

Dedikerad beräkning (tidigare beräkning av en enskild användare) stöder detaljerad åtkomstkontroll, materialiserade vyer och strömmande tabeller (offentlig förhandsversion)

När en arbetsyta är aktiverad för serverlös beräkning lägger Databricks Runtime 15.4 LTS till stöd för detaljerad åtkomstkontroll vid dedikerad beräkning. När en fråga kommer åt något av följande objekt skickar den dedikerade beräkningsresursen på Databricks Runtime 15.4 LTS frågan till den serverlösa beräkningen för att köra datafiltrering:

• Vyer som definierats över tabeller där användaren inte har privilegiet SELECT.
• Dynamiska vyer.
• Tabeller med radfilter eller kolumnmasker tillämpade.
• Materialiserade vyer och strömmande tabeller.

Dessa frågor stöds inte på dedikerad beräkning som kör Databricks Runtime 15.3 och nedan.

Mer information finns i Detaljerad åtkomstkontroll för dedikerad beräkning.

Utökat stöd för Java- och Scala-bibliotek

Från och med Databricks Runtime 15.4 LTS är alla Java- och Scala-bibliotek som paketeras med Databricks Runtime tillgängliga i alla beräkningsåtkomstlägen när du använder Unity Catalog. Mer information om språkstöd för Unity Catalog-aktiverad beräkning finns i Standardkrav och begränsningar för beräkning.

Utökat stöd för Scala Dataset-åtgärder

Med den här versionen stöder Unity Catalog-aktiverade beräkningsresurser som använder standardåtkomstläge följande Scala-Dataset åtgärder: map, mapPartitions, foreachPartition, flatMap, reduce och filter.

Scala är allmänt tillgängligt inom Unity Catalogs standardberäkning

Med den här versionen är Scala allmänt tillgängligt i standardåtkomstläge Unity Catalog-aktiverad beräkning, inklusive stöd för skalära användardefinierade funktioner (UDF: er). Strukturerad direktuppspelning, Hive UDF:er och användardefinierade Hive-aggregeringsfunktioner stöds inte. En fullständig lista över begränsningar finns i Standardkrav och begränsningar för beräkning.

Unity Catalog-styrd åtkomst till externa molntjänster med tjänstautentiseringsuppgifter (offentlig förhandsversion)

Tjänstautentiseringsuppgifter möjliggör enkel och säker autentisering med molnklientens tjänster med hjälp av Azure-hanterade identiteter (MI) och Unity Catalog. Se Skapa autentiseringsuppgifter för tjänsten.

Felkorrigeringar

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • azure-core från 1.30.1 till 1.30.2
  • google-auth från 2.29.0 till 2.31.0
  • google-cloud-storage från 2.16.0 till 2.17.0
  • google-resumable-media från 2.7.0 till 2.7.1
  • googleapis-common-protos från 1.63.0 till 1.63.2
  • mlflow-skinny från 2.11.3 till 2.11.4
  • proto-plus från 1.23.0 till 1.24.0
  • s3transfer från 0.10.1 till 0.10.2
• Uppgraderade R-bibliotek:
• Uppgraderade Java-bibliotek:
  • com.databricks.databricks-sdk-java från 0.17.1 till 0.27.0
  • com.ibm.icu.icu4j från 72.1 till 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.3 (EoS)och följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Tillåt gruppering på uttryck i skalär underfrågor, om de är bundna till yttre rader
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Inaktivera varierande indata/utdata till python-skalära UDF:er, UDTF:er, UDAF:er under frågekompilering
• [SPARK-48441] [SC-170980][sql][WARMFIX] Korrigera StringTrim-beteende för icke-UTF8_BINARY sortering
• [SPARK-48440] [SC-170895][sql][WARMFIX] Korrigera StringTranslate-beteende för icke-UTF8_BINARY sortering
• [SPARK-48872] [SC-170866][python] Minska kostnaderna för _capture_call_site
• [SPARK-48862] [SC-170845][python][CONNECT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
• [SPARK-48852] [SC-170837][connect] Fixa trimningsfunktionen för strängar i connect
• [SPARK-48791] [SC-170658][core] Åtgärda perf-regression som orsakas av ackumulatorernas registreringskostnader med hjälp av CopyOnWriteArrayList
• [SPARK-48118] [SQL] Stöd SPARK_SQL_LEGACY_CREATE_HIVE_TABLE för env-variabel
• [SPARK-48241] [SC-165811][sql] CSV-parsningsfel med kolumner av typen char/varchar
• [SPARK-48168] [SC-166900][sql] Lägg till stöd för bitvis skiftande operatorer
• [SPARK-48148] [SC-165630][core] JSON-objekt bör inte ändras när de läses som STRING
• [SPARK-46625] [SC-170561] CTE med Identifier-klausulen som referens
• [SPARK-48771] [SC-170546][sql] Effektivisera LogicalPlanIntegrity.validateExprIdUniqueness för omfattande frågeplaner
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Gör standardkolumnnamnet cast kompatibelt med Spark Classic
• [SPARK-48623] [SC-170544][core] Strukturerad loggningsmigrering [del 2]
• [SPARK-48296] [SC-166138][sql] Codegen-stöd för to_xml
• [SPARK-48027] [SC-165154][sql] InjectRuntimeFilter för anslutning på flera nivåer bör kontrollera den underordnade kopplingstypen
• [SPARK-48686] [SC-170365][sql] Förbättra prestanda för ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][python] Introduktion spark.profile.render för SparkSession-baserad profilering
• [SPARK-48048] [SC-169099] Återställ "[SC-164846][connect][SS] Stöd för lyssnare på klientsidan har lagts till för Scala"
• [SPARK-47910] [SC-168929][core] stäng strömmen när DiskBlockObjectWriter stängerResurser för att undvika minnesläckage
• [SPARK-48816] [SC-170547][sql] Förkortning för intervallkonverterare i UnivocityParser
• [SPARK-48589] [SC-170132][sql][SS] Lägg till alternativ för ögonblicksbildStartBatchId och snapshotPartitionId till tillståndsdatakälla
• [SPARK-48280] [SC-170293][sql] Förbättra sorteringstestytan med hjälp av uttrycksvandring
• [SPARK-48837] [SC-170540][ml] I CountVectorizer läser du endast binär parameter en gång per transformering, inte en gång per rad
• [SPARK-48803] [SC-170541][sql] Kasta ett internt fel i Orc(De)serializer för att överensstämma med ParquetWriteSupport
• [SPARK-48764] [SC-170129][python] Filtrera ut IPython-relaterade ramar från användarstacken
• [SPARK-48818] [SC-170414][python] Förenkla percentile funktioner
• [SPARK-48479] [SC-169079][sql] Stöd för att skapa skalär- och tabell-SQL-UDF:er i parser
• [SPARK-48697] [SC-170122][lc-4703][SQL] Lägg till sorteringsmedvetna strängfilter
• [SPARK-48800] [SC-170409][connect][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][sql] Rätt version sedan för det inbyggda funktionsaliaset random, position, mod, cardinality, current_schema, user, session_user, char_length, character_length
• [SPARK-48638] [SC-169575][connect] Lägg till ExecutionInfo-stöd för DataFrame
• [SPARK-48064] [SC-164697][sql] Uppdatera felmeddelanden för rutinrelaterade felklasser
• [SPARK-48810] [ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
• [SPARK-48650] [15.x][python] Visa rätt samtalswebbplats från IPython Notebook
• [SPARK-48271] [SC-166076][sql] Ändra matchningsfel i RowEncoder till UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][sql] Åtgärda matchningsfel av varchar-typersättning för DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][sql] Åtgärda regression för INSERT med en partiell kolumnlista i en tabell med char/varchar
• [SPARK-48767] [SC-170330][sql] Åtgärda vissa felmeddelanden när variant typdata är ogiltiga
• [SPARK-48719] [SC-170339][sql] Åtgärda beräkningsfelet RegrSlope för & RegrIntercept när den första parametern är null
• [SPARK-48815] [SC-170334][connect] Uppdateringsmiljö när anslutningssessionen stoppas
• [SPARK-48646] [SC-169020][python] Förbättra docstringar och typanvisningar för Python-datasource API.
• [SPARK-48806] [SC-170310][sql] Skicka verkligt undantag när url_decode misslyckas
• [SPARK-47777] [SC-168818] åtgärda python-strömmande datakällans anslutningstest
• [SPARK-48732] [SC-169793][sql] Rensa inaktuell API-användning relaterad till JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][sql] Åtgärda cachetabell med sorterad kolumn
• [SPARK-48623] [SC-169034][core] Strukturerad loggningsmigrering
• [SPARK-48655] [SC-169542][sql] SPJ: Lägg till tester för shuffle skipping för aggregerade frågor
• [SPARK-48586] [SC-169808][ss] Ta bort låsanskaffning i doMaintenance() genom att göra en djup kopia av filkartläggningar i RocksDBFileManager i load()
• [SPARK-48799] [Backport][15.x][SC-170283][ss] Omstrukturera versionshantering för läsning/skrivning av operatormetadata och hantering av anropare.
• [SPARK-48808] [SC-170309][sql] Åtgärda NPE när du ansluter thriftserver via Hive 1.2.1 och resultatschemat är tomt
• [SPARK-48715] [SC-170291][sql] Integrera UTF8String-validering i implementeringar av sorteringsmedvetna strängfunktioner
• [SPARK-48747] [SC-170120][sql] Lägg till iterator för kodpunkt i UTF8String
• [SPARK-48748] [SC-170115][sql] Cache numChars i UTF8String
• [SPARK-48744] [SC-169817][core] Loggposten bör endast konstrueras en gång
• [SPARK-46122] [SC-164313][sql] Ställ spark.sql.legacy.createHiveTableByDefault till false som standard
• [SPARK-48765] [SC-170119][deploy] Förbättra standardvärdeutvärderingen för SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][sql] Lägg till migreringsdokument för förändringar i AS-beteende sedan Spark 3.4
• [SPARK-48598] [SC-169484][python][CONNECT] Sprid cachelagrat schema i dataramsåtgärder
• [SPARK-48766] [SC-170126][python] Dokumentera beteendeskillnaden extraction mellan element_at och try_element_at
• [SPARK-48768] [SC-170124][python][CONNECT] Bör inte cachelagras explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] Ändra till att läsa operatörens metadata en gång på förarprogrammet för att kontrollera om vi kan hitta information om numColsPrefixKey som används för aggregerade frågor om sessionsfönster
• [SPARK-48656] [SC-169529][core] Gör en längdkontroll och utlös COLLECTION_SIZE_LIMIT_EXCEEDED-fel i CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][sql] Introducera en markör för egenskapen isStreaming i textrepresentation av logisk plan
• [SPARK-48472] [SC-169044][sql] Aktivera reflekterande uttryck med sorterade strängar
• [SPARK-48699] [SC-169597][sql] Förfina sorterings-API
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] Använd ICU i InitCap-uttryck för UTF8_BINARY strängar
• [SPARK-48282] [SC-169813][sql] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][sql] Aktivera sorteringsstöd för modeuttrycket
• [SPARK-48320] [SPARK-48490] Synkronisera de senaste Logging-funktionerna och testfallen från OSS Spark
• [SPARK-48629] [SC-169479] Migrera residualkoden till ett strukturerat loggningsramverk
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] Använd ICU i lägre/övre uttryck för UTF8_BINARY strängar
• [SPARK-48573] [15.x][sc-169582][SQL] Uppgradera ICU-version
• [SPARK-48687] [Backport][15.x][SS] Lägg till ändring för att utföra tillståndsschemavalidering och uppdatering av drivrutinen för tillståndskänsliga frågor
• [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48008] [SC-167363][1/2] Stöd för UDAF:er i Spark Connect
• [SPARK-48578] [SC-169505][sql] lägg till UTF8-strängvalideringsrelaterade funktioner
• [SPARK-48670] [SC-169598][sql] Ge förslag som en del av felmeddelandet när ogiltigt sorteringsnamn anges
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... … RK-48291] Strukturerat loggramverk på Java-sidan
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: Migrera logWarn med variabler till strukturerat loggningsramverk
• [SPARK-48706] [SC-169589][python] Python UDF i högre ordnings funktioner bör inte orsaka interna fel
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] Gör alltid utfyllnad av tecken i predikat
• [SPARK-48662] [SC-169533][sql] Åtgärda StructsToXml-uttryck med sorteringsordningar
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates och dropDuplicatesWIthinWatermark borde acceptera argument med variabel längd
• [SPARK-48678] [SC-169463][core] Prestandaoptimeringar för SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Byt namn på UTF8_BINARY_LCASE till UTF8_LCASE
• [SPARK-47927] [SC-164123][sql]: Åtgärda nullability-attribut i UDF-avkodaren
• [SPARK-47579] [SC-165297][core][PART1] Migrera logInfo med variabler till strukturerat loggningsramverk (nytt)
• [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal använder inte de inaktuella metoderna
• [SPARK-48431] [SC-167290][lc-4066][SQL] Vidarebefordra inte predikater på sorterade kolumner till filläsare
• [SPARK-47579] Återställ "[SC-165297][core][PART1] Migrera logInfo med variabler till strukturerat loggningsramverk"
• [SPARK-47585] [SC-164306][sql] SQL Core: Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48466] [SC-169042][sql] Skapa dedikerad nod för EmptyRelation i AQE
• [SPARK-47579] [SC-165297][core][PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48410] [SC-168320][sql] Fix InitCap-uttryck för UTF8_BINARY_LCASE och ICU-kollationer
• [SPARK-48318] [SC-167709][sql] Aktivera hashkopplingsstöd för alla sorteringar (komplexa typer)
• [SPARK-48435] [SC-168128][sql] UNICODE-sortering bör inte stödja binär likhet
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] Stöd med kolumner som parametrar för flera funktioner i pyspark/scala
• [SPARK-48591] [SC-169081][python] Lägg till en hjälpfunktion för att förenkla Column.py
• [SPARK-48574] [SC-169043][sql] Åtgärda stöd för StructTypes med sortering
• [SPARK-48305] [SC-166390][sql] Lägg till sorteringsstöd för CurrentLike-uttryck
• [SPARK-48342] [SC-168941][sql] Introduktion till SQL Scripting Parser
• [SPARK-48649] [SC-169024][sql] Lägg till "ignoreInvalidPartitionPaths" och "spark.sql.files.ignoreInvalidPartitionPaths" för att tillåta att ogiltiga partitionssökvägar ignoreras
• [SPARK-48000] [SC-167194][sql] Aktivera hashkopplingsstöd för alla sorteringar (StringType)
• [SPARK-48459] [SC-168947][connect][PYTHON] Implementera DataFrameQueryContext i Spark Connect
• [SPARK-48602] [SC-168692][sql] Gör att csv-generatorn stöder olika utdataformat med spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][sql] Ändra strängjämförelse för UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][sql] refaktor: använd extra idMap i stället för OP_ID_TAG
• [SPARK-48634] [SC-169021][python][CONNECT] Undvik att statiskt initiera trådpoolen i ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][sql] Introducerar en universell BinaryFormatter för att göra binära utdata konsekventa
• [SPARK-48642] [SC-168889][core] Falskt SparkOutOfMemoryError orsakat av att avsluta arbetsuppgift vid utspill
• [SPARK-48572] [SC-168844][sql] Fix DateSub, DateAdd, WindowTime, TimeWindow och SessionWindow-uttryck
• [SPARK-48600] [SC-168841][sql] Åtgärda FrameLessOffsetWindowFunction-uttryckens implicita typkonvertering
• [SPARK-48644] [SC-168933][sql] Gör en längdkontroll och genererar COLLECTION_SIZE_LIMIT_EXCEEDED fel i Hex.hex
• [SPARK-48587] [SC-168824][variant] Undvik lagringsförstärkning vid åtkomst till en undervariant
• [SPARK-48647] [SC-168936][python][CONNECT] Förfina felmeddelandet för YearMonthIntervalType i df.collect
• [SPARK-48307] [SC-167802][sql] InlineCTE bör behålla icke-infogade relationer i den ursprungliga WithCTE-noden
• [SPARK-48596] [SC-168581][sql] Förbättring av prestanda vid beräkning av hexsträng under lång tid
• [SPARK-48621] [SC-168726][sql] Korrigera liknande förenkling i Optimizer för sorterade strängar
• [SPARK-47148] [SC-164179][sql] Undvik att materialisera AQE ExchangeQueryStageExec vid annulleringen
• [SPARK-48584] [SC-168579][sql] Förbättring av Perf för unescapePathName
• [SPARK-48281] [SC-167260][sql] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][sql] Ogiltig UTF-8 byte sekvensersättning
• [SPARK-48595] [SC-168580][core] Rensa inaktuell API-användning relaterad till commons-compress
• [SPARK-48030] [SC-164303][sql] SPJ: cache radOrdning och strukturTyp för InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][sql] Lägg till WriteFilesExecBase-egenskap för v1-skrivning
• [SPARK-48551] [SC-168438][sql] Förbättring av perf för escapePathName
• [SPARK-48565] [SC-168437][ui] Åtgärda visningen av tråddump i UI
• [SPARK-48364] [SC-166782][sql] Lägg till AbstractMapType-typomvandling och åtgärda RaiseError-parameterkartan för att fungera med samordnade strängar
• [SPARK-48421] [SC-168689][sql] SPJ: Lägg till dokumentation
• [SPARK-48604] [SC-168698][sql] Ersätt inaktuellt new ArrowType.Decimal(precision, scale) metodanrop
• [SPARK-46947] [SC-157561][core] Fördröj minneshanterarens initiering tills plugin-programmet driver läses in
• [SPARK-48411] [SC-168576][ss][PYTHON] Lägg till E2E-test för DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][ss] Spåra valideringsfel i tillståndsrader med hjälp av en explicit felklass
• [SPARK-48221] [SC-167143][sql] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][sql] Lägg till sorteringsstöd för Levenshtein-uttryck
• [SPARK-48593] [SC-168719][python][CONNECT] Korrigera strängrepresentationen av lambda-funktionen
• [SPARK-48622] [SC-168710][sql] hämta SQLConf en gång vid behandling av kolumnnamn
• [SPARK-48594] [SC-168685][python][CONNECT] Byt parent namn på fältet till child i ColumnAlias
• [SPARK-48403] [SC-168319][sql] Korrigera lägre och övre uttryck för UTF8_BINARY_LCASE och ICU-sortering
• [SPARK-48162] [SC-166062][sql] Lägg till sorteringsstöd för MISC-uttryck
• [SPARK-48518] [SC-167718][core] Gör att LZF-komprimering kan köras parallellt
• [SPARK-48474] [SC-167447][core] Korrigera klassnamnet för loggen i SparkSubmitArguments & SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ: Stöd transformuttryck för enkel sidoshuffle
• [SPARK-48552] [SC-168212][sql] csv-schemainferens med flera rader bör också utlösa FAILED_READ_FILE
• [SPARK-48560] [SC-168268][ss][PYTHON] Gör StreamingQueryListener.spark konfigurerbar
• [SPARK-48569] [SC-168321][ss][CONNECT] Hantera gränsfall i query.name
• [SPARK-47260] [SC-167323][sql] Tilldela namn till felklass _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][python][CONNECT] Sprid cachelagrat schema i uppsättningsåtgärder
• [SPARK-48155] [SC-165910][sql] AQEPropagateEmptyRelation för sammanfogning bör kontrollera om kvarvarande del är bara BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][core] Kortnamn för komprimeringskod är skiftlägesokänsliga förutom händelseloggning
• [SPARK-48447] [SC-167607][ss] Kontrollera state store-providerklassen innan du anropar konstruktorn
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff och DateTimeUtils.timestampAdd bör inte utlösa INTERNAL_ERROR undantag
• [SPARK-48513] [Backport][15.x][SC-168085][ss] Lägg till felklass för tillståndsschemakompatibilitet och mindre refaktorisering
• [SPARK-48413] [SC-167669][sql] ALTER COLUMN med sortering
• [SPARK-48561] [SC-168250][ps][CONNECT] Kasta PandasNotImplementedError för ritfunktioner som inte stöds
• [SPARK-48465] [SC-167531][sql] Undvik no-op spridning av tomma relationer
• [SPARK-48553] [SC-168166][python][CONNECT] Cachea fler egenskaper
• [SPARK-48540] [SC-168069][core] Undvik inställningar för inläsning av ivy-utdata till stdout
• [SPARK-48535] [SC-168057][ss] Uppdatera konfigurationsdokument för att ange risken för problem med dataförlust/skada om hoppa över null-värden för konfiguration av stream-stream-kopplingar är aktiverat
• [SPARK-48536] [SC-168059][python][CONNECT] Cachea användarspecificerat schema i applyInPandas och applyInArrow
• [SPARK-47873] [SC-163473][sql] Skriv sorterade strängar till Hive-metaarkivet med hjälp av den vanliga strängtypen
• [SPARK-48461] [SC-167442][sql] Ersätt NullPointerExceptions med felklassen i AssertNotNull-uttrycket
• [SPARK-47833] [SC-163191][sql][CORE] Tillhandahåll anroparens stacktrace för checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][sql] Port HIVE-12270: Lägg till DBTokenStore-stöd för HS2-delegeringstoken
• [SPARK-47578] [SC-167497][r] Migrera RPackageUtils med variabler till strukturerat loggningsramverk
• [SPARK-47875] [SC-162935][core] Ta bort spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][core] Ange spark.hadoop.fs.s3a.connection.establish.timeout till 30 sekunder om det saknas
• [SPARK-47972] [SC-167692][sql] Begränsa CAST-uttryck för sortering
• [SPARK-48430] [SC-167489][sql] Åtgärda extraktion av kartvärde när kartan innehåller sorterade strängar
• [SPARK-47318] [SC-162712][core][3.5] Lägger till HKDF-runda till AuthEngine-nyckelhärledning för att följa standardmetoderna för KEX
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Åtgärda ogiltiga skalära underfrågor med gruppering efter icke-likvärdiga kolumner som felaktigt tilläts
• [SPARK-48508] [SC-167695][connect][PYTHON] Cacheanvändare angivet schema i DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][windows] Åtgärda fel i Windows där start av flera Spark-instanser inom samma sekund orsakar ett fel
• [SPARK-45891] [SC-167608]Återställ " Beskriv fragmenteringsschemat för Variant"
• [SPARK-48391] [SC-167554][core]Använd addAll istället för add-funktionen i frånAccumulatorInfos-metoden i TaskMetrics Klassen
• [SPARK-48496] [SC-167600][core] Använd statiska regex Pattern-instanser i JavaUtils.timeStringAs och JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][sql] åtgärdar NPE-felmeddelande för null delmiter csv
• [SPARK-48489] [SC-167598][sql] Kasta ett bättre användarvänligt fel vid läsning av ogiltigt schema från textdata källa
• [SPARK-48471] [SC-167324][core] Förbättra dokumentationen och användningsguiden för historikservern
• [SPARK-45891] [SC-167597] Beskriva fragmenteringsschema för variant
• [SPARK-47333] [SC-159043][sql] Använd checkInputDataTypes för att kontrollera parametertyperna för funktionen to_xml
• [SPARK-47387] [SC-159310][sql] Ta bort några oanvända felklasser
• [SPARK-48265] [ES-1131440][sql] Inferens för begränsning av fönstergrupp batch bör utföra konstantfällning
• [SPARK-47716] [SC-167444][sql] Undvik att visa namnkonflikt i SQLQueryTestSuite semantisk sorteringstestfall
• [SPARK-48159] [SC-167141][sql] Utöka stöd för sorterade strängar på datetime-uttryck
• [SPARK-48462] [SC-167271][sql][Tester] Använd withSQLConf i tester: Omstrukturera HiveQuerySuite och HiveTableScanSuite
• [SPARK-48392] [SC-167195][core] Läs också in spark-defaults.conf när det tillhandahålls --properties-file
• [SPARK-48468] [SC-167417] Lägg till LogicalQueryStage-gränssnittet i katalysator
• [SPARK-47578] [SC-164988][core] Manuell backport för Spark PR #46309: Migrera logWarning med variabler till strukturerat loggningsramverk
• [SPARK-48415] [SC-167321]Återställ "[PYTHON] refaktorisera Typnamn för att stödja parametriserade datatyper"
• [SPARK-46544] [SC-151361][sql] Stöd för v2 DESCRIBE TABLE EXTENDED med tabellstatistik
• [SPARK-48325] [SC-166963][core] Ange alltid meddelanden i ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][sql] Lägg till sorteringsstöd för ICU-lokaler och sorteringsspecificerare
• [SPARK-47221] [SC-157870][sql] Använder signaturer från CsvParser till AbstractParser
• [SPARK-47246] [SC-158138][sql] Ersätt InternalRow.fromSeq med new GenericInternalRow för att spara en samlingskonvertering
• [SPARK-47597] [SC-163932][streaming] Manuell backport för Spark PR #46192: Streaming: Migrera logInfo med variabler till ett strukturerat loggningsramverk
• [SPARK-48415] [SC-167130][python] Refaktorisera TypeName för att stödja parametriserade datatyper
• [SPARK-48434] [SC-167132][python][CONNECT] Använd printSchema det cachelagrade schemat
• [SPARK-48432] [ES-1097114][sql] Undvik att packa upp heltal i UnivocityParser
• [SPARK-47463] [SC-162840][sql] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
• [SPARK-47781] [SC-162293][sql] Hantera decimaler med negativ skalning för JDBC-datakällor
• [SPARK-48394] [SC-166966][core] Rensa mapIdToMapIndex vid avregistrering av mapoutput
• [SPARK-47072] [SC-156933][sql] Åtgärda intervallformat som stöds i felmeddelanden
• [SPARK-47001] [SC-162487][sql] Pushdown-verifiering i optimeraren
• [SPARK-48335] [SC-166387][python][CONNECT] Gör _parse_datatype_string kompatibel med Spark Connect
• [SPARK-48329] [SC-166518][sql] Aktivera spark.sql.sources.v2.bucketing.pushPartValues.enabled som standard
• [SPARK-48412] [SC-166898][python] Refaktorisera datatyp JSON-analys
• [SPARK-48215] [SC-166781][sql] Utöka stöd för sorterade strängar i date_format uttryck
• [SPARK-45009] [SC-166873][sql][FOLLOW UP] Lägg till felklass och tester för dekorrelation av predikatunderfrågor i kopplingsvillkor som refererar till både kopplingsbarn.
• [SPARK-47960] [SC-165295][ss][15.x] Tillåt länkning av andra tillståndskänsliga operatorer efter transformWithState-operatorn.
• [SPARK-48340] [SC-166468][python] Stöd för TimestampNTZ infer schema miss prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][sql] Lägg till sorteringsstöd för CSV-uttryck
• [SPARK-48158] [SC-165652][sql] Lägg till sorteringsstöd för XML-uttryck
• [SPARK-48160] [SC-166064][sql] Lägg till sorteringsstöd för XPATH-uttryck
• [SPARK-48229] [SC-165901][sql] Lägg till sorteringsstöd för inputFile-uttryck
• [SPARK-48367] [SC-166487][connect] Åtgärda lint-scala för scalafmt så det kan identifiera filer för korrekt formatering
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] Omstrukturera strukturen för DataFrame-felkontexten
• [SPARK-48370] [SC-166787][connect] Checkpoint och localCheckpoint i Scala Spark Connect-klienten
• [SPARK-48247] [SC-166028][python] Använd alla värden i en diktering när du härleder MapType-schema
• [SPARK-48395] [SC-166794][python] Korrigering StructType.treeString för parametriserade typer
• [SPARK-48393] [SC-166784][python] Flytta en grupp konstanter till pyspark.util
• [SPARK-48372] [SC-166776][spark-45716][PYTHON] Implementera StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] Checkpoint och localCheckpoint i Spark Connect

Se Underhållsuppdateringar för Databricks Runtime 15.4 LTS.

Systemmiljö

• Operativsystem: Ubuntu 22.04.4 LTS
  • Obs! Det här är Ubuntu-versionen som används av Databricks Runtime-containrar. DBR-containrarna körs på molnleverantörens virtuella datorer, som kan använda en annan Ubuntu-version eller Linux-distribution.
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.15
• Python: 3.11.11
• R: 4.3.2
• Delta lake: 3.2.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Managers CRAN-snapshot den 2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)