Databricks Runtime 16.4 LTS

Följande versionsinformation gäller för Databricks Runtime 16.4 LTS, som drivs av Apache Spark 3.5.2.

Databricks släppte den här LTS-versionen i maj 2025. Det finns två varianter för den här versionen, en som stöder Scala 2.12 och en som stöder Scala 2.13.

Från och med DBR 17 (Spark 4) stöds endast Scala 2.13. För att hjälpa dig med övergången finns två alternativ i 16.4 LTS: ett med Scala 2.12 och ett med Scala 2.13. Använd 2.13-avbildningen för att testa och uppdatera kodbasen till Scala 2.13 innan du migrerar till DBR 17.

Migreringsvägledning för Scala 2.13

• Alla andra funktioner är desamma i båda Versionerna av Databricks Runtime 16.4 LTS.
• Beroendeversioner kan skilja sig mellan Databricks Runtime 16.4 Scala 2.12-avbildningen och 16.4 Scala 2.13-avbildningen. De versioner av biblioteken som stöds i varje bild visas nedan på den här sidan.
• Kontrollera att koden är skriven i Scala 2.13 och att den körbara filen kompileras med Scala 2.13.
• Skapa projektet mot Spark 3.5.

Om koden använder sparklyr R-biblioteket måste du använda avbildningen som stöder Scala 2.12 i stället.

Ändringar som bryter kompatibiliteten mellan Scala 2.12 och 2.13

Större genomgripande ändringar

Databricks Runtime anser att en icke-bakåtkompatibel ändring är viktig när du måste göra betydande kodändringar för att stödja den.

• Inkompatibilitet för samling: Läs den här officiella Scala-dokumentsidan för mer information om hur du migrerar samlingar till Scala 2.13. Om koden använder en tidigare version av Scala-kod är samlingar den primära källan till inkompatibiliteter när du använder Databricks, särskilt med API-parametrar och returtyper.

• Hash-algoritm: När du granskar din kod som skapats med Scala 2.12 ska du inte förlita dig på den implicita ordningen på datastrukturer som inte garanterar ordning, till exempel HashMap och Set. Samlingar som utför implicit ordning kan sortera sina element på olika sätt när de körs under 2.13 (jämfört med 2.12) när du itererar genom dem.

Mindre bakåtkompatibilitetsbrytande ändringar

Databricks Runtime betraktar en brytande ändring som mindre när det inte uppstår specifika felmeddelanden på grund av versionändringar, men din kod vanligtvis misslyckas att kompileras vid den versionen. I det här fallet kan felmeddelandena ge tillräckligt med information för att uppdatera koden.

• Striktare typinferens: Vid kompilering av kod som utvecklats för Scala 2.12 med 2.13 kan kompilatorn rapportera att den inte kan härleda typen eller antyda tvetydighet. Att uttryckligen kommentera variablerna med deras datatyp löser ofta det här problemet.
• Borttagning av specifik syntax: Viss syntax har blivit inaktuell i Scala 2.13, till exempel enkelcitatsträngliteral, operatorn + för strängsammanfogning när den används med en icke-String typ till vänster, och postfixoperatorn (använd punktnotation i stället). Mer information finns i: Scala-borttagna funktioner i de officiella Scala-dokumenten.
• Utdatameddelanden: Textresultat för meddelanden som returneras från REPL kan skilja sig mellan Scala 2.12 och 2.13. Eventuella avvikelser innebär inte att syntaxen eller beräkningen är fel. Meddelandet beskriver snarare problemet eller kontexten på ett annat sätt eller visar det i ett annat representationsformat. Till exempel kan f: Foo = Foo(1) bli f: Foo = Foo(i = 1) i vissa meddelanden.

Listan över biblioteksversioner som stöds av varje Scala-version av Databricks Runtime 16.4 LTS:

• DBR 16.4 LTS Scala 2.12 bibliotek
• DBR 16.4 LTS Scala 2.13-bibliotek

Nya funktioner och förbättringar

• Instrumentpaneler, aviseringar och frågor stöds som arbetsytefiler
• Förbättring av automatisk komprimering av flytande kluster
• Automatisk inläsare kan nu rensa bearbetade filer i källkatalogen
• Stöd för typbreddning har lagts till för strömning från Delta-tabeller
• IDENTIFIER support nu tillgänglig i DBSQL för katalogåtgärder
• Sorterade uttryck tillhandahåller nu automatiskt genererade tillfälliga alias
• Lägga till api-stöd för filter-pushdown i Python-datakällor
• Python UDF-spårningsförbättring
• UNION/EXCEPT/INTERSECT i en vy och EXECUTE IMMEDIATE returnerar nu rätt resultat
• Konfigurations- och migreringsguide för cachelagrad datakälla
• Nya listagg funktioner och string_agg funktioner
• Stöd för MERGE INTO tabeller med detaljerad åtkomstkontroll för dedikerad beräkning är nu allmänt tillgängligt (GA)

Instrumentpaneler, aviseringar och frågor stöds som arbetsytefiler

Instrumentpaneler, aviseringar och frågor stöds nu som arbetsytefiler. Du kan nu programmatiskt interagera med dessa Databricks-objekt var som helst där arbetsytans filsystem är tillgängligt, inklusive att skriva, läsa och ta bort dem som alla andra filer. Mer information finns i Vad är arbetsytefiler? och Interagera programmatiskt med arbetsytefiler.

Förbättring av automatisk komprimering av flytande kluster

Unity Catalog-hanterade flytande klustertabeller utlöser nu automatisk komprimering för att automatiskt minska små filproblem mellan OPTIMIZE körningar.

Mer information finns i Automatisk komprimering för Delta Lake på Azure Databricks.

Automatisk inläsare kan nu rensa bearbetade filer i källkatalogen

Kunder kan nu instruera Auto Loader att automatiskt flytta eller ta bort filer som har bearbetats. Välj den här funktionen med alternativet cloudFiles.cleanSource Automatisk inläsning.

Mer information finns i Alternativ för automatisk inläsning under cloudFiles.cleanSource.

Stöd för typvidgning har lagts till för strömning från Delta-tablåer.

Den här versionen lägger till stöd för strömning från en Delta-tabell som har typbreddade kolumndata och för att dela en Delta-tabell med typbreddning aktiverat med hjälp av Databricks-till-Databricks Delta Sharing. Funktionen för typbreddning finns för närvarande i offentlig förhandsversion.

Mer information finns i Typbreddning.

IDENTIFIER support nu tillgänglig i DBSQL för katalogåtgärder

Azure Databricks-kunder kan nu använda IDENTIFIER satsen när de utför följande katalogåtgärder:

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

Med den här nya syntaxen kan kunderna dynamiskt ange katalognamn med hjälp av parametrar som definierats för dessa åtgärder, vilket möjliggör mer flexibla och återanvändbara SQL-arbetsflöden. Som ett exempel på syntaxen bör du överväga CREATE CATALOG IDENTIFIER(:param) var param är en parameter som tillhandahålls för att ange ett katalognamn.

Mer information finns i IDENTIFIER satsen.

Sorterade uttryck tillhandahåller nu automatiskt genererade tillfälliga alias

Autogenererade alias för sammanställda uttryck inkorporerar nu alltid deterministiskt COLLATE-information. Autogenererade alias är tillfälliga (instabila) och bör inte användas. Använd i stället expression AS alias konsekvent och explicit som en bästa praxis.

Lägga till api-stöd för filter-pushdown i Python-datakällor

I Databricks Runtime 16.4 LTS har Azure Databricks lagt till stöd för filter-pushdown till Python-datakällans batchläsning i form av ett API liknande SupportsPushDownFilters-gränssnittet. Nu kan du implementera DataSourceReader.pushFilters för att ta emot filter som kan tryckas ned. Du kan också implementera detta API för att förse logik som väljer vilka filter som ska sänkas, spåra dem och returnera återstående filter för att användas av Apache Spark.

Filter pushdown gör att datakällan kan hantera ett urval av filter. Detta kan förbättra prestandan genom att minska mängden data som behöver bearbetas av Spark.

Filter-pushdown stöds endast för batchläsningar, inte för direktuppspelningsläsningar. Det nya API:et måste läggas till DataSourceReader i och inte till DataSource eller DataSourceStreamReader. Listan med filter måste tolkas som det logiska AND för elementen i implementeringen. Den här metoden anropas en gång under frågeplaneringen. I standardimplementeringen returneras alla filter som anger att inga filter kan tryckas ned. Använd underklasser för att åsidosätta den här metoden och implementera logiken för filter-pushdown.

För att hålla API:et enkelt stöder Azure Databricks endast V1-filter som har en kolumn, en boolesk operator och ett literalvärde. Filterserien är en temporär lösning och kommer att implementeras i en framtida pull request. Till exempel:

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks rekommenderar att du implementerar den här metoden endast för datakällor som har inbyggt stöd för filtrering, till exempel databaser och GraphQL-API:er.

Python UDF-spårningsförbättring

Python UDF-spårningen innehåller nu ramar från både drivrutinen och körprogrammet tillsammans med klientramar, vilket resulterar i bättre felmeddelanden som visar större och mer relevant information (till exempel radinnehållet i ramar i en UDF).

UNION/EXCEPT/INTERSECT i en vy och EXECUTE IMMEDIATE returnerar nu rätt resultat

Frågor om tillfälliga och beständiga vydefinitioner med kolumner på den översta nivån UNION/EXCEPT/INTERSECT och oaliaserade kolumner returnerade tidigare felaktiga resultat eftersomUNION/EXCEPT/INTERSECT nyckelord betraktades som alias. Nu kommer dessa frågeförfrågningar att korrekt utföra hela mängdoperationen.

EXECUTE IMMEDIATE ... INTO med en toppnivå UNION/EXCEPT/INTERSECT och oaliaserade kolumner skrev ett felaktigt resultat av en mängdoperation i den angivna variabeln eftersom parsern tolkade dessa nyckelord som alias. På samma sätt tilläts även SQL-frågor med ogiltig sluttext. Ange åtgärder i dessa fall och skriv nu ett korrekt resultat till den angivna variabeln eller misslyckas i händelse av ogiltig SQL-text.

Konfigurations- och migreringsguide för cachelagrad datakälla

Med DBR 16.4.0 kommer läsning från en tabell med filkälla att korrekt respektera frågealternativ, t.ex. avgränsare. Tidigare cachelagrades den första frågeplanen och efterföljande alternativändringar ignorerades. Om du vill återställa det tidigare beteendet anger du spark.sql.legacy.readFileSourceTableCacheIgnoreOptions till true.

Nya listagg funktioner och string_agg funktioner

Från och med den här versionen kan du använda listagg funktionerna eller string_agg för att aggregera STRING och BINARY värden i en grupp. Mer information finns i string_agg .

Stöd för MERGE INTO tabeller med detaljerad åtkomstkontroll för dedikerad beräkning är nu allmänt tillgängligt (GA)

I Databricks Runtime 16.3 och senare har dedikerad beräkning stöd för MERGE INTO till Unity Catalog-tabeller som använder detaljerad åtkomstkontroll. Den här funktionen är nu allmänt tillgänglig.

Se Detaljerad åtkomstkontroll för dedikerad beräkning.

DBR 16.4 LTS beteendeförändringar

• Deltatabeller: "DESCRIBE DETAIL table" visar nu clusterByAuto-statusen för tabellen
• Korrigering för att respektera alternativ för cachelagrade planer för datakälla
• Flyttad redigeringsregel från analysator till optimerare
• variant_get och get_json_object tar nu hänsyn till inledande blanksteg i sökvägar i Apache Spark
• Aktivera flagga för att inte tillåta inaktivering av källmaterialisering för MERGE-åtgärder
• Flytta aktiveringsankare för partitionsmetadatalogg till tabell
• Uppdatera snowflake-jdbc 3.16.1 -> 3.22.0
• Nedgradera Json4s från 4.0.7 till 3.7.0-M11 i DBR 16.2 och 16.3

Deltatabeller: "DESCRIBE DETAIL table" visar nu clusterByAuto-statusen för tabellen

DESCRIBE DETAIL {table} visar nu status för clusterByAuto tabellen (sant eller falskt) bredvid de aktuella klustringskolumnerna. Mer information om clusterByAutofinns i:Automatisk flytande klustring.

Lösning som respekterar alternativ för cachelagrade planer för datakälla

Den här uppdateringen säkerställer att tabläsningar respekterar de alternativ som angetts för alla datakälla planer när de cachelagras, inte bara den första cachelagrade tabläsningen.

Tidigare cachelagrade datakällatabellen den första planen men kunde inte ta hänsyn till olika alternativ i efterföljande frågor.

Till exempel följande fråga:

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

skulle generera följande utdata:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

Med den här korrigeringen returnerar den nu förväntade utdata:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

Om dina arbetsbelastningar har beroenden av det tidigare felaktiga beteendet kan du se olika resultat efter den här ändringen.

Flyttad redigeringsregel från analysator till optimerare

Tidigare kunde DataFrames skapa tabeller som innehöll redigerade värden när giltiga SECRET SQL-funktioner användes. Den här ändringen tar bort redigering när du sparar DataFrames med giltig hemlig åtkomst till en tabell, och redigeringsregeln har flyttats från analysatorn till optimeraren.

variant_get och get_json_object tar nu hänsyn till inledande blanksteg i sökvägar i Apache Spark

Före den här ändringen ignorerades inledande blanksteg och flikar i sökvägarna i uttrycken variant_get och get_json_object när Photon var inaktiverat. Till exempel skulle select get_json_object('{" key": "value"}', '$[' key']') inte vara effektivt för att extrahera värdet av " key". Användarna kommer dock att kunna extrahera sådana nycklar.

Aktivera en flagga för att förhindra inaktivering av källmaterialisering för MERGE-operationer

Tidigare kunde användare inaktivera källmaterialisering i MERGE genom att ange merge.materializeSource till none. Med den nya flaggan aktiverad kommer detta att förbjudas och orsaka ett fel. Databricks planerar att endast aktivera flaggan för kunder som inte har använt den här konfigurationsflaggan tidigare, så ingen kund bör märka några ändringar i beteendet.

Flytta fästpunkt för loggaktivering av partitionsmetadata till tabell

Funktionen för partitionsmetadataloggen har ändrats så att när en tabell har skapats med spark.databricks.nonDelta.partitionLog.enabled = truekan du förankra den i en tabell så att ett kluster inte anges spark.databricks.nonDelta.partitionLog.enabled = true för alla tabeller som bearbetas av klustret.

Uppdatera snowflake-jdbc 3.16.1 -> 3.22.0

Beroendet snowflake-jdbc har uppdaterats från 3.16.1 till 3.22.0. Detta kan påverka användarna om de använder bibliotekets version l3.16.1 direkt.

Nedgradera Json4s från 4.0.7 till 3.7.0-M11 i DBR 16.2 och 16.3

Kunder kan inte använda databricks-connect 16.1+ och Apache Spark™ 3.5.x tillsammans i samma program på grund av betydande avvikelser i API-beteendet mellan Json4s version 3.7.0-M11 och version 4.0.7. För att åtgärda detta har Azure Databricks nedgraderat Json4s till 3.7.0-M11.

Biblioteksuppgraderingar (gäller endast Scala 2.12-avbildningen)

• Uppgraderade R-bibliotek:
  • sparklyr från 1.8.4 till 1.8.6 (gäller endast för Scala 2.12-bilden för Databricks Runtime 16.4 LTS-utgåvan)
• Uppgraderade Java-bibliotek:
  • io.delta.delta-sharing-client_2.12 från 1.2.3 till 1.2.4
  • org.json4s.json4s-ast_2.12 från 4.0.7 till 3.7.0-M11
  • org.json4s.json4s-core_2.12 från 4.0.7 till 3.7.0-M11
  • org.json4s.json4s-jackson_2.12 från 4.0.7 till 3.7.0-M11
  • org.json4s.json4s-scalap_2.12 från 4.0.7 till 3.7.0-M11

Scala 2.13 Databricks Runtime-versionen anses vara en "ny" version och kan ha olika biblioteksversioner från 2.12. Se tabellen nedan för specifika biblioteksversioner i den versionsbilden. sparklyr ingår inte i den här versionen.

Apache Spark

Databricks Runtime 16.4 LTS innehåller Apache Spark 3.5.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 16.3 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-51206] [PYTHON][connect] Flytta pilkonverteringshjälpare från Spark Connect
• [SPARK-51566] [PYTHON] Förbättring av Python UDF felspårning
• [SPARK-51675] [SS] Åtgärda skapandet av col-familjen när du har öppnat en lokal databas för att undvika att ögonblicksbilder skapas, om det inte behövs
• [SPARK-50892] [SQL]Lägg till UnionLoopExec, fysisk rekursionsoperator, för att exekvera rekursiva frågor
• [SPARK-51670] [SQL] Omarbeta Intersect och Except för att följa Union-exemplet och återanvändas i en enkelt genomgång Analyzer
• [SPARK-47895] [BEHAVE-266][sql] gruppera efter alias bör vara idempotent
• [SPARK-51614] [SQL] Introducera ResolveUnresolvedHaving-regeln i Analyzer
• [SPARK-51662] [SQL] Gör OrcFileFormat jämförbart
• [SPARK-51374] Återställ "[CORE] Växla till Använda java.util.Map i loggnings-API:er"
• [SPARK-51652] [SQL] Refactor SetOperation-beräkning ut för att återanvända den i Analysverktyg med enkel åtkomst
• [SPARK-51622] [UI] Titel på sektioner på Utförandesidan
• [SPARK-51586] [SS] initierar indatapartitioner oberoende av kolumnstöd i kontinuerligt läge
• [SPARK-51070] [SQL] Använd scala.collection.Set i stället för Ange i ValidateExternalType
• [SPARK-51559] [SQL] Gör den maximala sändningstabellstorleken konfigurerbar
• [SPARK-51496] [SQL] CaseInsensitiveStringMap-jämförelse bör ignorera teckenstorlek
• [SPARK-50416] [CORE] Ett mer portabelt terminal- och rörtest behövs för bin/load-spark-env.sh
• [SPARK-51509] [CORE][ui] Gör så att miljösidan stödjer filter
• [SPARK-51374] [CORE] Växla till Använda java.util.Map i loggnings-API:er
• [SPARK-50820] [SQL] DSv2: Villkorlig nullifiering av metadatakolumner i DML
• [SPARK-48922] [SQL] Undvik redundant matristransformering av identiska uttryck för karttyp
• [SPARK-51446] [SQL] Förbättra codecNameMap för komprimeringscodec
• [SPARK-51341] [CORE] Avbryt tidsuppgift på lämpligt sätt.
• [SPARK-51452] [UI] Förbättra sökning i tråddumptabellen
• [SPARK-51444] [CORE] Ta bort den oåtkomliga if grenen från TaskSchedulerImpl#statusUpdate
• [SPARK-51401] [SQL] Ändra ExplainUtils.generateFieldString till direktanrop QueryPlan.generateFieldString
• [SPARK-49507] [SQL] Åtgärda problemet efter aktivering av metastorePartitionPruningFastFallback
• [SPARK-51506] [PYTHON][ss] Tvinga inte användare att implementera close() i TransformWithStateInPandas
• [SPARK-51624] [SQL] För vidare GetStructField-metadata i CreateNamedStruct.dataType
• [SPARK-51201] [SQL] Ge partitioneringstips stöd för byte och korta värden
• [SPARK-51186] [PYTHON] Lägg till StreamingPythonRunnerInitializationException i PySpark-basfel
• [SPARK-50286] [SQL] Sprid SQL-alternativ korrekt till WriteBuilder
• [SPARK-51616] [SQL] Kör CollationTypeCasts före ResolveAliases och ResolveAggregateFunctions
• [SPARK-51023] [CORE] registrera fjärradress vid RPC-undantag
• [SPARK-51087] [PYTHON][connect] Visa en varning när minnesprofileraren inte är installerad för minnesprofilering
• [SPARK-51073] [SQL] Ta bort Unstable från SparkSessionExtensionsProvider egenskap
• [SPARK-51471] [SS] RatePerMicroBatchStream – klassificera ASSERT-felet när offset/tidsstämpeln i startOffset är större än endOffset
• [SPARK-51062] [PYTHON] Åtgärda assertSchemaEqual för att jämföra decimalprecision och skala
• [SPARK-51612] [SQL] Visa Spark-konfigurationer som angetts när vyn skapades i Desc As Json
• [SPARK-51573] [SS] Åtgärda race condition för checkpointInfo i Streaming State Checkpoint v2
• [SPARK-51252] [SS] Lägg till instansmått för senaste uppladdade ögonblicksbildversion i HDFS State Stores
• [SPARK-51552] [SQL] Tillåt inte tillfälliga variabler i bevarade vyer när de är under identifierare
• [SPARK-51625] [SQL] Kommandot i CTE-förhållanden ska köra inline
• [SPARK-51584] [SQL] Lägg till regel som push-överför Project via Offset och Suite som testar den
• [SPARK-51593] [SQL] Omstrukturering QueryExecutionMetering instansiering
• [SPARK-49082] [SQL] Stöd för breddning av Datum till TidsstämpelNTZ i Avro-läsare
• [SPARK-50220] [PYTHON] Supportlistorgg i PySpark
• [SPARK-51581] [CORE][sql] Använd nonEmpty/isEmpty för kontroll av tomhet av explicit Iterable
• [SPARK-42746] [SQL] Korrigering i felklassklassificering för nya undantag med listagg
• [SPARK-51580] [SQL] Kasta ett rätt användarvänligt felmeddelande när lambda-funktionen inte är på plats HigherOrderFunction
• [SPARK-51589] [SQL] Åtgärda små buggar som inte kan söka efter aggregerade funktioner i |>SELECT
• [SPARK-50821] [PYTHON] Uppgradera Py4J från 0.10.9.8 till 0.10.9.9
• [SPARK-42746] [SQL] Implementera LISTAGG-funktionen
• [SPARK-48399] [SQL] Teradata: ByteType ska mappas till BYTEINT i stället för BYTE(binärt)
• [SPARK-43221] [CORE] Värdlokal blockhämtning bör använda blockstatus för ett block som lagras på disken
• [SPARK-51467] [UI] Gör tabeller för miljösidan filtreringsbara
• [SPARK-51569] [SQL] Återställ inte InSubqueryInTypeCoercion om det inte finns några typändringar
• [SPARK-51280] [CONNECT] Förbättra RESPONSE_ALREADY_RECEIVED felklass
• [SPARK-51525] [SQL] Sammanställningsfält för Desc som JSON StringType
• [SPARK-51565] [SQL] Stöder SQL-parametrar i window frame-sats
• [SPARK-51544] [SQL] Lägg bara till unika och nödvändiga metadatakolumner
• [SPARK-49349] [SQL] Förbättra felmeddelandet för LCA med Generera
• [SPARK-51418] [SQL] Åtgärda inkompatibla partitionskolumner för DataSource PARTITON TABLE med Hive-typ
• [SPARK-51269] [SQL] Förenkla AvroCompressionCodec genom att ta bort defaultCompressionLevel
• [SPARK-50618] [SS][sql] Få DataFrameReader och DataStreamReader att utnyttja analysverktyget mer
• [SPARK-51097] [SS] Återintroducera RocksDB:s tillståndsbutiks senaste uppladdade instansmått för ögonblicksbildversionen
• [SPARK-51321] [SQL] Lägg till stöd för rpad och lpad för push-nedrullningsbara postgresDialect- och MsSQLServerDialect-uttryck
• [SPARK-51428] [BEHAVE-264][sql] Tilldela alias på nytt för sammanställda uttrycksträd deterministiskt
• [SPARK-51528] [SQL] Jämför inte hashkoder direkt i ProtobufCatalystDataConversionSuite
• [SPARK-51443] [SS] Åtgärda singleVariantColumn i DSv2 och readStream.
• [SPARK-51397] [SS] Åtgärda problem med hantering av avstängning av underhållspooler som orsakar långa testtider
• [SPARK-51522] [SQL] Inaktivera test av lazy union delar för enkel-pass analysator
• [SPARK-51079] [Fix-forward] Stöd för stora variabeltyper i Pandas UDF, createDataFrame och toPandas med Pil
• [SPARK-51112] [ES-1348599][anslut] Undvik att använda pyarrows to_pandas på en tom tabell
• [SPARK-51438] [SQL] Gör CatalystDataToProtobuf och ProtobufDataToCatalyst korrekt jämförbara och hashbara
• [SPARK-50855] [DBR16.x][ss][CONNECT] Spark Connect-stöd för TransformWithState i Scala
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column bör bevara EXISTS_DEFAULT upplösningen
• [SPARK-51468] [SQL] Återställ "Från json/xml bör inte ändra sortering i det angivna schemat"
• [SPARK-51453] [SQL] AssertTrue använder toPrettySQL i stället för simpleString
• [SPARK-51409] [SS] Lägg till felklassificering i processen att skapa ändringsloggskrivare
• [SPARK-51440] [SS] klassificerar NPE när värdet för fältet null-ämne finns i kafka-meddelandedata och det inte finns något ämnesalternativ
• [SPARK-51425] [Connect] Lägg till klient-API för att ange anpassat operation_id
• [SPARK-50652] [SS] Lägg till kontroller i RocksDB V2 bakåtkompatibilitet
• [SPARK-49164] [SQL] Åtgärda inte NullSafeEqual i predikatet för SQL-frågan i JDBC-relation
• [SPARK-50880] [SQL] Lägg till en ny visitBinaryComparison-metod i V2ExpressionSQLBuilder
• [SPARK-50838] [SQL]Utför ytterligare kontroller i rekursiva CTE:er för att utlösa ett fel om ett förbjudet fall påträffas
• [SPARK-51307] [SQL] locationUri i CatalogStorageFormat ska avkodas för visning
• [SPARK-51079] [PYTHON] Har stöd för stora variabeltyper i Pandas UDF, createDataFrame och toPandas med Pil
• [SPARK-50792] [SQL] Formatera binära data som en binär literal i JDBC.

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna här:

• Ladda ned Databricks ODBC-drivrutiner
• Ladda ned Databricks JDBC-drivrutiner

Systemmiljö

• Operativsystem: Ubuntu 24.04.2 LTS.
  • Obs! Det här är Ubuntu-versionen som används av Databricks Runtime-containrar. Databricks Runtime-containrarna körs på molnleverantörens virtuella datorer, som kan använda en annan Ubuntu-version eller Linux-distribution.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15 eller 2.13.10
• Python: 3.12.3
• R: 4.4.0
• Deltasjön: 3.3.1

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-snapshoten den 4 augusti 2024.

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)