Databricks Runtime 13.3 LTS

Följande viktig information innehåller information om Databricks Runtime 13.3 LTS, som drivs av Apache Spark 3.4.1.

Databricks släppte den här versionen i augusti 2023.

Nya funktioner och förbättringar

• Scala-stöd för delade kluster
• Listan över tillåtna init-skript, JAR:er och Maven-koordinater för Standardkluster i Unity Catalog (tidigare delade kluster) finns i offentlig förhandsversion
• Volymstöd för init-skript och JAR:er finns i offentlig förhandsversion
• Säkra roller aktiverade som standard för åtgärder i Delta Lake
• Introduktion till taggar med Unity Catalog
• Databricks Runtime returnerar ett fel om en fil ändras mellan frågeplanering och anrop
• Blockera schemaöverskrivning vid användning av dynamisk partitionsöverskrivning
• Integrera copyFile API i dbutils.fs.cp
• Stöd för Databricks ODBC/JDBC-drivrutin
• Stöd för namnlösa parametermarkörer (positionella)
• Aktivera kolumnetiketter för tidsserier
• Nya BITMAP SQL-funktioner
• Förbättrade krypteringsfunktioner
• Unity Catalog-stöd för REFRESH FOREIGN
• INSERT EFTER NAMN
• Dela materialiserade vyer med deltadelning

Scala-stöd för delade kluster

Unity Catalog-aktiverade delade kluster stöder nu Scala när du använder Databricks Runtime 13.3 och senare.

Listan över tillåtna init-skript, JAR:er och Maven-koordinater för Standardkluster i Unity Catalog (tidigare delade kluster) finns i offentlig förhandsversion

Nu kan du använda Unity-katalogen allowlist för att styra installationen av init-skript, JAR:er och Maven-koordinater för beräkning med standardåtkomstläge som kör Databricks Runtime 13.3 och senare. Se Allowlist-bibliotek och init-skript för beräkning med standardåtkomstläge (tidigare delat åtkomstläge).

Volymstöd för init-skript och JAR:er finns i offentlig förhandsversion

Nu kan du använda Unity Catalog-volymer för att lagra init-skript och JAR på beräkning med dedikerade eller standardåtkomstlägen som kör Databricks Runtime 13.3 och senare. Se Var kan init-skript installeras och Beräkningsomfångsbibliotek.

Säkra roller aktiverade som standard för åtgärder i Delta Lake

Delta UPDATE och MERGE åtgärder resulterar nu i ett fel när värden inte kan omvandlas till typen i måltabellschemat på ett säkert sätt. Alla implicita casts i Delta följer spark.sql.storeAssignmentPolicy nu i stället spark.sql.ansi.enabledför . Se ANSI-efterlevnad i Databricks Runtime.

Introduktion till taggar med Unity Catalog

Med Databricks Runtime 13.3 LTS och senare kan du använda taggar för dina skyddsbara objekt. Taggar hjälper dig att organisera skyddsbara objekt och förenkla sökning och identifiering av dina datatillgångar. Se Tillämpa taggar på skyddsbara objekt i Unity Catalog.

Databricks Runtime returnerar ett fel om en fil ändras mellan frågeplanering och anrop

Databricks Runtime-frågor returnerar nu ett fel om en fil uppdateras mellan frågeplanering och anrop. Före den här ändringen skulle Databricks Runtime läsa en fil mellan dessa steg, vilket ibland leder till oförutsägbara resultat.

Blockera schemaöverskrivning vid användning av dynamisk partitionsöverskrivning

Du kan inte ange overwriteSchema till true i kombination med dynamiska partitionsöverskrivningar i Delta Lake. Detta förhindrar eventuell tabellskada på grund av schemamatchningsfel. Se Dynamisk partitionsöverskrivning.

Integrera copyFile API i dbutils.fs.cp

Kommandot dbutils.fs.cp dbutils copy är nu optimerat för snabbare kopiering. Med den här förbättringen kan kopieringsåtgärderna vara upp till 100 gånger snabbare, beroende på filstorleken. Funktionen är tillgänglig i alla filsystem som är tillgängliga i Azure Databricks, inklusive för Unity-katalogvolymer och Databricks-filsystemmonteringar.

Stöd för Databricks ODBC/JDBC-drivrutin

Azure Databricks har stöd för ODBC- och JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned den senaste drivrutinen på Ladda ned ODBC-drivrutin och ladda ned JDBC-drivrutin.

Stöd för namnlösa parametermarkörer (positionella)

API:et SparkSession.sql() stöder nu parametriserade frågor med hjälp av syntaxen ? utöver parametriserade frågor med hjälp av syntaxen :parm . Se parametermarkörer.

Aktivera kolumnetiketter för tidsserier

Nu kan du märka tidsseriekolumner när du skapar begränsningar för primärnyckel.

Nya BITMAP SQL-funktioner

Azure Databricks har nu en uppsättning funktioner som kan användas för att mappa integrerade numeriska värden till en bitmapp och aggregera dem. Detta kan användas för att förberäkna antalet distinkta värden.

• bitmönster_bitar_posi
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Förbättrade krypteringsfunktioner

Funktionerna aes_encrypt, aes_decrypt och try_aes_decrypt har förbättrats med stöd för initieringsvektorer (IV) och autentiserade ytterligare data (AAD).

Stöd för Unity Catalog för REFRESH FOREIGN

Nu kan du uppdatera externa kataloger, scheman och tabeller i Unity Catalog med hjälp av REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAoch REFRESH FOREIGN TABLE. Se REFRESH FOREIGN (CATALOG, SCHEMAoch TABLE).

INSERT EFTER NAMN

När du infogar rader i en tabell kan du nu låta Azure Databricks mappa kolumner och fält i källfrågan automatiskt till tabellens kolumner med deras namn. Se INSERT INTO.

Dela materialiserade vyer med deltadelning

Kommandot ALTER SHARE stöder nu materialiserade vyer.

Icke-bakåtkompatibla ändringar

Ändringar i implicit konvertering vid lagring av rader i en tabell med MERGE INTO och UPDATE

Azure Databricks följer nu konfigurationen spark.sql.storeAssignmentPolicy för implicit gjutning när rader lagras i en tabell. Standardvärdet ANSI utlöser ett fel när värden som spills över lagras. Tidigare skulle värden lagras som NULL standard.

Precis som i följande exempel kan du åtgärda spill genom att skriva om tabellen så att den använder en bredare typ för kolumnen som orsakar felet.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Ändringar i Parquet-schemainferens

När du härleder scheman från Parquet-filer som inte skrivits av Spark, int64 kommer tidsstämpelkolumner som kommenterats med isAdjustedToUTC=false nu att TIMESTAMP_NTZ skrivas som standard. Tidigare härleddes dessa som TIMESTAMP typ. Den här uppdateringen förbättrar noggrannheten i mappningen av Parquet-typer till Spark SQL-typer.

Därför kan läsning av data från externa Parquet-filer i en Delta-tabell leda till ett fel om timestampNtz funktionen inte är aktiverad. Felet visas på följande sätt:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Om du vill behålla det tidigare beteendet och förhindra det här felet kan du ange Spark-konfigurationsparametern spark.sql.parquet.inferTimestampNTZ.enabled till false.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • felsökning från 1.5.1 till 1.6.0
  • distlib från 0.3.6 till 0.3.7
  • fastjsonschema från 2.16.3 till 2.18.0
  • filelock från 3.12.0 till 3.12.2
• Uppgraderade R-bibliotek:
  • SparkR från 3.4.0 till 3.4.1
• Uppgraderade Java-bibliotek:
  • org.apache.orc.orc-core från 1.8.3-shaded-protobuf till 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce från 1.8.3-shaded-protobuf till 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims från 1.8.3 till 1.8.4
  • org.eclipse.jetty.jetty-client från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api från 9.4.50.v2021201 till 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client från 9.4.50.v2021201 till 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server från 9.4.50.v20221201 till 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet från 9.4.50.v2021201 till 9.4.51.v20230217
  • org.xerial.snappy.snappy-java från 1.1.8.4 till 1.1.10.1

Apache Spark

Databricks Runtime 13.3 innehåller Apache Spark 3.4.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 13.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• Nu kan du ställa in klustermiljövariabeln SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 för att använda Spark-snowflake Connector v2.12.0.
• [SPARK-43380] [DBRRM-383] Revert "[SC-133100][sql] Fix Avro data type conver...
• [SPARK-44504] [Backport][13.2][13.x][13.3] Avlastningsprovidern tvingar därmed DB-instansen att stänga och frigöra resurser vid fel i underhållsaktiviteten
• [SPARK-44059] [SC-137023] Lägga till analysstöd för namngivna argument för inbyggda funktioner
• [SPARK-44485] [SC-137653][sql] Optimera TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch i Python
• [SPARK-44446] [SC-136994][python] Lägg till kontroller för förväntade specialfall av listtyp
• [SPARK-44439] [SC-136973][connect][SS] Åtgärdat listListeners för att endast skicka id:n tillbaka till klienten
• [SPARK-44216] [SC-136941] [PYTHON] Göra assertSchemaEqual API offentligt
• [SPARK-44201] [SC-136778][connect][SS]Lägg till stöd för strömningslyssnare i Scala för Spark Connect
• [SPARK-43915] [SC-134766][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Återställ "[SC-133990][sql][PYTHON] Stöd för användardefinierade Python-tabellfunktioner"
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-44476] [SC-137169][core][CONNECT] Korrigera populationen av artefakter för en JobArtifactState utan associerade artefakter
• [SPARK-44269] [SC-135817][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][sql] Uppdatera TVF-argument för att kräva parenteser runt identifierare efter TABLE nyckelord
• [SPARK-43915] [SC-134766][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Lägg till stöd för UDFRegistration till Connect Scala-klienten
• [SPARK-44109] [SC-134755][core] Ta bort duplicerade önskade platser för varje RDD-partition
• [SPARK-44169] [SC-135497][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] Tilldela namn till _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-44153] [SC-134977][core][UI] Stöd för Heap Histogram-kolumn på Executors-fliken
• [SPARK-44044] [SC-135695][ss] Förbättra felmeddelandet för fönsterfunktioner med direktuppspelning
• [SPARK-43914] [SC-135414][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][python] Tillåt anpassad precision för fp ca likhet
• [SPARK-44370] [SC-136575][connect] Migrera Buf-fjärrgenererings alfa till fjärranslutna plugin-program
• [SPARK-44410] [SC-136930][python][CONNECT] Ange aktiv session i skapa, inte bara getOrCreate
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Återaktivera test_artifact med relevanta ändringar
• [SPARK-44145] [SC-136698][sql] Återanrop när det är klart för körning
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler Class
• [SPARK-43986] [SC-135623][sql] Skapa felklasser för Fel vid HyperLogLog-funktionsanrop
• [SPARK-44139] [SC-134967][sql] Avvisa fullständigt nedtryckta filter i gruppbaserade MERGE-operationer
• [SPARK-44338] [SC-136718][sql] Felmeddelande om felmatchning av visningsschema
• [SPARK-44208] [SC-135505][core][SQL] Tilldela tydliga felklassnamn för viss logik som direkt använder undantag
• [SPARK-44364] [SC-136773] [PYTHON] Lägg till stöd för datatypen List[Row] för förväntat
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils bör tillämpa ResolveTimeZone
• [SPARK-43389] [SC-136772][sql] Lade till en null-kontroll för lineSep-alternativet
• [SPARK-44388] [SC-136695][connect] Åtgärda problem med protobuf-cast när UDF-instansen uppdateras
• [SPARK-44352] [SC-136373][connect] Sätt tillbaka sameType och vänner i DataType.
• [SPARK-43975] [SC-134265][sql] DataSource V2: Hantera UPDATE kommandon för gruppbaserade källor
• [SPARK-44360] [SC-136461][sql] Stöd för schemarensning i deltabaserade MERGE-åtgärder
• [SPARK-44138] [SC-134907][sql] Förbjuder icke-deterministiska uttryck, underfrågor och aggregeringar i MERGE-villkor
• [SPARK-43321] [SC-136678][connect][Followup] Bättre namn för API:er som används i Scala-klientanslutning
• [SPARK-44263] [SC-136447][connect] Stöd för anpassade avlyssnare
• [SPARK-39851] [SC-123383][sql] Förbättra uppskattningen av kopplingsstatistiken om ena sidan kan behålla unikheten
• [SPARK-44390] [SC-136677][core][SQL] Byt SparkSerDerseUtils namn till SparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] Tilldela namn och förbättra felmeddelandet för frekventa LEGACY-fel.
• [SPARK-44322] [SC-136204][connect] Gör så att parsern använder SqlApiConf i stället för SQLConf.
• [SPARK-44271] [SC-136347][sql] Flytta standardvärden från StructType till ResolveDefaultColumns
• [SPARK-44332] [SC-136413][core][WEBUI] Åtgärda sorteringsfelet för kolumnen Executor ID på körgränssnittssidan
• [SPARK-44282] [SC-135948][connect] Förbered DataType-parsning för användning i Spark Connect Scala-klienten
• [SPARK-44349] [SC-136581][r] Lägg till matematiska funktioner i SparkR
• [SPARK-44397] [SC-136647][python] Exponera assertDataFrameEqual i pyspark.testing.utils
• [SPARK-42981] [SC-136620][connect] Lägg till Arrow-direktserialisering
• [SPARK-44373] [SC-136577][sql] Omslut med withActive för Dataset API med parslogik för att få parserrelaterad konfiguration att fungera
• [SPARK-44340] [SC-136574][sql] Definiera databehandlingslogiken via PartitionEvaluator-API:et och använd den i WindowGroupLimitExec
• [SPARK-43665] [SC-136573][connect][PS] Gör det möjligt för PandasSQLStringFormatter.vformat att fungera med Spark Connect
• [SPARK-44325] [SC-136572][sql] Använd PartitionEvaluator API i SortMergeJoinExec
• [SPARK-44315] [SC-136171][sql][CONNECT] Flytta DefinedByConstructorParams till sql/api
• [SPARK-44275] [SC-136184][connect] Lägg till konfigurerbar återförsöksmekanism i Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] Flytta verktyg som används från Scala-klienten till de vanliga modulerna
• [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][connect] Förbered ScalaReflection till övergången till SQL/API
• [SPARK-44313] [SC-136081][sql] Korrigera verifiering av genererade kolumnuttryck när det finns en char/varchar-kolumn i schemat
• [SPARK-43963] [SC-134145][sql] DataSource V2: Hantera MERGE-kommandon för gruppbaserade källor
• [SPARK-44363] [SC-136433] [PYTHON] Visa procent av ojämlika rader i DataFrame-jämförelse
• [SPARK-44251] [SC-136432][sql] Ställ in nullable korrekt på sammanslagen kopplingsnyckel i fullständig yttre USING-anslutning
• [SPARK-43948] [SC-133366][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Lägg till hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt till Scala och Python
• [SPARK-44351] [SC-136353][sql] Gör vissa syntaktiska förenklingar
• [SPARK-44281] [SC-135963][sql] Flytta QueryCompilation-fel som används av DataType till sql/api som DataTypeErrors
• [SPARK-44283] [SC-136109][connect] Flytta Ursprung till SQL/API
• [SPARK-43926] [SC-135590][connect][PYTHON] Lägg till arrayagg, array_size, kardinalitet, count_min_sketch, mask, named_struct, json* till Scala och Python
• [SPARK-44327] [SC-136187][sql][CONNECT] Lägg till funktioner any och len till Scala
• [SPARK-44290] [SC-136300][connect] Sessionsbaserade filer och arkiv i Spark Connect
• [SPARK-44061] [SC-136299][python] Lägg till funktionen assertDataFrameEqual util
• [SPARK-44331] [SC-136324][connect][PYTHON] Lägg till bitmappsfunktioner i Scala och Python
• [SPARK-44342] [SC-136334][sql] Ersätt SQLContext med SparkSession för GenTPCDSData
• [SPARK-42583] [SC-124190][sql] Ta bort den yttre kopplingen om de alla är distinkta mängdfunktioner
• [SPARK-44333] [SC-136206][connect][SQL] Move EnhancedLogicalPlan out of ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Lägg till try_* funktioner i Scala och Python
• [SPARK-44193] [SC-135886][connect] Implementera GRPC-undantagsavlyssning för konvertering
• [SPARK-44284] [SC-136107][connect] Skapa ett enkelt konfigurationssystem för sql/api
• [SPARK-43913] [SC-133368][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Återställ "[SC-135924][spark-43416][CONNECT] Åtgärda felaktigt schema för intervallfråga"
• [SPARK-44312] [SC-136185][connect][PYTHON] Tillåt att en användaragent anges med en miljövariabel
• [SPARK-44154] [SC-136060] Implementera bitmappsfunktioner
• [SPARK-43885] [SC-133996][sql] DataSource V2: Hantera MERGE-kommandon för deltabaserade källor
• [SPARK-43924] [SC-135161][connect][PYTHON] Lägg till diverse funktioner i Scala och Python
• [SPARK-43969] [SC-134556][sql] Omstrukturera och tilldela namn till felklassen _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] Åtgärda inkonsekvent kvalificering av sökvägar mellan katalog- och dataoperationer
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Lägg till datumtidsfunktioner i Scala, Python och Connect – del 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Lägg till strängfunktioner i Scala och Python – del 1
• [SPARK-44266] [SC-135813][sql] Flytta Util.truncatedString till sql/api
• [SPARK-44195] [SC-135722][r] Lägg till JobTag-API:er i SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] Stöd TABLE för argumentparserregel för TableValuedFunction
• [SPARK-44254] [SC-135709][sql] Flytta QueryExecutionErrors som används av DataType till sql/api som DataTypeErrors
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] Åtgärda felaktigt schema för intervallfråga
• [SPARK-43922] [SC-135612][sql] Lägg till namngivet parameterstöd i parser för funktionsanrop
• [SPARK-44300] [SC-135882][connect] Åtgärda artefaktrensning för att begränsa borttagningsomfånget till sessionsspecifika artefakter
• [SPARK-44293] [SC-135849][connect] Åtgärda ogiltig URI för anpassade JAR:er i Spark Connect
• [SPARK-44215] [SC-135850][shuffle] Om antalet segment är 0 bör servern kasta en RuntimeException
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests ska vara endast illustrativa
• [SPARK-44274] [SC-135814][connect] Flytta ut verktygsfunktioner som ArtifactManager använder till common/utils
• [SPARK-44194] [SC-135815][python][CORE] Lägg till JobTag-API:er i PySpark SparkContext
• [SPARK-42828] [SC-135733][python][SQL] Mer explicita Python-typanteckningar för GroupedData
• [SPARK-44079] [SC-135486][sql] Åtgärda ArrayIndexOutOfBoundsException när man analyserar en array som en struktur med hjälp av det PERMISSIVA läget med korrupta poster.
• [SPARK-44255] [SC-135809][sql] Flytta StorageLevel till common/utils
• [SPARK-42169] [SC-135795] [SQL] Implementera kodgenerering för funktionen to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Omstrukturera PythonUDTFRunner för att skicka sin returtyp separat
• [SPARK-43353] [SC-132734][python] Migrera återstående sessionsfel till felklassen
• [SPARK-44211] [SC-135718][python][CONNECT] Implementera SparkSession.is_stopped
• [SPARK-42784] [SC-135691] bör fortfarande skapa subDir när antalet subDir i sammanslagningsdir är mindre än conf
• [SPARK-41599] [SC-135616] Minnesläcka i FileSystem.CACHE när appar skickas till ett säkert kluster med InProcessLauncher
• [SPARK-44241] [SC-135613][core] Felaktigt inställda io.connectionTimeout/connectionCreationTimeout till noll eller negativt orsakar oupphörligt skapande/förstörelse av exekverare.
• [SPARK-44133] [SC-134795][13.x][PYTHON] Uppgradera MyPy från 0,920 till 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Event Serde i JSON-format
• [SPARK-44188] [SC-135173][core] Ta bort värdelös resetAllPartitions metod i ActiveJob
• [SPARK-43757] [SC-135418][connect] Ändra klientkompatibilitet från tillåtelselista till nekandelista
• [SPARK-43474] [SC-135521] [SS] [ANSLUT] Lägg till en Spark Connect-åtkomst till körningsdataramar efter ID.
• [SPARK-44183] [SC-135209][python] Skapa PyArrow lägsta version till 4.0.0
• [SPARK-44248] [SC-135554][ss][SQL][kafka] Lägg till önskad plats i kafka source v2
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Lägg till datumtidsfunktioner i Scala, Python och Connect API – del 1
• [SPARK-44161] [SC-135326][connect] Hantera radindata för UDF:er
• [SPARK-44227] [SC-135520][sql] Extrahera SchemaUtils från StructField
• [SPARK-44064] [SC-135116][core][SQL] Lägg till en ny apply funktion i NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2279-2282] & ta bort några oanvända felklasser
• [SPARK-44056] [SC-134758][sql] Inkludera UDF-namn i felmeddelande om UDF-körningsfel när det är tillgängligt
• [SPARK-44205] [SC-135422][sql] Extrahera katalysatorkod från DecimalType
• [SPARK-44220] [SC-135484][sql] Flytta StringConcat till sql/api
• [SPARK-44146] [SC-135230][connect] Isolerar Spark Connect-sessions jar-filer och klassfiler
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][sql] Åtgärda testfall där tolkade frågor kan komma att köra Codegen
• [SPARK-44204] [SC-135253][sql][HIVE] Lägg till saknad recordHiveCall för getPartitionNames
• [SPARK-44237] [SC-135485][core] Förenkla DirectByteBuffer-konstruktorsökningslogik
• [SPARK-44189] [SC-135170][connect][PYTHON] Stöd för positionsparametrar med hjälp av sql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Stöder positionsparametrar i Python sql()
• [SPARK-44164] [SC-135158][sql] Extrahera metoden toAttribute från StructField till Util-klassen
• [SPARK-44178] [SC-135113][connect] Stöd för positionsparametrar i sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader bör stänga barriärklassen InputStream efter läsning
• [SPARK-43063] [SC-128382][sql] df.show hantering av null bör skriva ut NULL i stället för null
• [SPARK-42539] [SC-124464][sql][HIVE] Eliminera separat classloader när du använder "inbyggd" Hive-version för metadataklient
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Lägg till valfritt mönster för Catalog.listFunctions
• [SPARK-44066] [SC-134878][sql] Stöd för positionsparametrar i Scala/Java sql()
• [SPARK-44078] [SC-134869][connect][CORE] Lägg till stöd för classloader/resursisolering
• [SPARK-43470] [SC-135187][core] Lägg till os, Java, Python-versionsinformation i programloggen
• [SPARK-43136] [SC-135238][connect][Followup] Lägga till test för KeyAs
• [SPARK-39740] [SC-135093][ui]: Uppgradera vis tidslinje till 7.7.2 för att åtgärda CVE-2020-28487
• [SPARK-42298] [SC-133952][sql] Tilldela namn till _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Lägg till valfritt mönster för Catalog.listTables
• [SPARK-44026] [SC-135181] Tillåt att inledande värde anges för SQLMetrics
• [SPARK-44202] [SC-135244][core] Lägg till JobTag-API:er i JavaSparkContext
• [SPARK-44030] [SC-135237][sql] Implementera DataTypeExpression för att erbjuda Unapply för uttryck
• [SPARK-43876] Återställ "[SC-134603][sql] Aktivera snabb hashmap för distinkta frågor"
• [SPARK-40082] [SC-126437] Schemalägg sammanslagningSluts när push-sammanslagning shuffleMapStage försöker igen men inga aktiviteter som körs
• [SPARK-43888] [SC-132893][core] Flytta loggning till vanliga/verktyg
• [SPARK-43474] [SC-134400] [SS] [ANSLUT] Lägg till sessionshållare i SparkConnectPlanner
• [SPARK-43944] [SC-134490][connect][PYTHON] Lägg till strängfunktioner i Scala och Python – del 2
• [SPARK-44134] [SC-134954][core] Åtgärda inställningen av resurser (GPU/FPGA) till 0 när de är ställda i spark-defaults.conf
• [SPARK-44142] [SC-134947][python] Ersätt typ med tpe i verktyget för att konvertera python-typer till spark-typer
• [SPARK-43952] [SC-134695][core][CONNECT][sql] Lägg till SparkContext-API:er för frågeavbokning efter tagg
• [SPARK-44000] [SC-133634][sql] Lägg till tips för att inaktivera sändning och replikering på ena sidan av kopplingen
• [SPARK-43937] [SC-134362][connect][PYTHON] Lägg till ifnull,isnotnull,equal_null,nullif,nvl,nvl2 till Scala och Python
• [SPARK-43624] [13.x][sc-134557][PS][connect] Lägg till EWM i SparkConnectPlanner.
• [SPARK-44040] [SC-134366][sql] Åtgärda beräkningsstatistik när AggregateExec-noden är ovanför QueryStageExec
• [SPARK-43485] [SC-131264][sql] Åtgärda felmeddelandet för argumentet för unit funktionerna datetime add/diff
• [SPARK-43794] [SC-132561][sql] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][connect][SS]Har implementerat MapGroupsWithState och FlatMapGroupsWithState API:er för Spark Connect.
• [SPARK-43529] [SQL] Stöder CREATE/REPLACE TABLE OPTIONS-uttryck + kodrensning
• [SPARK-44106] [SC-134750][python][CONNECT] Lägg till __repr__ för GroupedData
• [SPARK-42299] [SC-133190] Tilldela namn till _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][sql] Lägger till stöd för aes_encrypt IV:er och AAD
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Lägg till current liknande funktioner i Scala och Python
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Lägg till regexp_* funktioner i Scala och Python
• [SPARK-44107] [SC-134746][connect][PYTHON] Dölj kolumnmetoder som inte stöds från automatisk slutförande
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Event Serde i JSON-format
• [SPARK-43773] [SC-132659][connect][PYTHON] Implementera funktionerna "levenshtein(str1, str2[, threshold])" i Python-klienten
• [SPARK-44125] [SC-134745][r] Stöd för Java 21 i SparkR
• [SPARK-43919] [SC-133374][sql] Extrahera JSON-funktioner från rad
• [SPARK-43769] [SC-132520][connect] Implementera funktionerna "levenshtein(str1, str2[, threshold])"
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer för att skriva ut viss lässtatus
• [SPARK-43876] [SC-134603][sql] Aktivera snabb hashmap för distinkta frågor
• [SPARK-44024] [SC-134497][sql] Ändra till att använda map när unzip endast används för att extrahera ett enda element
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Lägg till bitåtgärder i Scala, Python och Connect API
• [SPARK-44092] [SC-134506][core] Lägg till Utils.isJavaVersionAtLeast21 och gör core modulpass med Java 21
• [SPARK-44018] [SC-134512][sql] Förbättra hashCode och toString för vissa DS V2-uttryck
• [SPARK-44105] [SC-134582][sql] LastNonNull bör lösas lazily
• [SPARK-44081] [SC-134434] Förenkla PartitionedFileUtil API lite
• [SPARK-43791] [SC-132531][sql] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Definiera och använda Unresolved[Leaf|Unary]Node-egenskaper.
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] Omstrukturera standardkolumnvärdeupplösning
• [SPARK-43493] [SC-132063][sql] Lägg till ett argument för maximalt avstånd till funktionen levenshtein()
• [SPARK-44075] [SC-134382][anslut] Gör transformStatCorr lat
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Lägg till några, bool_or, bool_and, every till Scala, Python och Connect
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Lägg till make_* funktioner i Scala och Python
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] Förbättra felmeddelanden: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][connect][PYTHON] Lägg till to_* funktioner i Scala och Python
• [SPARK-44055] [SC-134321][core] Ta bort redundanta override funktioner från CheckpointRDD
• [SPARK-43802] [SC-132597][sql] Åtgärda kodgenerering för unhex och unbase64 med failOnError=true
• [SPARK-43798] [SC-133990][sql][PYTHON] Stöder användardefinierade Python-tabellfunktioner
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Lägg till any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, minska till Scala, Python och Connect API
• [SPARK-43380] [SC-133100][sql] Åtgärda problem med konvertering av Avro-datatyp för att undvika felaktiga resultat
• [SPARK-43803] [SC-133729] [SS] [ANSLUT] Förbättra awaitTermination() för att hantera klientfrånkopplingar
• [SPARK-43179] [SC-129070][shuffle] Tillåter appar att styra om deras metadata sparas i databasen av den externa shuffle-tjänsten

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Se Underhållsuppdateringar för Databricks Runtime 13.3.

Systemmiljö

• Operativsystem: Ubuntu 22.04.2 LTS
  • Obs! Det här är Ubuntu-versionen som används av Databricks Runtime-containrar. DBR-containrarna körs på molnleverantörens virtuella datorer, som kan använda en annan Ubuntu-version eller Linux-distribution.
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Deltasjön: 2.4.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)