Databricks Runtime 9.0 (EoS)

Följande versionsanteckningar ger information om Databricks Runtime 9.0 och Databricks Runtime 9.0 Photon, som drivs av Apache Spark 3.1.2. Databricks släppte den här versionen i augusti 2021. Foton finns i offentlig förhandsversion.

Korrigering

En tidigare version av dessa versionsanteckningar uppgav felaktigt att Apache Parquet-beroenden uppgraderades från 1.10 till 1.12. Faktum är att Parquet-beroenden förblir på version 1.10. Den felaktiga anteckningen om versionen har tagits bort.

Nya funktioner och förbättringar

• Nytt API för sammanfattningsstatistik för datamängder (offentlig förhandsversion)
• Enklare konfiguration av extern datakälla för Azure Synapse-anslutningsappen
• Du kan också begränsa sessionen till en angiven varaktighet för Amazon Redshift-anslutningsappen
• Automatisk Laddare
• SQL
• R-stöd
• Undvik att göra om genom att ange inledande tillstånd för tillståndskänslig bearbetning med strukturerad direktuppspelning
• En implementering med låg omflyttning av kommandot Delta MERGE INTO är nu tillgänglig (öppen förhandsversion)

Nytt API för sammanfattningsstatistik för datamängder (offentlig förhandsversion)

Med det nya dbutils.data.summarize kommandot i Databricks Utilities kan du starta ett Spark-jobb som automatiskt beräknar sammanfattningsstatistik på kolumnerna i en Spark DataFrame och sedan visar resultatet interaktivt. Den här funktionen är tillgänglig i Scala och Python. Se Dataverktyg (dbutils.data).

Enklare konfiguration av extern datakälla för Azure Synapse-anslutningsappen

Med det nya externalDataSource alternativet i anslutningsappen Frågedata i Azure Synapse Analytics kan du använda en företablerad extern datakälla för att läsa från en Azure Synapse-databas. Alternativet externalDataSource tar bort behovet av den CONTROL behörighet som tidigare krävdes.

När du anger externalDataSourcemåste den externa datakällan och det tempDir alternativ som används för att konfigurera tillfällig lagring referera till samma container i lagringskontot.

Du kan också begränsa sessionen till en angiven varaktighet för Amazon Redshift-anslutningsappen

Med det nya fs.s3a.assumed.role.session.duration alternativet i Query Amazon Redshift med Azure Databricks-anslutningsappen kan du ange en varaktighet för sessionen när Redshift har åtkomst till den tillfälliga S3-bucketen med en antagen roll.

Autoladdare

• Optimerad fillista
• Optimerad lagring av avbildningsdata
• Bildminiatyrer för binära filer (offentlig förhandsversion)
• DirectoryRename händelser möjliggör atomisk bearbetning av flera filer

Optimerad fillista

Optimering av automatisk inläsning ger prestandaförbättringar och kostnadsbesparingar när du listar kapslade kataloger i molnlagring, inklusive AWS S3, Azure Data Lake Storage (ADLS) och Google Cloud Storage (GCS).

Om du till exempel hade filer som laddades upp som /some/path/YYYY/MM/DD/HH/fileName, för att hitta alla filer i dessa kataloger, använde Auto Loader för att göra en parallell lista över alla underkataloger, vilket orsakade 365 (per dag) * 24 (per timme) = 8760 LIST API-kataloganrop till den underliggande lagringen för varje års katalog. Genom att ta emot ett utplattat svar från dessa lagringssystem minskar Auto Loader antalet API-anrop till antalet filer i lagringssystemet dividerat med antalet resultat som returneras av varje API-anrop (1 000 för S3, 5 000 för ADLS och 1 024 för GCS), vilket avsevärt minskar molnkostnaderna.

Optimerad lagring av avbildningsdata

Automatisk inläsning kan nu automatiskt identifiera bilddata som matas in och optimera dess lagring i Delta-tabeller för att förbättra läs- och skrivprestanda. Se Mata in bild- eller binärdata till Delta Lake för ML.

Bildminiatyrer för binära filer (offentlig förhandsversion)

Bilder i binaryFile format som läses in eller sparas som Delta-tabeller med automatisk inläsning har anteckningar kopplade så att bildminiatyrerna visas när du visar tabellen i en Azure Databricks-anteckningsbok. Mer information finns i Bilder.

DirectoryRename händelser möjliggör atomisk bearbetning av flera filer

Autoladdarströmmar skapade i Databricks Runtime 9.0 och senare i Azure Data Lake Storage konfigurerar filhändelsemeddelanden för att inkludera katalogomdöpningar och lyssna på RenameDirectory-händelser. Du kan använda katalogbyten för att få flera filer att visas atomiskt för automatisk inläsning.

SQL

• Exkludera kolumner i SELECT * (offentlig förhandsversion)
• SQL-skalärfunktioner (offentlig förhandsversion)
• Referens för föregående alias och kolumner i FROM underfrågor (offentlig förhandsversion)

Exkludera kolumner i SELECT * (offentlig förhandsversion)

SELECT * stöder nu ett EXCEPT nyckelord som gör att du kan exkludera angivna kolumner på den översta nivån från expansionen. Från en tabell med schema SELECT * EXCEPT (b) FROM tbl expanderas till exempel (a, b, c) till (a, c).

SQL-skalärfunktioner (offentlig förhandsversion)

CREATE FUNCTION har nu stöd för SQL-skalärfunktioner. Du kan skapa skalära funktioner som tar en uppsättning argument och returnerar ett värde av en enda skalär typ. SQL-funktionstexten kan vara vilket uttryck som helst. Till exempel:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Mer information finns i CREATE FUNCTION (SQL och Python).

Referera till tidigare alias och kolumner i FROM underfrågor (offentlig förhandsvisning)

Underfrågor i satsen för FROM en fråga kan nu föregås av nyckelordet LATERAL som gör att de kan referera till alias och kolumner i föregående FROM objekt. Till exempel:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Nyckelordet LATERAL stöder INNER, CROSSoch LEFT (OUTER) JOIN.

Se Parametrar och parametrar.

R-stöd

Notebook-specifika R-bibliotek (offentlig förhandsversion)

Notebook-specifika bibliotek låter dig installera bibliotek och skapa en miljö som är anpassad för en notebook-session. De här biblioteken påverkar inte andra notebook-filer som körs i samma kluster. Biblioteken är tillgängliga både på drivrutins- och arbetsnoderna, så du kan referera till dem i användardefinierade funktioner. Se anteckningsbok-omfattade R-bibliotek.

Varningsmeddelanden i R-anteckningsböcker

Standardvärdet för warn alternativet är nu inställt på 1 inuti R-notebook-filer. Därför exponeras alla varningar nu som en del av kommandoresultatet. Mer information om alternativet finns i warn Alternativinställningar.

Undvik att göra om genom att ange inledande tillstånd för tillståndskänslig bearbetning med strukturerad direktuppspelning

Nu kan du ange ett användardefinierat initialt tillstånd för strukturerad tillståndskänslig bearbetning för direktuppspelning med operatorn [flat]MapGroupsWithState .

Se Ange inledande tillstånd för mapGroupsWithState.

Nu är en lågomblandad implementering av Delta MERGE INTO tillgänglig (Offentlig Förhandsversion)

Delta-kommandot MERGE INTO har en ny implementering tillgänglig som minskar omblandning av oförändrade rader. Detta förbättrar kommandots prestanda och hjälper till att bevara befintlig klustring i tabellen, till exempel Z-ordering. Om du vill aktivera låg shuffle merge, konfigurera spark.databricks.delta.merge.enableLowShuffle som true. Se Låg omblandningsfusion på Azure Databricks.

Felkorrigeringar

• Du kan inte längre skriva över en vy genom att skapa en vy med samma namn.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • certifi från 2021.5.30 till 2020.12.5
  • chardet från 3.0.4 till 4.0.0
  • Cython från 0.29.21 till 0.29.23
  • decorator från 4.4.2 till 5.0.6
  • ipython från 7.19.0 till 7.22.0
  • joblib från 0.17.0 till 1.0.1
  • jupyter-client från 6.1.7 till 6.1.12
  • jupyter-core från 4.6.3 till 4.7.1
  • kiwisolver från 1.3.0 till 1.3.1
  • matplotlib från 3.2.2 till 3.4.2
  • pandas från 1.1.5 till 1.2.4
  • pip från 20.2.4 till 21.0.1
  • prompt-toolkit från 3.0.8 till 3.0.17
  • protobuf från 3.17.3 till 3.17.2
  • ptyprocess från 0.6.0 till 0.7.0
  • pyarrow från 1.0.1 till 4.0.0
  • Pygments från 2.7.2 till 2.8.1
  • pyzmq från 19.0.2 till 20.0.0
  • begäranden från 2.24.0 till 2.25.1
  • s3transfer från 0.3.6 till 0.3.7
  • scikit-learn från 0.23.2 till 0.24.1
  • scipy från 1.5.2 till 1.6.2
  • seaborn från 0.10.0 till 0.11.1
  • setuptools från 50.3.1 till 52.0.0
  • statsmodels från 0.12.0 till 0.12.2
  • tornado från 6.0.4 till 6.1
  • virtualenv från 20.2.1 till 20.4.1
  • hjul från 0.35.1 till 0.36.2
• Uppgraderade R-bibliotek:
  • Matris från 1.3-3 till 1.3-4

Apache Spark

Databricks Runtime 9.0 innehåller Apache Spark 3.1.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 8.4 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-35886] [SQL][3.1] PromotePrecision bör inte skriva över genCodePromotePrecision bör inte skriva över genCode
• [SPARK-35879] [CORE][shuffle] Åtgärda prestandaregression orsakad av collectFetchRequests
• [SPARK-35817] [SQL][3.1] Återställa prestanda för frågor mot breda Avro-tabeller
• [SPARK-35841] [SQL] Att konvertera sträng till decimalt tal fungerar inte om...
• [SPARK-35783] [SQL] Ange listan över lästa kolumner i aktivitetskonfigurationen för att minska läsningen av ORC-data
• [SPARK-35576] [SQL][3.1] Redigera känslig information i resultatet av kommandot Set
• [SPARK-35449] [SQL][3.1] Extrahera endast vanliga uttryck från CaseWhen-värden om elseValue har angetts
• [SPARK-35288] [SQL] StaticInvoke bör hitta metoden utan exakt matchning av argumentklasser
• [SPARK-34794] [SQL] Åtgärda problem med lambda-variabelnamn i kapslade DataFrame-funktioner
• [SPARK-35278] [SQL] Invoke bör hitta metoden med rätt antal parametrar
• [SPARK-35226] [SQL] Stöd för alternativet RefreshKrb5Config i JDBC-datakällor
• [SPARK-35244] [SQL] Anropa bör utlösa det ursprungliga undantaget
• [SPARK-35213] [SQL] Behåll rätt ordning på nästlade strukturer i kedjade medField-operationer
• [SPARK-35087] [Användargränssnitt] Vissa kolumner i tabellen Aggregated Metrics by Executor of stage-detail page visas felaktigt.
• [SPARK-35168] [SQL] mapred.reduce.tasks ska vara shuffle.partitions istället för adaptive.coalescePartitions.initialPartitionNum
• [SPARK-35127] [Användargränssnitt] När vi växlar mellan olika sceninformationssidor kan postobjektet på den nyligen öppnade sidan vara tomt
• [SPARK-35142] [PYTHON][ml] Korrigera felaktig returtyp för rawPredictionUDF i OneVsRestModel
• [SPARK-35096] [SQL] SchemaPruning bör respektera spark.sql.caseSensitive konfigurationen
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias bör inte skapa UnresolvedAlias
• [SPARK-35080] [SQL] Tillåt endast en delmängd av korrelerade likhetspredikat när en underfråga aggregeras
• [SPARK-35117] [Användargränssnitt] Ändra förloppsindikatorn tillbaka för att markera förhållandet mellan pågående aktiviteter
• [SPARK-35136] Ta bort det inledande null-värdet för LiveStage.info
• [SPARK-34834] [NÄTVERK] Åtgärda en potentiell Netty-minnesläcka i TransportResponseHandler
• [SPARK-35045] [SQL] Lägg till ett internt alternativ för att styra indatabufferten i univocity
• [SPARK-35014] Åtgärda mönstret PhysicalAggregation så att de inte skriver om de vikbara uttrycken
• [SPARK-35019] [PYTHON][sql] Åtgärda felmatchningar för typindikationer i pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() bör respektera att partitionsvärdet är null
• [SPARK-34630] [PYTHON] Lägg till typehint för pyspark.version
• [SPARK-34963] [SQL] Åtgärda beskärning av kapslade kolumner för att utvinna skiftlägesokänsligt strukturfält från struct-arrayer
• [SPARK-34988] [CORE][3.1] Uppgradera Jetty för CVE-2021-28165
• [SPARK-34922] [SQL][3.1] Använd en relativ kostnadsjämförelsefunktion i CBO
• [SPARK-34970] [SQL][säkerhet][3.1] Redigera maptyp-alternativ i utdata från explain()
• [SPARK-34923] [SQL] Metadata-utdata bör vara tomt för fler planer
• [SPARK-34949] [CORE] Förhindra att BlockManager omregistreras när Executor stängs av
• [SPARK-34939] [CORE] Generera undantag för hämtningsfel när det inte går att deserialisera sända kartstatusar
• [SPARK-34909] [SQL] Åtgärda konvertering av negativ till osignerad i conv()
• [SPARK-34845] [CORE] ProcfsMetricsGetter bör inte returnera partiella procfs-mått
• [SPARK-34814] [SQL] LikeSimplification ska hantera NULL
• [SPARK-34876] [SQL] Fyll defaultResult för ej nullbara aggregeringar
• [SPARK-34829] [SQL] Åtgärda resultat från högre ordningsfunktioner
• [SPARK-34840] [SHUFFLE] Åtgärdar fall av korruption i den sammanfogade shuffle ...
• [SPARK-34833] [SQL] Använd högerutfyllnad korrekt för korrelerade underfrågor
• [SPARK-34630] [PYTHON][sql] Lade till typehint för pyspark.sql.Column.contains
• [SPARK-34763] [SQL] col(), $"name" och df("name") ska hantera citerade kolumnnamn korrekt
• [SPARK-33482][SPARK-34756] [SQL] Åtgärda likhetskontrollen för FileScan
• [SPARK-34790] [CORE] Inaktivera hämtning av shuffle-block i batch när io-kryptering är aktiverat
• [SPARK-34803] [PYSPARK] Skicka vidare ImportError som uppstår om pandas eller pyarrow misslyckas med att importeras
• [SPARK-34225] [CORE] Koda inte ytterligare när en URI-formulärsträng skickas för att lägga tillFile eller addJar
• [SPARK-34811] [CORE] Redigera fs.s3a.access.key som hemlighet och token
• [SPARK-34796] [SQL][3.1] Initiera räknarvariabeln för LIMIT kodgen i doProduce()
• [SPARK-34128] [SQL] Ignorera oönskade TTransportException-varningar som ingår i THRIFT-4805
• [SPARK-34776] [SQL] Kapslad kolumnrensning bör inte rensa fönsterproducerade attribut
• [SPARK-34087] [3.1][sql] Åtgärda minnesläcka av ExecutionListenerBus
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords bör använda Spark-klassladdare i stället för kontext
• [SPARK-34719] [SQL][3.1] Lös vyfrågan korrekt med duplicerade kolumnnamn
• [SPARK-34766] [SQL][3.1] Avbilda inte maven-konfigurationen för vyer
• [SPARK-34731] [CORE] Undvik ConcurrentModificationException när du redigerar egenskaper i EventLoggingListener
• [SPARK-34737] [SQL][3.1] Konvertera inmatningsflyttal till datatypen double i TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] Förenkla ResolveCreateNamedStruct
• [SPARK-34768] [SQL] Respektera standardstorleken för indatabufferten i Univocity
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists bör inte misslyckas om databasen inte finns
• [SPARK-34504] [SQL] Undvik onödiga lösningar av SQL-temporära vyer för DDL-kommandon
• [SPARK-34727] [SQL] Åtgärda avvikelse i konvertering av flyttal till tidsstämpel
• [SPARK-34723] [SQL] Rätt parametertyp för underuttryckseliminering under hela fasen
• [SPARK-34724] [SQL] Åtgärda tolkad utvärdering med hjälp av getMethod i stället för getDeclaredMethod
• [SPARK-34713] [SQL] Åtgärda grupp efter CreateStruct med ExtractValue
• [SPARK-34697] [SQL] Tillåt DESCRIBE FUNCTION och SHOW FUNCTIONS förklara om || (strängsammanfogningsoperator)
• [SPARK-34682] [SQL] Använd PrivateMethodTester i stället för reflektion
• [SPARK-34682] [SQL] Åtgärda regression i canonicalization-felkontrollen i CustomShuffleReaderExec
• [SPARK-34681] [SQL] Åtgärda bugg för fullständig yttre shuffle-hashkoppling när vänster sida skapas med ett ojämlikt villkor
• [SPARK-34545] [SQL] Åtgärda problem med valueCompare-funktionen i pyrolit
• [SPARK-34607] [SQL][3.1] Lägg till Utils.isMemberClass för att åtgärda ett felformaterat klassnamnsfel på jdk8u
• [SPARK-34596] [SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i NewInstance.doGenCode
• [SPARK-34613] [SQL] Åtgärda problemet att vy inte kan registrera 'disabled hint' konfigurationen
• [SPARK-32924] [WEBUI] Gör varaktighetskolumnen i huvudgränssnittet sorterad i rätt ordning
• [SPARK-34482] [SS] Korrigera den aktiva SparkSession i StreamExecution.logicalPlan
• [SPARK-34567] [SQL] CreateTableAsSelect bör också uppdatera mått
• [SPARK-34599] [SQL] Åtgärda problemet att INSERT INTO OVERWRITE inte stöder partitionskolumner som innehåller punkt för DSv2
• [SPARK-34577] [SQL] Åtgärda släpp/lägg till kolumner i en datauppsättning med DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] Statisk partition bör också följa StoreAssignmentPolicy när du infogar i v2-tabeller
• [SPARK-34555] [SQL] Lösa metadatautdata från DataFrame
• [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block
• [SPARK-34547] [SQL] Använd endast metadatakolumner för lösning som sista utväg
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap misslyckas för kolumnnamn med en punkt
• [SPARK-34561] [SQL] Åtgärda släpp/lägg till kolumner från/till en datauppsättning med v2 DESCRIBE TABLE
• [SPARK-34556] [SQL] Kontroll av duplicerade statiska partitionskolumner bör respektera skiftlägeskänslig konfiguration
• [SPARK-34392] [SQL] Stöd för ZoneOffset +h:mm i DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] Hoppa över null-värden i InSet vid push-filtrering till Hive-metastore.
• [SPARK-34543] [SQL] Respektera konfigurationen spark.sql.caseSensitive när partitionsspecifikationen löses i v1 SET LOCATION
• [SPARK-34436] [SQL] DPP stöder LIKE ANY/ALL-uttryck
• [SPARK-34531] [CORE] Ta bort experimentell API-tagg i PrometheusServlet
• [SPARK-34497] [SQL] Åtgärda inbyggda JDBC-anslutningsproviders för att återställa JVM-säkerhetskontextändringar
• [SPARK-34515] [SQL] Åtgärda NPE om InSet innehåller null-värde under getPartitionsByFilter
• [SPARK-34490] [SQL] Analysen bör misslyckas om vyn refererar till en borttagen tabell
• [SPARK-34473] [SQL] Undvik NPE i DataFrameReader.schema(StructType)
• [SPARK-34384] [CORE] Lägga till saknade dokument för ResourceProfile-API:er
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext kan hänga på grund av ett konkurrensproblem
• [SPARK-20977] [CORE] Använd ett icke-slutligt fält för tillståndet CollectionAccumulator
• [SPARK-34421] [SQL] Behandla tillfälliga funktioner och vyer i vyer med CTE:er
• [SPARK-34431] [CORE] Läs bara in hive-site.xml en gång
• [SPARK-34405] [CORE] Åtgärda medelvärdet för timersLabels i klassen PrometheusServlet
• [SPARK-33438] [SQL] Initiera objekten ivrigt med definierade SQL-konfigurationer för kommando set -v
• [SPARK-34158] Felaktig URL för den enda utvecklaren Matei i pom.xml
• [SPARK-34346] [CORE][sql][3.1] io.file.buffer.size som ställs in av spark.buffer.size kan av misstag åsidosättas vid inläsning av hive-site.xml, vilket kan orsaka prestandaförsämring
• [SPARK-34359] [SQL][3.1] Lägg till en äldre konfiguration för att återställa utdataschemat för SHOW DATABASES
• [SPARK-34331] [SQL] Påskynda DS v2-metadatas kolonlösning
• [SPARK-34318] [SQL][3.1] Dataset.colRegex bör fungera med kolumnnamn och kvalificerare som innehåller nya rader
• [SPARK-34326] [CORE][sql] Åtgärda enhetstester som lagts till i SPARK-31793 som beror på den temporära sökvägens längd
• [SPARK-34319] [SQL] Lösa duplicerade attribut för FlatMapCoGroupsInPandas/MapInPandas
• [SPARK-34310] [CORE][sql] Ersätter karta och platta ut med flatMap
• [SPARK-34083] [SQL][3.1] Använda ursprungliga TPCDS-definitioner för kollumen char/varchar
• [SPARK-34233] [SQL][3.1] FIX NPE för teckenutfyllnad i binär jämförelse
• [SPARK-34270] [SS] Kombinera StateStoreMetrics bör inte åsidosätta StateStoreCustomMetric
• [SPARK-34144] [SQL] Undantag som utlöses vid försök att skriva LocalDate- och Instant-värden till en JDBC-relation
• [SPARK-34273] [CORE] Registrera inte BlockManager igen när SparkContext stoppas
• [SPARK-34262] [SQL][3.1] Uppdatera cachelagrade data i v1-tabellen i ALTER TABLE .. SET LOCATION
• [SPARK-34275] [CORE][sql][MLLIB] Ersätter filter och storlek med antal
• [SPARK-34260] [SQL] Åtgärda UnresolvedException när du skapar temporär vy två gånger
• [SPARK-33867] [SQL] Instant- och LocalDate-värden hanteras inte när SQL-frågor genereras
• [SPARK-34193] [CORE] TorrentBroadcast block manager avvecklingskonflikt fix
• [SPARK-34221] [WEBUI] Kontrollera att om ett steg misslyckas på användargränssnittssidan kan motsvarande felmeddelande visas korrekt
• [SPARK-34236] [SQL] Åtgärda v2 överlagra med null statisk partition som orsakar Kan inte översätta uttryck till källfilter: null
• [SPARK-34212] [SQL] Åtgärda felaktig decimalläsning från Parquet-filer
• [SPARK-34244] [SQL] Ta bort Scala-funktionsversionen av regexp_extract_all
• [SPARK-34235] [SS] Skapa spark.sql.hive som ett privat paket
• [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate-händelsen i loggen
• [SPARK-34229] [SQL] Avro bör läsa decimalvärden med filschemat
• [SPARK-34223] [SQL] Lös NPE för statisk partition med null i InsertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] Flytta utfyllnad av tecken till skrivsidan och ta bort längdkontrollen även på lässidan
• [SPARK-34203] [SQL] Konvertera null partitionsvärden till __HIVE_DEFAULT_PARTITION__ i v1-katalogen In-Memory
• [SPARK-33726] [SQL] Korrigering för duplicerade fältnamn under aggregering
• [SPARK-34133] [AVRO] Respektera skiftlägeskänslighet när du utför Catalyst-till-Avro-fältjämförelse
• [SPARK-34187] [SS] Använd tillgängligt förskjutningsintervall som erhålls vid pollning när förskjutningsvalidering kontrolleras
• [SPARK-34052] [SQL][3.1] lagrar SQL-text för en temporär vy som skapats med "CACHE TABLE .. AS SELECT ..."
• [SPARK-34213] [SQL] Uppdatera cachelagrade data för v1-tabellen i LOAD DATA
• [SPARK-34191] [PYTHON][sql] Lägg till typinföring för UDF-överbelastning
• [SPARK-34200] [SQL] Tvetydig kolumnreferens bör överväga attributtillgänglighet
• [SPARK-33813] [SQL][3.1] Åtgärda problemet med att JDBC-källan inte kan behandla MS SQL Server:s rumsliga typer
• [SPARK-34178] [SQL] Kopiera taggar för den nya noden som skapats av MultiInstanceRelation.newInstance
• [SPARK-34005] [CORE][3.1] Uppdatera högsta minnesmätning för varje exekverare när uppgiften avslutas
• [SPARK-34115] [CORE] Kontrollera SPARK_TESTING som lat värde för att undvika fördröjning
• [SPARK-34153] [SQL][3.1][3.0] Ta bort oanvänd getRawTable() från HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] Förbättra prestandan för char och varchar utfyllnad och längdkontroll med StaticInvoke
• [SPARK-34027] [SQL][3.1] Uppdatera cacheminnet i ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] java.io.File.toURL Ersätter med java.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] Flytta QueryCompilationErrors.scala till org/apache/spark/sql/errors
• [SPARK-34080] [ML][python] Lägg till UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] Minska rpc-anropet för getFileStatus i SingleFileEventLogFileReader
• [SPARK-34118] [CORE][sql][3.1] Ersätter filter och söker efter tomhet med finns eller forall
• [SPARK-34114] [SQL] bör inte trimma till höger för att kontrollera och fylla ut teckenlängden på lässidan.
• [SPARK-34086] [SQL][3.1] RaiseError genererar för mycket kod och kan misslyckas med codegen i längdkontroll för teckenvarchar
• [SPARK-34075] [SQL][core] Dolda kataloger listas för partitionsinferens
• [SPARK-34076] [SQL] SQLContext.dropTempTable misslyckas om cacheminnet inte är tomt
• [SPARK-34084] [SQL][3.1] Åtgärda automatisk uppdatering av tabellstatistik i ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] Cache av resultatet av HadoopDelegationTokenManager.isServiceEnabled som används i KafkaTokenUtil.needTokenUpdate
• [SPARK-34069] [CORE] Stop-barriärsuppgifter borde respektera SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] Shuffle batch fetch bör kunna inaktiveras när den har aktiverats
• [SPARK-34059] [SQL][core][3.1] Använd 'for'/'foreach' i stället för 'map' för att säkerställa att det körs ivrigt.
• [SPARK-34002] [SQL] Åtgärda användningen av kodaren i ScalaUDF
• [SPARK-34060] [SQL][3.1] Åtgärda Cachelagring av Hive-tabeller när statistik uppdateras av ALTER TABLE .. DROP PARTITION
• [SPARK-31952] [SQL] Åtgärda felaktiga mått för minnesspill när du utför aggregering
• [SPARK-33591] [SQL][3.1] Identifiera null i partitionsspecifikationsvärden
• [SPARK-34055] [SQL][3.1] Uppdatera cacheminnet i ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] ReplaceTable bör ogiltigförklara cacheminnet
• [SPARK-34003] [SQL] Åtgärda regelkonflikter mellan PaddingAndLengthCheckForCharVarchar och ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] Optimera Like någon/all med LikeSimplification
• [SPARK-34021] [R] Åtgärda hyperlänkar i SparkR-dokumentationen för CRAN-överföring
• [SPARK-34011] [SQL][3.1][3.0] Uppdatera cacheminnet i ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] Åtgärda CodeGen-fel för metoden MapObjects.doGenCode i Scala 2.13
• [SPARK-33635] [SS] Justera ordningen på kontrollen i KafkaTokenUtil.needTokenUpdate för att åtgärda perf-regression
• [SPARK-33029] [CORE][webui] Åtgärda att UI-exekutorsidan felaktigt markerar drivrutinen som undantagen
• [SPARK-34015] [R] Åtgärda tidsinställning för indata i gapply
• [SPARK-34012] [SQL] Håll beteendet konsekvent när konfigurationen spark.sql.legacy.parser.havingWithoutGroupByAsWhere är sann med migreringsguiden
• [SPARK-33844] [SQL][3.1] Kommandot InsertIntoHiveDir bör också kontrollera col-namnet
• [SPARK-33935] [SQL] Åtgärda CBO-kostnadsfunktionen
• [SPARK-33100] [SQL] Ignorera ett semikolon i en hakparenteserad kommentar i spark-sql
• [SPARK-34000] [CORE] Åtgärda stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [SPARK-33992] [SQL] åsidosätter transformUpWithNewOutput för att lägga till allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] Ändra synligheten för privata fallklasser i mllib för att undvika kompileringsfel vid körning med Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] Uppdatera cacheminnet i v1 ALTER TABLE .. DROP PARTITION
• [SPARK-33980] [SS] Ogiltigförklara char/varchar i spark.readStream.schema
• [SPARK-33945] [SQL][3.1] Hanterar ett slumpmässigt frö som består av ett exprträd
• [SPARK-33398] Fixa problem med inläsning av trädmodeller före Spark 3.0
• [SPARK-33963] [SQL] Canonicalisera HiveTableRelation utan tabellstatistik
• [SPARK-33906] [WEBUI] Åtgärda felet med utförarsidan i användargränssnittet som fastnar på grund av odefinierade peakMemoryMetrics.
• [SPARK-33944] [SQL] Felaktig loggning för lagernycklar i SharedState-alternativ
• [SPARK-33936] [SQL][3.1] Lägg till den version då anslutningsgränssnittet lades till
• [SPARK-33916] [CORE] Åtgärda reservlagringsförskjutning och förbättra komprimeringscodec testtäckning
• [SPARK-33899] [SQL][3.1] Åtgärda asserfel i v1 SHOW TABLES/VIEWS på spark_catalog
• [SPARK-33901] [SQL] Åtgärda Char- och Varchar-visningsfel efter DDL:er
• [SPARK-33897] [SQL] Det går inte att ange alternativet kors i kopplingsmetoden
• [SPARK-33907] [SQL][3.1] Endast rensa kolumner i JsonToStructs om parsningsalternativen är tomma
• [SPARK-33621][SPARK-33784] [SQL][3.1] Lägg till ett sätt att mata in omskrivningsregler för datakällor
• [SPARK-33900] [WEBUI] Visa storlek/antal av shuffle-lästa poster korrekt när endast RemoteBytesRead är tillgängligt
• [SPARK-33892] [SQL] Visa char/varchar i DESC och SHOW CREATE TABLE
• [SPARK-33895] [SQL] Char och Varchar misslyckas i MetaOperation för ThriftServer
• [SPARK-33659] [SS] Dokumentera det aktuella beteendet för DataStreamWriter.toTable API
• [SPARK-33893] [CORE] Exkludera fallback-blockhanteraren från executorList
• [SPARK-33277] [PYSPARK][sql] Använd ContextAwareIterator för att sluta använda när aktiviteten är slut
• [SPARK-33889] [SQL][3.1] Åtgärda NPE från SHOW PARTITIONS på V2-tabeller
• [SPARK-33879] [SQL] Char Varchar-värden resulterar i matchningsfel som partitionskolumner.
• [SPARK-33877] [SQL] SQL-referensdokument för INSERT med en kolumnlista
• [SPARK-33876] [SQL] Lägg till längdkontroll för läsning av tecken/varchar från tabeller med en extern plats
• [SPARK-33846] [SQL] Inkludera kommentarer för ett kapslat schema i StructType.toDDL
• [SPARK-33860] [SQL] Gör att CatalystTypeConverters.convertToCatalyst anpassar sig till speciellt matrisvärde
• [SPARK-33834] [SQL] Verifiera ALTER TABLE CHANGE COLUMN med Char och Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN och BenchmarkQueryTest visar inte underfrågaskod
• [SPARK-33836] [SS][python] Exponera DataStreamReader.table och DataStreamWriter.toTable
• [SPARK-33829] [SQL][3.1] Om du byter namn på v2-tabeller bör cacheminnet återskapas
• [SPARK-33756] [SQL] Gör BytesToBytesMap till MapIterator idempotent
• [SPARK-33850] [SQL] EXPLAIN FORMATTED visar inte planen för underfrågor om AQE är aktiverat
• [SPARK-33841] [CORE][3.1] Åtgärda problem med jobb som försvinner tillfälligt från SHS under hög belastning
• [SPARK-33593] [SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
• [SPARK-26341] [WEBUI] Exponera körminnesmått på stegnivå på fliken Faser
• [SPARK-33831] [Användargränssnitt] Uppdatera till jetty 9.4.34
• [SPARK-33822] [SQL] CastSupport.cast Använda metoden i HashJoin
• [SPARK-33774] [UI][core] "Tillbaka till Master" returnerar 500-fel i fristående kluster
• [SPARK-26199][SPARK-31517] [R] Åtgärda strategi för hantering ... namn i mutate
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader bör vara package private
• [SPARK-33697] [SQL] RemoveRedundantProjects bör kräva kolumnordning som standard
• [SPARK-33752] [SQL][3.1] Undvik att getSimpleMessage of AnalysisException lägger till semikolon upprepade gånger
• [SPARK-33788] [SQL][3.1][3.0][2.4] Kasta NoSuchPartitionsException från HiveExternalCatalog.dropPartitions()
• [SPARK-33803] [SQL] Sortera tabellegenskaper efter nyckel i kommandot DESCRIBE TABLE
• [SPARK-33786] [SQL] Lagringsnivån för en cache ska respekteras när ett tabellnamn ändras
• [SPARK-33273] [SQL] Åtgärda en konkurrenssituation vid exekvering av underfrågor
• [SPARK-33653] [SQL][3.1] DSv2: REFRESHREFRESH TABLE bör återskapa själva tabellen
• [SPARK-33777] [SQL] Sortera utdata från V2 SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic bör kontrollera och samla in deterministiska fält
• [SPARK-33764] [SS] Ange underhållsintervallet för tillståndslager som SQL-konfiguration
• [SPARK-33729] [SQL] Vid uppdatering av cacheminnet bör Spark inte använda den cache:ade planen vid cachelagring av data
• [SPARK-33742] [SQL][3.1] Kasta PartitionsAlreadyExistException från HiveExternalCatalog.createPartitions()
• [SPARK-33706] [SQL] Kräv fullständigt angiven partitionsidentifierare i partitionExists()
• [SPARK-33740] [SQL] hadoop-konfigurationer i hive-site.xml kan åsidosätta befintliga hadoop-konfigurationer
• [SPARK-33692] [SQL] Vyn bör använda den insamlade katalogen och namnområdet för att söka efter funktionen
• [SPARK-33669] Felaktigt felmeddelande från tillståndsövervakaren för YARN-applikationen när sc.stop körs i yarn-klientläge
• [SPARK-32110] [SQL] normalisera särskilda flytande tal i HyperLogLog++
• [SPARK-33677] [SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
• [SPARK-33693] [SQL] avskriva spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] Ogiltigförklara nya tecken/varchar-typer i offentliga API:er som ger felaktiga resultat
• [SPARK-32680] [SQL] Förbearbeta inte V2 CTAS med olöst fråga
• [SPARK-33676] [SQL] Kräv exakt matchning av partitionsspecifikationen till schemat i V2 ALTER TABLE .. ADD/DROP PARTITION
• [SPARK-33670] [SQL] Kontrollera att partitionsprovidern är Hive i v1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] Rensa cache ska inte användas för icke-befintliga temporära vyer
• [SPARK-33667] [SQL] Respektera konfigurationen spark.sql.caseSensitive när partitionsspecifikationen lösas i v1 SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2: DeleteFrom ska uppdatera cacheminnet

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 9.0.

Systemmiljö

• Operativsystem: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-momentbilden den 28 juli 2021.

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)