partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

Partitionsoperatorn partitionerar posterna i indatatabellen i flera undertabeller enligt värden i en nyckelkolumn. Operatorn kör en underfråga i varje undertabell och skapar en enda utdatatabell som är en union av resultaten för alla underfrågor.

Partitionsoperatorn är användbar när du bara behöver utföra en underfråga på en delmängd rader som tillhör samma partitionsnyckel och inte en fråga för hela datamängden. These subqueries could include aggregate functions, window functions, top N and others.

Partitionsoperatorn stöder flera strategier för underfrågor:

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

Operatorn returnerar en union av resultaten från de enskilda underfrågorna.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

Den här strategin bör tillämpas när antalet distinkta värden för partitionsnyckeln inte är stort, ungefär i tusental.

Underfrågan måste vara en tabelltransformering som inte anger någon tabellkälla. Källan är implicit och tilldelas enligt undertabellpartitionerna. Only certain supported operators can be used in the subquery. Det finns ingen begränsning för antalet partitioner.

Om du vill använda den här strategin anger du hint.strategy=native.

Shuffle strategy

Den här strategin bör tillämpas när antalet distinkta värden för partitionsnyckeln är stort, i miljoner.

Underfrågan måste vara en tabelltransformering som inte anger någon tabellkälla. Källan är implicit och tilldelas enligt undertabellpartitionerna. Only certain supported operators can be used in the subquery. Det finns ingen begränsning för antalet partitioner.

Om du vill använda den här strategin anger du hint.strategy=shuffle. For more information about shuffle strategy and performance, see shuffle query.

Operatorer som stöds för interna strategier och shuffle-strategier

Följande lista över operatorer kan användas i underfrågor med inbyggda strategier eller shuffle-strategier:

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

Av historiska skäl är den legacy strategin standardstrategin. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

I vissa scenarier kan legacy strategi vara nödvändig på grund av dess stöd för att inkludera en tabellkälla i underfrågan. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

Om underfrågan är en tabelltransformering utan tabellkälla är källan implicit och baseras på partitionerna i undertabellen.

Om du vill använda den här strategin anger du hint.strategy=legacy eller utelämnar andra strategiindikatorer.

Examples

Exemplen i det här avsnittet visar hur du använder syntaxen för att komma igång.

Hitta de högsta värdena

I vissa fall är det mer högpresterande och enklare att skriva en fråga med operatorn partition än att använda operatorn top-nested. Följande fråga kör en underfråga som beräknar summarize och top för varje State som börjar med W: "WYOMING", "WASHINGTON", "WEST VIRGINIA" och "WISCONSIN".

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

Följande fråga returnerar de 2 främsta EventType värdena efter TotalInjuries för varje State som börjar med "W":

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

Följande fråga returnerar de 3 främsta DamagedProperty värdena foreach EpisodeId och kolumnerna EpisodeId och State.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

Äldre strategi med explicit källa

Följande fråga kör två underfrågor:

• När x == 1returnerar frågan alla rader från StormEvents som har InjuriesIndirect == 1.
• När x == 2returnerar frågan alla rader från StormEvents som har InjuriesIndirect == 2.

Det slutliga resultatet är en union av dessa två underfrågor.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. Den här metoden är endast relevant för legacy strategi.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)