你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Update-AzSynapseSparkPool

更新 Azure Synapse Analytics 中的 Apache Spark 池。

语法

SetByNameParameterSet (默认值)

Update-AzSynapseSparkPool
    -WorkspaceName <String>
    -Name <String>
    [-ResourceGroupName <String>]
    [-Tag <Hashtable>]
    [-EnableAutoScale <Boolean>]
    [-AutoScaleMinNodeCount <Int32>]
    [-AutoScaleMaxNodeCount <Int32>]
    [-EnableAutoPause <Boolean>]
    [-AutoPauseDelayInMinute <Int32>]
    [-NodeCount <Int32>]
    [-EnableIsolatedCompute <Boolean>]
    [-NodeSize <String>]
    [-EnableDynamicExecutorAllocation <Boolean>]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkVersion <String>]
    [-LibraryRequirementsFilePath <String>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-PackageAction <PackageActionType>]
    [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
    [-ForceApplySetting]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

SetByParentObjectParameterSet

Update-AzSynapseSparkPool
    -Name <String>
    -WorkspaceObject <PSSynapseWorkspace>
    [-Tag <Hashtable>]
    [-EnableAutoScale <Boolean>]
    [-AutoScaleMinNodeCount <Int32>]
    [-AutoScaleMaxNodeCount <Int32>]
    [-EnableAutoPause <Boolean>]
    [-AutoPauseDelayInMinute <Int32>]
    [-NodeCount <Int32>]
    [-EnableIsolatedCompute <Boolean>]
    [-NodeSize <String>]
    [-EnableDynamicExecutorAllocation <Boolean>]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkVersion <String>]
    [-LibraryRequirementsFilePath <String>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-PackageAction <PackageActionType>]
    [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
    [-ForceApplySetting]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

SetByInputObjectParameterSet

Update-AzSynapseSparkPool
    -InputObject <PSSynapseSparkPool>
    [-Tag <Hashtable>]
    [-EnableAutoScale <Boolean>]
    [-AutoScaleMinNodeCount <Int32>]
    [-AutoScaleMaxNodeCount <Int32>]
    [-EnableAutoPause <Boolean>]
    [-AutoPauseDelayInMinute <Int32>]
    [-NodeCount <Int32>]
    [-EnableIsolatedCompute <Boolean>]
    [-NodeSize <String>]
    [-EnableDynamicExecutorAllocation <Boolean>]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkVersion <String>]
    [-LibraryRequirementsFilePath <String>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-PackageAction <PackageActionType>]
    [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
    [-ForceApplySetting]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

SetByResourceIdParameterSet

Update-AzSynapseSparkPool
    -ResourceId <String>
    [-Tag <Hashtable>]
    [-EnableAutoScale <Boolean>]
    [-AutoScaleMinNodeCount <Int32>]
    [-AutoScaleMaxNodeCount <Int32>]
    [-EnableAutoPause <Boolean>]
    [-AutoPauseDelayInMinute <Int32>]
    [-NodeCount <Int32>]
    [-EnableIsolatedCompute <Boolean>]
    [-NodeSize <String>]
    [-EnableDynamicExecutorAllocation <Boolean>]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkVersion <String>]
    [-LibraryRequirementsFilePath <String>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-PackageAction <PackageActionType>]
    [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
    [-ForceApplySetting]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

说明

Update-AzSynapseSparkPool cmdlet 更新 Azure Synapse Analytics 中的 Apache Spark 池。

注释

如果参数 -SparkVersion 用于升级 Synapse Spark 运行时版本,请确保 Spark 池没有任何附加的自定义库或包。 有关更多详细信息,请参阅 Apache Spark 版本之间的迁移

示例

示例 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

此命令更新 Azure Synapse Analytics 中的 Apache Spark 池。

示例 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

此命令通过管道更新 Azure Synapse Analytics 中的 Apache Spark 池。

示例 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

此命令通过管道更新 Azure Synapse Analytics 中的 Apache Spark 池。

示例 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

此命令使用资源 ID 更新 Azure Synapse Analytics 中的 Apache Spark 池。

示例 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

此命令为 Azure Synapse Analytics 中的 Apache Spark 池启用自动缩放。

示例 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

此命令禁用 Azure Synapse Analytics 中 Apache Spark 池的自动缩放。

示例 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

此命令为 Azure Synapse Analytics 中的 Apache Spark 池启用自动暂停。

示例 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

此命令为 Azure Synapse Analytics 中的 Apache Spark 池禁用自动暂停。

示例 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

此命令启用动态执行程序分配,并为 Azure Synapse Analytics 中的 Apache Spark 池指定最小执行程序计数和最大执行程序计数。

示例 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

此命令禁用 Azure Synapse Analytics 中 Apache Spark 池的动态执行程序分配。

示例 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

第一个命令检索工作区包。 第二个命令将这些工作区包链接到 Azure Synapse Analytics 中的 Apache Spark 池。

示例 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

第一个命令检索名为 ContosoPackage 的工作区包。 第二个命令从 Azure Synapse Analytics 中的 Apache Spark 池中删除工作区包。

示例 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

第一个命令检索 Azure Synapse Analytics 中的 Apache Spark 池。 第二个命令删除链接到该 Apache Spark 池的所有工作区包。

示例 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

第一个命令检索工作区中可用的包。 第二个命令组检索 Spark 池,以获取当前链接到此池的 new_package- 包,并从检索到的列表中删除包的所有版本。 然后将包的新版本添加到此列表中。 在包列表(仅包含包名称)的第三组命令中,通过相应地筛选可用workspace_packages列表并链接到 Spark 池,将转换为工作区包的列表。

示例 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

此命令更新 Azure Synapse Analytics 中的 Apache Spark 池,并为 Spark 池指定 Spark 配置。

示例 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

此命令更新 Azure Synapse Analytics 中的 Apache Spark 池,将 NodeSize 设置为小型 Spark 池,并强制停止 Spark 池中任何正在运行的作业以应用此新设置。

示例 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

第一个命令检索 Azure Synapse Analytics 中的 Apache Spark 池。 第二个命令删除链接到该 Apache Spark 池的所有工作区包,并强制停止 Spark 池中任何正在运行的作业以应用此新设置。

示例 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

此命令为 Azure Synapse Analytics 中的 Apache Spark 池启用隔离计算,并将节点大小指定为 XXXLarge(80 vCPU/504 GB)。

参数

-AsJob

在后台运行 cmdlet

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-AutoPauseDelayInMinute

空闲分钟数。 启用自动暂停时,可以指定此参数。 如果未手动指定默认值,则默认值为 [15]。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-AutoScaleMaxNodeCount

在指定的 Spark 池中分配的最大节点数。 启用自动缩放时必须指定此参数。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-AutoScaleMinNodeCount

在指定的 Spark 池中分配的最小节点数。 启用自动缩放时必须指定此参数。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Confirm

在运行 cmdlet 之前,提示你进行确认。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False
别名:cf

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-DefaultProfile

用于与 Azure 通信的凭据、帐户、租户和订阅。

参数属性

类型:IAzureContextContainer
默认值:None
支持通配符:False
不显示:False
别名:AzContext, AzureRmContext, AzureCredential

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableAutoPause

指示是否应启用自动暂停。

参数属性

类型:

Nullable<T>[Boolean]

默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableAutoScale

指示是否应启用自动缩放

参数属性

类型:

Nullable<T>[Boolean]

默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableDynamicExecutorAllocation

指示是否应启用动态执行程序分配。

参数属性

类型:

Nullable<T>[Boolean]

默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-EnableIsolatedCompute

隔离计算选项仅适用于 XXXLarge(80 vCPU/504 GB)节点大小。 启用此选项可为不受信任的服务的 Apache Spark 计算提供隔离。 独立计算成本与大小相同的非隔离 VM 相同。 如果希望为 Spark 池启用独立计算,请确保在独立的计算支持区域中创建 Synapse 工作区,请参阅本文档了解更多详细信息: https://free.blessedness.top/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

参数属性

类型:

Nullable<T>[Boolean]

默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-ForceApplySetting

是否停止大数据池中任何正在运行的作业。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-InputObject

Spark 池输入对象,通常通过管道传递。

参数属性

类型:PSSynapseSparkPool
默认值:None
支持通配符:False
不显示:False

参数集

SetByInputObjectParameterSet
Position:Named
必需:True
来自管道的值:True
来自管道的值(按属性名称):False
来自剩余参数的值:False

-LibraryRequirementsFilePath

环境配置文件(“PIP 冻结”输出)。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-MaxExecutorCount

在指定的 Spark 池中分配的最大执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(非独占)和 maximumNodeCount(独占)之间。 如果未手动指定,则默认值为 2。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-MinExecutorCount

在指定的 Spark 池中分配的最小执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(含)和 maxExecutors(独占)之间。 如果未手动指定,则默认值为 1。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Name

Synapse Spark 池的名称。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False
别名:SparkPoolName

参数集

SetByNameParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False
SetByParentObjectParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-NodeCount

在指定的 Spark 池中分配的节点数。

参数属性

类型:Int32
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-NodeSize

要用于指定 Spark 池中分配的节点的核心和内存数。 禁用自动缩放时必须指定此参数

参数属性

类型:String
默认值:None
接受的值:Small, Medium, Large, XLarge, XXLarge, XXXLarge
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Package

工作区包。

参数属性

类型:

List<T>[PSSynapseWorkspacePackage]

默认值:None
支持通配符:False
不显示:False
别名:WorkspacePackage

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-PackageAction

在 Apache Spark 池中添加或删除工作区包时,必须指定包作。

参数属性

类型:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
默认值:None
接受的值:Add, Remove, Set
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-ResourceGroupName

资源组名称。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

SetByNameParameterSet
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-ResourceId

Synapse Spark 池的资源标识符。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

SetByResourceIdParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-SparkConfiguration

Apache Spark 配置。 将作业提交到池时,将引用所选配置中指定的属性。

参数属性

类型:PSSparkConfigurationResource
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-SparkVersion

Apache Spark 版本。 允许的值:3.1,3.2,3.3,3.4

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-Tag

与资源关联的标记的字符串字符串字典。

参数属性

类型:Hashtable
默认值:None
支持通配符:False
不显示:False

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-WhatIf

显示 cmdlet 运行时会发生什么情况。 命令脚本未运行。

参数属性

类型:SwitchParameter
默认值:None
支持通配符:False
不显示:False
别名:无线

参数集

(All)
Position:Named
必需:False
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-WorkspaceName

Synapse 工作区的名称。

参数属性

类型:String
默认值:None
支持通配符:False
不显示:False

参数集

SetByNameParameterSet
Position:Named
必需:True
来自管道的值:False
来自管道的值(按属性名称):False
来自剩余参数的值:False

-WorkspaceObject

工作区输入对象,通常通过管道传递。

参数属性

类型:PSSynapseWorkspace
默认值:None
支持通配符:False
不显示:False

参数集

SetByParentObjectParameterSet
Position:Named
必需:True
来自管道的值:True
来自管道的值(按属性名称):False
来自剩余参数的值:False

CommonParameters

此 cmdlet 支持通用参数:-Debug、-ErrorAction、-ErrorVariable、-InformationAction、-InformationVariable、-OutBuffer、-OutVariable、-PipelineVariable、-ProgressAction、-Verbose、-WarningAction 和 -WarningVariable。 有关详细信息,请参阅 about_CommonParameters

输入

PSSynapseWorkspace

PSSynapseSparkPool

输出

PSSynapseSparkPool