pipelines 命令组

Note

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。

Databricks CLI 的使用须遵守 Databricks 许可Databricks 隐私声明,包括任何数据使用规定。

pipelines CLI 中的命令组允许创建、编辑、删除、启动和查看有关管道的详细信息。 请参阅 Lakeflow 声明性管道

databricks 管道创建

根据请求的配置创建新的数据处理管道。 如果成功,此命令将返回新管道的 ID。

databricks pipelines create [flags]

Arguments

None

选项

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

全局标志

databricks 管道删除

删除管道。

databricks pipelines delete PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要删除的管道。

选项

全局标志

databricks 管道获取

获取管道。

databricks pipelines get PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要获取的管道。

选项

全局标志

databricks 管道更新获取

从活跃流水线获取更新。

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

Arguments

PIPELINE_ID

    管道的 ID。

UPDATE_ID

    更新的 ID。

选项

全局标志

在databricks中调用list-pipeline-events管道命令

检索管道的事件。

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要检索事件的管道。

选项

--filter string

    选择结果子集的条件,使用类似于 SQL 的语法表示。

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    先前调用返回的页面令牌。

全局标志

databricks 管道 list-pipelines

列出在 Delta Live Tables 系统中定义的管道。

databricks pipelines list-pipelines [flags]

Arguments

None

选项

--filter string

    根据指定的条件选择结果子集。

--max-results int

    要在单个页面中返回的最大条目数。

--page-token string

    先前调用返回的页面令牌。

全局标志

databricks 管道 list-updates(列出更新)

列出活动管道的更新。

databricks pipelines list-updates PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要返回更新的管道。

选项

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    先前调用返回的页面令牌。

--until-update-id string

    如果存在,返回更新直至并包括此 update_id。

全局标志

databricks 管道 start-update

为管道启动新更新。 如果管道已有活动更新,则请求将失败,并且活动更新将保持运行状态。

databricks pipelines start-update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要启动更新的管道。

选项

--cause StartUpdateCause

    支持的值:[API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]

--full-refresh

    如果为 true,此更新将在运行之前重置所有表。

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

--validate-only

    如果为 true,此更新只会验证管道源代码的正确性,但不会具体化或发布任何数据集。

全局标志

databricks 管道停止

通过取消活动更新停止管道。 如果管道没有活动更新,此请求为无操作。

databricks pipelines stop PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要停止的管道。

选项

--no-wait

    不等待达到 IDLE 状态

--timeout duration

    达到 IDLE 状态的最长时间(默认 20m0s)

全局标志

databricks 流水线更新

使用提供的配置更新管道。

databricks pipelines update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    此管道的唯一标识符。

选项

--allow-duplicate-names

    如果为 false,若名称已更改且与另一个管道的名称冲突,部署将失败。

--budget-policy-id string

    此管道的预算政策。

--catalog string

    Unity Catalog 中要将数据从此管道发布到的目录。

--channel string

    Lakeflow 声明性管道发布通道,用于指定要使用的版本。

--continuous

    管道是连续运行的还是触发运行的。

--development

    管道是否处于开发模式。

--edition string

    管道产品版本。

--expected-last-modified int

    如果存在,编辑前管道设置的最后修改时间。

--id string

    此管道的唯一标识符。

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

--name string

    此管道的友好标识符。

--photon

    是否为此管道启用了 Photon。

--pipeline-id string

    此管道的唯一标识符。

--schema string

    作为表的读取来源或发布目标的默认架构(数据库)。

--serverless

    是否为此管道启用了无服务器计算。

--storage string

    用于存储检查点和表的 DBFS 根目录。

--target string

    要将此管道中的表添加到的目标架构(数据库)。

全局标志

databricks 数据管道获取权限级别

获取管道权限级别。

databricks pipelines get-permission-levels PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要获取或管理权限的管道。

选项

全局标志

databricks 管道获取权限

获取管道的权限。 管道可以从其根对象继承权限。

databricks pipelines get-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要获取或管理权限的管道。

选项

全局标志

databricks 流水线设置权限

设置管道权限。

设置对象的权限,替换现有权限(如果存在)。 如果未指定任何权限,则删除所有直接权限。 对象可以从其根对象继承权限。

databricks pipelines set-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要获取或管理权限的管道。

选项

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

全局标志

databricks 管道更新权限

更新管道的权限。 管道可以从其根对象继承权限。

databricks pipelines update-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要获取或管理权限的管道。

选项

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

全局标志

全局标志

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型,textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为textjson。 默认值是 text

-p, --profile 字符串

     ~/.databrickscfg 文件中用于运行命令的配置文件的名称。 如果未指定此标志,则如果存在,将使用名为 DEFAULT 的配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如适用,要使用的捆绑包目标