Lakeflow 声明性管道是在 SQL 和 Python 中创建批处理和流式处理数据管道的框架。 Lakeflow 声明性管道的常见用例包括从云存储(如 Amazon S3、Azure ADLS Gen2 和 Google Cloud Storage)和消息总线(如 Apache Kafka、Amazon Kinesis、Google Pub/Sub、Azure EventHub 和 Apache Pulsar)的数据引入,以及增量批处理和流转换。
注释
Lakeflow 声明式管道需要 高级套餐。 有关详细信息,请联系 Databricks 帐户团队。
本部分提供有关使用 Lakeflow 声明性管道的详细信息。 以下主题将帮助你入门。
| 主题 | Description |
|---|---|
| Lakeflow 声明性管道概念 | 了解 Lakeflow 声明性管道的高级概念,包括管道、流、流表和具体化视图。 |
| 教程 | 跟随教程学习,获得使用 Lakeflow 声明性管道的实际操作经验。 |
| 开发管道 | 了解如何开发和测试用于创建用于引入和转换数据的流的管道。 |
| 配置管道 | 了解如何计划和配置管道。 |
| 监视管道 | 了解如何监视管道并对管道查询进行故障排除。 |
| 开发 人员 | 了解如何在开发 Lakeflow 声明性管道时使用 Python 和 SQL。 |
| Databricks SQL 中的 Lakeflow 声明性管道 | 了解如何在 Databricks SQL 中使用 Lakeflow 声明性流水线流式表和物化视图。 |