在 Microsoft Power Platform 中创建和使用数据流

将数据流与 Microsoft Power Platform 配合使用可以简化数据准备,并允许在后续报表、应用和模型中重复使用数据准备工作。

在不断扩大的数据世界中,数据准备可能比较困难且成本高昂。 对于典型的分析项目,它可以消耗多达 60% 到 80% 的时间和成本。 此类项目可能需要整理碎片和不完整的数据、复杂的系统集成、结构不一致的数据以及高技能集障碍。

为了简化数据准备并帮助你从数据中获得更多价值,请创建 Power Query 和 Power Platform 数据流。

显示如何选择 Power Platform 数据流连接器的屏幕截图。

通过数据流,Microsoft将 Power Query 的自助服务数据准备功能引入 Power BI 和 Power Apps 联机服务,并通过以下方式扩展现有功能:

  • 使用数据流为大数据准备自助服务数据:数据流可用于轻松引入、清理、转换、集成、扩充和架构化来自事务源和观察源数组的数据,包括所有数据准备逻辑。 以前,提取、转换、加载(ETL)逻辑只能包括在 Power BI 中的语义模型中,在语义模型之间复制和复制,并绑定到语义模型管理设置。

    借助数据流,ETL 逻辑提升到 Microsoft Power Platform 服务中的一流项目,并包括专用的创作和管理体验。 业务分析师、BI 专业人员和数据科学家可以使用数据流来处理最复杂的数据准备挑战,并基于彼此的工作,这要归功于一个革命性的模型驱动计算引擎。 此引擎负责所有转换和依赖项逻辑削减时间、成本和专业知识,这些任务传统上需要的一小部分。 可以使用 Power Query 的已知自助服务数据准备体验来创建数据流。 数据流分别在 Power BI 或 Power Apps 的应用工作区或环境中创建和管理,享受这些服务提供的所有功能,例如权限管理和计划刷新。

  • 将数据加载到 Dataverse 或 Azure Data Lake Storage:根据用例,可以将 Power Platform 数据流准备的数据存储在 Dataverse 或组织的 Azure Data Lake Storage 帐户中:

    • Dataverse 允许安全地存储和管理业务应用程序使用的数据。 Dataverse 中的数据存储在一组表中。 是一组行(以前称为记录)和列(以前称为字段/属性)。 表中的每一列都设计为存储某种类型的数据,例如名称、年龄、工资等。 Dataverse 包含涵盖典型方案的一组基本标准表,但你也可以创建自定义表,这些表特定于组织,并使用数据流填充数据。 然后,应用创建者可以使用 Power Apps 和 Power Automate 生成使用此数据的丰富应用程序。

    • 使用 Azure Data Lake Storage ,可以使用 Power BI、Azure 数据和 AI 服务或从湖中读取数据的自定义构建的业务线应用程序与组织中的人员协作。 将数据加载到 Azure Data Lake Storage 帐户的数据流将数据存储在 Common Data Model 文件夹中。 通用数据模型文件夹包含采用标准化格式的架构化数据和元数据,以方便数据交换,并实现跨服务的完整互作性,这些服务生成或使用存储在组织的 Azure Data Lake Storage 帐户中的数据作为共享存储层。

  • 使用 Azure 的高级分析和 AI:Power Platform 数据流将数据存储在 Dataverse 或 Azure Data Lake Storage 中,这意味着通过数据流引入的数据现在可供数据工程师和数据科学家使用,以应用 Azure 数据服务的全部功能,例如 Azure 机器学习、Azure Databricks 和 Azure Synapse Analytics,以便进行高级分析和 AI。 借助这种可用性,业务分析师、数据工程师和数据科学家可以协作处理其组织中的相同数据。

  • 对通用数据模型的支持:通用数据模型是一组标准化的数据架构和元数据系统,用于在应用程序和业务流程中实现数据的一致性及其含义。 数据流通过提供从任何形状中的任何数据轻松映射到标准通用数据模型表(例如帐户和联系人)来支持通用数据模型。 数据流还以架构化的通用数据模型形式将数据(标准表和自定义表)登陆。 业务分析师可以利用标准架构及其语义一致性,或根据自己的独特需求自定义表。 作为 开放数据计划的一部分,通用数据模型将继续发展。

Microsoft Power Platform 服务中的数据流功能

Power Apps 和 Power BI 中提供了大多数数据流功能。 数据流作为这些服务的计划的一部分提供。 某些数据流功能要么特定于产品,要么在不同的产品计划中可用。 下表描述了数据流功能及其可用性。

数据流功能 Power Apps Power BI
计划刷新 每天最多 48 个 每天最多 48 个
每个表刷新时间的最大值 最多 2 小时 最多 2 小时
使用 Power Query Online 创作数据流 是的 是的
数据流管理 在 Power Apps 管理门户中 在 Power BI 管理门户中
新连接器 是的 是的
通用数据模型的标准化架构/内置支持 是的 是的
Power BI Desktop 中的数据流数据连接器 对于使用 Azure Data Lake Storage 作为目标的数据流 是的
与组织的 Azure Data Lake Storage 集成 是的 是的
与 Dataverse 集成 是的
数据流链接表 对于使用 Azure Data Lake Storage 作为目标的数据流 是的
计算表(使用 M 的存储中转换) 对于使用 Azure Data Lake Storage 作为目标的数据流 仅限 Power BI Premium
数据流增量刷新 对于将 Azure Data Lake Storage 作为目标的数据流,需要 Power Apps Plan2 仅限 Power BI Premium
在 Power BI Premium 容量上运行/转换的并行执行 是的

已知的限制

  • 不支持将数据流作为 备份和还原环境 作的一部分复制。
  • 将数据流作为 Power Platform 环境复制 作的一部分复制不会保留其电子邮件通知设置。
  • 使用连接更改数据流的所有者,查询参数也会将参数值更改为以前的值(如果设置了此类值)。

后续步骤

有关 Power Apps 中的数据流的详细信息:

有关 Power BI 中的数据流的详细信息:

以下文章详细介绍了数据流的常见使用方案。

有关 Common Data Model 和 Common Data Model 文件夹标准的详细信息,请阅读以下文章: