随着数据量继续增长,将这些数据塑造成结构良好的可作信息的挑战也是如此。 你希望准备好用于应用、AI 工作负载或分析的数据,以便可以快速将数据量转换为可作的见解。 借助 Power Apps 门户中的自助服务数据准备,只需点击几下即可将数据转换并传输到 Microsoft Dataverse 或组织的 Azure Data Lake Storage Gen2 帐户。
引入数据流是为了帮助组织统一不同来源的数据,并为使用做好准备。 可使用熟悉的自助服务工具轻松创建数据流,以便吸收、转换、集成和丰富大量数据。 创建数据流时,将定义数据源连接、ETL(提取、转换、加载)逻辑和目标,以便将生成的数据加载到其中。 创建后,可以配置数据流的刷新计划,以指示其运行频率。 此外,新的模型驱动计算引擎使数据准备过程更易于管理、更具确定性,并且对于数据流客户来说不那么繁琐。 通过数据流,一旦需要数据 IT 组织创建和监督(以及完成数小时或数天)的任务现在可以由那些甚至不是数据科学家的个人(例如应用创建者、业务分析师和报表创建者)单击几下即可处理。
数据流将数据存储在表中。 表是一组用于存储数据的行,类似于表在数据库中存储数据的方式。 客户可以定义自定义表架构或利用 Common Data Model 的标准表。 通用数据模型是业务和分析应用程序的共享数据语言。 通用数据模型元数据系统使数据及其含义在 Power Apps、Power BI、一些 Dynamics 365 应用(模型驱动应用)和 Azure 等应用程序和业务流程之间实现一致性,这些应用存储数据符合通用数据模型。 然后,数据流生成的表可以存储在以下任一表中:
Dataverse。 允许安全地存储和管理使用 Power Apps 和 Power Automate 生成的业务应用程序使用的数据。
Azure Data Lake Storage Gen2。 允许使用 Power BI、Azure 数据和 AI 服务或自定义生成的业务线应用程序与组织中的人员协作,这些应用程序从湖中读取数据。 将数据加载到 Azure Data Lake Storage Gen2 帐户的数据流将数据存储在 Common Data Model 文件夹中。 通用数据模型文件夹 包含采用标准化格式的架构化数据和元数据,以方便数据交换,并实现跨服务的完整互作性,这些服务生成或使用存储在组织的 Azure Data Lake Storage 帐户中的数据作为共享存储层。
可以使用数据流从大量且不断增长的本地和基于云的数据源(包括 Excel、Azure SQL 数据库、SharePoint、Azure 数据资源管理器、Salesforce、Oracle 数据库等)引入数据。
选择数据源后,可以使用 Power Query 低代码/无代码体验转换数据并将其映射到 Common Data Model 中的标准表或创建自定义表。 高级用户可以直接编辑数据流的 M 语言以完全自定义数据流,类似于数百万 Power BI Desktop 和 Excel 用户已经知道的 Power Query 体验。
创建并保存数据流后,需要在云中运行它。 可以选择手动触发数据流运行,或者设定计划以让 Power Platform 数据流服务定期自动运行它。 数据流完成运行后,可以使用其数据。 若要将数据流加载到 Dataverse 中,Common Data Service 连接器可用于 Power Apps、Power Automate、Excel 以及支持 Dataverse 连接器的其他所有应用程序。 若要从存储在组织 Azure Data Lake Storage Gen2 帐户中的数据流中获取数据,可以使用 Power BI Desktop 中的 Power Platform 数据流连接器,或者直接访问 Azure 数据湖中的文件。
如何使用数据流
上一部分提供了数据流技术的背景。 在本部分中,你将了解如何在组织中使用数据流。
注释
必须有付费 Power Apps 计划才能使用数据流,但不会单独收取使用数据流的费用。
将数据加载到 Dataverse
数据流可用于填充 Common Data Service 中的表,这些表随后在 Power Apps 应用程序中使用。 只需单击几下鼠标,即可集成来自联机数据源和本地数据源的数据。
为业务需求扩展通用数据模型
对于想要扩展和构建通用数据模型的组织,数据流使商业智能专业人员能够自定义标准表或创建新表。 然后,可以使用此自助服务方法来自定义数据模型,以便数据流生成专为组织定制的 Power BI 仪表板。
使用 Azure 数据和 AI 服务扩展功能
可以将 Power Platform 数据流配置为将数据流数据存储在组织的 Azure Data Lake Storage Gen2 帐户中。 当环境连接到组织的数据湖时,数据科学家和开发人员可以利用强大的 Azure 产品,例如 Azure 机器学习、Azure Databricks、Azure 数据工厂等。
有关 Azure Data Lake Storage Gen2 和数据流集成的详细信息,包括如何创建驻留在组织的 Azure Data Lake 中的数据流,请参阅连接 Azure Data Lake Storage Gen2 以获取数据流存储。
Power Apps 中大数据自助数据准备概述
提供了多种方案和示例,在这些方案和示例中,您可以使用数据流通过业务数据增强控制和更快获取见解。 组织中的其他人可以通过 Dataverse、Power BI 中的 Power Platform 数据流连接器或直接访问组织的 Azure Data Lake Storage Gen2 帐户中的数据流 的 Common Data Service 文件夹来利用数据流。 使用通用数据模型定义的标准数据模型(架构),业务应用程序可以依赖于表的架构,并从创建数据的方式或数据源中抽象化。 数据流完成计划运行后,数据就可以在很短的时间内进行建模,创建应用、流或 BI 见解,而这些工作过去常常需要几个月甚至更长时间才能完成。
通用数据模型的标准化格式使组织中的人员能够创建可生成快速、简单和自动视觉对象和报表的应用。 这些内容包括但不限于:
将各种来源的数据映射到 Common Data Model 中的标准表以整合数据并利用已知架构驱动现成的应用程序。
创建自己的自定义表以统一整个组织中的数据。
创建利用数据流数据的 Power BI 报表和仪表板。
通过组织的 Azure Data Lake Storage Gen2 帐户创建与 Azure 数据和 AI 服务的集成。
后续步骤
本文概述了 Power Apps 门户中的自助服务数据准备,以及使用它的方式。 以下主题更详细地介绍了数据流的常见使用方案:
有关 Power Query 和计划刷新的详细信息,可以阅读以下文章:
有关 Common Data Model 的详细信息,可阅读其概述文章: