结合使用 SSIS、MDS 和 DQS 进行企业信息管理 [教程]

管理企业中的信息通常涉及从企业内外集成数据、清理数据、匹配数据以删除任何重复项、标准化数据、扩充数据、使数据符合法律和符合性要求,然后将数据存储在集中位置,并具有所有必要的安全设置。

SQL Server 2014 在单个产品中提供有效的企业信息管理(EIM)解决方案所需的所有组件。 帮助你构建 EIM 解决方案的关键组件包括:

  • SQL Server Integration Services

  • SQL Server Data Quality Services

  • SQL Server Master Data Services

SQL Server Integration Services (SSIS)提供了一个功能强大的可扩展平台,用于在全面的提取、转换和加载解决方案中集成来自各种源的数据,该解决方案支持业务工作流、数据仓库或主数据管理。 有关 SSIS 的快速概述和典型用法,请参阅 Integration Services 概述 主题。

SQL Server Data Quality Services (DQS)使你可以清理、匹配、标准化和扩充数据,以便你可以为商业智能、数据仓库和事务处理工作负载提供受信任的信息。 请参阅 Data Quality Services 简介 主题,了解 DQS 的业务需求,以及 DQS 如何回答需求。

SQL Server Master Data Services (MDS)提供一个中心数据中心,可确保不同应用程序中的信息完整性和数据一致性保持不变。 有关 MDS 重要功能的简要说明,请参阅 Master Data Services 概述 主题。

请参阅使用 EIM 技术清理和匹配主数据白皮书,以获得使用这些 Microsoft EIM 技术实现 EIM 解决方案的综合指南,并观看企业信息管理(EIM):汇集 SSIS、DQS 和 MDS视频,了解 EIM 方案的精彩演示。

本教程介绍如何结合使用 SSIS、MDS 和 DQS 来实现示例企业信息管理(EIM)解决方案。 首先,使用 DQS 创建一个知识库,其中包含有关数据(元数据)的知识,使用知识库清理 Excel 文件中的数据,并匹配数据以识别和删除数据中的重复项。 接下来,使用 Excel 的 MDS 外接程序将清理和匹配的数据上传到 MDS。 然后,使用 SSIS 解决方案自动完成整个过程。 本教程中的 SSIS 解决方案从 Excel 文件读取输入数据,但你可以将其扩展为从 Oracle、Teradata、DB2 和 Azure SQL 数据库等各种源进行读取。

先决条件

  1. 安装了以下组件的 Microsoft SQL Server 2012。

    1. Integration Services (SSIS)

    2. Master Data Services (MDS)

    3. Data Quality Services (DQS)

    4. SQL Server 数据工具

      有关安装产品的详细信息,请参阅 SQL Server 2012 安装指南

  2. 使用 Master Data Services Configuration Manager 配置 MDS

    使用 Configuration Manager 创建和配置 Master Data Services 数据库。 创建 MDS 数据库后,在网站(例如: https://localhost/MDS)中创建 MDS 的 Web 应用程序,并将 MDS 数据库与 MDS Web 应用程序相关联。 请注意,若要创建 MDS Web 应用程序,应在计算机上安装 IIS。 有关配置 MDS 数据库和 Web 应用程序的先决条件的详细信息,请参阅 Web 应用程序要求(Master Data Services)数据库要求(Master Data Services )。

  3. 使用 Data Quality Server 安装程序安装和配置 DQS。 依次单击“ 开始”、“ 所有程序”、“ MICROSOFT SQL Server 2014”、“ Data Quality Services”和“ Data Quality Server Installer”。

  4. Microsoft Excel 2010(首选 32 位)。

  5. 此处安装适用于 Excel 的 Master Data Services 外接程序(基于计算机上的 Excel 版本 32 位或 64 位)。 若要查找计算机上安装的 Excel 版本,请运行 Excel,单击菜单栏上的 “文件 ”,然后单击“ 帮助 ”以查看右侧窗格中的版本。 请注意,在安装 Excel 外接程序之前,需要安装 Visual Studio 2010 Tools for Office Runtime。

  6. (可选)使用 Azure 市场创建帐户。 本教程中的一项任务要求您拥有一个 Azure 市集 帐户(其最初名为 数据市场)。 如果需要并继续执行下一个任务,可以跳过此任务。

  7. Microsoft下载中心下载 Suppliers.xls 文件。

  8. 如果使用的是 64 位版本的 Excel,则 DQS 不允许将清理结果或匹配结果导出到 Excel 文件。 此问题是一个已知问题。 若要解决此问题,请执行以下操作:

    1. 运行 DQLInstaller.exe -upgrade。 如果安装了 SQL Server 的默认实例,DQSInstaller.exe 文件在 C:\Program Files\Microsoft SQL Server\MSSQL12可用。MSSQLSERVER\MSSQL\Binn。 双击 DQSInstaller.exe 文件。

    2. Master Data Services Configuration Manager 中,单击 “选择数据库”,选择现有的 MDS 数据库,然后单击“ 升级”。

课程

课程 简要描述 估计完成时间(以分钟为单位)。
第 1 课:创建供应商 DQS 知识库 在本课中,你将创建一个名为 “供应商”的 DQS 知识库。 六十
第 2 课:使用供应商知识库清理供应商数据 在本课中,你将使用在第一课中创建的供应商知识库创建并运行 DQS 项目,以清理 Excel 文件中的 供应商 数据。 45
第 3 课:匹配数据以从供应商列表中删除重复项 在本课中,你将创建一个 DQS 项目来执行匹配活动,以识别和删除清理的 suppler 列表中的重复项。 45
第 4 课:在 MDS 中存储供应商数据 在本课中,你将使用 适用于 Excel 的 MDS 外接程序将清理和匹配的供应商数据上传到 Master Data Services (MDS)。 45
第 5 课:使用 SSIS 自动执行清理和匹配 在本课中,你将创建一个 SSIS 解决方案,该解决方案使用 DQS 清理输入数据,匹配清理的数据以删除重复项,并以自动化方式在 MDS 上存储清理和匹配的数据。 75

后续步骤

若要开始本教程,请继续学习第一课 :第 1 课:创建供应商 DQS 知识库