你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

将数据迁移到 Azure - 概述

将数据和存储密集型工作负荷迁移到 Azure 后,即可访问可缩放且安全的云存储,从而实现快速创新和增长。 本文档提供了明确的实用指南,可帮助你实现块、文件和对象存储的无缝迁移。 它概述了各种注意事项、提供关键指标、描述相关的 Azure 存储服务,以及帮助选择工具。

背景

选中以展开/收缩此部分

各种业务和技术要求决定了整个 Azure 迁移策略。 为了捕获您的用例中的特定要求,以便能够做出适当的架构和技术设计决策,Microsoft Well-Architected Framework (WAF) 提供用于所有工作负载和服务迁移的基本指导集。 遵循后,该过程可解决可靠性、安全性、成本优化、卓越运营和性能效率问题。 建议的最佳做法包括查看 WAF 指南和以下信息,为特定应用程序和服务构建全面的迁移方法。

注释

以下指南包括特定于非结构化数据迁移到 Azure 存储服务的信息。 涉及结构化数据(如 SQL、Oracle 或表)的方案,本文档未介绍。

本指南重点介绍如何将非结构化数据迁移到 Azure 存储服务。 内容采用以数据迁移为中心的方法,因此运营卓越和成本优化等主题可能需要单独的深入讨论。 涉及结构化数据(如 SQL、Oracle 或表)的方案引入了因应用程序而异的额外注意事项。

以下内容不会取代或使其他官方Microsoft文档中概述的任何方法、框架或建议失效。

迁移阶段和活动

完整的迁移包括评估 、目标选择、规划、工具选择、迁移执行 等不同阶段。通过遵循一个阶段明智的方法,可以将数据迁移到 Azure,并降低停机时间和风险。 每个步骤都确保涵盖所有必要的参数,并选择了最适合磁盘文件和对象数据的方法。

评估

选中以展开/收缩此部分

在此阶段,你将确定并清点需要迁移的所有源,例如服务器消息块(SMB)共享、网络文件系统(NFS)卷或对象命名空间。 整个过程通常涉及:

  • 创建所有数据资产和数据源的目录或清单。
  • 识别和了解数据类型和访问模式。
  • 了解数据的可靠性、性能和业务要求。
  • 评估复制及其更改率,以及复原能力及其停机时间承受能力。
  • 了解安全性和合规性要求。

可以手动执行此阶段或使用自动化工具。 独立软件供应商(ISV)提供了多种商业工具,可帮助评估阶段。 有关详细信息,请参阅 比较矩阵 文章。

详细了解 评估阶段的活动。

目标选择

选中以展开/收缩此部分

了解可满足评估阶段确定的要求的可用选项至关重要。 Microsoft Azure 提供了多个存储服务,例如 Azure 文件存储、Blob 存储、Azure NetApp 文件和虚拟机托管磁盘(VM)。 此外,还有一些 ISV 合作伙伴为基于核心存储服务构建的块、文件和对象工作负载提供软件定义的本地存储平台版本。

此阶段主要包括以下活动:

  • 评估技术要求,以确定最适合的目标 Azure 存储服务
  • 使用标识的存储解决方案建立适当的目标解决方案体系结构(基于应用程序或工作负荷)。
  • 评估迁移和目标解决方案所涉及的定价和成本

进一步了解目标选择阶段的活动。

规划迁移策略

选中以展开/收缩此部分

规划迁移策略涉及确定将数据移动到 Azure 的适当方法。 它还可能包括适用于特定工作负荷、数据性质或所涉及的应用程序的其他注意事项。 以下列表包括以下注意事项的一些示例:

  • 联机传输与脱机传输
  • 直接迁移的可行性
  • 数据更改率和分层
  • 混合存储需求和数据移动
  • 复制作为策略
  • 备份和还原作为一种迁移策略

详细了解 迁移规划策略。

选择迁移工具

有多种迁移工具可用于帮助你执行迁移。 例如,某些开源工具包括 AzCopy、robocopy、xcopy 和 rsync。 Microsoft提供托管工具,例如 Azure 存储移动器、Azure Data box、Azure 文件同步、Azure Migrate 和 Data Box Gateway。 还有其他许多其他商业、非Microsoft工具可用。 比较矩阵文章中提供了一系列可用的商业工具,它还提供它们之间的比较。

下表提供了一系列基于方案的迁移工具供参考。 尽管可行的替代方案可能逐个存在,但以下示例被认为是最合适的。

情景 建议的工具(s)
- 需要具有单一管理窗格的完全托管、自动化、可复原的工具(在 Azure 中):
- 超出小型传输范围的文件或文件共享迁移,通常 > 1 TB 的数据,可扩展至数百万个文件或对象
- 从本地 NAS 直接迁移和/或连续同步
- 未安装或配置 Azure 文件同步的 Windows 文件服务器
- 迁移到涉及以下内容的 Azure:
- SMB(2.x、3.x)到 Azure Blob(热/冷)或已启用 HNS(分层命名空间服务)的 ADLS
- SMB(2.x、3.x)到 Azure 文件存储(仅 SMB)
- NFS(v3、v4.1)到 Azure Blob(热/冷)或已启用 HNS 的 ADLS(仅 NFS v3)
- 一次性或连续(包括多云环境)
- 从 S3 到 Azure Blob(热/冷)或 ADLS(分层命名空间)
-“仅元数据”复制功能,仅需复制文件元数据或结构,无需复制文件内容(例如,进行权限种子设定或执行模拟迁移)
Azure 存储移动程序
- 脱机数据传输(低带宽或无网络连接、远程站点)
- 从本地 SMB/NFS 共享/NAS 源复制到 Azure Blob、文件存储、ADLS 或直接复制到特定层,包括直接导入到其他区域(源国家/地区外部)。
- 从 Azure 文件存储、Premium FileStorage、Blob(热/冷)脱机传输到本地
- 将本地 HDFS 脱机传输到 Azure Blob(热/冷)或 ADLS(已启用 HNS)
Azure Data Box
- 需要通过脱机解决方案和联机解决方案在短时间内传输大量数据。
- 因网络约束而对初始大容量数据进行脱机种子设定,随后进行增量同步。
使用 Azure Data Box 进行种子设定,并使用 Azure 存储移动程序进行增量同步
- 物理计算机、VM 及其附加磁盘;在 Hyper-V、VMware、AWS、GCP 中运行的 VM。 Azure Migrate
- 进行到 Azure 的或从 Azure 进行的快速、一次性或增量式、小型到中型数据传输(通常每个作业 < 1 TB)
- 服务到服务(文件到文件、文件到 Blob 等)通过 Azure 主干网络(Azure 内部)传输
- 脚本功能要求(例如筛选条件、元数据更新或任何转换)以及此类传输的精确控制
- 不涉及数百万个文件或对象传输
- 本地文件系统、SMB、NFS 装载到 Azure
- S3 到 Azure Blob(通常 < 1 TB)
- 适用于 Windows 的 AWS EFS 或 AWS FSx 到 Azure 文件存储
- Google Cloud Storage(S3、GCS API)到 Azure 存储 (blob)、ADLS(已启用 HNS)
AzCopy (始终使用 HTTPS REST API)
- Windows 文件服务器源(从 SMB 2.x 或 3.x 迁移到 Azure 文件存储)
- 使用反向或双向文件同步的混合数据同步
- 使用本地缓存和云分层进行集中式文件服务器管理
- 通过分支外部署进行协作和团队合作(多站点访问和同步)
- 云端备份支持业务连续性和灾难恢复,并具有本地缓存可用性
- 需要进行一次性的文件共享迁移,且已部署并配置 Azure 文件同步
Azure 文件同步
- 使用本地缓存对 Azure 存储 (Blob) 进行持续引入和云分层的要求
- 源是本地的(NFS v3、4.1 或 SMB 2.x、3.x)(单向同步),或双向同步的(使用手动同步),不管是到 Azure 的还是从 Azure 进行的
- 不需要该数据的多个本地副本保持同步(单向)
Azure Data Box Gateway
- 使用自定义脚本或基于 Linux/Windows CLI 进行的小规模一次性传输和迁移 AzCopy、rsync、Robocopy
- 复杂的数据管理、数据分析、分层,或不被支持的用例和目标(例如 ANF 或 Lustre),超出了 Azure 原生工具的能力范围。 ISV 工具 (Komprise、Cirata、Data Dynamics、Atempo)
- 从本地磁带到 Azure 存储的大型存档数据迁移 请参阅 磁带迁移指南 并探索磁带方舟等合作伙伴解决方案
- 使用 ISV 解决方案的大型本地备份或存档(例如 Commvault、Veeam 或 RUbrik)
- 通过备份工具使用增量同步进行脱机种子设定。
使用合作伙伴特定的建议;
具有 ISV 解决方案Azure Data Box
- 其他方案,包括:
- 本地 NAS 到 Azure 文件存储(通过 Data Box 数据复制服务进行的除外)
- 本地 Linux 到 Azure 文件 NFS
- AWS EFS/FSx/S3 到 Azure 文件存储
- GCP FileStorage 到 Azure 文件存储
- ISV 工具 (Komprise、Cirata、Data Dynamics、Atempo)
OR
- 在客户端上挂载源并使用 Azure 存储搬运工具或 AzCopy

详细了解 迁移工具和选项。

迁移执行

选中以展开/收缩此部分

迁移阶段是最终迁移步骤。 此步骤执行数据移动和迁移作。 通常,迁移阶段由初始复制或批量迁移组成,然后是最后一次直接转换之前的几个增量同步迭代。 此方法通常可实现更流畅、更高效的切换。

非结构化数据迁移的持续时间取决于几个方面。 在所选方法之外,最重要的因素是数据的总大小和文件大小分布。 总数据集越大,迁移时间越长。 平均文件大小越小,迁移时间越长。 如果你有大量小型文件,请考虑将它们存档到较大的文件(压缩为.tar或 .zip 文件),如果可行,以减少迁移总时间。

阅读更多关于迁移执行的信息。

迁移基于块的设备

选中以展开/收缩此部分

基于块的设备迁移通常作为虚拟机或物理主机迁移的一部分进行。 在迁移完成之前延迟块存储决策是一个常见的错误。 提前做出这些决策,全面了解工作负荷要求,从而更顺利地迁移到云。

可以通过两种方式完成基于块的设备迁移:

  • 将完整虚拟机及其底层块存储设备一起迁移。
  • 仅迁移基于块的设备。

有关迁移包含其基础块设备的 VM 的帮助,请参阅 Azure Migrate 文档。 对于更复杂的用例,请使用 Cirrus Migrate Cloud

若要浏览适合迁移的工作负载及其适当的方法,请参阅 “磁盘存储产品”页Azure 磁盘类型 文章。 您可以了解最符合您需求的磁盘,以及诸如磁盘突发之类的最新功能。

另请参阅