海量数据迁移项目成功的7个重要步骤

1- 充分识别用户需求

任何技术挑战都不应阻碍数据迁移项目需要实现的目标：满足最终用户的业务需求。

进一步讲，充分的用户调研和参与才能保证项目实施的最佳效果。

在这个阶段，存储经理需要充分识别项目各方面需求，并将业务需求转换为技术需求，由此决定项目的迁移类型以及所需的设备：

● 一次性的大规模数据迁移；

● 大量的、长期的数据同步移动；

● 从多个历史存储合并到新的统一存储类型。

IT团队继续识别项目实施的先决条件，重点放在：

● 数据本质：非结构化数据迁移通常涉及文本、多媒体、搜索结果、物联网……根据大小、数量、组织结构等，每种情况都需要进一步具体分析。

● 数据量：越来越多的迁移项目涉及数百TB或者PB规模的数据。

● IT环境的复杂性：数据孤岛、不同存储格式和网络协议、由旧有存储向新存储转换等。

这些准备工作的深度、广度、精准度，在很大程度上决定了项目后期实施的顺利与否。

3- 整理迁移数据

您需要在正式迁移开始之前完成下列工作！无论您的项目是完整的一对一迁移还是多存储源的数据整合，现在都应该对源数据文件进行整理。包括：

● 分析数据源的存储结构：目录数量、每个目录中的对象数、文件之间的关联等；

● 必要时修正优化存储架构；

● 删除重复的和无价值数据，不需要迁移无用的对象；

● 确定迁移目标格式与文件的命名规则；

● 设定迁移规则和优先级，确保数据在合适的时间迁移到正确的位置，且迁移过程安全可控。

这一过程也将制定好迁移的调度计划：任务周期、作业频率、作业时间 … … 理想情况下，业务生产团队也需要参与进来，以尽量减少对生产活动的影响，且各项作业要尽可能自动完成，最大可能减少出错风险。

4- 为复杂的迁移项目选择正确的软件 

尽管数据迁移市场发展迅速，但是，大多数软件产品都难以在复杂、异构、动态变化的业务环境中处理PB级的海量数据。 

还有一些昂贵的产品则是专门为大型跨国集团设计定制的。

安腾普ADA为用户提供功能强大、高性价比的解决方案，广泛适用于所有企业、任何IT环境下的海量数据迁移项目： 

● 全自动化迁移，提供完整的项目报告。

● 安全地处理PB级数据。

● FastScan可以在尽短时间内，快速侦测、识别复杂的数据源变化量，加快数据扫描进程。

● 适应广泛的常用及高性能分布式文件系统，自动维护ACLs（数据访问控制列表）。

● ADA独立于各大设备供应商（EMC,Qumulo,DDN,IBM,华为,浪潮,H3C,易华录等），使不同品牌、不同类型存储之间的海量迁移变得简单方便。

● ADA根据需要，合理规划迁移引擎数量，轻松组建可伸缩、灵活广泛的多类型存储迁移解决方案。

现场测试是ADA推荐的迁移过程的重要环节。数据管理专家定义试验测试的范围并适时启动迁移测试。

这是一项保障数据安全并实施其它风险管理措施的机会，以消除可能的数据丢失风险隐患。

6- 执行实际数据迁移

大多数其它迁移类软件都不能缩短执行时间，此外，它们会垄断存储网络带宽，从而影响用户业务生产。既实现数据迁移，又消除对生产的影响是一项棘手的两难选择，也会增加项目实施风险。 

ADA采用创新的方法来解决这些问题：

● 迁移作业限制在非生产繁忙时段进行。对带宽的占用可以根据业务需要灵活调整：最小占用或饱和占用，以提高迁移效率，降低生产影响。

● 在整个迁移过程中，源数据文件仍然可供生产访问或分析处理。 

● 在每个自动迁移周期中，ADA自动检测源存储中的数据变化，支持与目标存储进行增量同步，直到两端相同为止。 

全自动的业务流程和数据流及同步管理意味着迁移效率得以大幅提高，对生产影响降至最低。

7- 检查数据迁移是否成功

在没有对目标存储迁移结果进行精确评估的情况下，迁移项目是不完整的。这将包括： 

● 存储管理员和迁移顾问对目标存储的整体检查。 

● 使用预定的测试脚本对迁移后的数据进行测试（可用性、访问权限等）。

● 使用迁移项目开始时制定的需求规范文档，对用户的项目满意度进行评估。

ADA在整个迁移项目中，会自动生成全面的运行报告，更方便的帮助我们实现对项目成功性的评估。