安腾普ADA数据归档系统软件助力某生命科学中心海量数据迁移项目成功实施

浏览量

用户简介

某生命科学蛋白质研究中心（以下简称“蛋白质研究中心”）位于北京中关村生命科学园内，由某生命科研机构、清华大学、北京大学、中科院生物物理研究所等单位共同建设，重点业务方向为蛋白质组分析系统和功能蛋白质组研究系统，同时建设以生物信息学、蛋白质/抗体制备、生物资源库、模式动物等为核心的支撑系统，在国内同类科研领域中，始终处于领先地位。

项目背景与用户痛点

现代生命技术被喻为新世纪科研领域的“冠上明珠”，是当今世界各国激烈竞争、势在必得的战略制高点。其中，蛋白质组分析和研究是生命科技中的重要业务领域，与基因分析类似，蛋白质研发也需要融合多项前沿生物与信息技术，借助先进的HPC超算集群，不断优化升级生命蛋白质研发信息模型。

伴随业务发展与超算算力的快速提升，蛋白质研究中心的生命超算数据量与日俱增。当前数据包含：200个物种科研资料，50个细胞类型科研资料，33种疾病科研资料，45种期刊，500多篇论文；数据总量约800TB，总文件数量上亿（以KB或MB级中小文件为主），并继续呈现指数级增长的态势。预计5年后，数据总量将增长到约10PB，文件总数可达几十亿级。

快速增长的业务需求，对用户的海量数据存储和管理形成持续挑战，目前用户痛点主要表现为：

用户原有生产系统中的NAS存储，从性能、容量、安全性等多方面，均已不能满足蛋白质超算业务不断攀升的数据存储要求，生产存储亟需更新换代。

iProX蛋白质组资源库现有的800TB，上亿数量非结构化文件，需要安全、高效的从旧NAS迁移到新一代更高性能的NAS，不允许有数据丢失，必须确保海量数据迁移的完整性和安全性，迁移不能影响正常生产，需要有优秀的作业容错与数据完整性审计机制。

新旧存储切换窗口要求最小化，切换平滑、安全，把对生产系统的影响降到最低。

存储切换完成后，需要对已有数据与未来一段时间的新增数据，自动进行永久增量备份，确保主存生产数据的安全，一旦主存发生故障，能够及时利用备份数据恢复生产主存数据。

当前数据主要采用磁盘存储，面向数据高速增长趋势，需要提前规划数据冷热分级体系，具备冷数据长期归档能力；为有效防范网络攻击、病毒等风险，系统要预留好与磁带、蓝光等可离线介质的存储扩展接口。

项目实施方案

针对蛋白质研究中心以上项目需求与业务痛点，安腾普团队与用户技术专家在多轮细致试验与充分讨论基础上，最终设计、规划了以安腾普ADA数据归档系统软件为核心的项目实施方案。

系统结构图如下：

蛋白质研究中心数据迁移结构图

基于安腾普ADA数据归档系统软件的迁移功能，实施业务数据迁移

网络运行环境：IB网络与万兆以太网

迁移数据源为旧有谷数NAS，IB接口

迁移目标端为谷数新型高性能NAS，万兆网络

迁移服务器使用华为产品(4CPU/512GB/10TSAS)，x86 Linux系统，具备IB和万兆IP双接口

软件配置32个迁移通道并发工作，每通道性能约5.4MB/s，总迁移速度达到170MB/s，达到旧NAS数据持续读取的性能极限。

在确保迁移源端与目标端数据读取/写入整体平稳的前提下，20天左右完成了800TB数据从旧NAS到新NAS的数据迁移，之后顺利完成生产存储切换，并设置自动策略开始进行增量数据备份。

备份空间采用新NAS上的备份专用卷

在完成数据迁移与存储切换的前提下，安腾普ADA数据归档系统软件还具备按数据冷热属性自动分级、长期归档能力，可根据用户日后业务发展，灵活添加海量归档设备，实现更长时间的数据生命周期管理。系统预留与磁带、蓝光等可离线存储介质的归档接口，能够实现物理隔绝级的数据安全保障。对市场主流离线存储设备与介质的广泛兼容与可靠支持，是安腾普软件产品领先国内众多竞品的重要优势。