安腾普助力北京大学生命学院海量科研数据长期安全归档
浏览量
现代生物技术被喻为新世纪科研领域的“冠上明珠”,是当今世界各国激烈竞争、势在必得的战略制高点。生物科技研发融合多项前沿科学与信息技术,伴随目前数字革新深入发展,生物科研项目的数据量与日俱增,并且还将持续呈现指数级增长的态势。由此,海量科研数据的长期归档与高效利用问题日益显现,已成为业内机构在高质量发展过程中需要面临的重要挑战。
在此背景下,安腾普助力北京大学生命科学学院(简称“北大生命学院”),共同构建了海量科研数据归档系统。本项目是安腾普ADA归档系统在国家级一流生命学院进行部署应用的典型案例,具备良好的业内借鉴和参考价值。
北大生命学院简介
北京大学生命科学学院起源于1925年成立的北京大学生物学系,是我国高等院校中最早建立的生物学系之一。1952年北京大学、燕京大学和清华大学三校的生物学系合并,三泉汇流燕园,在此基础上于1993年成立了北京大学生命科学学院。
悠久的历史传承、深厚的学术积淀让北大生命学院在国内外享有盛名。2016年QS世界大学生命科学专业排名中,学院位列第38名,成为唯一进入世界前50的中国大学生物院系。秉承“循思想自由原则、取兼容并包主义”的北大精神,生命学院大力开展意义深远和创新性强的科学研究,为中国和世界培养菁英和领军人才,并为实现这个目标创造一切可能条件!
北大生命学院海量数据管理痛点
在生命学院科研实验室的IT基础架构中,多套业务节点组成科学计算集群,分别支撑蛋白质与植物基因研究、膜生物学、细胞增殖与分化等重点领域研究。计算数据根据项目课题及其细目分类,存储分布在不同的磁盘设备与高性能文件系统上,文件数量与类型繁多、目录结构复杂、KB级小文件占比高。伴随业务发展与大数据算力水平的不断提升,计算集群生产的数据量越来越大,累计将达到PB级。
这些数据是大量科学算力与研究人员努力付出的结晶,具备极高科学价值,需要长期安全存储。虽然用户的磁盘存储系统历经多次扩容,也配有数据备份等手段,但面对PB级累积数据量,依然显得力不从心。此外,磁盘损坏、文件系统节点故障、勒索病毒等风险点的存在,也持续威胁着数据长期存储的安全。
科学建设海量数据多级存储体系,实现科研数据不可篡改的长期存档,防范各类风险,保证数据安全,是用户迫切需要解决的问题。
安腾普方案助力用户海量数据归档系统建设
北大生命学院以原有IT信息架构为基础,以业务便捷管理为动力,以数据安全归档为核心、参照国家、行业标准并结合日后发展趋势,启动了生命科学海量数据归档系统建设。安腾普海量数据归档解决方案从系统架构、业务逻辑、数据流程、实施运维等多个方面为用户进行精心规划,量身定制,解决了长期困扰用户的海量科学数据治理与利用难题。
项目实施:
本项目运行环境由在线华为高性能分布式存储系统、近线易华录海量蓝光库系统、安腾普ADA归档管理软件系统等组成,数据生产与传输基于多链路冗余的万兆专用以太网。其中,华为高性能分布式存储为业务数据生产提供高速磁盘环境与在线归档缓存;近线蓝光系统由多台易华录蓝光库组成,通过近10台蓝光驱动器并发读写,提供高速、海量(约2.5PB)的近线蓝光永久归档能力,具备蓝光介质离线脱机管理功能;ADA归档软件系统部署于三台x64 LINUX服务器,其中一台作为作业管理服务器,另外两台作为数据归档引擎,并发作业。
北大生命学院归档系统结构图
在ADA软件系统中,配置在线华为磁盘设备为数据源存储,近线易华录蓝光库作为归档目标存储。根据不同业务源数据类型与文件结构,配置对应的自动归档策略,两台归档引擎并发工作,作业效率高,任务监控简单明了。
ADA归档作业实时监控
支持灵活的归档数据取回利用。根据文件名、文件元数据组合等筛选条件,定位回迁对象,发起取回作业后,软件将自动将指定数据对象回迁到磁盘存储源目录或其它指定目录,提供给用户进行归档数据再利用。
本系统具备低窗口、高吞吐、对生产影响小、多通道并发归档安全可靠等特点。每天新增生产数据可及时从在线磁盘归档到近线蓝光库,腾出在线空间,供后续生产使用;蓝光光盘具备一次写入、不可更改、广泛环境适应、灵活扩展等物理特性,能充分保证用户海量归档数据的长期安全性,从物理层面断绝了黑客、病毒等风险因素。
北大生命学院海量数据归档方案价值
本项目的成功实施,解决了用户长期以来面临的海量生命科研数据难以长期存档,数据检索利用效率低等问题,不仅满足了北大生命学院数据归档的合规要求,也助力其完善了数据长期存储的安全体系建设。依托本项目,用户收益如下:
01构建统一的海量科研数据归档体系
成功帮助用户实现了“海量数据分级存储、永续归档、高效调用”的管理目标,弥补了传统磁盘存储难以规避的海量扩容缺陷,体现出数据的长期归档与利用价值,大幅提升用户对海量业务数据的科学治理能力。
02为数据存储提供可靠的安全保护
本项目着眼于海量数据归档,通过支持具备“气隙(air gap)”特征且不可改写(WORM)的蓝光归档介质,一并解决了数据长期保存面临的众多安全问题,从物理层面规避了单一磁盘存储“易损坏、误删除、被勒索”等众多风险因素。实践证明,安腾普归档方案同时可提供合规的数据长期安全保护能力。
03系统扩展灵活,满足未来业务再升级要求
本方案从顶层设计角度,既满足用户当前的数据归档需求,又能灵活扩展磁带、对象、云等多种异构目标存储,数据迁移引擎亦可灵活添加;从软件功能方面也具备海量非结构化数据异构迁移、同步、备份、分析等更多选择。
通过本项目为用户构建的海量存储体系,结合日后业务发展要求,能够为北大生命学院进一步完善相关解决方案,免除用户未来在海量科研数据治理方面的后顾之忧。
结语
安腾普通过本项目,凭借自身在海量数据管理与安全保护领域多年的软件研发与项目经验,为北大生命学院科研数据注入了新能量,助其在生物科技日新月异的今天,以数据驱动发展,更好的为国家繁荣贡献力量。未来,安腾普将持续专注于自有解决方案的创新,为更多用户的海量数据治理提供更专业、更先进的项目支持与服务。