基因测序行业解决方案
浏览量
行业挑战
基因产业从1.0阶段的生物信息驱动的科技服务,2.0阶段的科研驱动的产业化,到3.0阶段人口级数据驱动的区域集群化。由数据存储方面看,由于基因测序技术的提升,测序成本降低。从最初的人类基因组开始细分扩展,目前已经涉及到肿瘤,遗传病检测。扩展到植物,远古生物,细菌,病毒,微生物的基因检测。数据种类和数据量开始变得异常庞大,经常以PB为单位保存,数据数量经常以亿为单位计算。基因测序业务一般为项目型,有明显淡季和旺季之分,业务旺季数据量可能是淡季的10倍以上,数据高速创建,必须快速处理,数据归档需要可伸缩的IT资源,满足性能的同时节约整体资金投入。
系统环境
数据类型科学数据,前期数据量180TB , 190万个文件和目录,后期数据量以PB为单位保存,数据数量以亿为单位计算
3台服务器给ADA产品使用,配置1个ADA SERVER,3个DataMover,服务器硬件配置Intel Xeon E5_2650 v4 CPU 14core *2,RAM *128,500GB 15K RPM DISK *2,Dual port 10GbE SFP+ NICs *1
源端存储介质分布式NAS EMC Isilon
目标端归档存储介质对象存储紫光西部数据UniverStor P20000
万兆网数据归档专线
产品优势
数据归档效率高,强大的DataMover数据迁移引擎,可提供高效率的数据归档。
可伸缩的IT资源,业务旺季可以临时增加多台服务器,配置多套DataMover数据迁移引擎,即使业务量扩大了10倍,数据量扩大了10倍,数据数量扩大了10倍甚至更多,也可以在合理规划的归档窗口内完成数据归档,业务淡季可以适当减少配置DataMover的服务器,达到节约资源的目的。
归档数据格式不变,授予对应权限后归档后的数据可以直接访问,无数据访问等待窗口。
介质兼容性强,兼容分布式NAS EMC Isilon,对象存储紫光西部数据UniverStor P20000等。
整体架构
项目收益
高效的数据归档,可伸缩的IT资源,即保证了性能,也节约硬件投入。配置1个ADA DataMover数据迁移引擎,生产数据归档性能约为 800MB/s,配置3个ADA DataMover数据迁移引擎,生产数据归档性能约为 2GB/s伴随着ADA DataMover数据迁移引擎数量的增加,生产数据归档性能有明显提升。业务旺季即使业务量扩大了10倍,数据量扩大了10倍,数据数量扩大了10倍甚至更多,ADA产品通过配置多个DataMover数据迁移引擎,即可解决客户对数据归档的性能顾虑。同时ADA产品介质兼容性强,兼容磁盘,NAS/CAS,磁带/光盘,云/对象存储。
同环境不同文件大小,不同文件数据量,单DataMover数据迁移引擎性能实测记录
单个数据大小 |
数据数量 |
归档性能 |
总数据大小 |
4MB |
8W |
320MB/S |
320GB |
1MB |
8W |
180MB/S |
80GB |
512KB |
16W |
190MB/S |
80GB |
256KB |
16W |
160MB/S |
40GB |
上一页
下一页
上一页
下一页