效率提升100倍,生命的密码在云中开启

2018-12-12 10:10:00 作者:华为云 出处 : 比特网

  “时间会改变一切,许多不可思议的事情都已被人们所接受。我们正处于人类历史新时代的开端。”

   ——诺贝尔医学奖获得者戴维·巴尔的摩(David Baltimore)

  几天前,随着基因编辑婴儿的诞生,代表人类进化史取得重大突破的同时,“潘多拉魔盒”的提前打开引发了巨大争议。

  在20世纪中叶,DNA双螺旋结构的发现开启人们对于生命科学的热情。也由此,DNA结构与相对论、量子论并列成为20世纪的三大科学发现。在上世纪90年代展开的“人类基因组计划”,与人们熟知的“阿波罗登月计划”齐名,也被列为“20世纪三大科学计划”之一。

  历经十几年的人类基因组计划宣告完成,随着人类的30亿个碱基和数万个基因序列被测定完,作为生命的密码,基因不仅能决定生老病死,还能遗传信息一代代传递下去。人与人之间基因组序列差异不到1%,而人类的外貌、性格和疾病等个体特征正是由这些基因的差异导致的。因此,“测定”与“解读”基因成为了本世纪生命科学领域最热门的一项研究。虽然“基因编辑”引发了有关伦理和“人类边界”的争论,但不可否儿的是,我们开始从最核心的层面探寻人的本质与真相,并取得了跨越式的进步。

  DNA测序,作为生命密码的“读取”手段,是目前生命科学和医学应用的领域中发展最快的技术。DNA的测序给人的健康生活和生育的意义已经逐渐被越来越多的人认可,DNA测序还可以为个人或家庭提供生活建议和指导。而这正是武汉未来组生物科技有限公司(下文简称“未来组”)所从事的领域。

  解码“生命”中的困惑与挑战

  作为生命科学领域中国首家第三代测序技术服务公司,未来组早在2013年便成功研发了基于PacBio第三代单分子实时测序平台的生物信息分析方法,与2016年创建了Sequel基因组学中心,并在2017年9月建成了全世界最大的Oxford Nanopore测序中心,解决了动植物基因组、微生物基因组、全长转录组及微生物群体研究领域的技术瓶颈,推动了基因组学研究的升级换代。

  随着基因测序逐渐被越来越多的个人和家庭用户所接受,并成为一种关注健康、提升生活品质的流行手段。个人基因测序市场也进入到前所未有的繁荣时期,这让未来组的业务在短短几年中取得了飞速的发展和扩张。

  然而,个人基因测序业务的蓬勃发展和大量科研的工作也让未来组的IT设施面临着巨大的挑战:

  首先,人类DNA的序列长度达30亿,如果将其转化为文本,文件相应的大小保守估计要达到3GB。如果考虑到必要的冗余因素,文件的体积要成倍扩大,这对于存储的容量提出了极高要求。

  其次,未来组已经拥有两台第三代基因测序仪,未来这一数字将增长至五台。基于现有的业务增长速率,这意味着仅在个人基因测序业务中,每天的数据产生量将高达300TB至600TB。

  再次,未来组打造的“华夏万人SV”计划,针对不少于10万个中国人个体,进行全基因组三代测序,弥补结构变异和甲基化数据库的空白,并对疾病群体进行分析,明确疾病相关的变异。而每样本不少于360核小时,以100台32C128G计算节点计算7*24满负荷需470天,若用于组装则每样本不少于40000核小时。

  综上所述,这种规模的数据增长速度和巨大的计算量,是传统的数据中心无法满足的。

  DNA数据的中之旅

  “上云是唯一的出路”。未来组IT中心总监朱赢在接受采访时说,未来组逐渐清晰地意识到了只有云计算才能够应对以上大数据带来的种种挑战。此后,经过反复的调研和综合考察,未来组选择了华为云。

  目前,未来组已经与华为云构建了HPC计算集群,并整合了三代测序数据分析流程,双方合作打通了从测序仪到华为云存储的数据传输通道,测序仪得到的基因组数据可以直接存储在华为云上,KunLun超大内存裸金属服务器也在基因测序领域得以应用。

  在双方探索基因测序数据云端存储方法的过程中,“华为云提供了非常完善的技术支持服务。华为云极强的资源拓展能力,大规模的基因测序工作不会再受到存储系统容量的限制。”朱赢说。华为云技术和服务支持给未来组带来了震撼,也让未来组与华为之间快速建立起了合作和信任关系。

  据笔者了解,目前,双方正在更多的领域展开联合的创新和探索:在“华夏万人SV”的基因测序计划中,由于样本数量达到了空前的一万个。通过使用华为提供的100台32核心高性能服务器进行72小时满负荷测试,整个DNA片段重组完成全部计算工作从之前的400万核小时提升到4万个核小时,效率提升100倍。

  此外,未来组还在积极尝试利用华为昆仑小型机产品所具备的海量内存来提升DNA片段重组计算任务的运行效率。

  “未来,未来组还会尝试使用华为云所提供的异构计算服务来加速DNA片段重组的计算工作,并结合容器技术来进一步提升效率。基于华为云,未来组还将开发一套面向基因测序分析报告的移动APP,让用户可以更方便、更快速的调取基因测序结果,获得更好的用户体验。“朱赢对笔者说。

  “云”上的数据存储、基因测序、交付分析结果,未来组已经向目标迈出了坚实的一步。而华为云给未来组所带来的,不仅是效率的提升和成本的下降,是又一个技术推动行业梦想的鲜活案例,如华为轮值董事长胡厚崑所言,华为要给智世界铺上云的跑道,帮助每个人、每个家庭、每个组织更快、更好、更安全地拥抱智能世界。今后,基因检测或许就能像量体温、测体重一样简单容易,也许在未来不远,人类能够找出生命的出路,基因蓝图事业在云上腾飞。

最近更新
科普

科普图集
从《中国互联网+指数报告(2018)》看数字经济

从《中国互联网+指数报告(2018)》看数字经济>>详情

“互联网+”的这些新变化,你知道吗?

“互联网+”的这些新变化,你知道吗?>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。