如今,数据洪流正以非常深刻的方式影响着基因组学和其他生命科学领域的科学家及研究人员。原因有二,其一,随着越来越多数据源的加入,研究人员开始无法管理收集到的如雪崩一样的数据;其二,研究人员缺乏快速计算数据的能力以及将数据转化为有价值的科学见解的能力。
目前,基因组学正处于这样一个拐点:人类基因组测序的成本已经低于1000美元,预计仍将继续下降(相比2003年的30亿美元)。随着测序成本降低,基因检测变得越来越普遍,相应的基因组数据也不断上升。仅单个人的基因组“运行”就会产生0.5TB(1TB=1024GB)的原始数据图像文件,这些文件都很复杂,包含了分散的、非结构化的科学数据,难以管理和分析。
随着测序技术的发展,研究人员面临的挑战是如何管理和分析这些大量的、非结构化的基因组数据。通常,这些数据产生于全球各地的学术研究、临床试验和制药研究。现在许多组织机构都需要更高级的数据分析和管理,应用于药物研发、疾病基因检测以及在临床应用中创建个性化治疗等。但基因组测序是一个复杂多步的过程,包括了DNA序列读取、基因组序列拼接、变异区序列分析和重测序。
现实就是:过去十年间,我们使用的技术不够强大,无法分析这些关键数据。这样的技术在未来注定要被新技术取代,因为随着基因测序公司的不断创新发展,他们对数据分析的需求在更快地增长中。同时,人们的对基因组测序的需求也越来越高。
因此,技术专家要做的就是让这些数据可以通过复杂的高性能计算(HPC)或超级计算机和大数据技术来分析,从而使基因组数据的管理和分析更便捷有效。
大数据自身的问题
追求个性化医疗的同时产生了爆炸性的数据增长,因为医生和研究人员希望通过基因测序的手段,基于患者的疾病表现和对药物的耐受性等,对不同的患者进行最佳的个性化治疗。与此同时,随着基因组学研究的资金不断增加,基因测序越来越商业化,也进一步推动了个性化医疗的发展。
相关的案例就是,Kaiser Permanente在全美收集超过210000名患者的DNA样本、医疗记录等,随后创建了全球最大、最全面的精准医疗数据库。在此基础上,研究人员希望从中找到影响各类遗传疾病的特定基因,以此在临床应用中改善疾病的诊断、治疗和预防。
当然,要想成功梳理这些复杂、散点化、非结构化的科学数据,研究人员需要能大量计算和高速分析数据以及具有灵活性的计算系统,但是传统的计算系统跟不上数据需求的发展脚步。
可喜的是,随着现代超级计算技术的到位,研究机构可以不断增加数据量,并分析出有价值的科学见解。
管理和共享新数据
要想在数据密集的时代里实现重大科学突破,研究团队需要更快、更便捷地对大型数据集进行分析。2016年,美国著名健康系统INOVA的转化医学研究所(ITMI)购买了HPC系统,使得研究人员能借助基因组数据库,更加准确、快速地诊断患者,并提供更高水平地治疗和护理。
ITMI的系统用于25000个基因组的数据密集型工作负载,研究人员通过开发和使用自己的代码简化数据管理。有了这种灵活性,ITMI管理IT的负担明显降低,同时也增加了研究工作流的能力,使机构能投入更多的资源用于更具挑战性的慢性疾病领域。
随着科研机构处理数据越来越多,未来资本还将青睐新的超级计算解决方案,以改善数据的管理和可访问性。具体来讲,这些系统将提供更高速的工作流以及更快的组编和分析操作,为研究人员的研究提高效率。相对来讲,HPC系统查询海量数据库的速度要快一个数量级,能探索更大的数据集,并能同时进行更多数据的调查。
为什么数据存储至关重要
基因组学研究中最大的挑战就是数据集往往需要被存储、分析,然后再次存储。举例来说,美国基因检测公司Human Longevity最近与制药企业AstraZeneca合作,对来自临床试验的500000个DNA样本进行测序分析。该计划预计将在2020年前生成一百万种基因组、分子和临床数据的综合健康记录。这将是一个惊人的数据量,所有的数据都必须存储在外部储存器,以便将来通过网络传送到计算机,分析后再存储回外部储存器。
这个过程给传统的IT基础设施带来了难以置信的负担。大多数存储管理器并不能承受这些工作负载带来的压力,因为其不具有当今生物医学应用所需的可扩展性、持续性和长期性,
超级计算机的现代
基因组学研究的数据将继续爆炸性增长。随着技术人员提供千兆级和未来百万兆级的解决方案,几年前还让人觉得高深莫测的数据,如今都能快速便捷的管理和分析。此外值得高兴的是,超级计算系统已经变得更加经济实惠,也没有那么复杂了。
超级计算机在基因组学中具有多种功能,包括协助组编和识别研究数据中的模式,以及将遗传序列注释到图像建模中。
对于研究机构来说,寻找现代HPC的解决方案非常重要,因为它不仅可以分析数据,而且能轻松存储数据,同时其他研究人员还能再次访问。美国硅图公司(SGI)提供的存储系统,可以轻松集成高性能计算和数据分析系统功能。
现代HPC系统提供大规模的、存储虚拟化的数据管理平台,专门用于管理生命科学应用程序产生的大量结构化和非结构化的内容。在这场收集、研究、链接和分析与个性化医疗环境相关的关键生物医学研究数据的竞赛中,SGI为研究机构和实验室的分析和创新提供了一条捷径。
结语:
基因组学研究将促进疾病基因的识别,加速生物标志物的鉴定,并为患者提供针对性更强的个性化治疗。同时基因组学的研究人员也面临挑战,他们要开展新的高质量的研究为临床医生制定个性化的药物治疗提供依据,并通过基因组测序和干细胞研究治疗癌症及其他疾病。HPC系统处于领先的地位使得一些研究机构能在生命科学领域取得突破性进展。