11月8日,InfoQ中国报道,澳大利亚联邦科学与工业研究组织(CSIRO)开发了Serverless Beacon(sBeacon)系统,这是一种符合全球基因组学与健康联盟(GA4GH)Beacon标准的无服务器基因组变异查询架构,可直接查询存储在Amazon S3中的变异调用格式(VCF)文件,无需将大型基因组数据集复制到中央数据库。
该架构的核心创新在于将基因组数据与搜索所需的元数据分离。VCF文件保留在Amazon S3中,疾病状态、年龄和位置等元数据则单独建立索引。接入数据时,sBeacon会为元数据创建索引和Athena表,并通过CSIRO的Ontoserver处理本体术语,以支持结合基因组和表型信息的联合查询。系统完全基于AWS无服务组件构建,使用Amazon S3、AWS Lambda、Amazon Athena和Amazon DynamoDB。
在变异查询环节,API Gateway将请求路由至Lambda函数,由函数确定相关数据集和基因组区域。变异查询模块使用bcftools及其htslib库,通过HTTP字节范围请求获取VCF文件的特定部分,从而无须传输完整文件即可读取所需基因组区域,查询结果汇总后通过Beacon API返回。
CSIRO使用千人基因组计划1号染色体数据对系统进行评估,该数据包含2504个样本,压缩后VCF文件大小为1.1GB。系统用时18秒、花费0.00052美元完成数据集接入,其间只创建索引文件,并未复制基因组数据。一次覆盖1万个碱基对的查询平均耗时1.52秒,成本为0.00013美元;当返回变异数量从4个增至400个、增长100倍时,查询时间总体保持稳定。