作为大数据重要组成部分,地球大数据正成为地球科学的一个新的应用领域,对推动地球科学的深度发展以及重大科学现象的认知发现具有重要意义。
据了解,由中科院主导的“地球大数据科学工程”旨在通过建设国际领先的数字地球科学平台,推动地球大数据领域的技术创新与地球系统科学的重大突破和科学发现,实现全方位宏观决策支持和社会公众知识传播服务,为一带一路、数字中国、人类命运共同体和联合国可持续发展目标等国内外重大战略提供科技支撑和决策支持。
凭借在大项目中丰富的经验及优势积累,曙光在该项目中为中科院计算机网络信息中心地球大数据科学工程专用计算系统建设提供了强大技术支撑。
作为地球大数据科学工程的子课题,专用计算系统将建成地球大数据云服务基础平台,形成可扩展的高性能计算、高通量计算、云计算和大数据分析处理的专用计算机群,通用计算能力达到1PF,云计算、大数据分析和处理能力1PF,存储能力达到50PB;形成一套地球大数据云服务基础平台系统软件,支持异构资源的聚合管理和统一调度,聚合新建和已有计算资源达到200PF,存储资源达到300PF,为专项提供基础设施形态的云服务能力,提供统一的计算和存储服务。
在专用计算系统中,建设地球大数据共性的计算与处理系统,有效解决地球大数据平台计算资源分散、数据资源分散、计算模式多样所带来的处理难题。同时形成一套完整的科学大数据计算与处理云服务系统软件栈。针对来自海洋、地面和卫星的科学大数据,利用大数据离线和在线计算模式,流、图和机器学习/深度学习计算引擎,有效支撑数据密集型科学发现,为天文观测、前沿物理探究以及生物技术探索提供强有力的数据计算与处理云服务。
在硬件配置方面,专用计算系统采用曙光最新一代TC4600E刀片服务器产品。该产品采用4U8片架构,实现了高性能、高密度、可伸缩、按需配置、方案灵活的产品设计要求,可满足用户业务多样且动态变化的应用需求,目前已支持Intel最新一代Cascade lake 处理器平台。
此外,专用计算系统还搭配了100G OPA/IB高性能直通网络模块,实现计算性能、计算密度和系统能耗的完美均衡,同时支持计算集群、刀箱系统和刀片节点的三级管理模式,尤其适用于高性能计算集群的应用和部署。
题图来自:地球大数据科学工程官方网站