【IT168 评论】在刚刚发布的德国莱比锡ISC2013高性能计算排行榜TOP500榜单中,由中国国防科学技术大学研制的“天河二号”以每秒33.86千万亿次的实测性能,成为全球最快的超级计算机。它是国家863计划“十二五”高效能计算机重大项目的阶段性成果,在体系结构、微异构计算阵列、高速互连网络、加速存储架构、并行编程模型与框架、系统容错设计与故障管理、综合化能耗控制技术以及高密度高精度结构工艺等方面,突破了一系列核心关键技术。日前,我们有幸采访到了天河二号高性能计算机系统副总设计师卢凯教授和朱小谦博士,请他们谈谈天河二号的具体设计及优化内容。
天河二号5大设计新突破
在采访之初,卢凯教授首先总结了天河二号的新突破,包括了架构、计算、互联、存储和编程模型等5个方面。首先从架构来说,天河二号采用的是“异构多态”的新模式,不仅是应对传统的高性能的科学计算进行构建,同时兼顾了信息处理、数据分析等等需求,整个系统的计算模式以I/O数据吞吐为主。其次就是天河二号采用了微异构的方式,通过采用至强处理器+至强融核协处理器的方式,整体运行在X86架构中,进而保证了系统的兼容性、适用性和易用性。第三,除了用于计算的处理器之外,天河二号还采用了核高基自主研发的飞腾系列处理器进行日常事务的处理和信息服务,同时在互联互通方面采用了软硬件联合设计,进行了许多优化的工作,充分能够满足到未来更大规模的网络系统构建需求。第四,在存储方面,采用了多层次的容错设计,对于大数据的信息处理、大数据的支持以及我们科学计算都有很好的兼顾和适配。在软件方面,我们采用了机器管理机器的自治故障管理技术,使系统能够及时的发现故障、诊断故障和处理故障。最后,在编程模型方面,天河二号的编程框架也进行了许多优化,使其不仅能够像传统超算一样支持科学计算,在信息处理、数据服务方面也有自己的技术特色。
如何看待“堆出来的超算”
最早在2010年11月天河一号获得TOP500第一名的时候,就有人质疑超级计算机存在的意义;而在这次天河二号发布之后,也传出了所谓“堆出来的超算”之类的声音。对于这样的说法,卢凯教授认为这首先是不了解超算行业的一种表现。他谈到——超级计算机并非只是简单的硬件堆积,以天河二号来说其中凝聚了研究人员的诸多心血,也有多年以来技术、经验的积累。如果仅仅依靠巨资就能建造超级计算机的话,恐怕美国目前的超级计算机技术也不会仅仅掌握在Cray、IBM等极少数的几个公司手中。
卢教授进一步强调说,超级计算机在任何国家都是需要政府大力支持的,这其中必然需要投入诸多的人力、物力和财力,但是就其功能性而言,高性能计算如今已经与我们的生活密切相关,在石油勘探、气象预报、工程设计等多个方面都有发展,而且相比多年前我们单纯的依靠具体实验获得科研数据来说,超级计算机的模拟成本会更为低廉。从这个角度来说,超级计算机作为公共服务的设施而存在,并且能够长期、反复进行模拟应用,相比原来的试验方式更为省钱。
朱小谦博士则通过一个形象的事例说明了这个问题,他谈到——如今很多人认为把很多的CPU连在一起,就能成为超级计算机,这就好比所有的建筑就是钢筋、水泥、砖块构成。但为什么现在有建筑艺术的学科,这说明并不是有足够的水泥、足够的钢筋就能修出世界上最高水平的建筑,这其中有很多深层次的东西。现在我们的天河二号比天河一号性能扩大了将近10倍。但是我们系统的占地面积和体积基本上没有变化,其中除了性能之外,还有散热、能耗、互联、管理等等问题需要解决。
天河二号研发背后的辛酸
从应用交付到提交TOP500测试成绩,天河二号只有最多2个月的调优时间,而通过卢凯教授的介绍我们了解到,在决定采用微异构模式之后,研发人员便进行了大量的调试和优化的工作。总体来说整个系统的调试过程还是比较顺利的,这也是得益于两大原因:首先是因为研发人员对于X86架构非常熟悉,能够清楚的知道需要优化的部分在哪里;其次则是来源于长久以来对于超级计算机领域的探索,特别是天河一号、天河一号A两台超级计算机的研发过程中积累的宝贵经验。同时针对使用方——广州超算中心的要求,天河二号也进行了针对应用的定制化,未来天河二号将帮助实现广东省乃至整个南方地区的政务云和信息化服务。
除了研发的艰辛之外,电力的保障也是设计中必须面对的实际问题。原本国防科学技术大学并没有独立的供电系统,而面对天河二号这样前所未有的庞然大物,能源的供给也成了迫在眉睫的问题。为此,学校经过仔细协调和详细部署,修建了专门的供电系统,基本保证了天河二号的稳定运行。从今年9月开始,天河二号将分批交付广州超算中心,在新落成的超算中心里有独立的供电和散热系统,相信将能解决“电荒”的问题。
向着百亿亿次目标努力前进
现如今,天河二号作为世界业内知名的超级计算机,其理论峰值性能超过了5亿亿次,但是距离未来我们将要实现的百亿亿次目标依然有着不小的差距。对此,卢凯教授表示——目前天河二号拥有1万多个节点,未来计划将节点数量增加到3万甚至5万个。但这并非是简单数量的增加。随着节点数量的提升,在管理和能耗方面的问题也将彻底凸显出来。从目前天河二号来看,计算节点的能耗约为18兆瓦,再加上散热系统的整体能耗在20兆瓦以上,但达到5万个节点以后,能耗问题会进一步凸显,如何采用更低能耗的计算器件、更低能耗的冷却系统是将来要攻克的第一个技术难题。
同时,目前天河二号采用的网络结构将难以支撑未来5万个节点以上的系统规模,因此必须寻求改变,使用其他结构也将成为迫在眉睫的问题。另外,在系统可靠性方面,单纯依靠人力进行上万个节点的管理已经是极限,如果达到5万个节点之后,如何及时发现故障、管理故障、排除故障?未来天河二号将采取“机器管理机器”的模式,降低运行风险。总体归纳起来,随着节点数量的大量增加,运维方面将会面临能耗、可扩展性和故障管理等可预见性的难题,这也是目前研发小组正在进行的科研工作。