【IT168 评论】在去年的ISC12上公布了2012年最新超算Top500排行榜单，美国的“红杉”凭借16.32千万亿次/秒的浮点运算速度成为全球最快的超算系统，日本“K”退居第二。中国的两套系统“天河-1A”和深圳的“星云”位列分居第五和第十位，在此之后的2012年12月份的TOP500排行中，中国拥有76套系统，份额为15.2%,仅次于美国，位居第二。中国成为继美日之后成为第三个掌握全部超级计算机技术的国家。

　　我国超级计算机继得到超级电脑冠军的“天河一号A”（Tianhe-1A）之后，中国国防科技大学再打造“天河二号”（Tianhe-2），其运算性能已达54.9 petaflop/s,有望在今年的ISC13的Top500发布中取得更好的表现。

　　在五月底在长沙举办的国际HPC大会上，国防科技大组员透露了天河2的详细信息。天河2将会被安置在广州的国家超算中心，为华南的教育和研究机构提供高性能计算服务。

　　天河2将会由16000个浪潮的节点组成，每个节点有2颗基于Ive Bridge-E Xeon E5 2692处理器和3个Xeon Phi,累计共有32000颗Ive Bridge处理器和48000个Xeon Phi,总计有312万个计算核心。

　　每个Xeon Phi使用其中的57个核心，而不是使用全部的61个，因为使用61个在运算周期协调方面会有问题，而使用57个核心能够加速4个执行线程，并且在每个线程单周期可以达成4flops的运算量，运行在1.1GHz的Xeon Phi可以生产1003 Tflops的双精度运算能力。如果考虑CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2个Ive Bridge+3个Xeon Phi单个节点可以有3.431 Tflops运算能力，16000个节点总计可达54.9PFlops性能。每个运算节点有64GB主存、而每个Xeon Phi板载8GB内存，因此每个节点共有88GB内存，总计16000个节点一共有1.404 PB内存，而外部存储器容量方面更是高达12.4PB.

　　在每个主板上有2个计算节点，而每个框架则有16个主板，4个框架组成一个机柜，整个系统由125个机柜组成。

　　每个计算节点主板分为两块，一块CPM一块APU,CPM上有4核Ive Bridge、内存和一个Xeon Phi,而APU基板上则承载着5个Xeon Phi.

　　CPM和APU之间有5个水平插入的链接口，由Ive Bridge内置的PCI-E 2.0进行连接，虽然Ive Bridge内置为PCI Express 3.0接口，但Xeon Phi仅支持2.0,单个通路为10Gbps带宽。

　　计算节点的前端处理器为4096个FT-1500处理器， FT-1500处理器是由国防科技大学为天河1研发，其可以说是天河1项目的最大收获，其为16核心的Sparc V9架构处理器，在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144 Fflops/s,功耗为65W,但相比英特尔22nm 12核 2.2GHz 211Gflops/s性能的Ive Bridge还是有明显差距。

　　天河2互联方面采用自主研发的 Express-2 内部互联网络，其为有13个交换机，而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为NRC的ASIC专用目的集成电路，其采用90nm工艺，封装尺寸为17.16x17.16 mm,共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采用类似结构的NIC,但规模稍小，为10.76x10.76 mm, 675 pin,其采用PCIE 2.0方式连接，传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低，仅为85us.

　　而在计算能力方面，使用14336个节点 总计50GB内存进行LINPACK测试，理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个效率并不算高，还有很大优化提升潜力。当然也可能是被Xeon phi仅支持PCI Express 2.0带宽不足限制。

　　上面测试使用了16000个节点中的14336个，运用了90%的规模，基本可以代表天河2的整体性能表现。天河2的性能部件（处理器、内存、互联）整体功耗为17.6MW,而整体的运算能力为30.65PFlops,这样计算每瓦的性能为1.935Gflops,这个性能/功耗比可以拍在超算TOP500的前五，其整体性能/功耗比十分出色。

　　系统的整体功耗为17.6 MW,并且这个功耗还不包括水冷这样的散热系统，如果考虑上整体功耗将高达24MW,广州国家超算中心将采用城市供水系统构建高散热效能的冷却系统，有能力可以提供80KW系统的散热能力。

　　天河2虽然并不是最早采用英特尔Xeon Phi的超级计算机，但其却对Xeon Phi却有至关重要的意义，天河2号对于Xeon phi的采用使得其在与Tesla的竞争中稳稳占到上风，并给予Tesla KO般的致命一击。天河2号的意义不仅在于登顶超算排行TOP1,相比天河1和其他基于GPU的异构超级计算机，其在应用范围上更广、整体效率更高，相比在浮点计算精度、分支预测存在天生缺陷的GPU异构计算有更大的实用价值。天河2采用Xeon Phi,可以说代表HPC并行计算到达新的层次，迎来Xeon Phi并行计算的新时代，同时也预示着以NVIDIA Tesla为代表的GPU异构超算逐渐走向死路末途。