DDR模块,我们曙光可以查到,在刀片系统内部Infiniband HCA和Switch模块曙光用了这样的方法。DDR刚刚兴起,我们在相邻结点MPI延迟1.6us。那么在高性能计算里,这意味着并行效率的提升。这样可减少了50%的高速IB线缆的连接,极大提升系统的可靠性。大家担心的不光是铜缆的信号质量,大家担心铜缆对整个系统的重量,能不能形成稳定的连接。我们减少了50%,意味着设计中减少了一般的故障点。
IOE设计也带来了非常多的好处,我们整个系统提供10个PCI-E 8X的IO扩展插槽,兼容通用PCI- E板卡,成为刀片系统扩展的亮点。如果里面插上图形卡的话,整个系统就构成了加速性能,也扩展了刀片服务器的生存空间。
这是我们做的四路的AMD全新计算刀片,利用了空间设计挑战的极限,给系统布局,光了CPU内存占到3/4的空间,变成了非常高密度的设计。整个构建之后,变成了常见的1U服务器密度2.86倍。支持4颗全新64位Barcelona 4Core处理器。这可以更大的规模来解决整个工程计算当中的规模,如果我们用高速网连接的话,效率会整个降低。对于很多应用来讲,光一项设计就可以提供十几倍的计算性能提高。
另外散热仿真也是非常也是非常难处理的,我们做了可靠性工程保障,使得系统可以更加稳定、可靠的运行。这里也运用了低功耗和节能的技术,包括风扇的集中散热、供电,效率整个的划分还有就节能降耗,也可以让我们的系统进行更好的运用。
胖节点我们说一下,我们配置了1/10规模的胖节点,采用了8路的SMP结构,可以用每个CPU核访问128G内存。这两块主板是曙光自己具有自主知识产权的办理,这也是曙光在市场上形成了稳定销售,但密度没有那么高,所以工程设计的复杂性没有刀片那么强,但型号完整性来讲也体现曙光刀片设计这么多年的积累。
整个系统当中,高速骨干网络的设计,这里形成的是从技术数据上来讲,任何两个线之间的任何结点形成了全无阻塞,我们为了整体的计算性能,进行了这样的结构。同时存储系统挂到骨干网上,所以不用经过传统的IO节点的结构也可以扩展带宽。
当然系统当中从管理方面有冗余的以太网,这个网络实行的是分区的无阻塞线速,保证极少数以来以太网的应用,可以进行无阻塞的数据交换,这相对构建就比较简单了。
整个系统当中的监控管理,仍然进行了全面的集成进行全系统的管理,我们运用曙光独有的全系统管理率的一套体系,整个系统构成了完整的界面进行管理。
在存储里面,整个系统当中,系统这一次在国内也是非常有挑战性的,在整个系统当中构建一个700TB的全光纤,这是比较有挑战性的存储布局。在系统要形成70G的IO无带宽,这实际上是非常有挑战的一件事情。这是整个监控管理的一体化,我们监控管理支持异地的监控管理,变得非常简单。里面有非常丰富的各种软件的模块,包括部署系统、并行操作系统、系统监控、管理调度等等。