Roadrunner的硬件构造

    Roadrunner系统由18个CU（connect units，连接单元）组成。每个CU包括180个计算节点，一个有288端口InfiniBand DDR交换机（Voltaire的20GB/秒InfiniBand交换机），在整个系统中实现光纤通路互连。每一个计算节点是一个 "TriBlade" 刀片系统，由一个双路双核Opteron的LS21刀片和两个双路QS22 CELL刀片连在一起。在内部，每个Opteron内核与一个CELL芯片通过一个专有的PCIe连在一起。CU中节点之间的通信全通过InfiniBand，而系统与2 petabytes外部存储之间的通信采用的是10GbE(万兆以太网)，存储系统由Panasas提供。

TriBlade

    逻辑上看，一个TriBlade包括带有16GB内存的两个双核Opteron处理器和带有16GB内存的4颗PowerXCell 8i芯片。从物理上看，一个TriBlade包括一个LS21Opteron刀片，一个扩展刀片，两个QS22 CELL刀片。LS21有两个1.8GHz的双核Opteron处理器和16GB内存，每个CPU有4GB内存。每个QS22有两颗PowerXCell 8i芯片，主频为3.2GHz，带有8GB内存，同样每个CPU有4GB内存。扩展刀片通过四块PCIe x8卡把两块QS22与LS21连在一起，每个QS22有两个连接。它还通过一个Infiniband 4x DDR卡实现与外部的连接。三个TriBlade装进一个BladeCenter H机箱。

点击看大图

CU

    一个CU由装满TriBlade的60个BladeCenter H组成，也就是总共有180个TriBlade。所有的TriBlade都和一个288端口的Voltaire ISR2012 Infiniband 交换机连在一起。每个CU可以通过12个System x3755访问Panasas文件系统。CU的系统信息如下：

360个双核Opteron，带有 2.88 TiB RAM
720个双核PowerXCell 8i，带有2.88 TiB RAM
12个带双万兆以太网的System x3755
288端口 Voltaire ISR2012交换机，带有192 Infiniband 4x DDR连接 (180 TriBlades 和12个 I/O节点)

Roadrunner 集群

    最终的集群由18个CU组成，通过另外8个 ISR2012 第二层交换机连在一起。对于每个第二层交换机，每个CU通过12个uplinks 连接，这样总共有96个uplink连接。总个的Roadrunner 集群包含：

6,480 Opteron核心，51.8 TiB RAM (在3,240 LS21 刀片中)
12,960 Cell 核心，51.8 TiB RAM (在6,480 QS22 刀片中)
216 System x3755 I/O 节点
26 288-port ISR2012 Infiniband 4x DDR 交换机
296 机柜，占地面积约557平方米
390万瓦特电耗

点击看大图