【IT168 技术】
概述
新一代Intel Sandy Bridge服务器配置的PCI-E Gen3总线插槽在带宽和时间延迟上提供了众多优势，而这正是HPC集群结点之间进行通信时所需要的。在传输速率方面，PCI-E Gen3提供了高达8 GT/s 的传输速度，这比上一代PCI-E Gen2插槽5 GT/s 的传输速度整整提高了3GT。此外，PCI-E Gen3总线插槽采用了不同的编码方案，结果就是开销更低，交付的带宽更高，时间延迟更少。
在本文中我们关注PCI-E Gen2和PCI-E Gen3之间的性能对比以及给带宽和时间延迟带来的影响。我们使在第12代PowerEdge服务器上使用四倍数据传输速率(QDR)和十四倍数据传输速率(FDR)的InfiniBand适配器对性能提升进行测量。
由Mellanox提供的十四倍数据传输速率(FDR)的InfiniBand适配器是PCI-E Gen3卡，在具备4条链路的插槽上能够交付的理论带宽为54 Gbits/s。四倍数据传输速率(QDR)Infiniband适配器同时支持PCI-E Gen3插槽和PCI-E Gen2插槽。在具备4条链路的插槽上能够交付的理论带宽为32 Gbits/s
实验环境配置
随着FDR InfiniBand适配器以及PCI-E Gen3插槽的引入，第12代 PowerEdge服务器在互联带宽以及时间延迟方面提供了巨大的性能提升。我们所使用的实验环境如表1(第12代 PowerEdge服务器)和表2(第11代 PowerEdge服务器)所示，用来验证第12代 PowerEdge服务器和第11代 PowerEdge服务器相比，在微基准测试级别上的优势。为获得尽可能低的延迟，如表3所示对BIOS进行了设置。服务器直连而没有经过交换机，为的是验证在不考虑交换机开销的情况下验证绝对的性能提升。
▲表1: R620 配置
▲表2: R610 配置
▲表 3: BIOS 设置
测试结果
以下测试结果是通过使用MVAPICH 1.2以及OSU微基准测试所获得的。我们对三种不同互联速度的性能进行了对比。对FDR PCIe Gen3, QDR PCIe Gen3以及 QDR PCIe Gen2进行测试，使用了OSU基准测试套件中的时间延迟，带宽以及双向带宽基准测试。
从图1，我们可以推断出：
与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了87%。
与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，QDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了16%。这归功于PCIe Gen3插槽所提供的性能优势。
▲图 1: OSU 带宽
表2展示了使用OSU双向带宽基准测试的性能对比：
与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了69%。
与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，QDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了20%。
▲图 2: OSU 双向带宽
图3和图4对不同互联速度下的OSU延迟基准测试进行了对比。使用新的第12代 PowerEdge服务器和FDR PCIe Gen3适配器，能够获得最低级别的微基准测试延迟。
当消息的规模很小时，与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，FDR PCIe Gen3 (第11代 PowerEdge服务器)的时间延迟优化了40%。
消息规模很小的时间延迟数据表明QDR PCIe Gen3和 FDR PCIe Gen3的性能差异是很小的。当消息的规模很大时，QDR PCIe Gen3和 FDR PCIe Gen3的性能差异是非常明显的。
▲图3: OSU延迟 (消息规模较小)
▲图 4: OSU 延迟 (消息规模较大)
总结与结论
使用OSU基准测试套件对FDR PCIe Gen3适配器和QDR PCIe Gen2适配器进行的对比测试表明：
与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了87%。
与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，FDR PCIe Gen3 (第12代 PowerEdge服务器)的带宽提升了69%。
当消息的规模很小时，与QDR PCIe Gen2 (第11代 PowerEdge服务器) 相比，FDR PCIe Gen3 (第11代 PowerEdge服务器)的时间延迟优化了40%。
访问高性能计算社区。
