2.3.2. Infiniband技术优势

    Infiniband是一种交换结构I/O技术，其设计思路是通过一套中心机构（中心Infiniband交换机）在远程存贮器、网络以及服务器等设备之间建立一个单一的连接链路，并由中心Infiniband交换机来指挥流量，它的结构设计得非常紧密，大大提高了系统的性能、可靠性和有效性，能缓解各硬件设备之间的数据流量拥塞。而这是许多共享总线式技术没有解决好的问题，例如这是基于PCI的机器最头疼的问题，甚至最新的PCI-E也存在这个问题，因为在共享总线环境中，设备之间的连接都必须通过指定的端口建立单独的链路。

    Infiniband的四大优点：基于标准的协议，每秒10 GB性能，远程直接内存存取（Remote Direct Memory Access，简称RDMA）和传输卸载（transport offload）。

    标准：成立于1999年的Infiniband贸易协会 由225家公司组成，它们共同设计了该开放标准。主要掌控该协会的成员包括：Agilent, Dell, HP, IBM, InfiniSwitch, Intel, Mellanox, Network Appliance和Sun Microsystems公司。其他的100多家成员则协助开发和推广宣传该标准。

    速度：Infiniband每秒10gigabytes的性能明显超过现有的Fibre Channel的每秒4 gigabits，也超过以太网的每秒1 gigabit的性能。

    内存：支持Infiniband的服务器使用主机通道适配器（Host Channel Adapter，简称HCA），把协议转换到服务器内部的PCI-X或者PCI-Xpress总线。HCA具有RDMA功能，有时也称之为内核旁路（Kernel Bypass）。RDMA对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。

    传输卸载（Transport Offload）: RDMA 能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担。要是在OS中处理10 Gbps的传输速度的数据，就需要 80 GHz处理器。

    中央处理器CPU与其存储子系统的设计是集群系统性能的指示器；但是，随着集群规模的扩展，保证CPU的资源不被占用的关键是互连网络。互连网络的任务就是将集群中海量的应用数据以尽可能快的速度从节点“A”传到节点“B”，那么从不同部分产生的延迟就是需要考虑的关键。所以，为了达到非常好的的应用效率，就要对可能产生延迟的部分做到延迟最小化。幸运的是，虽然产生延迟的部分有很多，但是，大多数延迟的瓶颈可以在互连网络这一级得到解决。

图示：Infiniband在数据传输中的位置

    采用Infiniband的系统具有很强的可扩展性：按需购买，按需升级，按需扩展

a） 性能升级 ：硬件和软件可以进行上下兼容，新的驱动可以在原有设备上进行安装，提高性能。
b）带宽升级：3.3Gbps和5Gbps和10Gbps的三种解决方案之间可以进行灵活的升级；客户所需要的只是增加交换机的背板模块。
c）规模升级：交换机之间可以进行堆叠来实现集群扩展。IO9120（144端口），IO9240（288端口）的交换机，都是以12端口为单元进行扩展的，均采用通用模块；由于Silverstorm(原Infinicon）子网管理器可以实现动态部署，无需对集群进行重新配置，添加的节点实现即插即用。

使用和维护简单：

    产品中有集群辅助工具： Fast Fabric Tool （FFT）；该工具可以对快速的集群进行安装、硬件可靠性测试、集群性能、测试和软件驱动的升级；当采用FFT进行了Silverstorm(原Infinicon）公司网络的安装之后，在新的驱动版本推出后，通过FFT在最初安装时留下的端口，只需一条命令就可以对整套集群进行软件的升级。

a）高带宽（每秒传输10Gb）；
b）低延迟（最低4.5us）；
c）QOS功能；
d）高扩展性；
e）直接与存储设备和以太网连接，形成三网合一；
f）基于TCP/IP的应用不需要任何改动即可利用Infiniband的特性；
g）RDMA协议的应用，减轻CPU的协议消耗；
h）与PCI-EXPRESS总线捆绑，能体现Infiniband更大的优势。

    除了以上技术上的优势外，由于该技术标准定义了后续产品的技术指标，如带宽达到30G，60G等，所以用户选择该技术可以保证其利益的延续性和技术领先优势。

    这些智能化、模块化的设计可以允许客户按照应用的实际需求来配置集群。有一些应用的需要尽可能大的带宽，那么可以利用Infiniband单向10Gb/s、双向20Gb/s的带宽；而一些应用不需要这样高的带宽，目前需要2.5Gb/s的带宽就足够的应用在将来可能需要更大的带宽。所以设计集群的时候，结构上的灵活度也很重要：最理想的状况，用户可以拥有满足现有应用所需的带宽的同时还能够动态的灵活快速的满足将来应用对带宽的需要。在Infiniband以前，现有主流的高速集群网络传输速度局限在2.5Gb/s或更低。现在，利用Infiniband的带宽优势，集群的结构可以有多种多样的带宽上的选择和配置。不同的配置是确保每两节点间通信最小带宽为3.3Gb/s。需要注意的是，这种配置下的每一个节点的Infiniband带宽能力仍然是10Gb/s，只是将多对服务器共享一条交换机的内部互连带宽：当这多对服务器只有一对通信时，通信带宽为10Gb/s；两对同时工作时，通信带宽为5Gb/s；只有在多对服务器同时工作时带宽为3.3Gb/s。所以只需对集群中的核心交换机和边缘交换机的内部互连进行不同的配置就可以灵活的配置出自己满意的集群。这样做的另一个好处是节省客户在整体设备和空间上的投入成本，例如：甲客户在2002年配置了3.3Gb/s CBB的Infiniband网络；2003年需要达到5Gb/s CBB的Infiniband网络，原来的网络设备可以保留，添加相应的交换设备就可以；2005年需要达到10Gb/s的带宽，这时前几年投入的设备依然可以使用。如果客户在一套集群中部分节点需要10Gb/s的带宽，也需要低带宽以降低成本，Infiniband就可以灵活配置满足客户的要求。