【IT168 专稿】在网络中，服务器承担着数据的存储、转发、发布等关键任务，在早期网络不是很普及的时候，并没有服务器这个名称，当时在整个计算机领域只有大型计算机和微型计算机两大类。只不过随着网络，特别是局域网的发展和普及，“服务器”这个中间层次的计算机开始得到业界的接受，并随着网络的普及和发展不断得到发展。网络和互联技术普及了服务器的发展，而更好的互联技术则促进了服务器的技术发展和应用，服务器网络互联从最初的专用网发展到了已经普及商用以太网包括千兆以太网和目前刚刚兴起的万兆以太网络，存储则逐渐使用FC和Infiniband网络，而在高性能计算中，Infiniband，Myrinet和Qudards已经占据半壁江山，电信应用中的RapidIO和ASI等也都成为了标准应用。

    目前，互联网发展持续呈指数增长，人们正从各个层面上感觉到这种惊人的发展速度。怎样保持这种增长速度，服务器系统间的互连速度就变得非常关键，以顺应互联网支持系统相应地成比例增长的趋势。

    为提高系统的互联速度，业界不停的开发新的互联技术，同时新的互联技术还需要卸载服务器主CPU的网络处理。很简单，将重要的CPU周期花在数据处理及转发上不再能被接受。为有效解决此问题，计算能力从中央处理器转移至卸载引擎及I/O器件上。

    对于目前高速网络中应用于电信以及高性能计算领域中的互联技术主要有以下几种：Infiniband、快速结构(Rapid IO)、ASI、万兆交换、Myrinet、Quadrics等，下面对这几种网络从技术、性能和成本等方面进行分析和比较。

技术分析

1）Infiniband架构

    Infiniband架构(IBA)正在朝集群等高端计算应用领域发展，这些应用要求有故障恢复、高可用性、可靠性及耐用性等特性。IBA 支持模块至模块以及机箱至机箱互连、可以X1、X4及X12三种形式应用并采用2.5GHz时钟，目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps，占用8B10B 编码开销。在下一代的技术采用 QDR，带宽将再次提高一倍，就最高可达120Gbps。为提供必要的QoS，该标准还提供了16级可映射到16个服务层的虚拟通道。基于信用的流控制及注入速率控制机制，被用来提供必要的拥塞管理。

    IB目前推荐fat-tree（胖树结构）或者3d-TOUS连接，采用网络无阻塞技术，可以使每个节点间通讯无阻塞。它定义了用于可靠消息传送(发/收以及DMA)的硬件协议，但未定义消息内容。硬件协议允许从操作系统的内核及用户空间来传送数据。

    Infiniband支持诸如配置与资产管理、错误报告、性能指标收集以及拓扑管理等结构服务。它天生就使用IPv6包头来在IBA结构与 互联网之间有效地交换数据。该架构具有更高的可扩展性、可用性、隔离度以及更少的CPU使用率，而且还支持互联网技术。它以单独控制与存储器接口来控制数 据进出节点的存储器。

    Infiniband是一种可满足存储区域网、高端计算集群及局域网需求的全新互连标准。但以此种方式来创建这项标准以及为达其目标所带来的复杂性，却极大地限制了人们对它的采用与接受。

2）万兆互联

    万兆以太网相对于以往代表最高适用度的千兆以太网拥有着绝对的优势和特点。其技术特色首先表现在物理层面上。万兆以太网是一种只采用全双工与光纤的技术，其物理层(PHY)和OSI模型的第一层(物理层)一致，它负责建立传输介质(光纤或铜线)和MAC层的连接，MAC层相当于OSI模型的第二层(数据链路层)。在网络的结构模型中，把PHY进一步划分为物理介质关联层(PMD)和物理代码子层(PCS)。光学转换器属于PMD层。PCS层由信息的编码方式(如64B/66B)、串行或多路复用等功能组成。万兆标准意味着以太网将具有更高的带宽(10G)和更远的传输距离(最长传输距离可达40公里)。万兆以太网技术提供了更多的更新功能，大大提升QoS，具有相当的革命性，因此，能更好的满足网络安全、服务质量、链路保护等多个方面需求。

3）Myrinet

    Myrinet是一种当前性能价格比很高的局域网,适用于大规模并行处理,它采用二维结构进行并行双工传输,具有很高的数据传输率和很低的误码率.此外,采用令牌机制、切通开关、同步发送异步接收方式、链路流控制机制,以及无连接方式通信。双工并行传输，将独立的信道组合成全双工链路，在数据传输时每个信道的传输率为540Mbps，因此链路的传输率为1.28gbps，目前主流产品为2.56G，下一代10G产品还没有推向市场；二维结构，在以太网中采用一维的物理介质，在传输信息量较大时，时常出现拥塞和死锁。Myrinet采用二维结构，这种横向加纵向的相互交叉结构消除了信息传输过程对路由的固定相关性，从而在同一个时刻网络中可以有许多包沿不同路径阐述，避免死锁的路由算法大大简化；高效的数据传输率和低误码率。Myrinet工作在一个内部环境中，很好有包丢失或者传输的错误发生，同时大大简化协议开销。

4）快速结构

    快速结构(Rapid IO)是串行快速IO(sRIO，Serial Rapid IO)互连的扩展。sRIO是一种瞄准处理器互连应用并已被一些DSP器件所采用的芯片至芯片串行互连。其基本规范增加了组播、流控制及数据流等特性，以 将其转换成流量管理通信结构。

    快速结构目前主要应用于ATCA标准下的通信领域，目前以1.25/2.5/3.125GHz时钟速度支持X1及X4。在X4上，它所支持的最大带宽(占用8B10B编码开销)在 3.125GHz时钟速度上为10Gbps。其架构被组织成由逻辑、传输及物理层组成的三层协议栈。逻辑层定义了被端点用来执行互连服务的协议；传输层定 义了用于传输的寻址方案；广播与组播功能则通过操作传输信息来实现；物理层定义了数据包传输机制、流控制与电气特征。它总计能支持多达三路传输流及四个虚 拟通道。该标准委员会目前正在努力工作以进一步支持流控制与拥塞管理等特性，以满足背板要求。

5）高级交换互连(ASI)

    ASI是对PCI Express进行扩展，以提供一种旨在覆盖计算与通信互连的可扩展互连。它可从行业对PCI标准的广泛接受度上受益。ASI采用由物理、数据链路及传 输层组成的三层协议栈来实现。它复用了PCI Express的物理及数据链路层，只进行了少许增强。但传输层被完全改写以满足背板互连的目标要求。ASI是一种高度可伸缩架构，支持X1、X2、X4、X8、X12、X16及X32路，可提供高达64Gbps的吞吐量，并能在 2.5Gbps时钟速度上工作。

    目前由于Intel等几家主要投资方减少了对ASI的投资支持，目前该互联技术处于停滞当中，还没有相关商用产品得到应用。

性能和成本比较

1）谁更强？

    上面讨论的几种互连技术，在特性选择及简单与灵活性之间的折衷方面各有不同。要给某一特定应用选择一种合适的标准结构互连，必须对需要 执行的数据封包、服务种类区分、拥塞管理、事件处理、结构初始化及管理需求等核心结构特性进行彻底分析。由于RapidIO以及ASI在服务器上商用的不多，所以下面的比较没有太多涉及。下表的比较主要是对Infiniband DDR产品，SDR产品，Myrinet产品以及10G以太网进行。

以上数据来源：
[1]Infiniband：Ohlo State University MPI Benchmark;
[2]Myrinet: www.myrinet.com
[3]10GigE: www.chelsio.com

    从以上数据显示，采用20G的Infiniband DDR产品可以实际获得14Gb的带宽，次之的是采用10G以太网，可以获得10Gb的网络带宽，最小的是Myrinet产品仅有2.5Gb。

    而相对与延迟，表现最好的是Infiniband以及Myrinet，10G以太网在延迟最大，对于对网络延迟要求较严格的HPC计算领域，可以对前两者的选择较多。

2）谁更便宜？

    价格方面，对于端口较多的系统进行估算，单端口成本以DDR Infiniband为技术，下图是其他几种系统的端口成本。从比较结果来看，采用SDR系统成本最低，而10G以太网目前来看成本最高。

综述

    从目前的应用来看，根据最新的Top500高性能计算机统计结果表明，采用的比较多的通用通讯总线标准主要是千兆、Myrinet、Infiniband 、Quadrics。其中千兆的数量最多，占到42.4%，但无论是带宽还是延迟都无法和后三者相比，它的最大优势就是兼容软件群和低廉的价格。第二位的就是Myrinet，占到28.2%，但是从带宽和延迟的角度上看，其性能都不如Infiniband网络，此外更为实际的一方面Myrinet不是开放标准，对于软件维护工作就相对比较繁重；另一方面Myrinet并不提供芯片支持，而是提供一套整体解决方案，这样研发成本就会急剧增大，实行起来难度非常大。同样对于Quadrics而言，虽然它在延迟方面的性能优于Infiniband，但在开放性、芯片支持、软件兼容及其维护、单口价格方面都无法和Infiniband进行比较。

    所以在高性能计算网络中，Infiniband将会获得越来越多的应用。而对于通用系统，由于以太网应用领域十分广泛，而应用的地域范围几乎涵盖了世界的每一个角落，而10G以太网是千兆网络的继任者，千兆网络在软件兼容性以及网络覆盖区域有极大的优势，所以10G以太网除了基本技术优势外还具备千兆以太网的继承优势，但目前来看成本是其最大的弱点，但随着技术的发展和普及，其端口成本将会降低，并在通用网络中万兆将最终取代目前通用的千兆网络。