2.4. 硬件组成
为了使Infiniband有效地工作,Infiniband标准定义了一套用于系统通信的多种设备,包括信道适配器、交换机、相关线缆和子网管理器。
如图所示:双端口HCA卡
HCA卡--Infiniband信道适配器,信道适配器用于Infiniband结构同其他设备的连接。Infiniband标准中的信道适配器称作主信道适配器(HCA)
HCA提供了一个对Web server等主CPU和存储器子系统的接口,并支持Infiniband结构所定义的所有软件动词(Verb)。这里所说的软件动词是对客户方软件和HCA功能之间接口的一种抽象定义。软件动词并不为操作系统指定API,但它定义了操作系统厂商可能用来开发适用应用程序接口(API)的操作。
如图所示:24端口Infiniband交换机
Infiniband交换机。交换机是Infiniband结构中的基本组件。一个交换机中的Infiniband端口不止一个,它能根据本地路由器包头中所含的第二层地址(本地ID/LID)将数据包从其一个端口送到另外一个端口。交换机只是对数据包进行管理,并不生成或使用数据包。同信道适配器一样,交换机也需要实现子网管理代理(SMA)以响应子网管理数据包。交换机可通过配置来实现数据包的点播或组播。
Infiniband线缆。Infiniband标准定义了三种链路速率,分别为:1X、4X和12X。此标准也定义了包括铜导线和光纤在内的物理介质。此外,它还定义了用于光纤和铜导线的标准连接器和电缆。铜缆上的1X链路采用四线差分信令(每个方向两线),可提供2.5Gbps的全双工连接。其他链路速率都建立于1X链路的基本结构上,一条Infiniband 1X链路的理论带宽是2.5Gbps。但实际数据速率为2Gbps(因为链路数据采用8b/10b编码)。由于链路具有双向性,所以全双工数据速率为4Gbps。相应的,4X和12X链路的规定带宽为10Gbps和30Gbps。
子网管理器。子网管理器对本地子网进行配置并确保能连续运行。所有的信道适配器和交换机都必须实现一个SMA,该SMA与子网管理器一起实现对通信的处理。每个子网必须至少有一个子网管理器来进行初始化管理以及在链路连接或断开时对子网进行重新配置。通过仲裁机制来选择一个子网管理器作为主子网管理器,而其他子网管理器工作于待机模式(每个待机模式下的子网管理器都会备份此子网的拓扑信息,并检验此子网是否能够运行)。若主子网管理器发生故障,一个待机子网管理器接管子网的管理以确保不间断运行。
HCA卡驱动包:Silverstorm提供统一的,完善的Infiniband驱动软件;同时支持HPC应用和SharedI/O应用;特别是针对大规模机群的应用;其软件在设计上做到性能优化、易于安装和升级;在众多大规模集群得到了性能和操作上得到进一步优化和验证:
HCA 驱动主要包括:
IB Network Stack --àIB access layer和HCA驱动
Fabric Fast Installation --à集群辅助工作
IP over IB Driver --à基于IB的IP协议
MPI --àSilverStorm提供的MPI
MPI Development --àMPI开发包
MPI Source --àMPI原代码
InfiniNic --à基于网关设备以太网和IB网络的转换协议
InfiniFibre --à基于网关设备的FC网和IB网络的转换协议
SDP --à卸载TCP协议的IB本地协议,支持Socket应用
RDS --à卸载UDP协议的IB本地协议,支持原UDP应用
Udapl --àuser Direct Access Provide Library