服务器 频道

Infiniband:新一代集群系统的新宠

剖析IB网络组成结构

    为了使IB有效地工作,IB标准定义了用于系统通信的多种设备,包括信道适配器、交换机和子网管理器。如图5所示为IB网络以及各部件。

图5 IB网络组成部分举例

1)IB信道适配器:用于IB结构同其他设备之间的连接,IB标准有两种类型的信道适配器,一种是主机信道适配器(HCA),另外一种是目标信道适配器(TCA)。

    HCA卡提供了一个对于Web server等主CPU和存储子系统的接口,并支持IB结构所定义的所有软件动词。这里所说的软件动词是指对客户软件和HCA功能之间接口的一种抽象定义。软件动词并不为操作系统指定API,但它定义了操作系统厂商可能用来开发适用应用程序接口的操作。而TCA提供IB到I/O设备的连接。这种IO卡可以是一种网络接口卡(NIC),它包含了每种设备特定操作所必需的部分功能。

2)IB交换机:是IB结构中的核心部件,类似千兆以太网中的网络交换机,一般含有多个端口,它能根据本地路由器包头所含的第二层地址(本地ID/LID)将数据包从一个端口送到另一个端口。交换机只是对数据包进行管理,而自己并不生成或使用数据包。同信道适配器一样,交换机也需要子网管理代理(SMA)以响应子网,管理数据包。交换机可以通过配置来实现数据包的点播和组播。

3)IB线缆:定义了三种链路速率,分别为1X,4X,12X,此标准同时也定义了铜导线和光纤在内的物理介质。此外,还定义了用于铜缆和光纤标准连接器和电缆。铜缆上1X链路采用4线差分指令(每个方向1对差分线),可提供SDR2.5Gbps,DDR=5.0Gbps,QDR=10Gbps的全双工的连接。其他链路速率都是建立与1X链路的基本结构上,一条IB 1X链路的理论带宽如上文所述,但由于采用8b/10b解码,所以实际数据速率是2/4/8Gbps,由于链路具有双向性,所以全双工的数据速率为4/8/16Gbps。

4)子网管理器:对于本地子网进行配置并确保能够连续运行,所有的信道适配器和交换机都必须实现一个SMA,该SMA同子网管理器一起实现对通信的处理。每个子网必须至少要有一个子网管理器来进行初始化管理以及在链路连接或者断开时对子网进行重新配置。通过仲裁机制来选择一个子网管理器作为主子网管理器。其他子网管理器工作在待机模式,在每个处于待机模式下的子网管理器都会备份次子网的拓扑信息,并检验此子网是否能够运行。如主子网管理器发生故障,一个待机子网管理器接管子网管理以保证不间断运行。

0
相关文章