Dell PowerEdge C410x连接外部主机节点
与使用NVIDIA Tesla S1070 或S2050相同,Dell PowerEdge C410x需要通过主机节点内部的主机接口卡(Host Interface Card,HIC)连接外部主机节点。你可以通过PCIe连接线连接主机节点与Dell PowerEdge C410x的主机接口卡。重启主机节点后便会自动识别到Dell PowerEdge C410x内部的插卡,与主机节点的本地设备没有太多区别。
Dell PowerEdge C410x内部的GPU可以通过多种方式连接主机接口卡。第一种方式是为Dell PowerEdge C410x机架配置8颗GPU,对应于Dell PowerEdge C410x机架背板上的8个HIC接口。这样背板上的每个HIC接口就能够连接到外部主机节点上的HIC接口。这种方式的对应模式是一对一,也就是一颗GPU对应一个PCIe x16插槽。
第二种方式是为Dell PowerEdge C410x机架配置16颗GPU,这样背板上的每个HIC接口所连接的每个外部主机节点能够识别到2颗GPU。这种选择的对应模式是二对一,也就是两颗GPU对应一个PCIe x16插槽。
以上两种解决方案很容易配置—你只需为Dell PowerEdge C410x机架配置包含GPU的热交换卡并将机架背板上的HIC接口与对应的外部主机节点的HIC接口相连即可。你可以使用IPMI 2.0 BMC Web接口登录到机架上检查GPU是否映射到对应的HIC接口。同时使用IPMI 2.0 BMC Web接口还能够进行更多的配置。你可以最多指定8颗GPU对应于一个特定的HIC接口,也就是说你可以将8颗GPU指定给连接了该HIC接口的主机节点。每个HIC接口能够连接5到8颗GPU是Dell PowerEdge C410x一个新特性,需要对其内嵌的管理软件进行升级。旧版本的管理软件每个HIC接口最多只能连接4颗GPU。
GPU配置的常见问题都与GPU和主机之间的带宽相关。理解该问题的最好方法是取极限值(也就是确定最高带宽与最低带宽)。Dell PowerEdge C410x机架内的每颗GPU物理连接到一个PCIe x16插槽上。这意味着即使每个HIC端口连接2颗或者更多的GPU,每颗GPU能够达到的最大吞吐量也就是PCIe x16插槽的吞吐量,这时没有其他的GPU在同时进行通信。当所有的GPU在同时进行大量的数据通信时,性能将降到最低。假设每个HIC端口连接了8颗GPU,那么每颗GPU只能获得PCIe x16插槽八分之一的带宽。如果每个HIC端口连接4颗GPU的话,每颗GPU将获得PCIe x16插槽四分之一的带宽。
很少看到使用多颗GPU的应用程序同时与大量的数据进行通信的情景,因此应用程序实际的性能通常处于最高性能与最低性能之间。
为主机节点配置GPU可以通过简单的命令脚本实现,该配置工作可以很容易地作为作业调度的一部分进行。然而,以这种方式对系统进行配置需要注意以下两点:
1.确保即将分配给主机节点的GPU没有被其他主机节点使用。否则原来在使用该GPU的主机节点将认为硬件出现了故障。
2.更改GPU数目时,你需要重启节点。因为GPU是主机节点新的PCIe设备,只用重启该节点GPU才会被作为新硬件识别到。
能够给主机节点动态分配GPU允许你在应用程序开发过程中满足不同数量级的应用程序及用户对GPU的需求。假设你有一个非常成熟、稳定的应用程序被一些用户使用,每个PCIe x16接口可能使用4到8颗GPU。但是也存在每个用户只需要在每个PCIe x16接口上使用1颗GPU的情况。使用Dell PowerEdge C410x,编写一些简单的脚本就能够满足用户对每台物理主机使用GPU数目以及相关资源的要求,重启节点后就可以使用相应的GPU及相关的资源了。
Dell PowerEdge C410x为应用程序及相关的开发工具带来了非常多的灵活性。其他相关的解决方案,GPU都集成在计算节点内部,也允许你增加GPU数目,在一定程度上能够满足对GPU计算的要求,但受限于计算节点所提供的GPU,其灵活性不足,难以满足应用程序及开发工具对GPU计算的多样化需求。
选择主机节点
Dell PowerEdge C410x能够连接多种主机节点以满足多种GPU应用程序场景。以下是C410x能够连接的三大主机节点:Dell PowerEdge C6100、Dell PowerEdge C6105、Dell PowerEdge C6145。
图6是Dell PowerEdge C6100的示意图,机架高度为2U,包括了4个独立的基于双插槽Intel 至强5600系列处理器的系统。该机架配置了双冗余电源为四个系统板供电,配置了两个热插拔驱动器:最多能够支持24块2.5英寸硬盘或12块3.5英寸硬盘。硬盘驱动器能够在四个系统之间平均分配。
▲图6. Dell PowerEdge C6100后视图
每个系统都基于双插槽的Intel至强5600系列处理器,具有12个内存插槽,2个千兆以太网端口,一个兼容于IPMI2.0的BMC,一个用于RAID控制器或网卡的PCI x8插槽以及一个PCIe G2 x16插槽。其中,PCI x8插槽能够使用10Gb以太网卡或InfiniBand网卡,而PCIe x16插槽用来安装HIC卡连接C410x机架。C6100的每块系统板能够连接Dell PowerEdge C410x的1颗到8颗GPU。
Dell PowerEdge C6105与Dell PowerEdge C6100相似,只不过系统板使用的是AMD Opteron 4100系列处理器。图7展示了最近发布的Dell PowerEdge C6145。
▲图7. Dell PowerEdge C6145后视图
Dell PowerEdge C6145与Dell PowerEdge C6100和Dell PowerEdge C6105的机架结构基本相同,包含了两个使用AMD Opteron 6100系列处理器的四插槽系统。每个系统包含32个内存插槽,2个1Gb以太网口,一块PCIe G2 x8夹层卡,3个PCIe G2 x16插槽,以及一个PCIe x16 HIC接口。图8是C6145的后视图。
▲图8 Dell PowerEdge C6145详细的后视图
两个冗余的电源模块位于左侧,右侧是两块系统板。每块系统板的底部是一排外部连结器:以太网口在左侧,BMC端口靠右侧,视频端口以及串口在中间,USB端口在BMC端口右侧。PCIe x8夹层卡位于上下两个x16 HIC端口之间,能够插入10Gb以太网卡或InfiniBand网卡。
Dell PowerEdge C6145与Dell PowerEdge C6100和Dell PowerEdge C6105的驱动器配置相同,前面板最多配置24块2.5英寸硬盘或12块3.5英寸硬盘。所有的硬盘驱动器在两个系统板之间平均分配。
使用C410x以及三大主机节点,能够创建众多不同的GPU配置,能够根据用户的实际需求灵活地将GPU分配给主机节点。在下一篇文章中我们将选择一些GPU配置进行重点介绍。