4.3. 流体力学应用计算机群设计（48节点以下）
4.3.1. 项目背景

    随着CFD（计算流体力学）逐步在各个行业的深入，CFD商业软件Fluent有很大的发展前景。Fluent已经在航空航天、石油化工、建筑、热能等大领域有广泛应用。支持Fluent等大型CFD/CAE商业软件的并行系统平台的需求随着国民经济发展逐渐提高。
    在航天领域fluent可以模拟复杂几何模型的内、外流场。可以进行飞机内外流耦合计算、导弹飞行姿态过程模拟、气动噪音数值模拟、染料箱液体振荡模拟、飞行器部件温度场数值模拟、发动机燃烧室燃烧模拟、火箭喷管模拟、弹道飞行模拟、冷却系统模拟、换热系统模拟等应用。

    近年来我国的航空航天技术也已经赶上并超过一些发达国家的研究水平，在对这个领域的进一步探索中，无法完成大规模计算一直制约着前进的步伐，为此，航天三院的研究人员终于明确了一个目标“工欲善其事必先利其器”，加大对科研的投资力度，构建一套较大规模的48节点的高性能计算机群，为新的课题奠定良好的科研环境。

4.3.2. 方案分析
4.3.2.1. 应用分析

    首先分析用户应用，该项目中主要应用软件是Fluent。Fluent是目前世界上广泛使用的CFD商用软件，用来模拟从不可压缩到高度可压缩范围内的复杂流动。由于采用了多种求解方法和多重网格加速收敛技术，因而FLUENT能达到非常好的的收敛速度和求解精度。灵活的非结构化网格和基于解算的自适应网格技术及成熟的物理模型，使FLUENT在层流、转捩和湍流、传热、化学反应、多相流、多孔介质等方面有广泛应用。Fluent属于比较成熟的商业软件，其应用模式具有很强的代表性。

    完整的Fluent计算过程可分为三块：

前端处理（Preprocessing）
计算和结果数据生成（compute an result）
后处理(Postprocessing)

    前端处理通常要生成计算模型所必需的数据，这一过程通常包括建模、数据录入（或者从cad中导入）、生成离开格等；做完前处理后，CFD的核心解释器（SOLVER）——Fluent将根据具体的模型，完成相应的计算任务，并生成结果数据；后处理过程通常是对生成的结果数据进行组织和诠释，一般以直观可视的图形形式给出来。其中中间处理的过程是最耗费计算单元的了。

    根据上述3.1节可知fluent在普通千兆以太网上的性能加速比很好，在Infiniband上的性能也有相应的提升，但是投入较多，在资金允许的范围内可以考虑采用高速网络作为系统间的通讯介质。

    本项目中用户预算比较充裕，而且立项的目的就是为了尽可能快的完成计算任务，要求系统具有48个计算节点的能力。

4.3.2.2. 架构分析

    由上文可知，Infiniband的交换机只有24口和144口两种，此谓遗憾，但是由于Infiniband带宽很高，还可以有很多种灵活的搭建模式。可以分为3.3G-10G和5G-10G以及10G全互连的构建方式。

3.3G-10Gb CBB方案：

如图所示为3.3Gb/s CBB* 方案

*：CBB (constant bisectional bandwidth)：恒定的半分带宽指的是集群内部可用的带宽是恒定的(例如：3.3 Gb/s).

3.3~10Gbps Infiniband解决方案的工作原理：

a. 核心交换模块和边缘交换模块的连线为10Gbps连接
b. 服务器（1、2、3、4、5、6）与交换机的连线全部为10Gbps连接。
c. 当图中6台服务器中仅有1和2通信时；通信带宽为10Gbps。
d. 当图中1和2、3和4同时通信时；最小通信带宽为5Gbps。
e. 当图中1和2、3和4、5和6同时通信时；最小通信带宽为3.3Gbps。

    由图中可知，每一个最底层的边缘交换模块还有两个端口属于空余状态，所以此结构图适用于的最大计算节点个数为：18*3=54个，最小计算节点个数为：37个。即：该逻辑拓扑结构图适用性为：37~54个节点的3.3G~10Gb的高速交换架构。

5G-10Gbps方案：

如图所示为5Gb/s 方案，可以看出与3.3~10Gbps 的架构类似

5~10Gbps Infiniband 与3.3~10Gbps Infiniband解决方案的工作原理：相同

a. 核心交换模块和边缘交换模块的连线为10Gbps连接
b. 服务器（1、2、3、4）与交换机的连线全部为10Gbps连接。
c. 当图中4台服务器中仅有1和2通信时；通信带宽为10Gbps。
d. 当图中1和2、3同时通信时；最小通信带宽为5Gbps。

    由图中可知，每一个最底层的边缘交换模块均已占用，所以此结构图适用于的最大计算节点个数为：16*3=48个，另观察可知最小计算节点个数为：33个。即：该逻辑拓扑结构图适用性为：33~48个节点的5G~10Gb的高速交换架构。

10Gbps全互联的 FBB方案：

如图所示为10Gb/s 方案，可以看出与5~10Gbps的架构有很多不同

    10Gbps Infiniband的工作方式属于标准的全互联工作方式：每个边缘交换模块只有12个端口用于连接计算节点，其余12个端口中一半的端口用于连接核心交换模块1，另一半用于连接核心交换模块2，如此保证从node1至node48均可达到10G的带宽。
由图中可知，欲达到每个节点之间的交换带宽均为10G则每个交换机只可连接12个计算节点，所以此结构图适用于的最大计算节点个数为：12*4=48个，若上图中的边缘交换模块为三个，则最大连接节点的个数为12*3=36个。即：该逻辑拓扑结构图适用性为：37~48个节点的10Gb的高速交换架构。

架构分析：

    观察上述三种逻辑图：该项目为48节点的高性能计算系统，3.3G与5G的图中区别仅仅是在5G的结构中多了两条线缆连接，线缆的投资相对很小，所以建议该项目不必考虑3.3G连接方式，在投资允许的范围内选择5G连接架构或10G连接架构。

4.3.2.3. 扩展性分析

集群硬件升级方案：

注：
集群规模扩容（48节点升级到54节点）：只需要增加6块HCA卡和6根线缆
集群带宽扩展（3.3Gbps升级到10Gbps全互联）：只需要增加2台IO9024和30根线缆就可扩展到48节点的10Gbps全互联。
集群软件的升级：所有产品使用一套软件，保证客户使用Infiniband产品的易用性和一致性；当软件新版本推出后，使用集群安装辅助工具能够快速的实现整个网络的IB环境升级,保持客户集群软件平台的先进性和高性能。

4.3.3. 建议配置