4.4. 有限元分析计算机群设计（64节点）
4.4.1. 项目背景
中科院某所是以进行广泛的物质科学领域的计算和模拟研究为主要研究方向的研究所。还兼有开发新的计算技术和计算模拟方法的任务。对新方法的发展，包括从微观到宏观，从单体到多体系统，从经典到量子，从常温常压到极端条件等等领域的不同范畴不同尺度的计算模拟新方法，涉及到材料、能源、信息、 生物、环境等领域，及物理、数学、化学、生物、计算机科学等学科。不仅如此，中心还承担着国家相关研究课题，主要体现在物理科学的模拟与计算、国内核心“物质模拟机”的研究运用和成为代表国家水平的开放中心上。
由于中心进行的项目多、复杂，往往多种应用程序要并行、串行, 而且CPU、RAM、存储需求都很大。运用普通的超级计算机，模拟程序一旦运行，就会产生内存不够等问题，往往严重影响甚至阻滞了科研的发展。因此，中心的科研急需利用更先进的信息技术和计算机设备来提高数据处理、计算的能力。
目前中心常用的软件包括LS-Dyna、VASP等很成熟的商业软件，应用范围比较广泛，8个研究室都要在一年内完成相关课题，研究任务必将繁重。虽然对计算的需求很大，但每个研究室并没有充裕的资金和力量构建具一定规模的计算平台，所以经过协商，采用“联手”的方式构建较大规模的计算平台，如此可以节省重复劳动、降低管理费用。经讨论，构建一套64节点的高性能计算平台，平时每个实验室可以使用其中的一部分（8台），如需要更多的资源可以跟管理人员提出申请，进行大规模计算。目前暂定主要应用软件为LS-Dyna，若以后还有相关深入研究，则根据实际情况，增加其它软件的支持。
4.4.2. 方案分析
4.4.2.1. 应用分析
该项目用于LS-Dyna的应用。LS-DYNA 是世界上最著名的通用显式动力分析程序，能够模拟真实世界的各种复杂问题，特别适合求解各种二维、三维非线性结构的高速碰撞、爆炸和金属成型等非线性动力冲击问题，同时可以求解传热、流体及流固耦合问题。在工程应用领域被广泛认可为非常好的的分析软件包。与实验的无数次对比证实了其计算的可靠性。
根据上文3.3分析，LS-Dyna应用在千兆以太网络时的并行加速比并不是很好，尤其是到了16颗CPU，若采用高速网络，并行加速比得到了大大的提升，所以该项目中非常建议用户采用高速Infiniband网络构建系统。
4.4.2.2. 架构分析
Infiniband网络有其高效的一面，但也有其复杂的一面，或者可以称其为灵活性很强。本项目中要构建一套64节点的高速网络既可以通过普通的24口交换机搭建也可以直接选用144口的大规模交换机，节省了布线难度。
10G全互联的网络构架一：
如图所示：该结构是通过标准24口交换机搭建起来的10G网络系统，为了达到互联的目的，每个交换机只可连接12个计算节点，所以此结构图适用于的最大计算节点个数为：12*6=72个，即：该逻辑拓扑结构图适用性为：61~72个节点的10Gb的高速交换架构。
但仅仅通过拓扑图即可以看出该网络环境极为复杂，各个交换机交叉会有很多联系，如此在项目实施的时候会比较困难，除非有比较有经验的工程实施人员，而且整体系统在短期内不会发生变更才建议选用这种方式。
10G全互联的网络构架二：
上文曾经介绍过，Infiniband还有一种模块式最大可达144口的交换机，该交换机属于InfinIO9120模块化交换机,高度只有7U，支持12个扩展插槽、每个插槽内可以插入12端口IB扩展模块。InfinIO9120交换机具备很高的可靠性，每一款交换机都配备冗余的管理、电源和风扇；交换机的内部软件可以很方便的升级。InfinIO9120交换机同样采用silverstorm公司开发的Infiniview管理软件对交换机进行管理和配置；保证用户对silverstorm产品使用时感到一致；一台InfinIO9120交换机可最大支持144个节点，以12节点为单位进行递增，具有很高的灵活性和可扩展性。
IO9000系列交换机的扩展插槽中可供选择的模块：
12-端口4X （10Gb/s）Infiniabnd交换模块。
64节点两种方案对比：
采用多个24端口的交换机IO9024搭建，使用交换机较多，工程实现的难度稍大一些。但易于拆卸，使用方便。
采用IO9120，通过插入12端口的模块进行扩展机群规模，操作简单；另外可以通过插入SPINE核心交换模块，来搭建3.3,6.6,10Gbps的解决方案，非常灵活。
4.4.2.3. 扩展性分析
集群规模的扩容：一台IO9120交换机最多可以支持144端口10Gbps Infiniband连接，同时IO9120交换机支持与silverstorm其它交换机的堆叠，实现集群规模的扩容。
软件的简便升级：当软件新版本推出后，使用快速安装工具能够快速的实现整个网络的IB环境升级。
4.4.3. 建议配置
