高性能计算集群优化与应用程序实例分析-服务器专区

高性能计算集群优化与应用程序实例分析

作者：孟庆编辑：孟庆 2010-10-28 10:48 IT168网站原创

　　【IT168 特别报道】10月27日-30日，北京，国家会议中心，高性能计算领域的一场大戏即将上演。今年的全国高性能计算学术年会(HPC China 2010)由中国计算机学会高性能计算专业委员会主办、中国软件行业协会数学软件分会协办、北京市科学技术研究院和北京市计算中心承办。作为网络媒体合作伙伴，IT168将对此次盛会进行专题报道【点击专题http://subject.it168.com/Active/HPCChina2010/】。

国际高性能计算咨询委员会中国区总监刘通先生27日下午为在座的来宾带来了题为“高级计算机集群性能优化与应用程序实例分析”的主题演讲。演讲首先列举了系统的优化和分析步骤，并对优化后的性能提升做了对比，以生动的实例对系统优化的具体步骤做了诠释。

高性能计算集群优化与应用程序实例分析
▲国际高性能计算咨询委员会中国区总监刘通先生

系统基本测试的四个测试环节

据刘通介绍，系统在优化之前必须做相关的瓶颈和应用分析，而分析的前提是有足够的测试数据——因此首先需要对系统测试的四个环节做出梳理。他认为，BIOS设置、CPU/Memory测试、网络环节测试和对文件存储系统的测试是必须要做的四个测试步骤。

BIOS设置主要是指针对不同系统优化相关设置选项，如在戴尔技术人员讲解的集成优化方案中就强调了AMD平台和Intel平台BIOS设置所带来的影响。另一方面是CPU和内存的常规性能测试，而网络方面的测试设计因素较复杂，主要有驱动/固件方面的稳定性测试，底层性能测试，MPI并行传输和计算的测试等。文件系统方面的测试则主要是对磁盘阵列的性能以及分布式文件系统的性能做出测试。

针对上述测试，刘通先生介绍了几款性能分析和调优工具：如Platform MPI，Open MPI，Intel MPI等，分别可以对不同平台的并行计算和通讯做相应的分析与优化。

刘通表示，做以上工作的意义在于“不要只依赖‘有一个高性能的系统’，还要知道这个系统的性能和瓶颈在哪，才能知道如何去用和如何用好这套系统。”

实例展示：不同应用性能提升方式不同

高性能计算集群优化与应用程序实例分析
▲名叫NWChem的高分子量子化学计算软件

高性能计算集群优化与应用程序实例分析
▲这是测试结果，可以看出HP-MPI+ACML以及OpenMPI+ACML的性能明显要好，在核数增加后依然如此，ACML的性能和扩展性更好

高性能计算集群优化与应用程序实例分析
▲网络方面的测试也证明了Infiniband的强势，比以太网快2.36倍

高性能计算集群优化与应用程序实例分析
▲这是点对点的通信负载性能分析，可见MPI-Iprobe在各内核规模下表现都很强，MPI-Recv受影响较大

高性能计算集群优化与应用程序实例分析
▲此外，分析MPI消息的大小很关键：消息大小的分析会对网络优化起方向指导性的作用——如果消息小的话，需要网络低延迟的传输大量小数据；而如果消息大的话，则除了对网络传输时延有要求，还对网络吞吐产生压力。这个实例中的消息大小普遍分布在1KB-16KB，对系统的压力主要集中在低延时和快速I/O上