摘要：
使用计算机系统进行科学计算和模拟已经成为现代物理、化学和材料等领域研究最重要的方法之一。半导体设计的飞速发展使得在单位体积中的处理器密度较高提升和相应采购成本的降低，因此用户面临着两方面艰难的抉择，使用高性能计算机能够带来科研水平的飞跃，但是传统高曙光性能计算机使用上的专业性、复杂性又使用户望而却步。
HPC100是曙光公司研制的最新高性能计算平台。这个平台的推出非常好的符合用户的硬件需求并且极大地简化了使用模式，既可以给用户提供的一个科研计算的有力平台，同时也可以给部分潜在的用户一个尝试体验高性能的平台，符合现在高性能计算技术和市场发展的趋势。
通过典型应用在曙光PHPC100平台上的性能测试结果，本文给出了基于曙光PHPC100的量化计算和材料领域计算解决方案以及潜在用户。
关键词：
曙光PHPC100，量化计算，材料模拟，Gaussian，vasp
编写人员：赵崇山
技术支持中心 解决方案中心 高性能计算首席工程师&&应用体验中心主任
1. 高性能计算机的趋势和困难
随着半导体芯片技术和并行计算技术的发展，高性能计算机有着高端面向应用领域专业化以及低端向着大众“普及标准化”的两个方向发展。一方面，从TOP500排名来看最高端计算机追求面向其使用者的核心算法（如密度泛函，分子动力学，有限元算法）的持续性能和扩展性，另一方面，多核化的趋势已经深入处理器的设计中，使用者面临应用软件并行化的必然趋势。
事实上，几乎所有科研用户都会涉及到物理、化学和材料模拟计算的某一个方面，该领域实际占有科学计算的绝大部分领域。但是在用户尝试使用高性能计算机的时候，又会面临更多的困难，因此如何设计出一款既能保证性能又可以保持易用性的产品来符合这个市场，是摆在每一个从事高性能计算厂家的现实困难。
材料科学的研究者限于多方面的原因，对于高性能计算机的系统和使用并不是很熟悉，还是在使用性能很差的工作站甚至PC机，无论从计算能力还是未来发展趋势上，都不能满足现有科研规模的需要。但是用户对于购买一套大型的高性能计算又面临着经费、场地和管理人员的诸多困难，同时应用软件的扩展性也限制了用户的计算平台的规模。
相对于其他领域，物理、化学和材料计算领域用户的困难主要是由自身领域的特点决定的。每一个用户都会多多少少地涉及到模拟计算，模拟计算已经是理论研究和实验手段之外必不可少的一个重要的补充，但是总的来说，在使用的规模上比较小，尤其是对于中小研究组的用户。用户面临的最主要的困难在于经费的规模往往只有几十万，甚至十几万，这样采购出来的高性能计算平台往往仅仅是一个低端硬件平台，性能、稳定性等没有保障。
经费的限制会带来其他方面的影响，比如没有专用的机房必然会高性能计算机带来负面的影响。这样采购的高性能计算机只能放在条件相对低的环境中，办公室环境不容许计算机有很大的噪音，普通的高性能计算机都不可放置在办公室环境，会影响用户正常工作和身体健康。没有专业机房还会带来散热的问题，高性能计算机长期在高温环境下运行会极大地缩短硬件平台的使用寿命，而且所处的环境往往没有专门的动力电，只能使用普通的墙电，这样在长期负载比较大的情况下，会造成电气设备的安全隐患。
用户最关注高性能计算机系统的是应用性能和产出率，理论性能相对而言并不重要。应用性能生物计算平台需要达到一定的性能，以取代工作站和PC机，满足科研对计算处理能力的需要，同时要保证高效率。高性能计算平台是相对比较复杂的系统，包括多种硬件设备，系统软件，并行环境和应用软件等多个层次。整个软件系统的安装部署和调优，以及必要时的恢复也比较繁琐。很多用户觉得高性能计算平台的管理是一个痛苦的工作，但是原有高性能计算机的结构是以性能为导向的产品很难符合这类需求，因此市场迫切需要一种新的高性能计算平台的产生。
2. 曙光PHPC100
曙光PHPC100是曙光公司在2008年5月推出的桌面型的高性能计算机产品，也可以称为曙光个人高性能计算机。
曙光PHPC100具有以下特点：
· 是一种模块化的机群（Cluster）架构的高性能计算机
· 具有PC机、工作站、低端小型机所无法比拟的性能
· 具有良好的易用性，对使用者的门槛要求很低
· 无需专业机房、供电线路和散热设计，适合办公室环境，可以和PC机、工作站一样，放置在办公桌的附近
· 一体化的管理软件，友好的用户界面。管理简单方便，无需专门的系统管理人员
曙光PHPC100采用全模块化设计，背板连接，包括5个计算模块，最大支持10颗双核/四核处理器，采用20Gb Infiniband高性能网络和千兆以太网进行互联。
多台曙光PHPC100可以通过千兆以太网或者InfiniBand高速网络互连，构成更大规模的计算平台并且可以保持原有的易用性，或者组成不同使用目的的功能区，满足用户构建一个高效能的计算平台。
PHPC100支持WCCS2003、WHS2008、SuSE Linux、Redhat Linux等常用的Windows/Linux操作系统，配备系统管理软件和应用软件包。
曙光PHPC100有如下特点：
· 曙光PHPC100是专业为高性能计算应用而设计的一种有针对性的新型计算平台。
· 采用X86集群架构，易于保证和核心高性能计算环境的同构和兼容。
· 曙光PHPC100在硬件上采用模块化的设计方式，非常便于安装、管理和维护。
· 在软件上，曙光PHPC100采用定制化的高性能计算系统软件环境，专业的高性能设计方便用户的使用和维护。
· 采用低噪音、低辐射等办公环境设计，使得二层计算平台能够架设在办公室中，便于最终用户的使用。同时，其桌面型、傻瓜化的设计，便于用户的使用和管理。
3. 性能分析
3.1. 领域软件分析
现有的事实上的并行标准主要有共享内存和消息传递两种编程模式，因此物理、化学和材料计算领域的应用软件也不外乎这两种编程模式。共享内存编程模式主要是通过内存统一编址来实现数据的传递，Gaussian软件是这方面的代表，也是最常用的软件之一。虽然Gaussian软件可以支持通过Linda的消息传递模式，但是和单一操作系统的运行效率相比性能有所下降。消息传递模式并行编程便于程序的扩展性，也是这个领域主要应用所采用的计算模式。计算材料电子结构的vasp是其中典型的应用软件，在曙光PHPC上的测试也表明该平台的性能不亚于大规模的的机群的性能。
3.2. Gaussian软件
(一) 软件介绍
Gaussian是做半经验计算和从头计算使用最广泛的量子化学软件，可以研究：分子能量和结构，过渡态的能量和结构，化学键以及反应能量，分子轨道，偶极矩和多极矩，原子电荷和电势，振动频率，红外和拉曼光谱，NMR，极化率和超极化率，热力学性质，反应路径。计算可以模拟在气相和溶液中的体系,模拟基态和激发态。
Gaussian 03软件主要采用两种并行方式，主要采用基于OpenMP的并行方式。OpenMP并行方式可以运行在基于共享内存方式或者基于NUMA体系结构的高性能计算机上采用多线程的方式实现高速并行。Gaussian系列软件也引入了面向机群体系结构的，基于Linda并行库来实现多机的并行作业。TCP-Linda是专门为Gaussian03设计，实现G03分布式并行的必需程序。但是由于编程模式的限制，Gaussian03的主要应用模式。
(二) 测试平台
测试在若干常用平台上进行：
1. 曙光PHPC100，5个计算模块，使用Barcelona 2350处理器，主频2.0GHz
2. 曙光A0r-F胖计算节点，8个AMD Opteron8218双核处理器，主频2.6GHz
3. 其他体系结构的结果都是引用于互联网上友商的公开结果
算例采用软件自带的test397的算例，该算例使用密度泛函RB3LYP方法，高斯基展开使用3-21g方式，对由168个原子组成的缬氨霉素，进行过渡态优化，同时计算了布局分布和Mulliken电荷。
(三) 测试结果
(四) 结果分析
1) 在曙光PHPC100上，Gaussian软件具有优异的性能；在两个计算模块的规模上，达到了性能的高点，这是通常用户使用的模式。
2) 2台曙光PHPC100的性能高于2台A0r-F；
3) 曙光PHPC100相对于小型机性能并不差，同时从易用性、应用环境和价格来说，相差非常大；
3.3. Vasp软件
(一) 软件介绍
VASP是一个被广泛应用的基于密度泛函方法的从头算量子力学软件包，可以模拟固体、界面和表面的性质，适用于多种材料体系，包括陶瓷、半导体和金属等。第一原理计算允许科学家研究系统的电子、光学和结构性质的本质和根源，除了系统组成物质的原子序数以外，并不需要任何实验数据。因此，VASP非常适用于解决固体物理、材料科学、化学以及化工领域中的问题，在这些领域的研究中，科学家可以应用计算机进行虚拟实验，从而能大大节省实验的费用并缩短研发周期。VASP是使用赝势和平面波基组，进行从头量子力学分子动力学计算的软件包，它基于CASTEP 1989版使用Fortran90软件开发。
(二) 测试平台
测试在若干常用平台上进行：
4. 曙光PHPC100，5个计算模块，使用Barcelona 2350处理器，主频2.0GHz
5. 曙光A0r-F胖计算节点，8个AMD Opteron8218双核处理器，主频2.6GHz
6. 其他体系结构的结果都是引用于互联网上友商的公开结果
算例使用RMM-DIIS算法对50个汞原子构成的体系进行电子自洽计算测试，长算例使用共轭梯度（conjugate gradient）算法对50个汞原子构成的体系进行结构优化。电子自洽计算和结构优化是计算化学，材料计算，从头计算分子动力学中最为基础的，也是最经常做的计算，而DIIS和共轭梯度算法是使用最广泛，最优秀的全局收敛算法之一，因此算例很具有代表性。DIIS和共轭梯度算法主要的操作是对浮点数值矩阵进行相乘，相加的操作，所以测试主要针对系统的浮点计算性能。
(三) 测试结果
(四) 结果分析
1) 曙光PHPC100计算平台具有出色的浮点计算性能和扩展性；
2) Vasp软件在以太网上的扩展性只有16个核心，这样8个或者16个核心能够达到软件的最大效率；如果希望模拟更大规模的题可以增加InfiniBand模块，或者两个曙光PHPC堆叠；
3) 1套曙光PHPC计算平台完全和相同核数的小型机相比，极大降低了用户的拥有成本 ；
4. 曙光PHPC100的应用模式
4.1. 适用性分析
受限于应用软件的性能可扩展性，并行计算平台并不是规模越大性能越好。根据统计，国内大多数领域应用软件的计算规模都在几十个原子、分子体系的规模上，考虑我们前面提的软件扩展性的限制，实际以8～16个核的处理器规模为主，更大的机群和更多的进程并不能带来性能的提升，只是增加了整个计算平台的吞吐率。但是也带来了场地的要求，管理难度的增加。一个中小规模的机群如果管理不好的话，甚至计算能力还不如一个曙光PHPC。
单台曙光PHPC100可以配置5个计算模块，达到40个处理器核心，可以满足大多数小规模的材料领域应用的需求。在有扩展需求的情况下，也可以将多台曙光PHPC100互连，解决系统的可扩展性。所以和其他的解决方案相比，曙光PHPC100可以物理、化学和材料计算用户提供非常具有针对性的解决方案，适用于国内物理、化学和材料学研究的现实环境，从而避开了一次投资规模过大、高性能计算机管理人员缺乏和需要专用机房等额外的投入和苛刻要求。
4.2. 软件集成解决方案
对于物理、化学和材料科学的解决方案来说，无疑能够支持软件集成的方案对用户来十分有诱惑力。多年以来，这个领域的软件层出不穷，因此很难针对每一个软件进行集成，如果采用传统机群解决方案又会带来管理和场地等诸多问题。因此，多年来，为了获得8-16路CPU的运算性能，只能采用基于RISC芯片的小型机。采用RISC架构的小机有着单一系统映像的天然优势，但是传统意义上的小型机在带来高性能、高可靠和高可用等诸多优良价值的同时，也产生了封闭性、成本高昂、难于管理、可扩展性不足、程序可移植性差等问题。曙光PHPC100在多操作系统支持、易用性、易管理性、安装环境低要求、可扩展性、高性价比等方面取得了新的突破，无疑将对昂贵无比的传统小型机造成前所未有的冲击。
曙光PHPC100在使用环境要求和用户使用的便利性进行的创新，因此也使得软件集成解决方案成为现实。在初次安装时，可以根据具体使用的应用软件比如gaussian，vasp等常用软件进行封装，使得用户可以单一地通过远程web界面进行作业的提交，查询和计算结果的获取。另外，由于管理软件的灵活性，曙光PHPC100也可以支持用户自己配置和集成的应用软件，针对于自己常用的软件进行封装，极大地方便了后期的使用，同时也降低了管理员的维护难度，以及取消了由于管理人员的更迭造成的传统机群的“切换空白期”。
4.3. 研究组解决方案
在研究组级的用户需求主要受到研究经费的规模、人员编制和场地的限制，无法与院系一级的计算平台的规模和运营环境相比，但是这部分客户又是最迫切需要计算平台，也是物理化学领域研究的中坚力量。根据我们前面的测试结果，曙光PHPC100是一个具有足够计算规模的办公环境的计算平台，因此避免了一个小的研究组一次性投入大量资金来采购硬件设备。人员编制的限制使得研究组级用户的人员流动性比较大，往往是一个或两个老师带若干学生的模式。因此，无论是从硬件的投入规模或者办公室的面积来说，都无法支撑采购现有模式的高性能计算机群。而这些用户也是该领域主要的用户群体，曙光PHPC的理念和产品解决方案正是有针对性的解决方案。
曙光PHPC100占地面积仅比两台PC机略大，我们可以采用独立PHPC服务器作为研究组解决方案，这样可以避免42U（2米高）标准机柜占地和动力电扩容的扩容的困难。在未来规模扩大时，也可以作为机群中的一部分和其他节点配合使用，不会浪费用户的投资，避免购买不同机群时，机群迁移的困难。
一般来讲，研究组的机群往往是老师的研究生在管理，但是研究生的人员流动性是很大的，毕业之后的管理交非常不顺利。在新的管理员熟悉整个机群之前，研究组级的传统模式的机群往往处于停滞状态。曙光PHPC产品解决了这个主要矛盾，实际对于管理人员的交替不会产生影响，这是因为曙光PHPC产品只需要在初始安装的时候一次配置，不需要使用者和管理人员过多的处理计算环境的问题。即使用户有更改技术环境的需求，曙光PHPC100的模块化硬件设计、可靠的基于web界面的管理软件和KVM over IP界面，使得使用者无论硬件安装还是系统管理上更容易入手，节省了研究组的宝贵科研时间，解决了额外配备管理人员的困难。
究组级的应用软件往往种类不是很多，曙光PHPC产品在这方面有所考虑。曙光PHPC产品的管理软件支持软件集成解决方案，就如我们上面所介绍的软件集成方案一样，在应用软件的种类不是很多的情况下，可以针对于每一个软件解决配置一个曙光PHPC的软件集成方案，或者若干类型相似的软件集成到一个曙光PHPC上。由于单一应用或者类型相似的应用，可以降低管理维护的成本，也可以降低由于应用环境变化而造成的应用软件故障。同时，单一应用和优好的用户界面可以用户快速上手，大大缩短了用户的熟悉时间。
4.4. 多软件集解决方案
物理、化学和材料科学领域的应用需求千差万别，曙光PHPC100基于其先进设计思想，也考虑到由于用户应用需求的不同而带来的方案的差别，对于超过单台曙光PHPC100的计算能力的需要也有相应的解决方案。当用户需求计算能力比较大的时候，总的来说曙光PHPC100有两种解决方案：基于扩展性的解决方案和基于应用模式的解决方案。
曙光PHPC100有着良好的扩展性，可以通过InfiniBand高速模块或千兆以太网进行互联，这样可以保证在稍大规模的情况下也能保证原有的易用性和低环境要求。InfiniBand高速网络是现在流行的高性能计算的互联设备，曙光PHPC100在设计之初就考虑到相应的需求，预留了高速互联设备的接口。当两台或者更多的曙光PHPC通过InfiniBand高速网络或者千兆以太网互联时，原有的软件集成方案可以不做变化，利用管理软件的可扩展性，使得几台曙光PHPC100完全融合到一起，用户完全不会感觉到是在使用多台曙光PHPC100，可以对于单一软件扩大其计算平台的规模。
国内现有的计算应用需求都可以拆分成若干软件的集成解决方案，因此基于应用模式的解决方案实际上把一个传统意义上的机群分成不同的软件功能区，针对于不同的软件功能区，采用曙光PHPC100的软件集成解决方案。比如一个16个节点的主要使用vasp和gaussian软件的小规模传统机群，我们实际可以使用4台曙光PHPC100的解决方案来替代。考虑到vasp软件的扩展能力比较好，我们可以使用3台vasp软件的软件集成解决方案加上1台gaussian的软件集成解决方案，两个软件集成解决方案的比例可以根据老师的需求来做调整。这样比传统的机群有着环境需求和易用性无可比拟的优势，同时也降低由于vasp和gaussian软件使用模式的不同而相互干扰，从而降低后期应用软件级售后的难度。
