服务器 频道

赖能和:提高CPU利用率开启HPC高效计算

    【IT168 专稿】随着国际社会对地球环境的关注与日剧增,石油行业如何能在保证不破坏生态环境的情况下,实现高效勘探和开采是当前能源领域的主要话题。在英特尔2010年高性能计算研讨会上,来自中国石油东方地球物理公司研究院处理中心的总工程师赖能和先生就提高设备利用率和软硬件资源优化改造的方法和经验分享了他的研究成果。

 赖能和:提高CPU利用率开启HPC高效计算
中国石油东方地球物理公司研究院处理中心的总工程师 赖能和先生

   面向地球物理的高性能计算发展现状

    进入21世纪以来,由于石油天然气等能源供应需求急剧增加, 使得石油公司为了提高产量和寻求新油藏的需求飞快增加。从勘探效率和增加开发效益、减少风险等角度考虑,地震叠前偏移处理技术等新兴数字化地质考察技术飞速发展,从而对高性能计算机的软硬件提出了越来越高的要求。

    另一方面,开放的x86生态环境打破了原先大型机的垄断,使得高性能计算的成本日益下降。赖能和先生认为,石油行业勘探的数字化计算需求和硬件成本的降低是两个重要驱动因素——大大加速了石油行业用户从传统勘探方式向基于HPC的数字建模方式的转化,也将用户从UNIX大型机平台中解放出来,转换到开放的x86环境中,从而进一步推动了相关地质勘测软件的全面升级进步。

 赖能和:提高CPU利用率开启HPC高效计算

    赖能和先生表示,从近两年来看高性能计算具有四个方面的发展趋势:

    1、x86集群逐渐占据高性能计算机的主导地位。赖总展示了从2000年起历届Top 500的排名统计,其中有82%的系统采用了x86集群(截止2009年11月),已经成为全球高性能计算机的主流。

    2、全球高新跟你搞计算机系统的CPU规模逐年增长。多CPU计算加上多核计算的强大性能使得众多领域的高性能计算中心纷纷向超大规模多路多核系统发展。

    3、高性能计算机的应用领域更加广泛。从下图可以看出08年之后,由于金融危机影响,金融领域的高性能计算机数目有所下降,而用在科学研究领域的超级计算机持续上升,此外信息处理和地球物理也排在前几名中。

 赖能和:提高CPU利用率开启HPC高效计算

    4、由x86服务器组成的集群正在成为油气勘探数据处理的主流应用平台。据了解,在全球Top500排行榜中(截止至2009年11月),应用在地球物理领域的超算数目排在R&D、Finance之后,2005~2009年分别占9.4%、4.6%、8.6%、9.8%、6.2%,数量达到了31套(2009年)。

 赖能和:提高CPU利用率开启HPC高效计算

    面向地球物理的软硬件优化和技术改造

   在采访中记者了解到,东方地球物理公司这两年已经投入了近千万元用于解决地球物理高性能计算中的CPU利用率不高、存储性能和数据安全、高能耗与高制冷等三个方面的问题。

    1、提升CPU利用率

    对于CPU利用率不高的问题,赖能和先生介绍表示他们主要通过改造内存、接口和网络连接方式等硬件配置来提高CPU运算率,而建立目标线偏移系统与共享存储池的做法,将有效提高CPU利用率。此外,通过合理化的配置作业任务,也能够进一步优化CPU效率。

    随后的案例分析中,记者看到节点内存容量的大小对偏移计算的影响非产大。8GB内存相比4GB内存,CPU效率提高了2倍以上,而相同内存的情况下,四核处理器比双核处理器速度提升接近60%。赖总表示,目前东方地球物理公司已经投入300多万元,对其高性能计算中心的1280个CPU的内存进行升级扩充,预计改造后的速度将提升2~7倍以上。

 面向地球物理的软硬件优化和技术改造

    2、解决存储系统I/O瓶颈

        另一方面,解决存储和性能瓶颈问题一直是地球物理计算中的老大难问题。一方面,地球物理需要极大的存储空间以进行大规模计算数据的读写,另一方面高性能计算又对存储提出了超低延迟的要求。内部存储数据密度有限,外部存储又受制于网络带宽。赖总表示,他们最终采用了并行共享文件系统以提高数据传输速度,并通过RAID阵列进一步提高磁盘I/O,并将资源池化以方便管理。

 面向地球物理的软硬件优化和技术改造

    可以看到使用普通NFS远程网络文件系统的文件系统读写速率只有30MB左右;而利用了并行文件系统GPFS之后,单节点以上环境的计算速度提升4倍以上。

    3、开发节能降耗软件 解决高能耗问题

    绿色计算和低碳经济不仅是口号,也是所有企业对IT部门的要求,东方地球物理公司自身的庞大高性能计算中心每年消耗的电费多达4000万元。赖能和先生表示,他们为了节约高性能计算间隙的待机功耗,专门开发了PC Cluster节点节能降耗软件。

    据了解,这款PC Cluster可以根据效率曲线来动态关闭和打开电源,动态调整服务器的工作状态(内核休眠、主频变化等)。此外,在负载均衡方面,这款软件可以通过监视系统负载状况,和作业调度系统结合,最大化的将计算资源利用起来。

 面向地球物理的软硬件优化和技术改造

    从效果上看,目前东方地球物理公司的1152个节点超过4600个核的PC集群上已经安装、部署这款节能软件,并正在测试运行,平均每月累计节电3.68万元,预计全年可以节约电费50万元左右。相比一些数据中心的节能控制,可能算不上什么,但是需要知道的是面向地球物理的高性能计算中心全年待机时间很少,多数情况都在满负荷计算复杂的地质数据。

0
相关文章