服务器 频道

中国团队深入参与微软高性能计算研发

  【IT168 资讯】有人说,微软的DNA就是能够把复杂的东西变得很简单。易用的管理界面、简单的编程模式,只有微软能够做到。事实上,微软的高性能计算(HPC, High Performance Computing)战略也非常简单,那就是:利用同一种方法所编写的同一个程序,可以不用任何修改就可以在桌面、服务器(包括集群)、云环境中顺畅运行。

  为了实现这个战略,微软在2004年成立了高性能计算组,当时还在美国总部、现已是微软亚太研发集团高性能计算首席架构师的徐明强博士说起当时的情景仍历历在目,“高性能计算通过整合、管理和调度硬件和网络资源,提供强大的计算和数据处理能力,帮助人们随时随地精确的模拟现实,认识现实,使得现实为己所用,为己造福。事实证明,高性能计算有效地压缩了从建立模型和分析数据到提出解决方案所需的时间,被誉为名副其实的创新催化剂,也是各个国家创新竞争力的重要指标之一。就像当初用PC去颠覆大型主机一样,微软在琢磨高性能计算系统为什么不能采用Windows服务器?”就这样,微软开始了HPC业务。

  微软科学计算总经理Kyril Faenov在创建高性能计算组之时就计划要将一半的研发团队部署在美国以外,一方面吸引到全球顶尖的工程师,另一方面可以洞悉不同市场对产品的需求,从而不断完善产品本身。

  “我们希望为中国工程师提供最好的挑战自我的机会,参与到微软最重要产品的开发工作中来,这对他们的职业发展来说是非常好的机会和体验,因此我们会逐步将更多核心模块放在中国开发。“Kyril Faenov表示,”今天,我们已有四位工程师参与开发这个产品超过五年,这是个不错的开始。这个团队不仅积极接受各种挑战,还不断成长以争取更大、更多的挑战性任务,并取得成功。他们对中国市场和客户需求的了解也日益深刻,相信他们将会创造更多的价值,也会给微软带来更多机会。”

  中国团队首次独立开发核心模块

  这次发布的全新Windows HPC 2008 R2是微软高性能计算平台的第三个版本,隶属于微软亚太研发集团服务器与开发工具事业部(中国)的HPC团队承担了其中两个核心模块的开发——面向服务架构编程模型和运行时系统模块与系统管理模块,具有里程碑式的意义是,团队第一次独立完成了对面向服务架构编程模型和运行时系统模块的所有研发工作,从客户沟通、设计、开发到测试。

  面向服务架构编程模型够将计算逻辑包装成服务并提供清楚定义的界面协议,这些协议不须知道底层的方法调用、序列化和消息传输的实现方法,因此服务的开发与非商业逻辑的支撑系统代码分割开,程序员能够更有效地集中注意力在实际要解决的商业问题上。21世纪初这十年,面向服务架构被广泛采用,已经成为软件架构的非常好的实践。而新的管理界面不仅使系统管理人员能直观、快捷地管理整个HPC集群,更帮助桌面用户在熟悉的界面上使用高计算能力解决复杂问题。如用可视化界面配置系统设置,自动更新多节点配置文件;跟踪日志的提供也使应用故障的查找更为高效。

  此外,新产品还引入了Excel高性能计算服务,徐博士如此评价道,“它打破了高性能计算以往多用于科学计算、制造业的局限,为它的普及及其进入银行、保险、生物等商用领域的核心业务流程奠定了基础,也使微软的全球HPC业务具备了更强的扩张能力。”在短短的几个星期里,中国团队就与中科院计算所携手完成了基于微软HPC平台与中国龙芯的Excel计算加速项目。一旦高性能计算能够用于日常商务活动和企业经营,那对于整个工业界的积极推动作用不言而喻。

  中国研发团队能够争取到核心模块的开发,除了自身综合能力的大幅提升,徐博士更是功不可没。由于对中国市场充满信心,在HPC领域已有22年从业经历的徐博士于2008年回到上海,当时他计划要做三件事,第一,将核心项目带到上海,在中国体验全球化的开发模式;第二,以自己为种子,培育中国软件开发人才;最后,则是希望看到高性能计算在中国有真正意义上的应用。如今,前两件事情已经颇有成果。

  作为团队负责人,严治庆在回顾团队发展历程时也颇有感慨:2005年初团队成立时我们只有三、五个人,现在已经发展到了二十来人;之前我们只是按照美国的计划执行开发任务,现在已经能自主开发一个核心模块;在对产品的了解方面,我们也越来越全面和深入,到现在不仅可以信心满满地解答中国客户所遇到的疑难问题,而且我们也能更深入、细致地去挖掘客户的新需求,并体现到下一版本的产品设计中去。团队的每一步成长都让人欣喜,同时也见证了中国高性能计算产业的成长。

  团队不断壮大 实现对中国市场的承诺

中国团队深入参与微软高性能计算研发
▲微软HPC中国团队成员与Kyril在HPC China 2010大会上的合影

  高性能计算机的全球销量超过一半在北美,其次是日本。从销量上就可以简单判断出各国国力和制造业水平的差距。虽然郎咸平教授对中国制造业的评价有些苛刻:“中国制造就是来料加工,无设计、无物流、无营销。”但也反映了目前中国制造业的尴尬境地,因为恰恰是这些环节才真正体现了制造业的核心竞争力。而国外的工业界高端企业早就在这些环节应用了高性能计算,它们将大量的人力、物力投入放在了设计、物流、营销等环节。

  不过任何发展都需要时间的积累,中国制造业才刚刚真正开始。事实上,中国政府的十一五、十二五规划也都对高性能计算寄予厚望,作为中国政府可信赖的合作伙伴,微软义不容辞。微软亚太研发集团服务器与开发工具事业部(中国)总经理Prakash Sundaresan表示,“中国正在成为全球高性能计算的研发中心和新兴市场,我们希望通过与本地政府、产业界与高校的持续、紧密合作,发掘本地市场的需求,一起迎接高性能计算商业化应用的新时代。“

  目前中国高性能计算虽然在科研领域、国防应用、石油石化等行业都有一些典型应用,但在学术界甚至高科技行业的应用普及还有很大发展空间。之前,比尔•盖茨在看了微软高性能计算产品组的演示后,曾为该部门制定了下一个目标:让每个科技人员都有高性能计算机!这个目标在中国同样适用。徐博士认为,高性能计算在高科技行业的普及需要学术界的帮助,尽管高性能计算已经进入了学校的大门,但是不少学科的老师、教授还经常习惯性地在单机上进行模型的模拟和计算,而无法实现高性能计算平台的高保真模拟,使得研究成果大打折扣。因此,首先要推动学术界行动起来。

  正是中国近几年不断强调提高自主创新能力,以高新技术改造提升传统产业的巨大需求坚定了微软在中国设立并扩大HPC研发团队的决心,以便更快、更好地响应中国客户和合作伙伴的需求。去年,在中国团队与曙光公司的长期努力之下,双方合作部署在超算中心曙光5000A成功跻身于全球超级计算机500强(TOP500)排行榜的第十名,使中国成为除美国外第二个可以研发生产百万亿次超级计算机的国家。中科院计算所常务副所长孙凝晖研究员表示,“推动高性能计算的应用普及、加快中国创新速度,也是中科院计算所HPC科研团队矢志努力的方向,与微软希望每位科技工作者都能用上高性能计算机的远景不谋而合,并成为我们双方合作的坚实基础。”

  事实上,无论是与中国科学院计算所在龙芯上的合作,还是支持上海汽车自主车型“荣威”的研发和与气象行业解决方案提供商合作,亦或是为北京市动漫公共技术平台优化与专业软件的兼容性,各方都对微软HPC平台给以高度评价。北京市动漫公共技术平台技术总监谢昊表示,“Windows HPC Server 2008 R2最让我激动的是COW功能,它能让工作站也加入到集群中,参与渲染。北京渲染平台有不少性能很好的工作站,这些工作站在晚上再也不会被闲置了!相对于之前的版本,新产品对渲染软件和插件的兼容性更好,软件直接支持节点镜像的抓捕,也使得我们为不同应用场景准备节点模板更加便捷。”

  团队的项目经理丛兰兰、周一丁提到,客户与合作伙伴的反馈主要集中在三个方面:一,易开发、易使用、易管理性,与客户非常习惯Windows平台操作体验完全一致;二,功能全面,以往的HPC中间件软件即集群管理、作业调度、监控软件等,分别由不同厂商提供,给最终用户造成集成上的重重障碍,而微软HPC平台提供了完整的管理能力;三,可以与企业原有Windows应用系统进行真正的无缝集成。

  此外,作为持续关注本地市场的成果之一,徐博士近期还在团队的支持下推出了《微软高性能计算服务器》一书,首次全面、系统地向集群用户、管理员和开发人员深入浅出地介绍了微软HPC服务器的使用、管理和编程的各项技术及实战技能,希望在即将成为下一个高性能计算应用中心的中国,能够让更多用户真正用起高性能计算。

  据严治庆介绍,下一个阶段,团队还将逐步提供全面覆盖应用层(非终端应用)、中间层、操作系统层的完整解决方案,并与近期成立的并行计算等团队合并组成为科学计算部门,努力在跨节点、跨平台、大数据处理等方面取得更多的研发成果,从而为本地软件开发商提供更完善的平台支持。这也是该团队不断成长、承担更多挑战性任务的具体体现。

  在团队的人员架构和人员素质要求方面,严治庆则希望能够打造出一个更具多元发展能力的团队,让长期埋头于代码的IT宅男、宅女们经常抬头看看外面的世界。例如他曾经率领工程师们登上珠峰大本营,在5,140米的高度插上了HPC的大旗;再如,在汶川地震一周年时, 整个团队利用志愿者假期,为受灾群众安置点的临时图书馆送去电脑、搭建网络,为大山深处的“夫妻小学”运送教学资料,筹措资金重建校舍。当然,这只是“向外看”的开始。严治庆还希望我们的研发人员能够去关注整个行业的发展、产业链的运行、本地市场情况等,以具备综合的发展能力,而不只是注重眼前的这行代码。

中国团队深入参与微软高性能计算研发
▲中国团队将HPC大旗插在了5,140米高的珠峰大本营

  总体而言,这个团队所具备的能力越来越全面,在产品研发中也具备越来越多的话语权。随着他们对中国市场的进一步了解,研发领域从高性能计算拓展到科学计算,相信他们一定能创造出更多的价值,可以帮助更大范围内的用户,特别是帮助开发人员创建可以并行的应用程序,而这些应用程序既可以利用桌面系统或计算机集群的并行能力,也可以利用公共云或私有云的并行计算能力。事实上,微软亚太研发集团在中国设立的任何一个研发团队,都能够在帮助开发全球性技术、产品的同时,更加了解中国的情况、洞悉中国客户的需求,从而进一步改进微软的产品和技术,使它更加贴合中国这个市场的需求。

 

0
相关文章