【IT168 专稿】谈起全球高性能计算TOP500排行榜,很多人会觉得这里面的机器都是用于科学研究领域的超级计算机。但实际上,TOP500正在悄悄地发生变化,其覆盖的领域已经不再仅仅是高性能计算(high-performance computing,HPC)了,更多的入选系统都是企业级的应用方案。特别是在2007年11月发布的最新一期(第30次)TOP500排行榜中,其中大多数系统都是基于企业级数据中心的(Enterprise Datacenter,以下简称EDC),而只有少数是传统意义上的高性能计算机(HPC)。本文我们将分析高性能计算的发展历史和当前的技术趋势,也为TOP500的分析提供一种新的方法。
商品化集群服务器时代 对I/O需求激增
HPC和EDC对新技术的采用速度是不同的。HPC市场的特征就是快速的变化——从架构到技术到应用——都是如此。HPC唯一一个相对稳定的特征就是对计算性能有着无休无止的需求,从TOP500排行榜就能看出,其总体性能平均每10年就增长100倍!而EDC市场的变化就没那么快,也要温和得多。因此,我们看到,HPC市场在不断地推动技术进步,对许多前沿的体系架构进行研究和试用;而只有那些被HPC广泛采用,特别是被商品化HPC市场广泛采用的方案,才会最终被EDC市场所接受,并得到普及。
目前,商品化的集群(Cluster)服务器无论是在HPC领域还是在EDC领域都占据了主流地位,这得益于商品化集群能够提供巨大的性价比优势,在部署过程中又有着非常好的灵活性,而且后期需要维护的成本较低。根据最新的TOP500排行榜,超过80%的入选系统都采用了集群架构。
随着集群架构的广泛部署,对节点互连网络的要求也随之增加。
在互连方案上,商品化、标准化部件得到了广泛应用,使得千兆以太网和InfiniBand成为了主流。在早期阶段,当单核CPU还盛行的时候,千兆以太网主要用于I/O非密集型的应用,InfiniBand则主要用于高性能计算或I/O密集型的企业应用。而自2005年以来,随着业界对增加性能和降低功耗的需求越来越紧迫,多核芯处理器逐渐取代了单核CPU。这也意味着,在集群架构中,有更多的CPU需要共享相同的网络I/O连接,从而使得对更强大的标准化连接网络的需求也越来越强烈。
另外,在今天的计算方案中,如何最大化提升生产效率,同时降低功耗,成了关键的问题。在HPC领域,绝大多数是计算密集型应用,能够充分利用全部的计算资源,因此在集群服务器节点之间,需要吞吐率更高、延迟更低的互连。而在EDC领域,许多应用并非计算密集型的,因此为了提高CPU利用率,虚拟化方案就变得非常必要了。虚拟化方案可以在同一台计算机系统上运行多个操作环境或多个应用,以尽量提高CPU利用率。但这也同样对互连网络提出了更高的要求,以满足服务器之间、服务器与存储之间的数据交换需求。可见,尽管从应用的角度来看,HPC和虚拟化EDC环境有所不同,但它们对集群互连网络的需求却是相同的。