【IT168 特稿】[编者按]6月18日，最新的第31届TOP500排行榜将在第23届国际超级计算大会（International Supercomputing Conference，ISC’8）上发布。此次ISC会议在德国德累斯顿市（Dresden）举行。在最新TOP500即将公布之际，IT168服务器频道全文编译了TOP500十五年历程的发展总结报告——《The TOP500 Project: Looking Back over 15 Years of Supercomputing Experience》，希望能帮助国内读者更好地了解TOP500及其背后所反映出来的HPC发展趋势。原文刊登于http://www.top500.org/，其作者Hans Meuer教授是全球超级计算机TOP500排行榜的创始人之一。他在报告中回顾了TOP500排行榜的起源及前身“曼海姆超级计算机统计”，他用生动易懂的笔触了描绘了过去15年来TOP500排行榜的发展历程，分享了自己和团队对高性能计算领域的一些独到见解，并对未来超级计算机性能发展趋势进行了展望，该报告对业界认知TOP500、高性能计算技术应用发展趋势、市场竞争格局及Linpack等基准测试有着重要的参考价值。
作为长期关注高性能计算领域的一家专业媒体，IT168服务器频道曾在2006年6月对2001-2006年全球TOP 500 HPC的11期历史数据进行过整理分析，并推出了《全球TOP500超级计算机5年风云录专题》，受到业界一定的关注。由于译者水平有限，欢迎广大读者批评指正。由于TOP500采用的基准测试是Linpack值，文中涉及到多个浮点运算指标，为便于大家理解，现把相关指标罗列如下：
FLOPS（floating-point operations per second）指计算机每秒执行的浮点运算次数；
1 Megaflop/s指每秒执行100万次浮点运算，即10的6次方FLOPS；
1 Gigaflop/s指每秒执行10亿次浮点运算，即10的9次方FLOPS；
1 Teraflop/s指每秒执行1万亿次浮点运算，即10的12次方FLOPS
1 Petaflop/s指每秒执行1000万亿次浮点运算，即10的15次方FLOPS。
1 Exaflop/s即每秒执行100万万亿次浮点运算，10的18次方FOPS。
全球TOP 500超级计算机排行榜诞生于1993年，其主要目的是为了以此为基础来对高性能计算领域里的发展趋势进行跟踪、监测。该排行榜对全球范围内性能最强劲的500套计算机系统进行排名，每年发布两次。决定计算机系统排名的最重要指标是Linpack测试性能。此外，该排行榜也提供了其他各种信息，如系统的规格、应用领域等等。目前，TOP500排行榜已经连续发布了30次，相关信息数据都可以在www.top500.org网站上找到。
1.TOP500排行榜的起源
——曼海姆超级计算机统计（Mannheim Supercomputer Statistics，1986-1992）与1993年启动的TOP500项目
从1986年到1992年间，德国曼海姆大学超级计算机研讨会（Supercomputer Seminars at Mannheim University）每年会发布“曼海姆超级计算机统计”这样一份报告。我们注意到，在这期间，人们对超级计算机这类数据的关注程度也在逐年提高。不过，这个统计表只是简单地罗列了安装在美国、日本和欧洲的向量计算机系统（vector computer systems）——自从上世纪80年代以来，超级计算机是向量计算机的同义词。
由于对向量计算机的统计是由系统制造商们自己申报的，所以统计数据的可靠性并不高。比如，虽然我们对美国和欧洲向量计算机的安装应用情况掌握得比较清楚，但却很难获得日本方面的相关信息。因此，当时我们和日本的三个向量计算机制造商富士通、NEC和日立公司取得了联系，以获取日本安装系统的相关信息，并借此作为每年进行统计估算的一个基础。
1992年，当最新一期“曼海姆超级计算机统计”公布时，我们发现当时全球范围内的超级计算机已经达到了530套。图1显示了1986-1992年间超级计算机市场上不同厂商的份额统计情况。可见，当时CRAY公司的地位非常领先，其份额持续多年保持在60%左右；位居第二位的美国制造商是CDC（Control Data Corporation，控制数据公司），其份额不到10%，而且到80年代末期，CDC的份额开始缩减，并在1991年完全退出了这个领域。日本的向量计算机制造商富士通、NEC和日立是在1986年开始被纳入统计中来的，其总体份额是20%，到了1992年，他们的份额扩大到了40%左右，其中富士通处于明显的领先位置，全球范围大约30%的向量计算机都是由它提供的。
图2则表明了这些向量计算机在不同国家的安装应用情况。1986年，美国非常领先，占到了50%的份额，但到1992年减少到了35%。日本正好相反，1986年是20%左右，1992年已经达到了40%，超过了美国。欧洲的情况比较稳定，在这7年里基本维持在25%-30%之间，其中德国略微领先于法国和英国。
“曼海姆超级计算机统计”虽然有一定的实际价值，但并不完美，它缺少一个可靠的数据库。另外，在日本，象Fujitsu VP30/50这类所谓的入门级向量计算机也开始越来越流行。但从性能上来看，这些系统是否是真正意义上的超级计算机呢？还有，象美国Convex C1/2这种迷你型超级计算机是否也应该被统计进去呢？因此，我们不得不开始非常谨慎地来考虑，到底哪些系统符合超级计算机的定义，应该被纳入“曼海姆超级计算机统计”。从上世纪90年代初开始，向量计算机已经不再是唯一的超级计算机结构；大规模并行系统如Thinking Machines (TMC)的CM2也开始进入市场。因此，我们需要一套方法来定义“超级计算机”到底是什么，由哪些部分组成，根据什么对这些计算机进行排名。
这就是1993年春天Hans Werner Meuer和Erich Strohmaier在德国曼海姆大学启动TOP500项目的原因所在。下面是我们当时提出的一些简单的指导原则：
1）对全球范围内最强大的500台计算机进行排名；
2）用Rmax（即最好的Linpack性能）做Benchmark（基准测试）；
3）TOP500排行榜每年更新和发布两次——6月在德国的ISC（国际超级计算大会），11月在美国的SC（超级计算大会）；
4）所有的TOP500数据都在www.top500.org进行公示，供公众查阅。
这里我列出了一些基本的问题，并将在下面的部分进行解答：
1）为什么是“500台最强大的超级计算机”？一个原因是因为1992年我们做最后一次“曼海姆超级计算机统计”时发现全球范围内已经有530台超级计算机。另一个确切的原因是，（在感情上）受到了福布斯500排行榜的影响，这个排行榜统计的是全世界最富有的500个人和规模最大的500家企业。
2）所谓“最强大”是需要有一个通用的Benchmark来定义的，对此我们选择了Linpack值。但为什么选择Linpack呢？这主要是因为Linpack的Rmax指标广为人知，而且对所有系统来说也比较容易获得。严格来看，TOP500中所列的计算机仅仅是考察了它们在解决一组线性方程时的能力，比如，A x = b, using a dense random matrix A。
3）为什么我们是一年两次对TOP500排行榜进行更新，而非持续不断地更新？首先，更新TOP500排行榜是一件非常费时的工作，程序也比较复杂。其次，我们认为，每年更新两次已经足以揭示HPC业界主要关心的那些重要的变化趋势，而且多年的经验也证明这点考虑是正确的。
TOP500的作者是美国劳伦斯伯克利国家实验室（Lawrence Berkeley National Laboratory ，LBNL）的Hans Werner Meuer和Erich Strohmaier，以及来自美国田纳西州大学，被人们誉为“Linpack之父”的Jack Dongarra。第四位作者是LBNL的Horst Simon，他从很早的时候就开始支持TOP500项目，并在2000年正式加入了这个项目。1999年，也就是在项目启动仅仅6年后，这些作者就出版了他们关于TOP500的经验论文集。
至今TOP500排行榜已经更新了30次：
第一届TOP500排行榜是1993年6月24日在德国曼海姆的ISC’93上公布的；
第29届TOP500排行榜是2007年6月27日在德国德累斯顿的ISC’07上公布的；
第30届TOP500排行榜是2007年11月12日在美国里诺（Reno）的SC07上公布的。
未来三届TOP500公布的日期分别是：
第31届TOP500排行榜将于2008年6月18日在德国德累斯顿公布；
第32届TOP500排行榜将于2008年11月18日在美国奥斯汀（Austin）公布；
第33届TOP500排行榜将于2009年6月24日在德国的汉堡（Hamburg）公布。
在历经15年和30届排行榜之后，我们已经成功地将TOP500打造成HPC用户、制造商和媒体在分析HPC市场时非常有用的工具。
2 国家、制造商和用户之间的竞争
TOP500获得成功的一个最重要的原因是，我们培育了国家之间、制造商之间和用户（计算中心）之间的竞争态势。
2.1 国家间的竞争
早在1992年，在曼海姆大学超级计算机研讨会上公布第七次“曼海姆超级计算机统计”时,我们就预测美国和日本在TOP500领域的竞争会非常激烈，如表3所示。然而，“日本人的威胁”显然是被高估了，在第一届TOP500排行榜中，美国的领导地位非常明显，安装的系统占据了45%的份额，而日本仅占有22%。
如果我们再看看2007年11月份发布的第30届排行榜，就会发现，美国的优势地位甚至比15年前还要强许多：其份额达到了56.6%，而日本只有4%。甚至英国（9.6%）和德国（6.2%）都超过了日本，法国（3.4%）也开始快要赶上日本。
可见，回顾过去30届TOP500排行榜，我们看到，不同国家之间在超级计算机领域的竞争格局已经发生了非常有意思的变化（见图4）。在1993年，美国的份额是45%，而今天进一步得到了加强；日本起初是22%，而现在却大为落后。在欧洲，德国过去一直都领先于英国，但今天却远远落到了英国人的后面。
表5显示了自1993年以来亚洲国家在安装使用超级计算机方面的发展情况。它表明，日本快速衰落的背后却是中国和印度的崛起，中印已经成为HPC市场上一支崭新的力量。不知道在第31届排行榜会反映什么情况，我们拭目以待。
2.2系统厂商之间的竞争
下面再让我们把目光投向这些超级计算机的制造商们（见表6）。在第一届TOP500排行榜中，Cray Research占据了41%的份额，遥遥领先于第二名的富士通（14%），第三名是TMC（10.8%）——一家生产非向量超级计算机的厂商。英特尔排名第四位，占8.8%，当时英特尔还拥有自己的超级计算机部门，生产的也是非向量系统。非常有意思的是，当时IBM和HP还名不见经传，而到了今天，IBM和HP已经成为TOP500中的“超级大佬”。在2007年11月公布的第30届TOP500排行榜中，IBM占据了46.4%的份额，HP位居第二， 33.2%，而1993年的领头羊Cray Research (现在的Cray公司)的份额已经缩减到了只有2.8%。
可见，通过仔细梳理自1993年以来HPC制造商的发展情况（见图7），我们会发现，HPC市场可谓风云际会，非常有戏剧性：在短短的15年间，这个市场格局发生了根本性的的变化。
Cray起初是通用HPC市场（包括工业市场）上明显的领导者，而今天却是一家仅仅向政府高端研究实验室和科研用户提供系统的小厂商。相反，IBM在上世纪90年代初期，在HPC市场上还没有什么建树，而今天已发展成为几乎各个细分市场上的领导者，包括工业和商业用户市场。
HP，当时的Convex，在第一届TOP500排行榜中，起初也只是一家小型的HPC厂商，但今天却坐上了第二把交椅，仅次于IBM。Sun，曾经是多年前HPC市场上的二当家，但今天却落在了TOP500的末位。当然，Sun现在仍然在努力试图赶上其他厂商。
另外，重新焕发活力的Cray也有可能再次重返通用HPC舞台：它有3套混合型超级计算机系统（hybrid supercomputers）进入了TOP10，这意味着Cray已经成功摆脱了过去仅制造向量计算机的技术路线。虽然Cray进入TOP500的系统数量还非常少，但相信它一定会努力来复兴它过去的辉煌。
2.3 用户之间的竞争
表8列出来了过去30届TOP500排行榜中最强大的超级计算机用户。最右边一栏列出的是该用户在过去30次排行榜中，在Rmax最大总性能中所占的比例。在这个表中，我们看到，有三分之二的用户在美国（14家），只有四个超级计算中心在日本。事实上，美国还拥有四个全球最大的超级计算机用户，这也意味着美国不仅仅是超级计算机的制造大国，也是应用大国。欧洲有代表性的是，德国排在第18位(Forschungszentrum Jülich, FZJ)，英国排在第15位(ECMWF)。（注意，ECMWF所服务的其实不仅仅是英国，而是整个欧洲。）
3 迄今TOP500中我最钟爱的超级计算机
大家知道，迄今我们已经公布了30届TOP500排行榜，也就是总共有15000套系统，而实际收录我们数据库中的系统数量比入选的系统还要多一倍。那么，为什么让我最钟爱的超级计算机却只有一套呢？
这里我要强调的是，在过去15里，有许许多多的系统都让我印象深刻。在谈到我最钟爱的那套超级计算机之前，我想先提一下另外一套：1997年在曼海姆超级计算机研讨会（Mannheim Supercomputer Seminar ，ISC’97)上公布的第9届TOP500中位列第259位的那套系统，名叫“深蓝”（Deep Blue），它安装在位于美国纽约州约克城高地（Yorktown Heights）的IBM沃森实验室（IBM Watson Research Center），其最好的Linpack性能是11.37 Gigaflop/s（10亿次运算每秒）；它是一套IBM SP2 P2SC，拥有32颗处理器，时钟频率是120 MHz。但最重要的不是浮点性能，而是这32颗处理器中的每一颗都配置了15个有专门用途的VLSI国际象棋应用芯片（VLSI chess chips）。深蓝是第一台打败国际象棋超级世界冠军Garry Kasparov的计算机。人机大战已经过去了十年，从此再也没有一位棋手有机会挑战任何一种计算机，甚至包括最简单的那种家用电脑。一年前，2006年11-12月，国际象棋对弈软件Deep Fritz和国际象棋世界冠军Wladimir Kramnik在德国波恩再次进行了一场六局的比赛。Deep Fritz以4：2获胜！
3.1 我最钟爱的计算机：英特尔的ASCI Red
1996年在美国新墨西哥州奥布魁尔市(Albuquerque)的圣地牙国家实验室（Sandia National Laboratories）的测试中，英特尔的ASCI Red的Rmax性能达到了1068 Gigaflop/s。因而它成为了HPC领域中第一台每秒运算一万亿次（Teraflop/s）的计算机，并在1997年6月公布的第9届TOP500排行榜中业内知名位（见表9）。
“ASCI”的意思是“加速战略计算计划，或领先10年战略加速计算机，Accelerated Strategic Computing Initiative”。这个项目获得了美国能源部（Department of Energy ，DOE)的支持，是美国为了应对法国在南太平洋Mururoa-Atoll岛上进行的核试验而进行的，在那个地方，法国人于1966年至1996年间实施了41次大气核试验和147次地下核试验。美国能源部的ASCI计划则将科学和工程计算领域非常先进的技术应用到了核时代最复杂的挑战当中去：保证美国研制核武器时所需的性能、安全性和可靠性，而无须进行物理试验。为了响应美国政府对禁止核武器试验的承诺，ASCI在1996年建造成功。
ASCI Red是英特尔公司独立设计和组装的最后一台超级计算机；当ASCI Red投入使用时，英特尔的超级计算机部门也已随之关闭。
3.2 八年预测
在1997年6月曼海姆ISC的开幕会议上，我们公布了由ASCI Red业内知名的第9届TOP500排行榜（见图10）。通过分析1993年6月至1997年6月间9次TOP500的测试数据，并假定性能会按照以前一样的趋势增长，我们使用了基于对数尺度的直线回归方法（linear regression on the logarithmic scale）对未来系统的性能进行了推测。我们主要预测三个层面的性能发展变化：500套系统的总性能、第一名系统的性能和入门级也就是最后一名系统的性能。
基于对这些数据的分析和推断，我在ISC97大会上曾宣称，从那时起的8年后，也就是2005年，所有入选TOP500排行榜的系统性能都将会达到万亿次每秒（Teraflop/s），即便1997年还只有一套Teraflop/s系统：英特尔的ASCI Red。也许很多参加过ISC97的参会者都在想我是不是疯了：面对这样一个变化频繁的市场，居然做出未来长达8年的预测！我也承认，我自己当时心里不是有太大把握——在许多世界优异HPC专家面前做出这样的预测!因此，你也能想象到，我每次是多么急于想看到下一届的TOP500排行榜。
1997年11月、1998年6月和1998年11月的TOP500都只有一台Teraflop/s系统：ASCI Red。我开始真正有些紧张了（图11a：1997-1998年间每秒万亿次系统在TOP500中的数量）......
......幸运的是，1999年6月公布的TOP500出现了另一套新的Teraflop/s系统：SGI的ASCI Blue Mountain，安装在洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）。这是全球范围内第二套Linpack值打破Teraflop/s的系统，其性能达到了1.6Teraflop/s，在1999年6月的TOP500中排行第二。ASCI Red仍然领先，在英特尔把处理器数量增加到了9000颗之后，其性能已经略微超过了2 Teraflop/s（图11b：1997-2003年间每秒万亿次系统在TOP500中的数量）。
在2005年6月——就象我在8年前所预测的那样——TOP500中已经全部是Teraflop/s系统了。其实，从1999年起，Teraflop/s市场就已经开始飞速发展。在2001年6月的TOP500中，还只有不到10套Teraflop/s系统，而到2003年，就已经超过100套（图11c：1997-2005年间每秒万亿次系统在TOP500中的数量）。
这里我列出了我为什么最喜欢ASCI Red的原因：
1.我们看到CDC7600（向量计算机的前辈）在1971年凭借1.24 Megaflop/s（每秒运算百万次）的速度跨过了Megaflop/s的门槛，我们也看到具有传奇色彩的Cray 2在1986年凭借2GB内存和1.7 Gigaflop/s（10亿次运算每秒）的性能跳过了Gigaflop/s。但最让我印象深刻的还是1997年英特尔的ASCI Red超过了Teraflop/s（万亿次运算每秒）。当然，我希望在今年（2008年）能看到Petaflop/s（千万亿次运算每秒）系统的出现。这样，我就能亲自见证超级计算机多年来以10级数的速度在增长。
2.英特尔的ASCI Red标志着一个崭新的超级计算机时代的到来。在上世纪90年代中期，当向量计算机开始变得不那么重要的时候，美国能源部针对国防应用的ASCI计划开创了一种全新的资金来源模式。ASCI Red是这一计划的第一款产品，并奠定了美国在超级计算机制造和应用中的优势地位。而且，从技术的观点来看，ASCI Red也同样是一台不平凡的超级计算机：
它是一套基于mesh网状结构（38 X 32 X 2）的MIMD大规模并行机（MIMD massively parallel machine），起初包含7264个计算节点、1212GB分布式内存和12.5TB磁盘存储容量。该机器的原型使用的是英特尔的Pentium Pro处理器，每个处理器的时钟频率达到200MHz，后来才升级到Pentium II OverDrive处理器。升级后的系统拥有9632个Pentium II OverDrive处理器，每个处理器的主频为333MHz。它由104个机柜组成，占地面积达到了230平方米。另外，这个系统在设计时就考虑采用普通的商品化组件，非常易于扩展。
3.在1997年6月，我预测8年后TOP500排行榜中将只有Teraflop/s系统，即便当时还只有一台Teraflop/s系统，那就是ASCI Red。在我的很多预测中，以前没有，也许以后也不会有一个推断是如此的准确。ASCI Red在2005年9月已经退役，它在8年里出现在17次TOP500排行榜上。从1997年6月到2000年6月，它都是TOP500中最快的计算机，直到2000年才被安装于美国加州劳伦斯-利弗莫尔国家实验室（Lawrence Livermore National Laboratory）的IBM ASCI White所超越。
4.最后，ASCI Red是我曾经受邀参加德国电视台(ZDF, Zweites Deutsches Fernsehen)一次专访节目的缘由。在1996年圣诞节前夕，Nina Ruge，一位德国电视台记者，在她的夜间TV秀“Heute Nacht”节目中，邀请我谈论了第一台超过Teraflop/s的计算机：英特尔的ASCI Red。
4.第30届TOP500排行榜概要与贝尔定律
4.1第30届TOP500排行榜概要
在第30届TOP500排行榜的前十位中，有5套系统都是全新的超级计算机，还有一台是升级更新后的系统（参见表12中的黄色部分）。变化比较大的主要是前五位的系统。业内知名的仍然是蓝色基因/L，由IBM和美国能源部国家核安全管理局（National Nuclear Security Administration，NNSA）共同研发，安装在美国加州劳伦斯-利弗莫尔国家实验室。蓝色基因/L自2004年11月以来，就一直排在榜首。不过，入选此次排行榜的这套系统已经进行了大规模的升级，其Linpack性能达到了478.2万亿次每秒运算（Teraflop/s），而在6个月升级前的性能是280.6万亿次每秒。
排名第二位的是同一类型的IBM系统，但却是首次投入运行的一套全新的版本。这套蓝色基因/P安装在德国于利希研究中心（Forschungszentrum Jülich ，FZJ），性能为167.3万亿次每秒。
排名第三的不仅仅是一套全新的系统，而且也是一个新的超级计算中心的第一套系统：位于美国里奥兰珠市的新墨西哥州计算应用中心（New Mexico Computing Applications Center，NMCAC）。该系统由SGI研制提供，节点采用了Altix ICE 8200，其性能高达126.9万亿次每秒。
印度此番是有史以来第一次入选TOP10，其超级计算机系统排在第四位。计算研究实验室（The Computational Research Laboratories）是印度塔塔集团（Tata Sons Ltd）下属的一个机构，位于印度Pune市。它采用了HP的集群平台3000 BL460c系统。他们把这套系统和自己研制出来的创新的路由技术整合在了一起，运算速度达到117.9万亿次每秒。
第五位也是一套新的HP Cluster Platform 3000 BL460c系统，安装在瑞典的一个政府机，其测试性能为102.8万亿次每秒。
最后一套全新的系统是位于第九位的Cray XT4，安装在美国能源部劳伦斯-利弗莫尔国家实验室的国家能源研究科学计算中心（National Energy Research Scientific Computing Center ，NERSC），性能为85.4万亿次每秒。
处理器架构
图13说明向量计算机在TOP500中的地位越来越弱。在2007年11月的第30届排行榜上，只有四套向量计算机系统，两套来自CRAY公司，另外两套来自NEC公司，其中曾经在2002年-2004年排名全球先进，安装在日本横滨的地球模拟器（Earth Simulator in Yokohama/Japan）已经落到了第30位。
操作系统
几年前，UNIX曾经是超级计算机上最流行的操作系统，但现在，江山易主，LINUX已经占据了最大的份额。尽管微软一直在努力想打破这种格局，但WINDOWS在里面的作用微乎其微。
处理器类别
在500套系统中，有354套（占70.8%）采用了英特尔公司的处理器，而在6个月前，只有289套系统（占57.8%）。这是TOP500历史上英特尔芯片所取得的最大份额。特别成功的是其双核Woodcrest（至强5100系列）和四核Clovertown（至强5300系列）处理器，份额分别为43%和20.4%。AMD皓龙处理器在一年前超过IBM POWER处理器后，仍然是使用数量第二多的一种处理器——尽管采用这种处理器的系统数量从105套（21%）减少到了78套(15.6%)。另外有61套系统（12.2%）运行在IBM的POWER处理器上，而半年前是85套系统（17%）。
内部互联网络
由于拥有非常广泛的工商业用户基础，千兆以太网仍然是使用最广泛的一种内部系统互连技术（有270套系统）。其次是InfiniBand技术，有121套系统采用。Myrinet曾经在几年前占据了主流地位，但现在已经大大落后了。
体系架构
使用最广泛的体系架构是集群（Cluster）架构，在500套系统中，有406套（占81.2%）都是集群。甚至在TOP10中还有两套集群系统，包括位于第四位的亚洲最强大的系统——HP Cluster Platform system。Constellations（星群）的份额已经落到了0.6%。MPP（大规模并行处理，massively parallel processing）还有18.2%的份额，而且在TOP10中占据了8套。
4.2 贝尔定律（Bell’s Law (1972)）
1972年，贝尔定律被发现。该定律认为，大约每过10年，半导体、存储、用户接口和网络方面的技术进步会促使形成一个全新而且通常是价格更低廉的计算机平台。这个平台一旦形成，就会产生一个相对独立的产业结构。这个定律解释了大型主机、微机、工作站和PC、WEB、掌上电脑和移动设备以及无处不在的互联网在过去发生的一切。我们可以预测家庭网络和体域网（body area network）也会遵循这一发展路径。贝尔定律说明，每十年一个周期，重要的计算机架构就会出现。它大概包括以下几个阶段：早期研究、早期应用和成熟期、主流应用期、衰退期。
在2007年6月份为参加Antalya IDPT大会准备演讲稿时，Erich Strohmaier和我就曾提出这样一个问题：我们能否用贝尔定律来分析TOP500中计算机体系架构的发展变化呢？为此，我们尝试着引入了下面这种计算机架构的分类：
1）数据并行系统（Data parallel systems），包括Vector (Cray Y-MP和X1、 NEC SX 等为代表)和SIMD (CM-2等为代表)；
2）定制标量系统（Custom scalar systems），包括MPP (Cray T3E和 XT3、IBM SP 等为代表)，Scalar SMP和Constellations (大SMP的Cluster)；
3）商品化集群系统（Commodity clusters），包括现在的PC cluster、刀片系统等。.
4）高能效系统（Power-efficient systems）：蓝色基因/L或蓝色基因/P是低功耗系统的首批例子，它们有可能会形成一种新的类别，但我们现在还不能确定。
在分析1993年至今的TOP500榜单时，我们发现计算机架构在相当长时斯内有这样的发展变化趋势，如图18和图19所示：
从上图可见，“数据并行系统、定制标量系统、商品化集群系统”这几个HPC类别都非常准确地符合贝尔定律十年一周期的说法，这说明该定律同样适用于HPC计算机架构，如表20所示。为了简化问题，我们没有考虑贝尔定律中“早期研究”这个阶段。当然，我们需要进一步证明，到2010年，商品化集群是否会真的进入衰退期。更加值得探索的问题是，以IBM蓝色基因系列为代表的高能效系统到底会怎么发展？由于性能不够，有几套小型的这类系统没有入选第30届TOP500排行榜。也许第31届TOP500会显示，高能效系统是不是真的会成为一个全新的架构。
5.超级计算机性能发展趋势展望
如图21所示，我们列出来过去15年TOP500第500名系统（入门级性能）、第1名系统（最高性能）及总体性能的发展趋势。很显然，这三类性能的发展都是呈现出一种指数级的增长态势。注意，左侧的刻度指标取的是对数值。
如果我们把TOP500的发展趋势和摩尔定律进行比较的话，我们会发现，摩尔定律是假定每18个月微处理器的性能会增加一倍，而实际上，TOP500的增长速度更快——大约每14个月，TOP500的总体性能会增长一倍，第一名的系统则是将近每13个月翻一番，即便是最后一名系统的性能也是不到13个月就会增加一倍。其性能增长更快的原因主要来自两个方面：处理器性能和处理器的使用数量。
另外，我们注意到，对于第一名的系统和第500的系统来说，其发展曲线是不同的：第一名系统的性能增长呈现一种阶梯状的形态。一旦某一套系统取得了第一名的位置，它会在未来几期TOP500榜单中维持这一地位。早期的“Numerical Wind Tunnel – NWT”、Intel的 ASCI Red是这样，后来的“Earth Simulator”（地球模拟器）也是如此——它从2002年6月到2004年6月都位居第一位。从2004年11月开始，IBM位于LLNL的BlueGene/L开始占据榜首，经过几次升级扩展后，它目前仍然是第一名。
假设我们把笔记本电脑的性能也放进来考虑的话，我们会发现，它的性能现在已经达到了7 Gigaflop/s，在过去3年里，增长了10倍。对于性能够强劲的笔记本电脑来说，这意味着到2014年，每秒1万亿次运算的笔记本电脑就会出现，距离第一台万亿次系统ASCI Red进入HPC领域不到18年。
一般而言，对任何一套系统来说，从第一名落到第500名要经历6-8年的时间，而再落到跟笔记本电脑一般水平，要经过8-10年的时间。
Linpack突破千万亿次每秒（Petaflop/s）极限会在2008年实现。抢夺TOP500排行榜第一名的第一套千万亿次系统是IBM的RoadRunner ，安装在洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）。但按照上述我们提到的这个速度，到2015年，也就是8年后，TOP500排行榜中将全部是千万亿次系统。我们预测第一台Exaflop/s（1Exaflop/s等于100万Teraflop/s）计算机也将在2019年出现在TOP500上。相信在此一年后2020年，就会出现第一台运算性能达到100万亿次每秒的笔记本电脑。
因此，系统性能发展的规律看起来是每11年增长1000倍：Cray 2在1986年突破了Gigaflop/s门槛；Intel的 ASCI Red在1997年跨过了Teraflop/s大关；2008年第一台Petaflop/s也将进入TOP500排行榜；根据我们的预测，Exaflop/s的系统将在2019年出现。
6. TOP500的未来
6.1 TOP500网站
过去所有30届TOP500排行榜的结果以及众多相关的信息资料在TOP500网站www.top500.org上能找到。这个网站每天的流量已经达到2万次以上，由我们的技术经理Anas Nashif负责更新，他同时也在负责TOP500的数据库。TOP500网站现在已经实现了改版和升级，你可以从里面找到更多有趣的功能，查阅各种统计数据、图表以及HPC领域的最新资讯。TOP500项目的经费来源于网站上面的广告，但我们不会受到广告的控制。
6.2 十五年经验总结
TOP500修正了“曼海姆超级计算机统计”的不足，后者从1986年到1992年期间使用了七年之久。TOP500已经被实践证明是行之有效的一套工具，它以Linpack benchmark为基础，简单而有效，尽管时常受到人们的批评，但它确实能够正确地反映出HPC的发展趋势，包括处理器、体系架构、制造商、国家和安装地等多个层面。如同我们在第三节“我最钟爱的超级计算机”中谈到的，其性能预测被证明准确无误，即便是面对历时8年这样一个非常长的时期。
应该说，借助TOP500排行榜来分析一般的发展趋势是非常有价值的。在这方面，TOP500比IDC、Diebold这样的市场调研公司的预测会更加有用，也更为可靠。但是，我们也一直建议大家不要用TOP500排行榜来回答下面这类非常具体的问题：第254位的X系统是否比第344位的Y系统更适合于某一种应用？对这种情况，你最好是在这些系统上面来运行一下自己的benchmark和应用程序。
另外，TOP500榜单也无法用来估测HPC市场的规模，因为我们不知道这些系统到底花了多少钱。经常有人问系统价格方面的问题，我们也承认这类信息对于HPC业界而言是非常有意义的。但是，在TOP500项目最开始的时候，我们就决定不把这类多少不太可靠、含糊不清的数据纳入我们的排行榜中来。
当我们在分析TOP500榜单的时候，我们发现前一半的系统通常会在未来几期排行榜中一直存在，当然会经历一些波动。由于整个榜单的入选系统更换率很高，有些系统只是短期内进入TOP500，但通常只维持了6个月的时间。图24说明，由于性能不足，每6个月后，平均大约有200套系统会被挤出排行榜。
6.3 Linpack与其他基准测试
表25总结了Linpack基准测试的好处与不足。其好处表现为：只测量一种数据；简单，便于定义和排序；鼓励竞争等。其不足为：仅仅强调了CPU“峰值”运算速度和CPU数量；没有着重考虑局部带宽和网络；缺少一种单一且能够反映HPC系统综合性能的数据。
6.4高效能运算挑战指标测试（HPC Challenge Benchmark）
很显然，我们确实不仅仅需要TOP500的Linpack值，也需要HPC Challenge Benchmark等。在德国德累斯顿的ISC06上，Jack Dongarra作了“HPC Challenge Bench-marks and the TOP500”的报告，被与会者评为是ISC06上最好的两个演讲之一。
HPC Challenge Benchmark包括了七个不同的基准测试（见图27），每一个基准测试都着重考虑了计算机系统的不同部分。当然，HPL（高性能Linpack基准测试，High Performance Linpack benchmark）也是这七个基准测试当中的一部分，代表的是CPU方面的测试。HPC Challenge Benchmark的结果非常复杂，因此需要用到所谓的雷达图表（Kiviat charts）。但这些图表对于媒体大众而言就更加难懂了，不象以前我们报道HPC新系统时只要看看Linpack值就可以了。
Dongarra的结论是，我们仍然会在TOP500 benchmark中以Linpack值为主。但是，我们也需要用另一种标准来产成其他一些排行榜。而在选购HPC系统时，HPC Challenge Benchmark将会成为美国的一个采购标准。
6.5 绿色超级计算机Green500排行榜
Green500排行榜由美国弗吉尼亚科技大学（Virginia Tech）的Wu-chun Feng和Kirk W. Cameron of负责，是另一套对超级计算机进行排名的方法。它的目的是列出世界范围内能效最高的超级计算机，作为TOP500的一个补充。然而，最近一期的Green500排行榜还不够完整，它甚至还没有涵盖TOP500中的所有系统。Green500排行榜中能效最高的10台超级计算机都是IBM的系统，如表28所示。这可能也是IBM为什么强烈支持这个项目的原因之一。
TOP500的作者基本上都支持Green500排行榜的想法，但是他们也认为，如果有必要的话，不排除启动独立、更全面的排行榜项目。
7.结论为了改进1986-1992年间的“曼海姆超级计算机统计”，1993年我们启动了TOP500项目。我们的排名方法很简单，采用的Linpack基准测试，以此判定某台超级计算机是否有资格入选TOP500。需要提醒注意的是，Linpack基准测试的含义仅仅是指系统解决一组线性方程的能力。因而，任何一台超级计算机——无论它采用什么样的架构——都有可能进入TOP500排行榜，只要它能够使用浮点算法来解决一组线性方案。
对于选择Linpack作为基准指标这个决定，从一开始就受到了人们的批评，但是经过了15年，我们敢说，正是这样一个决定造就了TOP500的如此成功——Linpack是个不错的选择。起码过去没有，现在仍然没有发现有另外一种方法可以取代Linpack。因为其他任何一种基准测试都不会这么简单，且适用于所有系统——要知道，这是一个非常非常重要的因素，每年编制两次TOP500排行榜可不是一件轻松的事情。
Linpack的另一个优势是，它具有很好的可扩展性，允许我们在过去15年对性能范围跨度非常广泛的系统进行测试。确实，跟其他应用相比，Linpack提供了某套系统偏高的性能。实际上，没有其他一种现实应用可以提供系统更好的效率（Rmax/Rpeak）。但是，有些所谓的“专家”经常向人们推荐用峰值性能来取代Linpack，这其实没有什么价值。因为我们看到有很多新系统，由于不够稳定，无法运行Linpack测试。比如，对当前TOP500上排名第二的系统BlueGene/P进行Linpack测试，就花费了6个多小时。所以说，跑Linpack来测量性能其实也是对HPC系统可靠性的一种测试。
对TOP500结果的曲解也导致人们对Linpack产生负面看法。比如，政客们喜欢把系统在TOP500中的排名当作一种有普遍意义的排名来看，认为它适合所有的应用，这其实是不对的。TOP500仅仅反映了一个系统在解决一组线性方案方面的能力，它并没有说明其性能和其他应用之间的关系。因此，一个组织在选择超级计算机系统时，TOP500排行榜不适合作为选购标准。针对这种情况，你最好是根据自己的应用来运行自己的benchmark测试。也正是基于这方面的考虑，“HPC Challenge Benchmark”之类的方法得以产生，它包含了七个不同的benchmark测试，可以测试一个超级计算机的不同方面，这一点是非常关键的，尽管它的结果比较复杂。现在，“HPC Challenge Benchmark”已经成为美国企业机构在购买HPC系统时参考的一个标准。
TOP500排行榜的成功在于我们长期以来对诸多数据的汇编和分析。尽管它只是依靠Linpack，但是我们已经借此正确地识别和跟踪了过去15年来所有的发展趋势，包括HPC系统的制造商和用户、体系架构、内部互联技术、处理器和操作系统等方面。另外，TOP500的魅力还在于它已经被证明在预测性能发展趋势时是一种非常可靠的工具。
相信在短期内，不可能会有另一种Benchmark会在TOP500排行榜中取代Linpack的基础地位。不管怎样，我们会坚持这种单一Benchmark的理念，因为它容易对不同制造商、国家和安装地之间进行比较，从而引导竞争，而这对于TOP500排行榜的发展是非常重要的。当然，如果有其他Benchmark可以用来弥补Linpack的话，我们也会充分考虑。实际上，我们已经在进行这方面的工作，我们也鼓励其他HPC专家能够提供具有建设性的建议。
致谢
首先我要感谢我的同事Erich Strohmaier，他提供了很多支持、建议和灵感，在为TOP500项目及这篇报告准备数据方面做了很多努力。我还要感谢我的另外两个同事，TOP500的作者Jack Dongarra和 Horst Simon，他们在过去15年来针对TOP500所做的许多有趣的探讨，对这篇报告的完成非常有帮助。我还要感谢德国Kaiserslautern大学的Reiner Hartenstein，正是他邀请我在2007年6月7日在土耳其安塔利亚举行的IDPT（集成设计与过程技术，Integrated Design & Process Technology)全球大会上讨论这个话题。他还建议我使用贝尔定律来探讨TOP500计算机架构的发展趋势。另外要感谢曼海姆大学的Hans Günther Kruse，他审阅了这篇报告的原稿，并提出了修改意见。最后，我要感谢Heike Walther和 Prometeus GmbH，他们翻译了这篇报告的大部分，还有LBNL的 Jon Bashor对报告做了最终的润色。
参考资料
[1] H. W. Meuer, The Mannheim Supercomputer Statistics 1986–1992, TOP500 Report 1993, University ofMannheim, 1994, p. 1–15
[2] See: http://www.top500.org/project/linpack
[3] E. Strohmaier, J. J. Dongarra, H. W. Meuer, H. D. Simon, The Marketplace of High-Performance Computing,Parallel Computing 25, 1999, p. 1517–1544
[4] See: http://en.wikipedia.org/wiki/IBM_Deep_Blue
[5] See: http://www.spiegel.de/netzwelt/tech/0,1518,452735,00.html
[6] See: http://www.sandia.gov/ASCI/Red/
[7] See: http://www.top500.org/
[8] See: http://research.microsoft.com/~GBell/Pubs.htm
[9] World Conference on Integrated Design & Process Technology (IDPT), Antalya/Turkey, June 3–8, 2007 http://www.fpl.uni-kl.de/IDPT/IDPT2007-final.pdf
[10] See: http://www.netlib.org/utk/people/JackDongarra/SLIDES/isc-talk-2006.pdf
[11] See: http://www.green500.org/
作者简介
Hans Meuer，教授、博士，是Prometeus GmbH公司的董事总经理，德累斯顿ISC'07的大会主席。他也是德国曼海姆大学（University of Mannheim）数学与计算科学系计算机科学专业的教授。在1986年，他成为首届曼海姆超级计算机大会（Mannheim Supercomputer Conference）的联合创办者和组织者，该会议至今每年仍在举办。1993年，Hans Meuer和Erich Strohmaier、Jack Dongarra一起创办了TOP500排行榜。Hans Meuer在德国RWTH Aachen大学获得数学博士学位。他从事数据处理和计算机科学领域长达45年以上。1962-1973年，他在德国Jülich研究中心先后担任工程师、项目主管、部门经理等职务。此后26年间，他一直担任曼海姆大学计算机中心的主任。从1998年起，他开始担任Prometeus GmbH公司的董事总经理，Prometeus GmbH是一家专注于高性能计算领域的服务公司。
Prof. Dr. Hans Meuer is the Managing Director of Prometeus GmbH, and the General Chairman of ISC’07 in Dresden. He is professor of computer science at the University of Mannheim, Department of Mathematics and Computer Science. In 1986, he became co-founder and organizer of the first Mannheim Supercomputer Conference, which has been held annually ever since. In 1993, Hans Meuer started the TOP500 initiative together with Erich Strohmaier and Jack Dongarra. Hans Meuer received his doctorate in mathematics from the RWTH Aachen University, Germany. He has been involved in data processing and computer science for more than 45 years. He served as specialist, project leader, group and department chief during his 11 years at the Research Center in Jülich, Germany, from 1962–1973. For the following 26 years, he was Director of the Computer Center at the University of Mannheim, Germany. Since 1998, he has been Managing Director of Prometeus GmbH, the service company specialized in the field of High Performance Computing.
