SC14报道之17：谈谈SC上那些液冷服务器-服务器专区

SC14报道之17：谈谈SC上那些液冷服务器

作者：洪钊峰编辑：洪钊峰 2014-11-22 14:08 IT168网站原创

　　【IT168 评论】“高性能计算有两个发展方向，一是继续朝E级计算即百亿亿次计算规模发展，二是研制新业态的计算机。”在刚刚闭幕的SC14全球超级计算大会上，华中科技大学计算机学院院长金海教授在接收IT168记者采访时谈到。这已经是金海第十几次参加SC大会了。

　　谈到参会的感受，金海认为，这次SC14看到了三个亮点，第一个就是液冷技术的发展，参展商从之前的一两家变成了现在20家，这一技术的发展也为其他芯片或系统厂商制造更高密度的产品提供了基础;第二个是演讲者特别重视应用，对HPC应用的关注度越来越高，但目前来看，能够用到十亿亿次，尤其是百亿亿次计算规模的应用还很少，也就那几个，如果没有应用的支撑，做再大规模的机器也就无从谈起了;第三个是新业态计算机开始涌现，比如有3、4家展出了量子计算机，IBM也公布了其所谓的神经元计算机TrueNorth，跟现在的计算机相比，用的是一种全新的构建方式。

　　关于液冷技术，这也是IT168服务器频道此次直播SC14的关注重点之一，在我们的直播专题中，对20来家研发设计液冷产品的参展商都进行了图文报道，详情请到这里查阅：http://live.it168.com/221.html。另外，中国的参展商之一曙光公司也非常重视液冷技术的最新发展，其在SC14上不仅展出了全液冷的工作站产品，还为中国科大定制了一套液冷服务器，参加全球大学生超算竞赛并取得了第三名的好成绩。

　　沈卫东是曙光公司产品中心基础设施产品总监，长期研究数据中心空调系统节能以及高密度服务器制冷和节能问题。他告诉记者，曙光大约在4年前就开始研究液冷技术，因为我们发现，空气制冷技术的发展已经碰到瓶颈，无论是效率方面，还是密度方面，这跟空气这种介质本身的导热、散热性能相关，所以很早就开始寻求新的介质来替代空气，以对服务器内部的部件进行冷却。我们发现，用液体来制冷，其热容和导热方面，比空气要好1000倍以上。于是，曙光公司2012年开发出了第一款液冷产品样机，并在今年上半年发布了采用浸没式液冷的PHPC300个人高性能计算机，下半年又推出了TC4600-LP冷板式刀片服务器及W560-LI浸没式工作站。

　　所谓液冷，是指通过某种液体，比如水、氟化液或是某种特殊的不导电的油，来替代空气，把CPU、内存条、芯片组、扩展卡等器件在运行时所产生的热量带走。其工作方式大致可以分为两种，一种是间接的冷板方式，即器件本身不直接接触液体，而是先把热量传输给装有液体的铜制冷板，再通过液体循环带出设备，由于冷板只能覆盖部分发热元件，其他元件的热量仍然需要风扇来将热量带出去;另一种是直接的浸没方式，即把器件甚至是整机直接浸泡在液体中，再通过液体循环把热量带出去，完全不需要风扇。打个不太恰当但可能很形象的比喻，前者象是把铜壶放在电炉上烧水，后者是在用热得快烧水，前者是对风冷方式的改良，是早期数据中心液冷技术向单机系统的迁移，后者则显然更具革命性。这两种液冷产品如下图所示：

▲浸没式液冷，把系统部件浸泡在液体中

▲泠板式液冷，液体不直接接触部件

　　“从SC14参展情况看，我们与业界的看法是相同的，我们起步比较早，现在更多人看到了这一趋势。”沈卫东告诉记者，从SC14看，液冷技术的发展变化主要体现在了3个方面，一是生产液冷服务器的厂商越来越多，包括曙光、联想、华为、SGI、CRAY、BULL、HP都在现场展出了各自的产品;二是液冷技术也推动了芯片板卡厂商朝更高密度发展，甚至面向更具革命性的浸没式液冷方向开发产品，不必担心散热问题，比如有厂商展出了一种5U半宽16片GPU模块的超高密度系统;三是看到了很多通用的标准化产品，有开始普及的势头，而在3-4年前，冷板技术大多出现在一些定制化的大型项目中。

　　液冷服务器之所以在SC14上受到青睐，其原因还在于同风冷方式相比，液冷系统密度更高、更节能、防噪音效果更好。比如SGI通过使用冷板技术，在1U刀片机箱里装进了上下两块主板和子系统。再比如，一个数据中心，要想实现PUE值低于1.2，通过液冷服务器可以轻松实现，目前风冷技术下，每机柜的功耗最多只能到30千瓦，而液冷可以轻松达到每机柜100千瓦，这样可以实现更高密度的数据中心。另外，对于一个30千瓦的机柜，服务器运行时产生的噪音会达到85分贝以上，这意味着两个人面对面说话时都需要扯着嗓子喊才能让对方听到，而使用冷板式，可以将噪音降至60分贝以下，使用浸没式，就能达到完全静音的效果。当然，使用液冷技术，也可以帮助用户省去一部分购买机房空调的成本。

　　不过，液冷技术在市场推广过程中，还是存在一些问题，主要有两个：一是客户担心液体泄漏，二是维护复杂性增加。沈卫东谈到，这两个问题几乎所有的服务器厂商都会面临，也都在试图解决这些难题。比如，在防泄漏方面，有些厂商开始将内部冷板的管线焊接成型，象BULL、SGI等都采用了这一工艺，曙光则研发了负压防泄漏技术专利，因为液体外漏主要是因为管线内存在正压，而使用负压则可以避免这个问题，但这些做法都有待市场应用的检验。对于维护复杂的问题，其中冷板式相对好些，主要是通过改变结构设计来提高可维护性，但浸没式维护起来更麻烦，需要等液体风干之后才好进行维护，尽管这对系统的可靠性不会有影响，但会增加一定的人力成本，所以用户在选型时需要与节省的电力成本相比较，如果省出的电费超过人力成本，还是值得的，特别是对于那些需要大量服务器、实现了智能化运营的大型数据中心来，比较划算。

　　目前，冷板式的液冷技术已经比较成熟，具备了产业化的可行性。但对于更具革命性的浸没式液冷技术，仍然处于发展初期。其一，相比较于风冷和冷板式液冷来说，浸没式的系统可维护性还很复杂;其二，只有把超高密度的服务器浸没在冷液中，才能体现出优势，否则，如果只是把普通服务器用这种方式来散热，不过是把里面空间里的介质从空气变成了液体，因此，业界需要对服务器的主板、结构重新设计，否则还不如用风冷;其三，浸没式需要大量的冷液，其成本的降低也要看相应材料能否实现产业化、规模化生产，如此次SC14上3M公司就展示了一种可以气化的冷液，相当抢眼。

　　据笔者了解，液冷服务器的用户主要还是大型数据中心和超级计算中心，这些用户对于高密度扩展、绿色节能、机房静音的需求比较迫切，已经有一些用户开始使用液冷服务器，比如美国国家安全局、美国空军、CGG、ORANGE、VIENNA科学计算集群、日本东京工业大学已经使用了Green Revolutiong Cooling这家公司的浸没式全液冷技术，美国AFRL、ERDL、法国TUTAL、欧洲AWE等使用了SGI的液冷服务器，德国LRZ已经使用了9000台联想(原IBM)的NextScale nx360 M5冷板式液冷服务器，近期又将新加3000台。

　　不过，对于这样一种新的技术，很多用户都还处于观望状态。虽然最大的冷板散热器专业制造商ASETEK宣称其冷板已经安装在了200万颗CPU上，另一家厂商CoolIT也声称在180万颗CPU上装了冷板，但都还主要是在消费PC上，对于企业级应用，无论是普通的服务器，还是大型数据中心，液冷技术的普及之路还刚开始。“空气作为散热介质在计算机领域已经横行了几十年，如果不是因为效率和密度的问题，我们可能会永远使用空气来散热。”沈卫东谈到，液冷其实是业界一种无奈的选择。

　　根据对SC14的观察，笔者认为，液冷服务器的生态圈已经基本成形，显示出了较强的生命力。从散热方式来看，大多数都是间接的冷板式，产业化规模初步形成，但也有有少量的更具创新性的浸没式，如曙光的液冷工作站、Green Revolution Cooling、i3等。从产业链来看，有专门生产专用液体的厂商如3M，生产液冷配件的厂商如ASETEK、COOLIT，更多的是液冷服务器厂商如CRAY、SGI、BULL、曙光、思科、华为、HP、DELL、超微、泰安等等。从适用的机箱大小来看，以液冷刀片服务器占多数，其次是1U机架式服务器和塔式工作站，这也说明，液冷方案更多会用在高密度的数据中心或超级计算中心里，更高密度、节能省电、绿色环保都是不错的卖点，而液冷工作站产品则代表了另一种方向：改变了传统的计算机产品形态和使用模式，就象当年苹果推出IPAD一样，颠覆了人们对于电脑的刻板印象，最终平分了手机和平板半壁江山。不管自怎样，作为一种新兴的技术，液冷服务器产业还处在完善和发展的过程中，但随着能源越来越紧缺，其路途却会越走越宽，这就是被逼出来的创新吧!

　　下面我们盘点一下SC14上的那些液冷产品：

　　1、曙光液冷工作站

　　在SC14上，曙光公司也展出了一款蛮有意思的“液冷工作站”，其散热方式是上述那种“热得快”式的——所有器件都浸没在一种特殊的液体中，其产生的热量通过液体传导给机箱上的散热片。笔者总结了一下，发现跟风冷、间接冷板这两种散热方式相比，直接浸没式的液冷工作站有这么6个好处：一、速度更快。二、真的很安静。三、省电。四、设计美观。五、防水防尘防腐蚀性气体。六、当暖气用!详细：http://server.it168.com/a2014/1119/1683/000001683512.shtml

▲

　　2、Green Revolution Cooling的“大冰柜”

　　Green Revolution Cooling展出了浸没式的液冷系统，直接把服务器泡在一种矿物油中进行降温，是不是很酷呢?他们和东京工业大学合作的一套系统曾经列GREEN500的第一位。这家公司还用液冷服务器支持了俄克拉荷马大学队的学生集群竞赛，整套系统跟一个大冰柜一样，里面装满了戴尔的R730机架服务器，其温度在30度上下。

▲

　　3、3M展出可挥发的冷液

　　3M公司在SC14上展示了其研制成功的一种可挥发的工程液体Nvoec，据称这种液体比一般的纯净水、氟化液或矿物油更好，由于可以挥发成汽体，从而带走热量。随着液冷技术在数据中心和服务器领域的普及，这种液体也开始受到了大家的关注。

▲

　　下面这个塑料盒里装的是3M FC77 Dielectric Fluid液体，里面放一个总功耗为250W的小系统，跟前面介绍到的3M展台类似，实现的也是全浸没式的液冷散热管理，通过液体——气体——液体的循环来实现热量的转移。其显示出来的盒中液体当时的温度是48.2度。

▲

　　4、SGI超高密度液冷刀片

　　SGI公司在大会上展出了其高密度的基于液冷技术的刀片服务器，通过上下两块扁平的冷板取代了传统的有一定高度的风扇，使得SGI可以在一个1U高、5U宽的空间里装入两块刀片主板，上下一合，散热冷板正好贴上4颗CPU，部署密度大大提高，其工艺水平也相当不错。之前笔者曾在华为的展台见过在1.5U高的机箱内上下相合部署两块刀片的做法，相比SGI的液冷刀片密度更胜一筹。

▲

　　5、富士通液冷服务器

▲

　　6、BULL对IB模块也进行了液冷

　　法国人就是浪漫，连服务器都设计得这么有美感，BULL公司展出的液冷服务器也有很大的特色，不仅在CPU、内存上覆盖上了冷板，打开机箱盖，主板都看不到，而且他们还对INFINIBAND交换模版也进行了液冷式散热。

▲

　　7、Liquidcool液冷刀片

　　Liquidcool这家公司在SC上展出了自己设计的液冷刀片服务器，现场的DEMO显示了至强E7处理器在满负荷运转下的温度，其中CPU的温度控制在55度左右。据现场的工作人员介绍，其PUE值可以控制在1.1以下。这不禁让我想起前段时间北京市明令禁止构建PUE值在1.5以上的数据中心，只允许建更绿色更节能的数据中心，这无疑会对液冷服务器带来利好。

▲

　　8、NORTECH的液冷机柜

　　别看这家名叫NORTECH的公司摊位不大，但他们已经在中国市场上开拓了业务，之前与浪潮合作将其液冷机柜带到了BAT的天蝎计划中去。据现场的老板介绍，NORTCH在上海已经有了2个人的办事处，不过当谈及在中国的业务时，他显得比较谨慎，不愿多说。

▲

　　9、COOLIT已出货180万个冷板

　　COOLIT是一家专门制作液冷散热零配件的厂商，据称市场上已经有180万颗CPU上都装了这家公司的冷板。在SC14上，还有另一家叫ASETEK的公司，和COOLIT是最直接的竞争对手，宣称已经在200万颗CPU上装了冷板。这两家公司之间可能还存在专利技术上的纠纷，它们是这次SC14上笔者见到的最大规模的、已开始实现产业化的液冷方案专业制造商。据COOLIT的现场工作人员跟笔者介绍，他们的产品其实与ASETEK有差异，具体体现在接口、冷板是否带水泵等方面。目前，超微、泰安等8家厂商开始与COOLIT合作推出液冷服务器，不过，笔者在现场也看到他们还展出了思科、戴尔等大品牌的液冷服务器，但该工作人员解释说，这些大厂的合作还在商谈中，展出的只是工程样机，是示范给这些大厂的用户看的。另外，他还告诉笔者，COOLIT的液冷热交换器有两种规格，一种简易型的可以对一个42U机柜进行散热，一种更复杂的可以对20个机柜进行散热。我把他们的演示PPT也拍了一遍，有兴趣的仔细看吧。

▲