在绿色可持续发展成为社会共识的今天，推进数据中心的节能减排已经成为重要趋势。京东与英特尔在绿色数据中心发展方面已经开展了深度合作，包括采用第四代英特尔至强可扩展处理器提升性能/能耗比，采用模块化服务器设计实现更加高效的散热设计，发布了从数据中心级到微处理器级的冷板液冷整体解决方案等，有效地提升了数据中心的整体能效，降低数据中心碳排放量。

　　在供电方面，京东还推出了大功率高利用率整机柜液冷服务器设计，通过将整机柜供电的总线电压从12V提高到54V，降低整机柜服务器内部的连接阻抗和导电阻抗，从而大幅降低了电源输出端到终端设备的全链路传输损耗，达到了提高数据中心用电效率、改善总体拥有成本和降低碳排放的目的。

　　打造高密度绿色数据中心挑战多

　　数据中心规模快速扩大带来的能耗问题在全世界都倍受关注，提升数据中心能效，推动绿色数据中心建设已成为数据中心未来可持续发展的必然趋势。为满足这些需求，京东加大了在数据中心方面的投资，这在支撑业务快速增长的同时，也带来了不容小视的能耗问题。

　　为了满足日益增长的算力需求，同时降低能耗，京东希望能够解决以下挑战，从而持续改善机架式服务器的空间利用率与功率密度：

　　12V总线电压设计的损耗较高：在过去几代机架式服务器中，12V供电是服务器电源最常见的中间总线电压设计。然而，由于电缆、连接器和PCB中存在的不可避免的损耗，该总线电压设计会降低传输至负载的功率，从而严重影响系统功效。特别是在新一代服务器的功率已经远超前代产品的背景下，12V的总线电压对于供电效率的制约已经愈发明显。

　　功率瓶颈导致机柜空间浪费：随着多种部件功耗提升，机柜总功率显著增加，既有的供电系统难以满足如此高功率的供电需求，导致数据中心必须减少机柜的服务器部署数量，以应对功率方面的限制，这导致了约三分之二的空间闲置。

　　传统冷却方式的效率不足：传统数据中心多采用空气作为冷却介质，这种方式较为成熟且应用广泛，但是缺陷也相当明显：当数据中心部署了高密度的服务器时，由于房间水平的空气循环，传统的空气冷却系统无法在垂直机架阵列的 IT 设备入口处提供均匀温度的空气；

　　此外，空气冷却系统效率相对较低，特别是在机架中的高密度服务器运行时，满足散热需求的空气冷却系统的总功率常会达到100kW以上，这在经济性、供电、噪音等方面都会带来巨大的困扰。

　　提升服务器的算力能效比：多样化的应用负载意味着数据中心需要提供多元化算力，以支持上层应用使用更优架构完成每项任务。只有提升服务器的算力能效比，并更加灵活地调用服务器的算力资源，才能有助于降低特定任务的能耗。

　　京东云打造绿色数据中心高密度算力方案

　　京东云绿色数据中心高密度服务器的典型模块如图1所示，由标准电源、前IO模组、液冷模组、内置PCIe模组、风扇模组、电源转换模组、后IO模组等构成。

图1，京东云绿色数据中心高密度服务器的模块化设计

　　与集中式电源架构中的12V总线电压设计相比，54V总线电压通过减少机架中的传导损耗，能够在更高的机架功率下提供更好的整体机架效率。特别是当机架功率密度增加时，54V供电的优势在机架总功率效率上更加明显。

　　京东云绿色数据中心高密度算力方案采用了天枢机架式机柜，该机柜支持两种电源模式，即中央模式和分布式模式，中央电源模式为54V高功率支持模式。两条电源线提供给电源架，输出功率为54V。54V电源通过机架式机柜后面垂直放置的电源母线提供给每个服务器节点。

　　图2显示了天枢机架式机柜的电源架布局，即12个电源单元 (PSU) 插入电源模块，这些PSU的54V输出并联连接，并通过垂直铜母线提供给每个服务器节点。与母线相连的服务器内部设计有54V至12V电源转换模块，可将54V电源转换为12V电源，用于主板。

图2，天枢机架式机柜电源架布局

　　京东采用的54V电源PSU为钛金牌高效率电源模块，能够通过高能源转换效率节省能源。此外，京东54V转12V电源模组采用成熟54V VR方案，多组并联，最大功率达2100W，实现了可插拔、高效率、高功率密度。

　　京东还部署了从数据中心级到微处理器级的冷板液冷整体解决方案，在冷却液分配单元(CDU)、工作液、歧管、服务器等方面进行了针对性的创新设计。该方案组建冷却液回路，利用CDU分配冷却液。在通过冷板收集计算节点的热量后，冷却液不断流向另一个冷的CPU，并通过另一个连接器离开服务器冷板管道，实现液冷计算节点的液冷循环。

图3，京东服务器冷板液冷方案

　　改善供电效率，助力节能减排

　　得益于更加高效的供电、冷却设计，京东云绿色数据中心高密度算力方案在节能减排方面实现了如下收益：

　　铜排效率改善3.8%，铜排损耗减少770W。京东机柜最大负载测试数据显示，相较于12V总线电压设计相比，采用54V总线电压的整机柜铜排效率从96%提升到99.86%，最大损耗从800W降低到约30W，损耗大幅降低。

　　54V转12V模组效率达到97.7%。服务器兼容54V集中供电的整机柜和12V的CRPS供电的服务器，54V转12V模组效率达到97.7%。

　　节省数据中心TCO。新的54V机架部署将增加资本成本，但投资的增加将通过每年节省的电能来补偿，按21KW机架功率计算，每年可节约用电8500千瓦时，节约用电成本约6000元；按部署500个机架计算，在5年的生命周期内，可节省高达1500万元的电力。

　　降低碳排放。该方案单个机柜每年可减少多达87吨的二氧化碳排放。部署500个机柜，在5年的生命周期内，总共可以减少21750吨二氧化碳排放 。除此之外，天枢机架支持与液冷兼容，如今京东数据中心的液冷机架解决方案已实现1.1的PUE。

　　同时，与传统机架相比，全机柜液冷在服务器部署中节省了大量运输。据估计，如果机架以全柜交付的方式交付，1000个服务器节点的二氧化碳排放量可以减少5.3 吨 。

　　写在最后

　　在现代化的高密度数据中心，整体功耗的不断提升为散热效率、节能减排、以及运营成本带来了极大挑战，这也加重了企业寻找创新的数据中心供电、冷却解决方案的压力。通过在整机柜中采用54V总线电压设计，以及全机柜液冷方案，京东能够显著降低服务器供电损耗，提升电源链路效率，降低碳排放，助力打造高性能、高密度、可持续的绿色数据中心。