服务器 频道

人工智能为什么离不开RDMA?

  【IT168 评论】慢慢的,上个月德国ISC大会的喧嚣归于平静,但是每半年一次发布的TOP500榜单却依然昭示着这个行业还在蓬勃发展当中。当然,众所周知的,神威太湖之光和天河二号再次蝉联了榜单的冠亚军,也代表了中国在超算硬件平台上的强大实力。

  除了这些耀眼的明星之外,除了各家厂商的上榜机器数量和各国的份额占比排名之外,其实TOP500榜单本身还有许多可以挖掘的地方。比如这次,我们就清楚的看到了一个趋势——互联网应用正在不断的发展壮大。

  本次大会上,包括谷歌、亚马逊、百度在内的许多互联网巨头都设置了固定的展区,甚至还提供了“动手实验室”之类的活动,这显然并非是传统HPC应用所在。事实上,随着深度学习在HPC应用中的不断拓展,互联网应用成为另一种趋势,这也使得TOP500榜单中新近涌现出不少基于云计算或者Web2.0架构的系统。

  相比于传统HPC大多采用InfiniBand低延迟网络,这些新兴的互联网应用则出现InfiniBand与以太网齐头并进的情形,尤其是具备RDMA的以太网。当然无论是InfiniBand还是RDMA以太网,它们都来自共同的一家服务商——Mellanox。

  对于HPC行业来说,这家厂商可谓是大名鼎鼎。早在多年前,Mellanox就以InfiniBand网络闻名于行业,它所提供的高带宽、低延迟解决方案是传统HPC应用的非常好的选择。时至今日,当HPC应用开始向深度学习、人工智能等互联网应用转型的时候,我们同样发现,就网络而言,Mellanox依然是市场的大赢家。

人工智能为什么离不开RDMA?
▲Mellanox(迈络思)公司亚太及中国区市场开发高级总监刘通

  “这一切都得益于RDMA通信协议的广泛应用”,Mellanox(迈络思)公司亚太及中国区市场开发高级总监刘通如是说。在他看来,无论是传统的HPC应用还是新兴的深度学习框架,RDMA通信方式都是其中的关键环节。这种基于内存远程直接访问的技术大大提升了数据交互的速度和效率,特别是随着云计算与深度学习的兴起,它开始被广泛应用于以太网环境中。

  “目前的深度学习框架包括TensorFlow、Caffe、Cognitive Toolkit、PaddlePaddle都可以很好的支持RDMA以太网和InfiniBand。相比普通的TCP来说,RDMA会有更好的数据传输效率,可以大幅度加速深度学习的训练速度,缩短训练时间;而不具备RDMA功能的网络,即使指标支持高带宽,但受限于TCP通信技术本身瓶颈,应用程序性能依然备受网络性能的掣肘。没有RDMA,网络带宽与应用性能很难有直接的对应关系”,刘通说。

  于是我们看到,在整个TOP500榜单中,Mellanox不仅在针对高性能计算的系统中保持了60%的占有率,而且所有的40Gb以太网系统、多个10Gb以太网系统以及首个100Gb以太网系统都采用了Mellanox的解决方案。

  这也和Mellanox多年来在TOP500中的占比份额相符。正如我们之前提到的,无论是其InfiniBand还是以太网,Mellanox都有着无可比拟的RDMA技术优势。 这也是许多人选择Mellanox的原因。“目前也有些厂商宣称支持RDMA,他们并非是硬件级RDMA的支持,或者不是完整的硬件级支持,性能会大打折扣。而且在产品也没有大规模的应用,当然越来越多的网络公司开始支持RDMA,这无疑对IT产业是件好事。”

  不过对于这个市场来说,另一个大型玩家英特尔的出现的确让Mellanox感觉到了压力。自2015年英特尔正式发布Omni-Path网络解决方案之后,英特尔在超算市场的网络占比也在显著提升。比如本次TOP500榜单中,仅在排名前20的机器中,英特尔就有4套网络平台上榜,这已经是非常不错的成绩。

  “英特尔宣传的性能数据显示比我们的产品快很多?然而我们自己测试的性能数据远比英特尔宣称的高很多。到底谁的更准确呢?这可能是对方测试时没有很好激活Mellanox网络的加速特性。也可能是其他原因。在TOP500的榜单中,采用英特尔网络的大型系统效率大概在50%-70%之间,而Mellanox网络的系统普遍都在80%以上甚至接近99%,这可以充分说明网络对CPU效率的影响巨大,进而反应到应用程序性能上。其实除了性能,网络的稳定与成熟性对用户使用也是至关重要的。我相信最终用户可以在自己的实际使用中体验到差距。”刘通说。

  他将这些差距归结为处理器的占用率。在Mellanox的平台中,因为网卡可以实现智能的Offload卸载功能,所以涉及数据交换的任务大都可以由网卡的智能芯片来完成,这样就可以大大降低处理器的工作负荷。而在英特尔的网络平台中,这些工作则大量依赖处理器来完成,这也加重了处理器自身的计算负担,从而降低了系统的效率。

  同时刘通也提到了一个名为“In-Network Computing”的概念,即把网络处理本身及相关联的操作转移到网卡和交换机当中完成,这样可以更高效的完成数据操作,同时更好的降低CPU的占用率。据介绍,In-Network Computing相比传统的网络Offload更为强大与智能,对应用性能的提升也更为出色。因为涉及到很多聚合式通讯操作卸载(多数据混合处理与网状分析),需要智能的网卡与交换机协同工作,这也恰恰符合Mellaonx开发端到端网络产品的技术特点。

  刘通表示,借助于In-Network Computing技术(在数据移动时进行数据分析,而不是完全依赖CPU或者GPU完成),Mellanox可以将传统业务应用的效果提升5倍到几十倍,这对于HPC与深度学习应用来说效果非常明显,也成为了新产品打动客户的重要因素。

  从最早的InfiniBand到如今的以太网,Mellaox在HPC应用中有着多年的经验,也懂得客户的真实需求。在强调深度学习与人工智能的今天,Mellanox凭借着RDMA的优势成功站在了市场的前沿,并且与百度、腾讯、商汤科技、Face++、京东、科大讯飞、360等许多客户保持了良好的合作关系。

  基于与合作伙伴的联合技术创新,Mellanox在本次ISC17大会上与华为合作发布了业界首个可提供100G InfiniBand EDR业务网络能力的HPC公有云解决方案——HPC Cloud。该方案包括基于高性能虚机、裸机服务、异构计算加速的HPC计算能力,基于Infiniband的100G计算业务网络能力,与100G网络能力结合的并行文件系统存储能力,全方位构建完整的HPC公有云化方案,将为高性能计算领域带来快速高效、开放安全、更加灵活的服务模式。

  在传统意义上,租赁超算中心的计算资源都是需要客户自行提交计算任务,超算中心再进行服务器的分配和资源调度。但是这些服务器都是物理服务器,并非是支持虚拟化的云环境,所以操作系统、软件等内容都是固定的。你只能让提交的任务去适应它,接受它,这样很不灵活。

  “相比之下,HPC Cloud就能够倾听客户的声音,可以拥有虚机Root权限,选择不同的操作系统、不同的MPI或者用很短的时间去构建虚拟机,可以采用不同的配置方案,拥有更多自主管控能力。可能在这一时刻,当下用户运行的是HPC应用,但是下一时刻就可以变成大数据相关的Hadoop计算,所以这些变化需要网络能够对于各种虚拟化进行支持、并且动态的分配虚拟机带宽、配置网络的优先级等等”。

  如今,Mellanox提供的InfiniBand网络可以完美的支持HPC Cloud应用,给客户提供灵活的、可变化的、多选择的应用环境。这一方面得益于Mellanox多年来的技术积累,另一方面也体现了它在上下游和行业伙伴的生态合作,(比如对于GPU虚拟化的支持),这都是Mellanox的优势所在。

  从TOP500榜单讲到人工智能应用,从与英特尔的竞争降到HPC Cloud的生态环境,在近一小时的采访中,刘通一直在滔滔不绝的介绍着Mellanox的特性,并且对各方面的优势如数家珍。在采访的最后,他总结说:“随着HPC与深度学习、人工智能的融合,Mellanox能够找到更好的契机,去面对这个高速增长的市场”。

0
相关文章