【IT168 专稿】作为网络互连技术的先驱,InfiniBand架构由于直接用于连接存储、服务器等,实现集群网络传输的低时延、高性能,因此被广泛应用于高性能计算领域。在近几年的TOP500排名中,采用InfiniBand技术的超算系统数量增长迅速,并占据主导地位。
在收购Voltaire公司之后,Mellanox公司已成为InfiniBand市场中最大的供应商,除了在InfiniBand产品市场保持较高的占有率,Mellanox公司还将其技术发展至以太网领域,随着云计算和大数据处理对高速密集型网络的需求日益迫切, Mellanox有了更多的机会可以帮助客户提升系统效率,节约成本。
作为一家提供网络互连技术的供应商,Mellanox如何看待网络在HPC、云计算、大数据处理领域中发挥的作用,又有怎样的新产品和技术来突破网络瓶颈,Mellanox(迈络思)全球市场开发技术总监刘通对此进行了解析。
▲Mellanox(迈络思)全球市场开发技术总监刘通
“网络的性能与效率会影响整个系统的可扩展性,HPC系统对网络的要求是高带宽、低延迟、高效率,与高可扩展性,在TOP500中所应用的网络技术中,InfiniBand呈现逐年增长的态势,安装的系统数量已经超越其他任何一种网络,其中包括以太网,发展前景非常好。”对于InfiniBand在HPC领域的应用现状和前景,刘通显得很有信心。
突破网络瓶颈 加速HPC
谈到实现百亿亿次/秒(Exascale)计算速度的方式,刘通表示:“要突破百亿亿次计算速度,硬件加速器是非常重要的途径,当然加速器是一个解决计算单元的方式,在大规模的集群中,计算效率往往还要涉及到服务器协同处理、网络互通、存储技术、并行软件等问题。”
因此要想满足HPC快速增长的态势,必须从异构系统、网络传输、存储技术、并行编程等各方面入手。刘通介绍,作为一家企业级网络技术供应商,Mellanox一直专注于研发高带宽低延迟的网络产品,并不断取得突破。除了业界熟知的支持PCIe 3.0的FDR 56Gb/s InfiniBand和40Gb以太网解决方案,Mellanox近期推出了最新产品Connect-IB,“Mellanox Connect-IB吞吐量达到100Gb/秒,同时将延迟降低到0.7微妙以下。”刘通说到。
除了网络硬件本身,通过应用优化的网络通信协议和软件加速器来提升网络性能也必不可少。刘通介绍,在计算节点内部,Mellanox通过加速软件MXM对内部通信进行优化,使得节点内部通信的效率大大提升;在节点之间,Mellanox开发了基于自身硬件的FCA软件加速器,降低通信延迟,提高应用程序可扩展性。
此外,Mellanox还将应用在InfiniBand的加速技术移植到以太网上,从而在不改变硬件配置的情况下,提升以太网性能。例如,Mellanox在万兆以太网上实现的RoCE技术就是将Infiniband上被成熟应用的RDMA技术应用在Mellanox万兆或4万兆以太网上,为万兆以太网提供更高的性能提升空间。在能耗方面,刘通补充道:“Mellanox在每一代产品都非常重视降低能耗,包括降低每个端口、网卡、交换机和线缆的功耗。”
HPC、云计算与大数据
关于HPC、云计算、大数据处理这些热点话题,之间的联系和相关性在哪里?在刘通看来,大数据处理平台和HPC平台存在相通的地方也有不同之处,大数据处理平台和HPC平台在基础架构上非常接近,而上层软件不同——因此传统的HPC技术是适用于大数据处理的,HPC供应商也具备转向大数据处理供应商的潜力。云计算具备更好的灵活性和弹性,更加注重服务形式,当然也要保证系统性能,HPC则专注于并行技术与非常好的性能,因此两者的技术实现不同,未来两者依然会按照相互独立的态势发展,但是两者也可以相互借鉴,出现一定融合。
“不管是HPC还是大数据处理都涉及数据的存取、交互与整合,有大量且密集的数据通信。因此需要高速网络来支持。”刘通补充道。
刚刚在北京成立分公司足以显露出Mellanox对中国市场的重视,谈到Mellanox在华的最新动态和发展策略,刘通表示:“Mellanox公司非常重视在中国的发展。一直以来和国内科研院所与相关企业保持着紧密的的合作,共同推动中国HPC产业的不断发展。同时云计算和大数据时代已经来临,Mellanox不会袖手旁观。”