登录 / 注册
IT168服务器频道
IT168首页 > 服务器 > 服务器资讯 > 正文

将HPC代码主流化 将推动下一次GPU浪潮

2017-11-27 17:35    it168网站 原创  作者: 谢涛 编辑: 谢涛

  【IT168 资讯】没有软件,再好的硬件都是毫无意义的,而软件只要易于使用,就能成为主流。 Linux已经花费了二十年的时间来打磨自身以获得企业特性,Windows Server也是如此。大量的开源中间件应用程序用于存储数据,并通过Web前端连接后端数据库和数据存储。而现在,是应用高性能计算和人工智能的时候了,我们只希望不会花那么长时间。

  HPC应用程序并不算新奇,事实上,它们是在60多年前商业电子计算诞生时随着的商业应用程序的创建而创建的,通常是专门设计用于执行复杂的数学计算而不是计算金钱和交易的设备。这些早期的高性能计算应用程序(通常由Fortran编码)处于前沿水平,它们允许科学家模拟各种物理和化学过程,所有这些功用,都使我们对周围世界和广泛的宇宙有了更好的了解,也帮助我们制造更好的产品来丰富我们的生活。虽然HPC应用程序已经存在了很长一段时间,但没有人会觉得HPC是一件简单事。而且,如果通过机器学习来改进的所有类型的仿真和建模变得更容易,那么安装、更新和管理传统的HPC和新的AI应用也将变得更加容易。

将HPC代码主流化 将推动下一次GPU浪潮

  为此,NVIDIA在这场GPU革命中的紧要关头,正在大力投资,以便更容易地部署这些应用程序。在5月举行的GPU技术大会上,该公司展示了其NVIDIA GPU云,它实际上并不是一个计算云,而是一个免费的预先封装好的CUDA软件库,帮助企业加速部署应用。最初的NVIDIA GPU Cloud于10月下旬开放使用,它拥有基于云的注册表,用于机器学习的容器化框架和应用程序映像,用于保持DGX-1设备的最新状态;它还可以用来部署应用程序映像,并将其保留在AWS上——其他的云供应商也将很快加入进来。它也可以用来将图像部署到本地NVIDIA DGX-1系统,或者对其他Cephie-Geepie机器进行一些调整。

  在丹佛举行的SC17超级计算大会上,NVIDIA联合创始人兼首席执行官黄仁勋发布了这个云注册中心的一个新分支,该分支将专注于传统的HPC应用,以在企业中使用这样的技术。高性能计算行业一直在感叹HPC应用程序在商业环境中部署的高标准,多数企业不会想要做科学研究,他们愿意并能够花费数周的时间建立HPC应用程序进行仿真和集群上的可视化。通过NVIDIA Compute Cloud,HPC堆栈——正如AI堆栈——都被封装在Docker容器中,并且可以在Linux平台的任何位置进行部署。

将HPC代码主流化 将推动下一次GPU浪潮

  目前,NVIDIA GPU Cloud的目标是用于注册表和容器服务的最常用的 15个HPC应用程序,这些应用程序占已部署HPC工作负载的70%,并开始应用于NAMD和GROMACS分子动力学和Relion电子低温显微镜应用程序,之后会有更多。NVIDIA将对添加到云端注册的代码进行所有的质量保证和测试,并将在使用“Pascal”和“Volta”代Tesla GPU加速器以及公众的DGX-1系统上验证使用这些设备的云。鼓励开源社区为他们的HPC和AI应用程序创建容器,与NVIDIA一起测试并发布到注册表中。

  通过这种方式,正规企业以及学术和政府超级计算中心将拥有Google,Facebook和其他超级代理商十多年前部署的那种容器化、自动化的应用程序部署。这是采用超大规模软件技术来改善HPC的一种情况,像NVIDIA这样的公司,在前两者的交汇处,比世界上任何一家公司都更理解加速计算。此外,NVIDIA必须自己做这些事,要么就等HPC软件制造商意识到他们需要这么做,然后创建兼容的容器环境。NVIDIA想要保持GPU加速的优势,就需要驱动这种容器化,而且从技术层面来讲,这种开放的理念也会最终为其带来收获。同时这也将有利于那些可能没有专业知识来构建和维护代码的商业HPC应用程序供应商。

  NVIDIA已经建立了一系列的良性循环,首先将HPC工作负载的加速计算与其核心专业和游戏图形引擎结合起来,然后人工智能研究人员将机器学习嫁接到同一块铁板上。

将HPC代码主流化 将推动下一次GPU浪潮

  黄仁勋解释说:“任何计算架构中最重要的事情之一就是可访问性。如果不能访问,那显然人们是无法为之发展的。如果它不是非常容易获得的话,那么开发人员就不愿意采用这种架构,因为开发者想要扩大他们的影响力。随着Volta的触及,开发人员也正越来越多地使用我们的架构,Volta正在腾飞。”

  所有主要的服务器OEM和ODM都在9月之前在他们的系统中使用了Volta加速器,无论是PCI-Express还是SXM2形式,而且AWS也在一个月前发布了P3实例。在SC17上,微软展示了基于Tesla V100加速器的NCv3实例。基于Tesla P100加速器的NCv2实例将在12月1日正式上市,ND实例也是基于Tesla P40卡的,并且比深度学习培训或HPC仿真更适合机器学习推理。

  当然,仿真和建模只是HPC的一个关键方面。人类需要看到某个事物,才能更好地理解它,所以模拟和建模的可视化是关键。为此,NVIDIA正在与同名HPC可视化软件栈的制造商ParaView合作,将NVIDIA的IndeX体积渲染,OptiX优化光线追踪和Holodeck VR沉浸技术整合在一起,使所有这些都能够通过GPU加速,在NVIDIA GPU Cloud中可用。这个带有NVIDIA插件的容器化的ParaView堆栈现在已经在试行。 NVIDIA还封装了其在游戏系统中使用的物理引擎,称为引擎桥(Engine Bridge),并封装了ParaView可视化堆栈,替换了ParaView创建的本地OpenGL系统,以及针对特斯拉加速器高度优化的OpenGL系统。

  这一切意味着您可以在同一台机器上使用实时阴影对模型进行实时可视化。一般来说,大约80%的计算将用于模拟,20%用于可视化,因此Tesla的销售额有20%的增长。这种可视化集成还将有助于推动GPU业务,特别是现在包括GRID虚拟化GPU卡固件在内的整个可视化堆栈正在Tesla加速器上运行。

  NVIDIA Tesla目录现在已经有超过500个HPC和AI应用程序被调整为支持CUDA并将并行工作卸载到GPU加速器。NVIDIA的加速计算副总裁Ian Buck表示,这些代码中的大多数是传统的HPC应用程序,用于模拟和建模,但是也有大量的AI框架和应用程序。很难肯定地说,但是Buck估计,学术和政府超级计算中心以及企业(尤其是金融服务部门)的自主开发的应用程序的数量也是这个数字的两倍或三倍。

  这是一个非常大的应用基础,足以推动业务向前发展。早在HPC和企业应用程序主要运行在Unix操作系统中的RISC系统(有时是Itanium系统)的时代,如果有超过3000个应用程序在给定的Solaris,AIX或HP-UX发行版上受支持,就会被认为是成功的。看起来CUDA-Tesla组合大概是2000左右,考虑到不是所有的应用都可以通过GPU来加速,这其实并不差。而且,我们甚至只看到了GPU加速应用程序潜力的“冰山一角”,对未来的探索并未中止。

标签: HPC , NVIDIA , GPU
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐

首页 评论 返回顶部