【IT168 资讯】

深度学习改写人工智能

　　小黄人其实是很基础的人工智能机器人。而深度学习是目前人工智能研究的热点技术。深度学习(Deep Learning)其本身是一种典型的计算密集型应用，因此，高性能计算(High Performance Computing, HPC)就成为了深度学习技术赖以实现的动力引擎。

　　一直以来，曙光作为国内高性能计算技术的执牛耳者。凭借自身的技术领先优势，从计算角度理解深度学习技术，并提出了基于“HPC+大数据处理”的机器学习开放框架，在国内率先提出曙光深度学习XSharp软件栈，并依托于XMachine一体化硬件平台，帮助用户快速进入深度学习领域，实现企业应用快速成长，将科研成果快速转化为第一生产力。

　　XSharp是曙光专为深度学习用户开发的一款软件产品，分别从分布式并行系统优化、分布式并行机器学习执行模式优化、大规模机器学习算法工具集三个层面提供深度学习优化策略，帮助用户实现应用优化。

　　科学想发展，肯定有挑战

　　深度学习是依赖于人工神经网络模型的一种信息处理系统。理解一个信息处理系统具有三个分析层面：

　　1.计算理论，对应计算目标和任务的抽象定义;

　　2.表示和算法，关于输入和输入如何表示，从输入到输出变换的算法说明;

　　3.硬件实现，系统的实际物理实现。

　　对于相同的计算理论，可以有多重表示和在相应表示上操控符号的算法，也就是说，对于给定的表示和算法，可以有多重硬件实现。

　　根据以上理论，我们可以认为，目前深度学习的主要矛盾集中在算法和计算能力上。“百度大脑”等类似的科研项目，从工程方面上理解，并非要理解人脑的本质，而是构建有用的机器，依赖人工神经网络算法，可以帮助我们建立更好的计算系统。

　　人脑是一种信息处理装置，在视觉、语音、语义等方面有着非凡的能力，若能在机器上实现类似的功能，这些应用显然具有十分可观的经济效益。如何实现算法和硬件的结合，对深度学习技术的推广至关重要。

　　他有挑战，我有方案

　　面对挑战，曙光提出了XSharp深度学习的软件栈，从软件层面为深度学习奠定了理论基础。结合深度学习常用的软件算法，模块化设计，快速满足用户定制化需求。而且紧扣用户具体算法，从底层优化系统，快速实现深度学习在用户领域的适用性。

　　软件栈设计时分为三个层面：

　　1.分布式并行系统优化层面，提供底层软件支持，各种集成的软件环境，是深度学习不可或缺的模块。包括并行编程MPI、新一代大数据分布式处理框架Spark、CUDA、RDMA、存储技术等;

　　2.分布式并行机器学习执行模式，为深度提供基于流水线、模型以及数据层面的并行优化处理工作;

　　3.大规模机器学习算法工具集，集成了深度/机器学习中经常使用的支持向量机(SVM);聚类算法K-means;主成分分析PCA;深度神经网络DNN;深度卷积神经网络CNN等算法。NVIDIA专为深度学习开发的cuDNN/cuBLAS也被集成到此层面。

　　和科研学术角度不同，曙光XSharp软件栈以工程实现为出发点，关注用户具体应用，迅速有效的帮助用户使用深度学习技术创造价值。

　　软件是灵魂，硬件是身体。曙光结合在HPC领域多年的积累，推出XMachine系统硬件产品，从服务器设计、大数据存储、网络连接、底层数学库兼容等方面设计，内建支持NVIDIA DIGITS深度学习软件平台，为用户提供简单易用的深度学习平台。

　　举个例子：

　　深度学习在未来科研的运用意义重大，例如在某生命科学研究中心，科学家需要对胰岛素图片进行处理，以获取更为清晰的细节信息，传统做法是采用图像处理插件，只能单线程运行，处理速度缓慢，科学家们面对采集的大量数据，只能望而却步，严重影响科学研究进展。

　　通过分析用户的应用，曙光的工程师发现主要瓶颈是在图像反卷积操作过程中，而图像反卷积是一个典型的图像处理场景，反卷积操作最终可以归为矩阵操作。利用曙光XSharp软件栈，将反卷积操作在GPU上进行并行化操作，大幅度提高数据处理能力。

　　实践证明，使用曙光深度学习专用机XMachine W580-G20，同时使用4颗K40 GPU作为加速单元，相对加速比可以提升100倍以上。以实际案例为准，624GB胰岛素数据，2天即可完成数据处理;而采用传统方式，则需要4.7年，效果让人叹为观止。