服务器 频道

BlueMind深度学习平台:站在AI的风口

  【IT168 评论】人工智能是眼下十分火热的话题,除了吸引眼球的“人机大战”外,它还有许多实际用处,很多企业也都已经将人工智能应用到了自身的运营或业务中。就拿机器学习来说,它可以帮助企业进行数据分析,并借此做出对市场、行业等等各方面趋势的预测,降低风险,最终实现盈收。

  但其实对于大部分企业而言,机器学习的进展总是“困难重重”的。专业人员、技术或经验的缺乏,让机器学习真正实现其价值的时间一次又一次延长。开发人员要完成一个机器学习模型,往往需要很长时间,而且要完成大量的工作,如搭建计算环境、数据清洗和处理、模型选择和参数调整等等。

BlueMind深度学习平台:站在AI的风口

  来自 MIT 的机器学习研究员 Kalyan Veeramachaneni 曾经做过一次调查,在一个 150 个机器学习爱好者的小组中,他询问说:“你们有多少人建立过机器学习的模型?”大约有 1/3 的人举手。而当他进一步问:“有多少人使用这个模型产生价值并衡量它?”结果没有一个人举手。

  换句话说,机器学习专家们把 90% 的时间都放在了数据准备、处理、特征工程、建模、调参上,而背后的业务问题和商业问题,很多时候没有纳入严格的考虑。

  但是要让数据产生真正的价值,就要把数据和商业价值联系起来,这至少要花费 50% 以上的精力。

  企业需要其快速实现价值,开发人员则需要时间和精力,于是矛盾就这样产生了。为了解决这一矛盾,IBM推出了BlueMind深度学习平台,通过结合多种行业应用场景,可以帮助企业快速搭建自己的深度学习平台,以加速解决业务需求,并最终产生商业价值。

  未来AI技术的突破口——深度学习

  不少企业已经开始着手布局AI应用,力争在时代潮流中取得先手优势。在AI技术中,机器学习研究中的深度学习(Deep Learning)技术(或许也可以称之为“思想”)则是目前大热的领域。早在2013年,深度学习就曾被MIT技术评论列为十大突破性技术,且居于首位。业界人士对于深度学习也是报以极大的期待,甚至认为其很可能就是实现未来强AI的突破口。

  深度学习的过程一般分为两个阶段:训练阶段和在线服务/部署阶段。在这两个过程的模型开发中,往往会遇到诸如准确性和收敛性、性能和扩展性、吞吐率和效率等问题。为了帮助开发者应对这些挑战,迅速搭建自己的深度学习平台,IBM系统实验室研发出了基于Spark的分布式深度学习平台——BlueMind。它是业内业界支持最全面的分布式深度学习平台 (支持 Caffe,TensorFlow,Theano,Torch),拥有优异的并行效率和扩展性能,在大规模集群中可以保持加速率在80%以上。同时BlueMind能够提供专业的神经网络和超参数优化建议丰富的深度学习功能,友好的用户GUI界面,为不同深度学习框架提供统一的 inference restful API。

  多场景应用 BlueMind提供全方位支持

  ·金融领域。信用卡识别、银行识别、信用卡组织识别等都是自动化服务中不可或缺的业务需求。在以往的环境中,分类与目标检测、标签数据、识别时间以及持续更新等都是巨大的挑战,这样一层一层的挑战叠加起来,无疑会为服务的部署带来更大的困难。BlueMind可为不同需求提供不同的网络模型,对目标分类检测进行优化;支持跨节点跨CPU训练,对训练过程进行提速,节约时间;同时提供inference API测在线服务,保证开发人员能够获得实时的例程访问能力。

BlueMind深度学习平台:站在AI的风口

  而在相关市场预测需求中,以往以往借助机器学习进行相关预测研究时,准确度无法达到预计的效果,不能达到实际应用的程度。BlueMind可利用ETL将数据转换成可训练格式数据,提供针对RNN模型的超参数选择,同时支持训练过程可视化,并提供优化建议。在与某研究院的合作中,经过Bluemind前期PoC测试,可实现上证300预测未来 一小时准确率>70%,预测未来10分钟准确率>80%。

  ·医疗保健领域。如肿瘤扩散评估、医疗影像病症特征的识别等,都是非常重要的项目实例。之前,病理医生需要用肉眼识别微小的癌细胞、判读医疗影像,费时费力且极易出错。而且能够对影像进行判读的医生需要有非常丰富的经验,大部分中小医院和社区医院缺乏这类医生,大医院人满为患。医生疲于应付,更可能造成误诊、漏诊,导致医患关系紧张。BlueMind可支持对象检测和数据准备,同时支持改变数据大小和标签坐标 ,可支持无需改变原始图像情况下展示训练结果。从历史数据中学习和总结、快速判读影像中的病症特征,辅助医生进行病症分析,提高诊治效率和准确性。同时BlueMind可帮助构建智慧医疗服务,为辅助治疗、病患服务等工作带来更高的效益。

BlueMind深度学习平台:站在AI的风口

  ·工业检测与智能制造领域。零部件及材料中的各种缺陷会直接影响成品质量,造成大量次品、废品,影响企业效益及声誉。而传统的影响分析方法对于各种复杂的缺陷特征都需要人工建模,适应性较差,而且容易造成大量误检、漏检问题。BlueMind可通过提供机器学习的超参数优化,支持训练过程可视化以及提供优化建议,帮助开发者通过深度学习的探索和应用,对检测对象建立精确的视觉模型,结合人工智能芯片的超强计算能力,对于肉眼无法检测到的微小瑕疵实现毫秒级的实时检测。在工件定位、工件测量、工件表面识别和工件装配检测等工作中,带来较好的识别检测效果,为制造业提供智能化、自动化、低成本的工业检测解决方案。

BlueMind深度学习平台:站在AI的风口

  ·在影像内容分析领域中。重要人物识别(远、中、近景等)、局部目标识别(如旗帜、图案等)、人类行为分析(色情、人群聚集等)、赛事、精彩镜头、场景分析等都是比较常见的应用。此类应用对准确性、性能和效率等的需求可能并不如以上三种领域那般刚硬,但同样不可忽视,识别与分析的效果将决定应用的用户体验。对于企业来说,用户体验往往意味着竞争力。BlueMind能够提供优异的并行效率和扩展性能、专业的神经网络和超参数优化建议,在处理视频和图像等无序数据的工作中,带来更高的准确性及效率,明显提升响应时间,增强用户体验。

BlueMind深度学习平台:站在AI的风口

  更卓越的硬件设施

  优化的GPU计算平台:NVLink。通过 NVLink 来实现更高的 CPU/GPU通信带宽,提升大数据集的访问效能。每个GPU间以及CPU和GPU间提供两条NVLink连接,实现高速数据交换,显著提升大型神经网络模型的应用效率。和配置 PCIe P100 GPU 的x86服务器相比,PowerLC服务器运行复杂工作负载可提速41%,IBM PowerAI平台上的 TensorFlow0.12可支持 NVLink的全部功能。更高的吞吐量可支持更大的数据集和更多次的应用运行,提高认知结果的准确度。

  Elastic Storage Server–面向认知和云应用的数据管理。最大化可靠性:内置世界领先的Decluster RAID 技术,大幅缩减数据重建时间,故障不影响性能,平均无故障时间远远超过硬件生命周期。最大化性能:提供基于全闪存和磁盘的模块,最大化访问性能。领先的数据管理功能:Spectrum Scale 实现多元化的数据管理,按需扩展,可整合其它存储环境。经济性:在增强容错性的同时提供更高的可用容量,节约空间、能耗,降低总体成本。

  写在最后:相对于业界其他的深度学习平台,BlueMind的优势是显而易见的。它基于Spark大数据平台框架,能够进行深度学习平台资源管理、调度,同时具备多租户功能以及GUI界面。在深度学习模型管理,超参数搜索方面拥有较明显优势。而且,BlueMind支持业界所有主流深度学习框架,这是其他一些深度学习平台所不具备的。包括先进的硬件设施支持,以及IBM丰富的深度学习知识库,都能够帮助开发人员更好地构建深度学习应用,实现更高的价值,使企业获得更强的行业竞争力。

0
相关文章