服务器 频道

浪潮推出大数据一体机 驾驭行业大数据

  【IT168 专稿】大数据已经成为全球IT产业增长最快的领域之一,IDC报告指出,截止2011年底,全球新增的数据量已达到了1.8万亿GB,未来十年还将增长50倍,整个大数据市场平均增长速度每年超过50%,预计2015年整个大数据市场规模将超过170亿美元。如今,绝大多数用户都意识到数据背后蕴藏的商业价值,并试图通过有效的途径发掘出来,进而转化为企业的核心竞争力。

  提到大数据,用户的眼球往往被Hadoop等廉价的开源数据挖掘解决方案所吸引,然而浪潮集团高级副总裁、浪潮电子信息公司总裁王恩东指出:“尽管百度、淘宝等互联网企业已经开始对大数据的挖掘和应用,但是发展大数据产业不仅应该关注互联网领域,更应该关注行业领域,行业才是中国大数据产业应用和发展的主体。”

面向行业数据分析
▲浪潮面向行业推出大数据一体机解决方案,图为发布会现场

面向行业数据分析
▲浪潮集团高级副总裁、浪潮电子信息公司总裁王恩东

  “经历了二十多年的信息化建设历程,金融、电信、工商、交通卫生等各个行业都积累了大量的数据资产。行业客户的数据质量高、规模大,经过浅度处理便可产生巨大的价值,数据的价值密度远大于互联网。”王恩东进一步解释:“同时,不同于互联网,行业大数据应用面临许多新的技术挑战,行业数据观点性长,大数据应用复杂,跨度更大,跨部门,甚至跨行业需求更多,并且行业用户需求处理准确性,相应及时性也远高于互联网技术,互联网模糊数据难以满足精确数据的要求。”

  面向行业数据分析

  基于浪潮对大数据产业的认知与积累,日前,浪潮正式推出云海大数据一体机解决方案,重点面向行业大数据应用,是一体化的数据处理的产品化方案,采用新型技术体系架构,整合软硬件系统,涵盖数据存储、数据处理、数据展现等全环节。

面向行业数据分析
▲浪潮集团系统软件总监、云计算产品研发部总经理张东

  浪潮集团系统软件总监、云计算产品研发部总经理张东介绍,本次发布的浪潮云海大数据一体化解决方案共分四款,分别对应不同的要求:第一类主要针对重载应用,所谓的重载应用包括两个层面的涵义,一方面是数据量处理负荷特别大的应用,另一方面则是在线交易,关注一些耦合度较高,需要大CPU、大内存甚至硬件加速措施的数据分析应用;第二类大数据解决方案则针对通用市场上的数据挖掘需求;第三类则重点关注海量并发数据;最后还有一类是面向高安全、高可靠需求。

  张东介绍,浪潮大数据一体机在面对不同应用类型的时候,会涉及不同的计算资源和不同的数据处理架构。举例来说,在线交易和视频数据的挖掘,对计算量需求较大,对数据的耦合度可能要求会比较高,就需要采用重载节点;通用数据单元追求的是计算、存储和IO,因此采用轻量计算单元就能够快速响应用户需求。

  浪潮云海大数据一体机解决方案重载节点的特点包括增强的CPU和内存配置,并在系统中内置了专用的加速芯片,例如GPU或者FPGA加速芯片,可以在芯片中加载一些算法用于加速整体系统运行。

${PageNumber}

  四大优势特性

  谈到浪潮云海大数据一体机解决方案的优势,张东总结为数据本地化、业务连续性、性能优化、以及全环节覆盖四个要点。

  数据本地化的涵义是计算随数据分布,通过减少传输数据规模,就可以整体提高数据处理和挖掘的速度。

  第二个方面是业务连续性保证,张东介绍,数据规模扩大面对的问题之一就是,如何在持续高负荷状况下保证系统的可用性。全新的浪潮大数据一体机解决方案的全新架构下,浪潮采用了多复本方法,保障了整体系统的可用性,并保持了一定的整体响应速度。采用全新的处理架构,工作负载达到3-4000个计算单元重载节点情况下,仍然保持了较好的性能增长。

四大优势特性
▲浪潮云海大数据一体化解决方案展示

  此外,浪潮在性能优化方面也采用了多项措施。硬件方面,充分发挥较先进的存储技术,例如闪存盘的技术。相比传统磁盘,闪存盘在数据读取上有着突出的性能表现。浪潮云海大数据一体化解决方案将闪存盘放在整个计算缓存中,做为高速缓存,充分利用了闪存盘读写多、写入少的优势。此外,浪潮还将一些算法固化加载到硬件加速芯片中,通过加速芯片提升整体系统的运行性能。

  性能优化第三个方面是采用Reed—Solomon算法优化分布式散列数据布局,满足文件高并发和高宽带双量需求同时平衡数据冗余度。最后,浪潮还特别针对分布式计算里面一些算法进行优化,在互联网行业,大家对分布式算法已经十分熟悉,但互联网行业整体对数据一致性、系统响应要求并不十分苛刻,但是当分布式算法应用到行业的时候就面对着完全不一样的需求。

  “举例来说,我们发出一万个搜索结果,可能会反馈九千搜索结果,丢掉一千是无所谓的,但是行业应用不一样,我们要求所有的结果全部返回回来,因而需要优化系统任务调度策略,对任务实现针对监控,并动态调整任务执行资源,减少慢任务数量,提高整体性能。”张东解释道。

  最后,数据分析涵盖了数据采集、数据存储、处理、分析、建模等一系列复杂的过程,浪潮推出的一体化解决方案则融合了硬件和软件的全部组件,实现了完全的全环节覆盖。也就是说,用户拿到的使开箱即用的一体化解决方案,整体方案在工厂里就预装好运送到客户现场,插上网线,插上电就可以用。

0
相关文章