【IT168 资讯】大数据处理需要定制化、专业化的设备

　　大数据时代到来，带来海量数据的爆发式增长，同时催生了多种数据类型结构，对传统大数据技术提出了挑战。在我国，行业客户是大数据应用的主体，区别于互联网应用，行业大数据的关联性强，大数据应用复杂，跨度更大，跨部门，甚至跨行业需求更多，并且行业用户需求处理准确性，相应及时性也远高于互联网技术，互联网模糊数据难以满足精确数据的要求，用户迫切需要企业能够提供适应行业大数据应用特点的全新的处理技术，提供软硬件一体化整合性产品和服务。

▲浪潮集团系统软件总监、云计算产品研发部总经理张东

　　11月27日，浪潮集团大数据战略发布暨云海大数据一体机产品发布会在京召开。在当天的发布会上，浪潮集团系统软件总监、云计算产品研发部总经理张东全面解读浪潮基于推动中国行业大数据应用的大数据整体战略，并面向产业界细致解读了浪潮自主研发的采用全新技术架构的大数据处理平台产品--云海大数据一体机。张东指出：针对当前数据处理特点，必须依靠定制化、专业化的设备，帮助行业用户迈过应用门槛。

　　全分布式新型体系结构

　　云海大数据一体机采用全分布式大数据处理架构，将硬件、软件整合在一个体系中，采用不同的数据处理的架构来提供对不同行业应用的支撑。通过新型的数据处理架构，实现了计算随数据分布的数据本地化，保证了业务的连续性，即使三到四千个计算单元重载节点情况下，还能够实现相对比较好的扩展性。

　　在硬件方面，针对视频数据挖掘、在线交易这样的应用，由于这类应用对于计算量要求高，因此采用CPU多、内存多的重载节点，并增加专用的加速芯片，针对对计算、存储和IO均衡的应用，采用通用数据单元，第三类则是针对对数据处理快速响应的应用场景，提供轻量计算单元，而存储则采用整体一体解决方案，充分发挥新型存储节制的作用，比如闪存盘的技术，将闪存盘放在整个计算缓存里面做高速缓存，针对不同应用类型，实现全局的算法，降低冗余率，同时采用基于浪潮设计的全新大数据高速互联芯片以及高速互联TOP网络构成全新的网络互联，使整个平台的计算节点、存储节点大大提高运行效率。

▲浪潮云海大数据一体机

　　在算法方面，云海大数据一体机采针对分布式计算的算法进行整体优化。众所周知，分布式计算是一个普遍应用的技术，在互联网行业里面，它可能对于任务这种一致性，对任务要求快慢并不是很高，比如搜索发出去一万个结果，可能回来是九千个，丢掉一千是无所谓的，但是行业应用是不一样的，所有的结果都需要全部返回来，因此优化系统任务调度策略极为关键，要对任务实现针对监控，并动态调整任务执行资源，减少慢任务数量，提高整体性能。

　　软硬一体全环节覆盖

　　云海大数据一体机是国产化软硬件一体的创新数据处理平台，针对重载应用、通用数据挖掘、海量并发数据处理及对高安全、高可靠有极端要求的四类应用处理场景，实现了全环节覆盖。数据分析涵盖了数据采集、数据存储、数据处理、数据分析直至展现储量，融合了硬件到软件的一系列的手段，所有环节都涵盖在一体机里面，为用户解决整体方案，实现插电即用。

　　全方位的专业化的服务

　　浪潮作为整体的IT解决方案的提供商，可针对用户在整个数据处理环节提供全方位的专业化的服务。浪潮将帮助用户明确应用需求，选择适合的软硬件架构，提供开发方面的支持，并帮助客户把程序从原有的模式移植到大数据处理模式下，帮用户调优，直至最后的服务，提供整体一条龙的服务。

　　单一方案不能满足大数据应用需要

　　“大数据虽然极具价值，但真正释放大数据的能量，推动大数据应用并非易事。” 浪潮集团系统软件总监、云计算产品研发部总经理张东在11月27日浪潮集团大数据战略发布暨云海大数据一体机产品发布会指出，大数据类型复杂、规模大，单一方案不可能满足所有的需求，不论传统的OLAP还是新兴的分布式技术，都有特定的短板，厂商需要根据客户的应用特点提供定制化的方案。

　　挑战一：基础设施难以持续单向扩张

　　“IDC公司2011发布的统计数据显示，数据总量每过两年就会增长一倍，而且很多客户的数据累积速度还要更快。但是硬件平台还很难进行单向的无限制scale-out扩展”,据张东透露，现在HADOOP、map reduce等分布式技术即使扩展性比OLAP等技术有了重大的提高，但是仍存在扩展上限，比如传统的Oracle RAC最大可支持100个节点，HADOOP集群技术理论支持4000个节点，因而用户在采用横向扩展架构时，更要注意纵向扩展。

　　基础设施规模不断增大也会带来其他的问题，首先是系统的可用性，因为大规模的系统只要其中一个硬件出现故障，马上就会引起整个系统做恢复，所以，分布式系统应该采取多副本技术，但是又会降低系统的效率。与此同时，随着规模的扩展，网络也会制约系统性能的发挥，网络流量的增加是指数级的，通讯瓶颈让规模无节制的扩展失去了意义。

　　挑战二：数据处理复杂性需要个性化平台

　　无论是结构化的，半结构化的，非结构化的数据，直至最终的数据挖掘都需要把数据精细划分，并且能够形成准结构化的步骤，在这个基础上建模型，进行数据关联性的分析，最后呈现在眼前的只是数据挖掘后的结构。

　　这个过程说起来简单，但实际很复杂。首先环节多，每一个环节对于数据，对于软件和硬件，对于IT基础设施的要求是不一样的，尤其从非结构化数据里面挖掘出信息，比如从照片里面去做挖掘，第一步要挖掘大家穿什么衣服，接下来还要判断这里面是年轻人还是老年人，衣服的颜色是什么……每一张照片可能完全不一样，但是到后面再做数据模型的时候，数据的关联度就会急剧上升，任务却没法做得非常非常细碎，用某一个单一的软硬件无法处理数据挖掘里面的所有类型，所有应用。

　　更重要的是，在中国行业用户是大数据应用的主体，行业用户里不是每一个行业用户都是IT方面的专家，不可能把环节里面所有事物全部解决，因此行业用户就需要一个一体化的解决方案，把数据收集，从归类，到挖掘，到展现全部解决掉，最后只是形成一种服务，形成应用。

　　总之，多类型、多维度数据处理环节的复杂性决定了无法依靠单一类型的设备完美处理，为不同的应用类型和数据处理阶段提供针对性的软硬件方案也是大数据应用面临的挑战。

　　挑战三：天价成本，“想说应用不容易”

　　目前存储越来越频，存数据非常便宜，但是处理数据成本仍然比较高，特别采用传统的方法，比如用数据仓库这样的技术，可能花几千万构建数据仓库，然而能够处理数据规模也不过是TB级的，平均下来每个TB甚至有十万的成本在里面，而现在要处理大数据的量是相当大的，几十T,甚至上P都是很正常的，如果按照前面成本一个P大概100亿的成本，这个是对很多用户无法接受的。如何寻找低成本的方案帮助我们更多用户采用大数据的处理技术，把它的数据进行处理，也将为大数据的应用带来挑战。

　　大数据的核心价值在于服务

　　随着互联网、移动互联网、物联网等新兴技术的发展，中国进入了大数据的爆炸式增长的时代。11月27日，浪潮集团大数据战略发布暨云海大数据一体机产品发布会在京召开，浪潮集团系统软件总监、云计算产品研发部总经理张东面向产业界，分享了浪潮集团对于大数据产业的理解，他指出：大数据的核心价值在于服务，中国已经具备了全球最具潜力的大数据产业发展条件，挖掘并利用大数据潜在价值将成为产业发展的核心着眼点。

　　人类从农业化、工业和走到了信息化，必须重新审视并思考自身的发展模式，如人类如何与地球建立更加友好的关系、商业经济社会如何能够做到更加精细化、政府如何能够给百姓提供更好的服务……“就中国而言，中国拥有3.5亿的手机用户，每天通过互联网产生大量的数据，比如说产生大概有2亿多条的微薄，上传了大量的照片、视频，再比如像北京这样的城市大概有几十万摄像头，每天产生的数据按现在的估计，两天就能产生我们过去03年一直到人类出现之前积累所有的数据量，在2012年新增数据量将达到2.7万亿GB,这个数据可能是几十亿块硬盘的量才能放得下，” 张东表示，这些数据一旦得以利用，必将加速社会发展模式从粗放化向精细化的转变，中国的发展需要大数据来进行支撑。

　　“服务是大数据的核心价值。”张东表示，当前的民生服务是对所有人服务都一样的共性的定式服务，随着大数据的充分利用，未来将转变到针对个性化需求，针对不同个体能够提供其需要的最及时的、主动的服务。以商业经济的视角来看，通过数据挖掘，我们能够发现人类行为的规律，从而实现精准的营销，去判断未来商品的走向，从管理的角度来看，特别是政府的管理，现在的管理水平是管人、管车、管建筑、管道路，但是这个社会实际上是“动”的，也就是说人整个历程实际上是一条轨迹，而不是静态的，如何转化人和物的“静态”管理到“动态”的管理，特别是人和物关联管理，通过管理能够使整个社会管理效率更高，社会更加有序，这一切都依赖于对庞大数据的分析，并由此产生的科学决策。

　　张东同时指出，需求驱动大数据产业的形成和发展，并呈现出新的特点。众所周知，数据挖掘不是最近一两年时间产生的新鲜事物，但是现在从数据的采集，数据的管理，数据的处理，到数据的分析决策，还仅仅是传统的数据挖掘，只是向大家呈现一种服务，未来这个链条将越来越清晰，也就是说围绕着数据新的角色，新的商业模式正在不断的形成，必将产生各种各样技术的提供商，并逐渐在信息化领域里建立多类型的新兴业务模式。

　　商业智能、政府管理及公共服务是中国大数据的应用重点

　　“发展大数据产业将推动中国转变社会经济发展方式，对于提升企业竞争力和政府管理服务能力具有紧迫的现实意义。”11月27日，浪潮集团系统软件总监、云计算产品研发部总经理张东在浪潮集团大数据战略发布暨云海大数据一体机产品发布会上，指出：商业智能、政府管理及公共服务是中国大数据产业的重点应用领域。

　　用大数据指导精准的商业决策

　　商业智能是数据挖掘的产业，但是传统的商业智能所挖掘的数据往往就商业来挖掘商业数据。比如零售业挖掘的就是消费者以前在这个超市里面卖东西的情况，零售业巨头沃尔玛曾把啤酒和尿布放在一起，因为在美国去超市往往是男人，男人再为孩子购买尿布的同时会顺手为自己买一打啤酒，这是对数据挖掘的很经典的商业成功案例。

　　大数据时代的到来，让数据挖掘更加深入和精细化，深刻改变了企业的商业行为。“根据网民最近上传的照片发现，传某一种风格衣服的人数在一定时间内可能呈一个上升趋势，企业就会预测这一季会流行某种颜色、款式，通过这样的数据挖掘解读其中蕴含的商业信息，包括收入结构、性别结构，职业结构，包括人和人之间的关系等，把有价值的数据抽取出来从而形成对商业、对经济的重要判断。” 张东表示，“大数据引导下的商业行为，是对个人行为的分析和预测，基于数据分析来判断消费者需要什么，企业能提供什么，消费者需求的趋势会演变成什么，大数据将引导商业智能的水平更加科学化。”

　　用大数据安排合理出行规划

　　“北京、上海这样超大型城，堵车可谓家常便饭，在传统管理模式下，大家知道北京有限购、限行，但是这些手段实际上缓解交通压力的效果有限。”张东通过大数据在交通行业的应用，解读大数据所引发的政府管理能力的变革：“北京市大概有50万个摄像头，每天产生3个PB以上的数据，北京有公交一卡通每天大概在北京市产生4千万条的刷卡记录，记录了人们的出行情况，如此庞大的数据量为北京解决交通问题提供了非常好的基础。通过对交通数据的挖掘可以制定更加合理化的交通路径的规划。张东表示：”比如说我今天要去济南出差，从上地出门，我出门之前按现在的模式看看上GPS哪条路最短，哪条路最快，不堵车，在整个路程中，会不会因为某一个小学要放学了门口集了很多家长，或者一个商场搞促销突然拥了一堆人，影响我的出行？“

　　未来数据的关联性会更强，考虑的因素的越多，政府管理的能力将越合理。比如说交通出行的实时情况除了综合交通的数据，还有包括其他行业里面的行为，是不是今天突然有很多人到某地聚会购物，天气如何……通过这些数据将会给出行者更好的知道，使我们能够快速的到达目的地，如果针对出行者筹划成交通成流量服务，推送给用户，让每一个人都能够按照有序的方式出行的话，整个社会管理就会达到非常合理的水平。

　　用大数据获取个性化医疗

　　张东称，大数据将引导公共服务更加个性化，更加贴心。”在医疗领域看病难是一个让人头痛的问题，很多人看病等了一天，最后见到大夫不过三到五分钟的时间，仅通过经验判断病情，而人体是很复杂的事情，比如遗传情况、职业特征、饮食状况等等，如果利用大数据对既往健康信息进行分析，就可以把这些因素和人的健康状况，甚至未来的健康走向做很好的整合，将这些数据挖掘出来给大夫，提出针对性的建议，这就是个性化的医疗。“

　　实现个性化医疗要处理的数据来源非常广泛，除了医疗数据、电子病历，还包括职业、行为等等，通过一些渠道把各个环节的数据放在一起来共同建一个模型，那么针对这个健康状况的模型，就完全可以获得更加专业化的健康指导。