服务器 频道

吴朱华:实现秒级对大数据的实时分析

  【IT168资讯】9月13日-15日,SACC2012中国系统架构师大会在北京举办。大会以“架构设计 自动化运维 云计算”为主题,邀请国内最牛的IT架构师与工程师们来分享他们最新的技术应用经验与成功案例。在本届SACC2012中国系统架构师大会上,人云科技创始人吴朱华谈到了如何实现秒级对大数据的实时分析。

  海量数据,或者说大数据,一直是近几年来的热门话题,其对企业存储系统的性能和容量都提出了更高的需求,而随之而来的则是对企业IT投入以及人力成本投入的更大需求。如果在满足性能的同时降低成本,是诸多企业正在不断追求的目标。

  大数据时代最明显的标志就是不断爆发的数据量、不断增长的数据类型和数据处理速度的不断加速。同时业务用户要求对数据更深的洞察力和更广泛的数据范围,并能够访问最新的数据,实时回答无延迟。在这样的背景下,产生了许多新兴技术满足大数据的需求,如存储的发展、Hadoop、内存计算、分布式MPP、数据挖掘以及复杂事件的处理。

  谈到YunTable,吴朱华表示有三点非常关键,那就是:

  支撑海量数据:就是整个机器能支持PB级别的数据,按照每台服务器支持5T左右的数据情况,大概需要至少200台服务器才能支撑PB这个数量级。

  应对各种失败情况:由于在一个集群中,任何失败的事情都有可能发生,虽然我们不可能做到面面俱到,但是应该能对一些基本的情况有所准备,比如,服务器宕机、硬盘失败和网络中断等。

  简化的管理:也就说管理员所要负责基本工作只是给集群的添加新的节点,其它功能应尽可能由系统自己来处理。

  但是,吴朱华也谈到了一些注意的问题,那就是我们在设计分布式的时候,没有必要任何事都以Google的设计和理念为准绳,因为我们所面对和处理的需求不是与Google同一量级的,所以在设计上,可以多做一点的假设,比如,没有必要涉及多个数据中心之间的备份和一致性,或者可以限定一个集群的大小在1000台以内等,这些都对简化分布式架构有着非常重要的影响。

  据Garter预测,到2012年,70%的全球1000强企业会将明细数据导入内存,以提升商务智能应用的性能。内存计算技术能够支持在服务器的主内存中处理超大量的实时数据,从分析和交易中提供及时的结果。

0
相关文章