服务器 频道

陈冠诚:Hadoop系统的软硬件协同优化

  【IT168 现场报道】2013年11月22-23日,作为国内知名专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

Hadoop软件在IBM服务器上的优化
▲IT168专题报道:http://www.it168.com/redian/Hadoop2013/

  Hadoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168、ITPUB、ChinaUnix协办,渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题,旨在通过开放、广泛的分享和交流,着力于促进中国企业用户提高应用Hadoop的能力和水平,降低Hadoop技术应用门槛和投资预算门槛,推广大数据的应用价值。笔者目前所在的是主题论坛一:架构与实践,下面为大家带来主题演讲的是IBM中国研究院研究员陈冠诚,他演讲的题目是《Hadoop系统的软硬件协同优化》。以下为陈冠诚的演讲实录。

Hadoop软件在IBM服务器上的优化
▲IBM中国研究院研究员陈冠诚

  Hadoop软件在IBM服务器上的优化

  首先分享一下为什么要做软硬件协同一起优化?第一部分硬件体系结构优化。我们IBM研究院是一般大公司目标来说和产品的发布不直接的关联的。它的目标是做新技术的预研,如果你技术确实够好,会提供到IBM里去。我们小组作Hadoop新技术研发过程中发表一些论文,公开资料分享一些设计思想。有些东西可能进入到IBM中去。

Hadoop软件在IBM服务器上的优化

  在我个人理解中,一个IT解决方案一般经历三个发展阶段,第一个要Work,能够跑起来。确实不少人采用以后,说不能跑的更快一点?原来的太慢了,想办法把性能优化一下。把运营成本降低,就是你的竞争优势。对企业来讲,你开源节流,两条盈利路线,我粗浅的认为这样。大数据的平台能够跑的足够快,尽可能压榨采购硬件的潜力。

  到底针对什么样的人群做性能的优化?大部分来讲,处理是GB量的,不是所有的公司都像互联网公司一样,需要处理所谓TB级别,PB级别,几千台机器的规模,不是所有人都适用的。你各种各样行业的客户或者大学,到底日常处理多少量的数据量做你的大数据分析的平台?这是我们需要针对的优化的场景。

Hadoop软件在IBM服务器上的优化

  如果说不是每个人都处理GB级的级别,可能若干TB就是你的所有的数据了,在这样的平台怎么做系统的优化,这是我们首先给自己设定的权限的范围内。你会强调怎么样在这个环境下把你的性能尽可能压榨出来,这是你想要关注的问题。

1
相关文章