服务器 频道

周傲英:高性能数据系统的回顾和展望

  【IT168 现场报道】北京时间10月29日-31日,由中国计算机学会主办,中国软件行业协会数学软件分会协办,中国计算机学会高性能计算专业委员会、桂林电子科技大学共同承办的2013年全国高性能计算学术年会(HPC China2013)在广西桂林召开。

周傲英:高性能数据系统的回顾和展望
▲IT168专题地址:http://www.it168.com/redian/HPCC2013/

  本届盛会围绕着高性能计算技术的研究进展与发展趋势、高性能计算的重大应用等主题展开,促进信息化与工业化的深度融合,为相关领域的学者提供交流合作、发布最前沿科研成果的平台,推动中国高性能计算的发展。本次会议邀请了美国HPC Advisory Council的加盟,还邀请国内外知名超算中心主任参加,并举行“云计算”、“大科学工程中的高性能计算”论坛,会议期间还将召开“CO-DESIGN”研讨会。下面带来大会报告的是华东师范大学教授、云计算与大数据研究中心主任、海量计算研究所所长周傲英,他的报告题目是《高性能数据系统:回顾和展望》。

周傲英:高性能数据系统的回顾和展望
▲华东师范大学教授、云计算与大数据研究中心主任、海量计算研究所所长 周傲英

  高性能数据系统印象

  周傲英表示数据系统往往应用在关键应用上,价格也较为昂贵。高性能数据系统主要可以分为四类:第一类是数据库机器,典型代表就是Teradata、Exadata等机器;第二类是无共享并行系统,代表就是DB2/PE,Hadoop以及Aster;第三类则是内存/事务型系统,代表有HANA、TimesTen以及OceanBase等;最后一类则是分析型系统,代表则是Hadoop、Aster以及Greenplum.

周傲英:高性能数据系统的回顾和展望

  周傲英认为数据系统或者大数据一个绕不开的话题就是Hadoop.他表示像Google和Amazon等互联网公司具有大量的非结构化数据,这些非结构化数据的价值并不确定,如果采用购买商用机器的方式将会非常昂贵,所以这些用户采用了Hadoop来构建廉价的系统。

  根据介绍,在Hadoop诞生之前,Google公司在2003年发表了GFS(Google File System)系列论文,Jeffrey Dean等在2004年和2006年又分表发表了Mapreduce论文和BigTable论文。自此,奠定了Hadoop的发展基础。

周傲英:高性能数据系统的回顾和展望

  周傲英教授认为Hadoop是一个可以更容易开发和存储大规模数据的软件平台,帮助用户快速、低成本地实现大数据的存储、管理及分析查询。Hadoop的关键在于MapReduce和HDFS,MapReduce可以实现高性能分布式并行数据处理,HDFS则提供可靠数据存储服务,低廉MPP,高容错,高通量以及可伸缩等特性功能。

  周傲英表示,Hadoo虽然有很多优点,但并不等于大数据。Hadoop在MapReduce过程中仍然无法控制实时时间,所以在实时事务处理的时候还是没有数据库更强。周教授表示在大数据时代下,应用需求在变化、应用环境的变化、硬件的变化、体系结构的变化、计算环境的变化使得数据系统重新面对的。最后,周教授表示传统数据库的研究理念和方法在大数据环境下仍然有指导意义和参考价值,大数据研究是应用驱动的, 国内在大数据时代中充满机会。

  大数据、数据库带来的机遇

  什么是数据库呢?周教授表示,数据库是按照数据结构来组织、存储和管理数据的仓库,它产生于距今五十年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

周傲英:高性能数据系统的回顾和展望

  在传统数据库领域,国产数据库厂商因为起步晚,导致目前只能在夹缝中生存的不利局面。因此,在大数据时代刚刚来临,国外厂商亦处于战略布局的阶段,国产数据库厂商应当抓住机遇、及时转型,加强关键技术的研发和突破,以研发面向大数据的新型数据库为目标,借鉴国外厂商在大数据领域的新理念、新技术、新产品、新方案,及时的推出自己的新型数据库产品,才能取得大数据时代真正的突破。

周傲英:高性能数据系统的回顾和展望

  伴随国家信息化建设快速推进、电子政务逐渐进入深化应用阶段,对数据的开发利用将成为新的方向,同时出于信息安全的角度,国产数据库软件必将获得政府青睐。可以说,大数据给国产数据库厂商带来了“天时、地利、人和”三者同时齐备的三十年不遇的战略机遇期,如果国内企业能抓住这一机遇,在技术、商业模式上主动突破,形成自己的优势,在某些行业率先开辟出应用示范案例,那么未来在市场上将会取得突破性的发展。

周傲英:高性能数据系统的回顾和展望

  在大数据和云计算的背景下,数据库行业创新不断,数据库软件巨头也通过加强研发、收购等方式加强自己在大数据领域的影响力。

0
相关文章