服务器 频道

云专家管海兵:云计算走向大数据时代

  【IT168 评论】2012年12月8日,由国内领先的云计算解决方案与服务提供商浪潮集团主办的Ibspur World 2012--技术与应用峰会在京举行。在为期两天的活动中,浪潮与产业伙伴及用户展开了针对中国云计算技术与应用模式的探讨。在云计算数据中心建设和运维方面,浪潮指出,大型机、客户机、服务器及互联网三个技术时代都有不同的数据中心模式,云计算也催生出自己专属的数据中心模式,云数据中心是传统数据中心的根本性变革,其核心特征是模块化、集成化与智慧化。中国云重点专家组管海兵做出发言。

云专家管海兵:云计算走向大数据时代
▲中国云重点专家组  管海兵

  中国云重点专家组管海兵表示:“首先想从三个方面来进行交流:首先在数据中心,一般认为传统的数据中心应该是一个众多服务器提供基础设施,但是我想现在数据中心的作用已经超越了基础设施这个概念,云计算通过互联网能够把这些技术传送给真正的用户。数据中心他目前更多的是要用户各种情况下产生大量的海量数据,这些海量数据在医疗、交通、环境、生态、国防等等方面有非常多的应用,我们在上海也做的一些统计,我们估计一百万量出租车GPS会产生120万TB,这些数据中心也有很多的要求,总的来说数据中心处理的数据总量和复杂性呈现很大增长的情况。”

  数据中心这样的数据越来越重要,我们这边的看法,在新的数据时代到来的时候,我们应该需要更多的数据的科学或者是数据应用的技术。刚才宁教授也谈到目前正在做EB级的需求,也许不久EB级用其他词所代替,因为传统的需求已经上升到更高的层面,甚至叫ZB,传统层面来看数据呈现非常大的指数性增长的趋势,各种海量数据也不断的涌现,海量数据的基础设施建设也成为了我们国家和全球的一些热点的技术。在传统的数据有几大类,一类是用网络存储的方法,这种情况下设备和文件做到网络化,还有一些数据具有一定的属性,还有智能存储,云存储这些技术。但是我们一般认为,这些传统系统可能存在这样的问题,有时候它数据存不下,有时候存下来我们很难找,有时候找到了我们也很难从海量数据中得出一些知识,从而满足各种复杂的需求,所以我们探讨找到更好的方式来满足海量数据这种情况下大型数据处理构建的方法,为什么说不用海量存储系统,是因为大家都知道目前信息发展到现在面临很多制约性发展的因素。

  在这里比如说我们有一个发展的问题,为什么不用超级计算机?这也是因为传统的超算它的计算系统跟重组是分离的,数据后面还有其他数据处理的设备,你要把机器搬来搬去的话导致非常多时间的消耗,所以我们想在大家左手的位置,希望能发明一种新的计算的模式或者架构,能够把数据跟存储放在一起,就像刚才张东介绍的时候,他们有一款机器内存特别大,这样就便于IO带宽数据搬迁很大的消耗。从这个方面来说,国家这方面也有非常多的需求,比如说我们国家“十二五”规划,还有中长期发展规划都做了很多这方面的部署。技术方面我们国家已经做了两个海量存储的项目,还做的一些数据并行计算,“863”在存储、并行计算等方面都做了很多的研究,政府还有一些其他也有很多方面的投资。数据中心系统建设也在研制,在这方面已经有一些论文,但是由于这个事件不是非常多的。

  管海兵指出:“第二个跟大家报告一下我们认为在数据中心建设方面面临哪些挑战?首先所谓大型数据中心,多大厂商为大呢?怎么来理解?应该认为这个数据能够中心能够到百万级服务器这么大一个规模,当然了有一些不同的数据能够告诉我们在2000年或者是最近这些时候,这些数据中心达到什么样的规模?微软数据中心已经有20多万台服务器了,有的像FaceBook数据中心的图片,它里面结构非常复杂,这里关心三个方面,数据中心的能耗问题,还有一个数据中心扩展性的问题,还有数据中心软件协同性的问题,能耗方面主要是,百万级数据规模情况下我们如何去有效控制数据中心对能耗消耗问题?”

  我们国家数据中心大概在2010年的时候可能超过3000亿千万时,差不多现在于三峡年发电量一半的规模,还呈现了五年左右翻一番这样一个趋势,这个能耗涉及到非常多的方面,比如从芯片、系统、节点,软件各方面都有能耗的损害,最重要的节点体系结构域应用不匹配会导致整个系统利润率低下,我们希望从节点做一些工作,探求如何解决数据中心能耗的问题,就是说我们希望能够做一些节点体系平衡的设计,我们尝试着是不是能够根据应用的需求设计和选取运算速度,徐州的观点来看我们如何表达CPU和存储功能的功耗。第二个我们关心的问题是容量的扩展,因为数据中心更多的是为了解决按照用户的需求无极变速或者无极扩载的规模,而现在因为应用还不无极变速或者无击扩载,因为投资是局部的,这就呈现一定的矛盾,比如我们用一些大规模的廉价设备来提供少数高端的设备,希望能够构建一个高效、低耗渐渐可扩展的网络,比如这个网站之间是不是尝试着用无线的方式连接,能够实现更新的数据传输协议。

  “第三个数据中心协同问题上,主要用于软件与工具规模无法做好更好的匹配,虚拟化程度越高以后导致云计算环境下用户的需求,非常难以沟通,难以互相协调,现在节点资源下离散节点任务资源非常难以协同,我们需要从大规模的软件层面来解决协同性的问题,以后整个数据中心布置超大型的软件,他可能要处理几十万级或者百万级的服务处理机,现在的技术是无法在百万级节点中间找到一个协调的。目前我们采用的一个方法是从数据中心的软件,我们从传统的OS跨越到两层的阶段,这两层结构就得到了上下层之间的应用,导致效率非常低,我们希望能够很好的表达上下层之间的应用需求,能够提取和监控下层资源利用的情况,达到互通,实现最优软件的框架,这边需要一些解决跨台能源的设置。在数据中心我们除了这些发现之外,我们可能还有潜在发现的研究,比如未来数据中心它是以单个数据中心不断膨胀为架构,还是以若干小型的数据中心把集中式变成联邦式?以后有没有全无线连接的数据中心,还有数据中心的网络要怎么做?如何从云计算走向大数据时代呢?我们需要研究一些新的理论模型,新的计算模型,新的计算方法。”管海兵表示。

0
相关文章