服务器 频道

百度云架构师王继平:云执行中的思考

  【IT168 评论】2012年12月8日,由国内领先的云计算解决方案与服务提供商浪潮集团主办的Ibspur World 2012--技术与应用峰会在京举行。在为期两天的活动中,浪潮与产业伙伴及用户展开了针对中国云计算技术与应用模式的探讨。在云计算数据中心建设和运维方面,浪潮指出,大型机、客户机、服务器及互联网三个技术时代都有不同的数据中心模式,云计算也催生出自己专属的数据中心模式,云数据中心是传统数据中心的根本性变革,其核心特征是模块化、集成化与智慧化。百度云平台高级架构师王继平做出发言。

百度云架构师王继平:云执行中的思考
▲百度云平台高级架构师 王继平

  百度云平台高级架构师王继平表示:“分享一下百度在最近几年云计算执行过程中一些思考和体会,我刚才也提到了我们学术界,包括工业界,包括政府等等一些想法,我今天带来的是在互联网的行业里面,云计算该走一条如何的路?百度是如何做这样的探索?两方面:第一方面是回顾百度发展的一个历程。第二个简单介绍一下在绿色数据中心的一些事件,概括一下云应该分成三个阶段,第一个是专有云,开放云,个人云,怎么来去解决这件事呢?首先说搜索引擎在互联网行业里最大的一个应用,这是去年的数据,我们数据处理总量已经达到了百PB到千PB级别,每天到十到百P的数据,现在请求十亿到百亿的规模,产生用户各种访问大概每天百P到1P这样一个规模,在这样大的一个数据量的情况下,我们必须要有一个比较好的基础架构,能够满足百度自身基础的一个需要,我们有一个专有云的解决方案,中间我们引入了大规模的数据存储和大规模的数据计算,还包括一个很特殊的叫做时时的云存储计算,这两个完全不同的设计风格,一个注重存储,更批量大规模的去处理,另外一个是时效性,用户上传一张图片或者发一条消息他要马上能够响应,马上推推到另外一个点,整个设计架构也是完全不一样的,在这样基础层面之上,我们再去有的各种各样上层的应用,包括我们搜索等等这样一些应用,这个是专有云的计算。

  09年2000年的时候我们就在想,有这么一套好的解决方案或者架构是不是能够为互联网其他的开发者和产业产生一些更大的价值呢?帮助整个互联网更好的去做繁荣呢?从2000年开始应用开放云的这样一条路,把内部很多解决方案整个重新做了抽象和提取,会变成这样一个结构,下层还是云存储,云数据库,云消息,中间会有一个我们叫做应用的执行引擎,包括虚拟式的解决方案,包括云服务一些租价,上成有CDN云节端介入,大家可能可以看到在这个层面上2000年到2001年百度云的实践可能还是在像SaaSbb.经过几年,我们开放云平台都有很多互联网在应用,大约10万规模应用在上面跑它的服务。同时也可能和我们检索很好的结合,大家也知道百度在2000年的时候推出了阿拉丁,数据的一个开放平台,后来从数据的开放变成应用的开放,就是说你在搜索的时候能够马上得到需要的一个应用,这个应用部署在哪儿呢?实际上就是部署在百度的云平台上。同时也承接了很多国家课题,取得了很多成果,这个不再赘述。

  两年建设我们也发现了很多层面的问题,刚才很多专家和学者都有过这方面的一些阐述,第一个是建设困难,建设困难是两方面:第一方面是成本,第二方面是时间,我们知道建设一个数据中心整个一个时间周期大约在四到五年这样一个时间,而整个建设的成本可能就是10亿这样的规模。第二就是运营难,为什么说是运营难呢?主要是几个方面,第一个方面改革数据安全刚才也提到了,在中国这样的环境下很难说有一个企业能够很放心的交给第三方的服务商让他去为你提供一个云的解决方案,反倒是说有一些大企业私有的解决方案可能在中国更务实!比如浪潮也做了这样一些方面的实践。而小的一些开放者,他其实是很难去真正长大,而且在这个过程中你也很难向他们去收取一些费用。第三个监管难,这方面大家也知道中国的国情不用多说,最后是发展,我相信大家也听到前两天亚马逊,包括GOOg Le他们一直在打价格战,我们就看到当有一到两个当量级技术能力相当的公司在做云方面竞争的时候,残酷的价格战可能就开始了,真正的发展一条直路是很难的,包括亚马逊他的利润率大概在20%,与此同时还有另外一个问题就是移动互联网的兴起,我们的云计算,包括云的一些实践一定要是迎合这样一个浪潮,为移动互联网在做更多的事,这是百度在做的一些事。

  移动开发者做什么事情呢?第一个是终端分裂,智能级包括安卓里面,2.2,2.3,包括各种尺寸,厂商定制各种适配,各种不同的浏览器等等,就会导致他研发环境非常非常复杂,你要PC上做一套,你在安卓上做一套,你的渠道也是分散的,你要有三倍的运营成本和研发成本才能支撑一个服务,这是移动互联网现在的现状,包括变现能力和推广能力都非常大。有个统计说,在平苹果上面,平均下来每个开发者能赚到的钱大概每年几十美金,好可怜啊!这是机遇互联网的现状。基于这样的思考,百度从开放云转向了另外一条路,百度解决之道,第一以个人为中心,重新组织云服务,想象一下以前云服务是为开发者或者为厂商提供一个底层的软件硬件,他们在上面做一个服务,最后提供给开发者,提供给用户,用户实际上在享受的是各个不同的服务,如果他的数据以个人为组织,计算单元是为个人为组织的,想象一下就会变成另外一个样子,我们会提供百度CloudOS是直接大同云和端的,每一个APP不再是传统意义上的APP,而是在任何一个终端上它都会变成一个投影,这个APP其实在云端,我们会提供一个完整的基于CloudOS的解决方案,并且APP投影到各个不同的终端上面去,数据存储以个人为单位,大家可以想象一下,每个人在头顶上拥有一个自己的云PC,那么他的核心的个人数据,包括他的应用都是在云端,你在任何的设备上,任何的场景下,都可以去很方便的享受到你的数据以及你的服务,而且它是可以不间断,不割裂,出去旅游的时候看一本小说,转过头来又到PC上,但是当你的APP在云端的时候情况完全不一样,你只要点开永远看到都是当前的新闻,因为它永远都是最新的。开发者会看到我不需要配置更多的资源和成本,这个成本已经分担到每一个用户的头上,他需要的是围绕着用户以及用户的计算资源和存储资源去进行开发各种各样的APP就可以了,这样一些APP通过搜索,推送浏览,包括一些APP平台,可以去到每一个用户,并且根据用户的使用来赚取自己的一些利益,这样的话开发者,百度的云平台、以及用户能够形成完整的生态链。

  我们很简单的梦想,就是为每个人一台云PC,这个东西和当年有一个人很相似,叫比尔盖茨,他的一个梦想就是每个人一台PC,所以说他成就了一个Windows此作系统,PC的系统完成了一个文档的数据库。第二个浪潮是互联网真正的兴起,这个兴起实际上是完成了一个信息的数据化,就是说你的人和人之间的交互、通信方式整个是不一样的,完全颠覆的,效率有成百上千倍的提升,云的时代实际上我们认为是人文数字和生活的一个数字化。更多的一些数字化生活,APP也好,包括一些交互等等,更多是依托云来进行。给大家说一下最近的  一些进展,我们三月有一个百度开发者大会,第一次宣布了云战略,并且发布了个人云和个人云存储和网盘,九月份百度创想大会,CloudOS凯奇云端一体新型Web  APP新篇章,云计算为什么有底气做下去,个人云存储用户突破2000万的成本, 成为行业个人云首选品牌。

  ”接下来说一下有关数据中心,为什么百度有这个信心能把成本降下来?百度的数据中心也是经历了几个阶段,第一个阶段在07年以前,更多的是租用,那时候主要是关心利润率,刚才张东总也说过整个利润率基本上在10%以下,那个时候百度就已经能够把一些最关键的服务利用率到40%,到50%.第二个阶段就是说08年到09年是以租用为主,自建为辅,成熟基础已经进行一些自建,规模是10万量级,2010年以后我们觉得整个技术积累已经成熟了,所以以租用为辅,自建为主,这时候不断进行了一些新的技术,目前已经有建好的数据中心在投入使用,后续三到五年会有几十万台这样的规模。“

  这是一个数据中心的分布,大家知道能耗在数据中心建设中是最重要的一个环节,在电价高的地方和电价低的地方,10万台数据中心在电上的差价可能用亿来计算。百度实际上在服务、网络、配电、以及空调等等这些方面都是取得了一些成绩。首先说对于服务器的制定,我们发现有很多的组件其实是完全没有必要独立存在的,比如说像风扇,以及一些容错处理的机器,包括一些GPU等等,很多设施我们可能都不需要,而这些东西都是耗电的。第二就是根据自己的环境去制定整体的服务器,可以分享这样一个结构,以前独立机箱、独立电源,独立风扇,独立管理整个打散,变成整机柜的方式,包括张东总也介绍,风扇墙,有的时候一定要用UPS嘛,是不是考虑电池的方式?第二个分享一定要软件和硬件相结合,什么叫软件和硬件相结合?独立卡数据中心肯定是不行的,比方说你的CPU最近发展的很猛,多少核的多少核的?但是你的硬盘设计,包括你的带宽实际上都是限制你整体计算的通口的瓶颈,这样的情况下选取更好的PCU,实际上这部分的资源完全是在浪费。再比方说你的容灾,GOOgle早已经做了机房的容灾,这都是靠上层的网络以及软件相关的支持才能做到。空调,包括一些新风的一些技术,包括对于气流循环这样一些合理的监控,以及输导,包括服务器可能会容忍更高的温度,大家知道十几年前进到一个机房要穿着白大褂非常冷,但是GOOgle那边机房都可以赤着进去,温度非常高。

  王继平指出:”创新供电系统,很好可以降低资源开销。功耗地降低,安机成本的降低,架构上包括集中散热和集中供电都带来了很好的一些收益,我们的平均POE现在已经做到1.3,FaceBook已经做到1.4左右,这方面我们自建的机房已经做到世界级的,不能说领先吧,至少说能够赶上或者追捧,时间关系私下里做一些分享。“

0
相关文章