服务器 频道

案例解析:腾讯云TStack混合云平台实践

  用户介绍:

  从2013年开始,腾讯即着手搭建TStack专有云环境,目的是面向企业内部IT环境提供云计算资源。TStack采用OpenStack作为其IaaS,在腾讯内部主要面向OA系统运维人员、平台应用开发人员、测试人员和AI研究人员,承载着腾讯内部IT业务系统、职能部门业务,以及腾讯大部分的开发测试业务。从2014年开始,通过专线和VPN等方案,TStack接入腾讯公有云,提供混合云计算环境,为全球的的腾讯员工和集团公司提供统一的混合云服务。目前全有超过12000虚拟机,其中包括2000台公有云主机。

  案例使用时间:2014-至今

  案例背景:

  在云计算平台建立初期,为了满足各地的办公需求,需要在不同的地方建设私有云环境,主要存在以下问题:

  1,信息孤岛的存在,各个数据内部很难相互通信和共享;

  2,资源调度问题,各大私有云数据中心,很难进行统一调度;

  3,成本问题,在一些员工很少的区域,尤其是海外办事处,建立一个数据中心,成本较高;

  案例平台介绍:

  腾讯企业混合云超过12000台虚拟机,2000公有云主机,提供80K+ Core CPU, 360+ TB Memory, 20+ PB Disk,私有云涵盖4个地区(深圳、上海、天津、成都)、7个机房、14个集群。并且依靠腾讯公有云的能力,服务于全球范围内的腾讯公司4万以及集团公司数十万用户。基于应用服务容灾考虑,采用多Region、两地三中心部署架构。上线超过4年时间,可用率超过99.99%。

  功能使用:

  公有云使用的功能主要包括:云服务器,黑石服务器,云硬盘,对象存储,弹性伸缩,负载均衡,私有网络,专线接入VPN连接,直播,数据库,云拨测

  私有云使用的功能主要包括:云服务器,主机高可用,主机QoS,在线迁移,云硬盘,对象存储,弹性伸缩,负载均衡,私有网络,NAT网关

  管理架构:

  腾讯IT混合云分为公有云和私有云两部分,私有云部分采用OpenStack做为基础架构,并且进行了深度定制和优化,和腾讯公有云完成了无缝的对接,主要克服的困难如下:

  1,腾讯内部存在大量不同类型的存量虚拟机,例如XEN, KVM,如何将这些虚拟机无缝纳管到云平台,是一个巨大的挑战。TStack团队开发了一套工具,在服务完全无中断的情况下,实现对存量异构虚拟化平台的纳管。

  2, OpenStack在大规模部署下会出现瓶颈,例如消息队列,Keystone等,通过大量调优,单Region可以支撑超过1000个计算节点。

  3,混合云接入非常依赖VxLAN技术,但是在大规模部署下,VxLAN的性能是瓶颈,开发多厂商SDN兼容技术,集成多个厂商软硬件SDN解决方案,实现了VxLAN加速。

  4,混合云环境中,虚拟机经常需要迁移,但是大内存虚拟机迁移时间较长,通过植入自适应压缩技术,迁移时间缩短50%。

  技术架构:

  腾讯在混合云的建设中,为了满足业务的需要,实现平台的优化,基于开源的OpenStack平台,并且做了大量的技术创新,如下:

  1,实时限速功能,严格控制CPU的使用时间,保证虚拟机QoS,尤其是在平台资源使用紧张前提下;

  2,rabbitmq内核参数、配置参数调优,使其足以支撑单region 1000个计算节点以上的消息通信。

  3,根据独有的业务类型定制虚拟机调度策略,从而将虚拟机调度到不同宿主机,实现虚拟机高可用;

  4,在线resize功能,对虚拟机无中断的情况下,实现对虚拟机的调整;

  5,通过植入自适应压缩技术,虚拟机迁移时间缩短50%;

  6,支持异构的网络SDN控制器,可以实现对传统网络、SDN、以及NFV的管理;

  7,异构存量虚拟机(KVM, XEN)的统一管理;

  8,基于腾讯公有云安全技术,提供完整的混合云安全服务;

  9,可以进行基于OpenStack的私有云、公有云、VMware等混合云的统一管理;

  业务类型:

  1,腾讯企业混合云承载的线上业务主要包括OA认证,微信网关,RTX,邮件,行政视频监控,内部安全,职能管理、ERP等300余项业务。其中包括大量核心业务,例如,基于Tstack云平台之上构建的邮件系统向腾讯公司4万以及集团公司数十万用户提供了7x24小时的无间断服务。

  2,基于腾讯企业混合云构建的开发测试环境,为腾讯将近2万名开发者提供了持续可交付的CI/CD环境;同时支持公司大型应用(如QQ,、微信)等的压力测试,提供了大规模的压力测试环境,可同时承载超过1亿的并发访问测试。

  用户价值:

  1,腾讯企业混合云对分散、异构资源统一管理和调度,节省服务器成本30%,降低运维管理成本55%,每年为公司节省成本上亿元。

  2,基于腾讯企业混合云构建公司所有应用开发、测试环境,资源交付周期从2周缩短至0.5小时,缩短了应用(QQ、WeChat、游戏等)的开发迭代周期,支撑公司数百亿收入业务的开发团队。

  3,腾讯企业混合云优化了全球资源调度,提高了用户体验。

  例如:将全球邮件系统的部署时间从数10天降低到1天。

  总结:

  腾讯在国内云计算领域是早期的拓荒者之一,从2013年开始,腾讯即着手搭建TStack专有云环境,目的是面向企业内部IT环境提供云计算资源,利用云计算服务来缩短交付时间,提高交付效率,提高资源利用率。为了满足用户的需求,从2014年开始,通过专线和VPN等方案,接入腾讯公有云,提供混合云计算环境。目前全有超过12000虚拟机,其中包括2000台公有云主机,私有云涵盖4个地区(深圳、上海、天津、成都)、7个机房、14个集群,是全国规模最大的混合云环境之一。通过5年的时间打磨,腾讯IT混合云已经成为了腾讯公司的重要基础平台,服务于全球范围内的腾讯公司4万以及集团公司数十万用户,可用率超过99.99%。

5
相关文章