服务器 频道

武新:MPP NewSQL数据库集群案例分享

  【IT168 现场报道】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。


第四届中国数据库技术大会(DTCC 2013)

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。接下来由南大通用高级副总裁兼CTO武新先生对MPP NewSQL数据库集群支撑企业超大规模数据仓库进行了案例分享。


▲南大通用高级副总裁兼CTO武新先生

  中移动数据仓库:业务背景

  本次测试共有8个数据库厂商参与:Oracle,IBM,Microsoft,EMC,HP,SAP,Teradata和南大通用。测试方案覆盖了经营分析数据仓库建设的所有业务流程,包括:ODS(运营数据集市)到EDW(企业数据仓库)的汇总、转换过程、即席查询、多维分析、混合负载、大并发、高可用、动态扩展。中移动提供全程监控的测试环境,各个参与厂商面对真实数据和极其复杂的业务场景公平竞争。

  测试结果:GBase 8a MPP Cluster,在规定的时间内顺利完成测试, 与HP和EMC 在基于X-86的云平台上并列第一。

中移动数据仓库:业务背景

  大数据激发技术创新:武新表示,大数据激发了数据库行业技术创新的热情,主要的驱动力是对处理性能的强烈需求。为了提升性能,NewSQL阵营普遍采用了列存储技术; NoSQL阵营普遍采用了KV技术。三个阵营都不同程度地采用了分布式计算、分布式文件系统、内存计算技术,并积极地使用新的硬件技术,如大内存、Flash、SSD和高速网络连接(万兆交换机和Infiniband)。

中移动数据仓库:业务背景

  大数据推动产品创新:大数据推动了数据库行业的产品创新,NewSQL阵营在过去五年里形成了近十个商用的产品,去年Google发表论文介绍了F1/Spanner关系型数据库(未开源)。NoSQL阵营的技术源于互联网公司Google,Yahoo,Amazon, Facebook等。OldSQL阵营在基本架构不变的基础上引入内存计算和一体机技术以提升处理性能。

中移动数据仓库:业务背景

  GBase 8a应用定位:分析类应用、全数据处理

  移动经分DW测试:测试目标

  本次测试的测试目的是针对在某电信运营商的经营分析领域中应用GBase 8a MPP Cluster数据库,在大数据量,多运算节点环境下进行的现网实际需求的性能测试。本次测试的数据表按全国4.9亿用户生成,以1年为时间跨度,按平均每人每年450次普通通话话单,1200次网络流量话单产生的业务数据。

移动经分DW测试:测试目标

  测试环境一共分为三个部分,由3个加载节点组成的加载模块,80个运算节点组成的集群模块和1个监控节点的监控模块组成,各个部分间通过万兆网络环境互连。

移动经分DW测试:测试目标

  1,80个运算节点,采用40*2进行部署,分为40个SafeGroup.

移动经分DW测试:测试目标

  2,SafeGroup是GBase 8a MPP Cluster 的高可用机制,每个Safegroup最多支持三个存储节点,数据存储3份,保证数据和计算的高可用。

  3,此次测试每个SafeGroup中包含两个运算节点相互备份。

  功能测试主要包括对标准SQL语句支持测试,OLAP函数支持的测试,资源负载管理测试,系统管理测试4部分内容。

移动经分DW测试:测试目标

  1,标准SQL语句支持测试用于测试对于SQL92标准的支持情况,共计283个SQL语句,本次测试全部通过。

移动经分DW测试:测试目标

  2,OLAP函数支持测试用于验证对常用OLAP函数的支持能力与性能指标,本次测试包含6个SQL语句,本次测试全部通过。

  3,资源负载管理测试,用于验证在多用户环境下对不同用户发起的任务请求进行资源的占用限定机制,本次测试包含3个测试案例,本次测试全部通过。

  4,系统管理测试,用于验证系统提供的外部管理能力,包含4个测试案例,本次测试全部通过。

  大型行业IT支撑架构现状分析

移动经分DW测试:测试目标

  关于GBase数据库概况

移动经分DW测试:测试目标

  GBase 是南大通用数据技术有限公司推出的自主品牌的数据库产品,目前在国内数据库市场具有较高的品牌知名度。GBase系列产品包括:新型分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密安全数据库GBase 8s、数据抽取转换加载管理系统GBase ETL.  GBase品牌的系列数据库都具有自己鲜明的特点和优势:GBase 8a 是国内第一个基于列存的新型分析型数据库;GBase 8a Cluster是国内第一款分布式并行数据库集群;GBase BI 是国内可视化商业智能的领先产品;GBase 8d 是国内知名品牌的目录服务器;GBase 8s 是国内第一款采用硬件加密技术获得国家密码管理局资质的安全数据库;GBase 8m 是国内第一事务处理性能的数据库。

0
相关文章