【IT168 资讯】5月12日,我们迎来了2017第八届中国数据库技术大会(DTCC2017)第二天。本届大会以“数据驱动 价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。
大会共设定2大主场和21个技术专场,吸引了5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。今天下午,我们来到了“数据库性能优化”专场,阿里巴巴数据库技术事业部技术专家乔红麟进行了题为《数据库智能优化系统探索与实践》主题演讲。
嘉宾介绍:乔红麟,花名洪林,阿里巴巴数据库技术事业部技术专家。2015年加入阿里巴巴集团,目前负责阿里巴巴数据库智能诊断优化产品CloudDBA开发,曾参与OceanBase云平台开发。
数据库诊断优化是提高数据库性能和稳定性的关键技术之一。过去几年阿里巴巴集团数据库规模急剧增长并且业务变化越来越快,传统DBA人工加工具的诊断和优化方法在规模如此之大,业务场景如此复杂的今天面临极大的挑战。
阿里巴巴数据库技术事业部近几年在智能数据库诊断优化方面有一些探索和实践,也有不少经验和教训,乔红麟跟我们分享了对于“自诊断,自优化”智能数据库诊断优化系统的思考。
阿里巴巴数据库服务的诉求
据乔红麟介绍,阿里数据库场景及服务诉求如下:场景分析与服务诉求是一一对应的。
交易/支付型应用(OLTP)——持续的数据库稳定性/可用性要求。
业务高速发展,数据库规模急剧增长——规模化运维能力,DBA专家服务具备良好的扩展性。
数据规模大,业务负载变化常态化——持续主动优化,全局规模化优化,降低计算/存储成本。
业务场景复杂,海量性能和运维数据——如何基于海量数据和学习实现自诊断自优化。
业务热点(双11/双12/618)明显——极致的弹性伸缩和资源管理能力。
智能数据库优化系统的思考
传统数据库优化方式的局限包括:被动优化(监控/报警/慢SQL/应用报错等);优化过程耗时耗力且低效,较难形成闭环;优化结果受限于人的局限性;优化操作大规模复杂场景下缺乏扩展性;优化决策过程中数据价值缺失;DBA专家紧缺与数据库服务要求高效及时之间的矛盾越来越突出。
乔红麟表示,智能数据库优化系统能够为我们带来多方面的价值:信息透明:向开发人员提供全面专业的数据库 信息分析和展示。自助化服务:全面专业的诊断优化建议,诊断流 程闭环,提供自助优化服务。自诊断、自优化:基于海量数据和机器学习的自诊断、自优化能力。降低成本:发现规模化优化点,优化资源管理,降低计算和存储成本。专家经验产品化:DBA专家优化经验转服务产品化,降低人工成本,提高服务质量和效率。主动优化:持续主动优化数据库性能,提高数据库稳定性。
CloudDBA关键技术
CloudDBA——用户身边的数据库专家
致力实现采集、分析、建议、采纳、跟踪、评估六大方面的优化闭环,真正的实现较少人工的参与,提高自动化调优水平。
SOL优化——闭环
SQL优化——流程
数据化——全量SQL采集计算
全网SQL流水实时采集:AliSQL内核实现轻量级全部SQL流水采集(CPU cost< 5%);指标丰富;SQL文本,请求来源,用户信息,时延,逻辑读,物理读,锁等待时间等;秒级采集,秒级计算,秒级展示(整体延迟<5s);日常SQL实时采集计算量达到千万级SQL/s;CloudDBA诊断优化最重要的基础数据。
数据化——全量SQL价值:开发人员自助查看全部SQL性能数据(信息透明);全局优化;基于SQL Workload优化;SQL健康度;关联分析;量化跟踪;性能热点分析;业务模型分析;SQL审计。
智能数据库优化系统的探索
自诊断——被动到主动:实时准确发现异常;自动关联分析定位异常原因;持续自适应算法优化;事后发现到事前预警;大规模场景具有扩展性。
▲更多大会资讯,请查看大会专题:http://tech.it168.com/topic/2017/5-10/DTCC2017/