服务器 频道

DTCC 2015:"数据库迁移与升级"专场分享

  【IT168 DTCC 2015现场报道】作为国内数据库与大数据领域最大规模的技术盛宴,2015第六届中国数据库技术大会(DTCC)于2015年4月16日-18日在北京新云南皇冠假日酒店震撼登场。大会以“大数据技术探索和价值发现”为主题,云集了国内外顶尖专家,共同探讨MySQL、NoSQL、Oracle、缓存技术、闪存技术、国产数据库、Hadoop、数据挖掘、推荐系统、机器学习等领域的前瞻性热点技术。大会吸引了3000多名IT人士参会,举办120多场精彩演讲,致力于为数据库人群、大数据从业人员、广大互联网人士提供最具价值的交流平台。

数据库升级与迁移实战分享
▲第六届中国数据库技术大会(DTCC 2015)报道专题

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区,已经连续举办了五届中国数据库技术大会,每届大会与会规模超千人,大会云集了国内水平最高的数据架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群,是目前国内最受欢迎、人气最高的的数据库技术交流盛会。

  今年是中国数据库技术大会第六个年头,大会将继续秉承分享IT非常好的应用实践的宗旨,围绕传统数据库和大数据两条技术主线,在目前IT技术和管理快速的大背景下,更加深入地探讨数据库技术的现状和未来的发展方向,以及我们在这个转型过程中的实践经验和教训。

  在4月16日下午的《数据库迁移与升级》的专场中,安排了四场主题演讲分别是:Amdocs DBA杨建荣先生带来的数据库升级与迁移实战分享、平安科技数据库技术支持部架构师樊永涛带来的平安科技Oracle数据库升级心得分享、阿里巴巴数据库技术-云DBA团队-资深DBA玄惭先生带来的数据库上云迁移实践分享和Oracle ACE-云和恩墨专项服务部技术总监李真旭带来的Oracle数据库跨平台迁移升级非常好的实践。

  Amdocs数据库升级与迁移实战分享

  首先为大家介绍下今天下午第一位做主题演讲的嘉宾,Amdocs DBA杨建荣:ITPUB专家博主,Amdocs DBA,负责亚太电信系统的数据业务支持,主要负责完成了数据业务升级,数据平台迁移,数据库版本升级,数据迁移和性能调优。拥有10g OCP、OCM认证,对shell,java有一定的功底。

Amdocs数据库升级与迁移实战分享
Amdocs DBA 杨建荣

  今天带来了《数据库升级与迁移实战分享》,数据库升级,杨建荣主要和大家分享在海外电信生产系统中关于数据库升级(10gR2升级至11gR2)的实战经验。数据迁移,分享海量数据迁移中使用外部表作为技术手段全新的数据迁移方式,对传统的数据迁移方式是一个很好的补充和借鉴。在泰国电信系统中反馈良好,多次迁移工作都快速顺利的完成。

  数据库升级实战:严谨,细心,运气

  杨建荣表示:对待升级中的任何隐患和问题都要细心,总结经验,“运气”的部分也是有深层含义的,第一层意思是数据升级的过程中有很多综合因素,比如人为失误,比如环境问题,比如程序问题,如果在特定的时间特定的环境中发生了特定的问题,细节决定成败,细节问题就变得格外重要了。另外一层意思就是你已经准备得足够充分了,实在没有什么不周到不严密的地方了,还有什么需要考虑的呢,只能说是“运气”了,有了这些也就是运筹帷幄了。

  资源情况概览:

  2台服务器,单实例数据库 4个,10gR2, T级

  Linux 2.6.18-308.el5 #1 SMP

  x86_64 x86_64 x86_64 GNU/Linux

  OS Sockets / Cores / CPUs:4 / 40 / 80

  CPU model name : Intel(R) Xeon(R) CPU E7- 4870 @ 2.40GHz

  OS Memory:346 GB

  至少四轮以上的测试

  开发测试部门,产品部规划

  性能DBA,应用DBA,开发DBA

  客户的DBA

  Oracle的support

  升级可选方案:

Amdocs数据库升级与迁移实战分享

  数据迁移实战:挑战传统方法,艰难的技术推广

  数据迁移背景:

Amdocs数据库升级与迁移实战分享

  数据加载示意图:

Amdocs数据库升级与迁移实战分享

  已有的数据迁移方案:perl+csv+sqlldr+datapump;脚本由公司资深专家编写;在其它项目中已经使用多次;数据抽取和加载的过程可控;经过多次验证,算是稳定的实现;成本低,不依赖第三方的付费服务;sqlldr加载LOB数据类型的限制。

  迁移需要注意的细节总结:1)充分的测试,评估时间,总结经验,提升性能;2)完整的备份策略;3)网络(网络带宽和网络中断);4)完整的日志;5)存储;6)归档空间;7)表级nologging;8)index级nologging;9)lob级nologging;10)foreign key;11)trigger的影响;12)goldengate的影响;13)主键冲突数据排除;14)constraint级的数据不一致。

  平安科技Oracle数据库升级心得分享

  接下来为大家介绍今天下午第二位做主题演讲的嘉宾,平安科技数据库技术部架构师樊永涛:技术布道者,在Oracle数据库管理、性能优化、升级迁移方面有丰富的经验。现任职于平安科技(深圳)有限公司数据库技术部,当前主要负责平安Oracle数据库迁移与升级,数据库规范制定与宣导,以及向开发部门提供应用系统的数据库架构方案设计与数据库优化支持等。

平安科技Oracle数据库升级心得分享
平安科技数据库技术部架构师 樊永涛

  今天为我们带来的主题演讲是《平安科技Oracle数据库升级心得分享》,近几年平安科技在大量实施9I、10G Oracle数据库本地升级和迁移升级。怎么确保纷繁复杂的各类关键核心系统数据库升级前后性能稳定,怎么确保升级中或升级交付运行一段时间后出现严重问题时能尽快回滚到原版本库,怎么快速定位和解决升级交付后出现的性能问题,樊永涛先生就这些问题和大家一起交流平安科技这几年的处理心得,以及平安科技未来将采取的升级方案。

  升级动机:ORACLE数据库版本生命周期策略,推动升级步伐

平安科技Oracle数据库升级心得分享

  充分利用ORACLE DB 11g新特性提升系统运行性能与稳定性

平安科技Oracle数据库升级心得分享

  方案选型

  公共子系统非常规升级法:公共子系统为集团一类,且应用较多,为了避免停应用时间较长,也为了避免系统出问题影响范围较广,采用6套应用轮流切换方案进行升级。

平安科技Oracle数据库升级心得分享

  升级目标:1、数据库版本:11.2.0.4.2;2、HP小机平台,单实例,FS管理;3、优化器版本:11.2.0.4、4、优化器模式:ALL_ROWS、5、收集并发布所有业务表统计信息、6、解决SQL性能问题。

  数据库常规升级方案:

  1:本地升级方式

  通过在数据库所在服务器上安装11g数据库软件,然后对DB进行升级。升级期间需要停应用,停库。

  优缺点:

  优点:不用迁移数据,直接在本机上进行升级。停库时间几乎与库大小无关。

  缺点:已迁移走的系统所留下的空间不会释放,如果升级过程中出问题回滚时间稍长。

  2:迁移升级方式

  通过在目标环境提前安装好11G软件并创建好11G空库,在升级时把对象及其数据从旧版本库迁移到11G库中。升级期间需要停应用,停库。

  优缺点:

  优点:会释放已迁移走的系统所留下的空间,从而节省存储投资;也很适用于跨平台升级比如小机迁移升级到PC机上;对于数据量(低于400G)比较小的场景升级时间比较快;如果升级过程中出问题回滚速度稍快。

  缺点:数据量越大停库时间越长,可通过申请专用私有网络加快迁移数据速度。

  3:热切换升级方式

  通过预先搭建好11g三套环境(生产库、同城DG、远程DG),在升级前一周使用GoldenGate软件实施全库同步数据至11g环境。在升级窗口内,只需要切换应用连接11g环境即可。升级期间需要停应用,停库。

  优缺点:

  优点:应用切换时间短暂。临时故障回退时间短暂。

  缺点:需要考虑GoldenGate无法同步的类型,手工同步。全库数据比对非常耗时。

  选择这种方案,考虑因素如下:

  1.本地升级仅仅比热切换升级多一个小时,但是本地升级方案的成熟度、升级后VCS的自动切换以及升级前期的准备工作远远优于热切,综合了多方面最终而选择本地。

  2.试运行期间统计信息不收集以及优化器相关参数统一设置为与之前9i一致,主要考虑升级后SQL性能影响面,因为当前生产60%业务表无统计信息,在11g CBO情况下很难保证执行计划准确,出于SQL性能考虑最终选择9i优化器与统计信息。

  生产上线如何应急

平安科技Oracle数据库升级心得分享

平安科技Oracle数据库升级心得分享

  阿里巴巴数据库上云迁移实践分享

  接下来为大家介绍下今天下午第三位做主题演讲的嘉宾,阿里巴巴数据库技术-云DBA团队-资深DBA玄惭:2010年加入阿里巴巴DBA团队担任开发DBA,负责淘宝,天猫等业务系统的数据库支持工作,精通MySQL,MSSQL,Oracle,对数据库运维,调优诊断具有丰富的经验,2012年开始负责阿里云数据库产品运维至今,对RDS数据库系统具有很深刻的了解。

阿里巴巴数据库上云迁移实践分享
阿里巴巴数据库技术-云DBA团队-资深DBA 玄惭

  今天带来了《数据库上云迁移实践分享》,在云计算快速发展的今天,越来越多的企业将自己的IT架构搬迁上云,而数据库又是其中核心中的核心,也是整个架构迁移过程中最为困难的一个环节,如何将其平滑地迁移到云上,有无成熟的经验可以借鉴,本次分享主要依托阿里云的RDS来分享一些数据库迁移上云的非常好的实践,包括需求分析,方案制定,应用改造,数据迁移,流量切换,云上运维,希望能够帮助那些想将IT基础设施迁移上云的用户。

  上云场景

  场景一:穹顶之下,视频发布当天,该APP由于流量过大导致瘫痪

  小结:快速完成扩容和弹性,云计算拯救了这个APP

  场景二、三、四:双11、网络游戏、大数据分析

  阿里云数据库(RDS)简介:关系型数据库服务(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。RDS采用即开即用方式,兼容MySQL、MSSQL、PG三种关系型数据库,并提供数据库在线扩容、备份回滚、性能监测及审计分析等功能。

阿里巴巴数据库上云迁移实践分享

  上云困难点

阿里巴巴数据库上云迁移实践分享

  上云三部曲

阿里巴巴数据库上云迁移实践分享

  上云前:架构设计 实践一

阿里巴巴数据库上云迁移实践分享

  上云中:数据库迁移

阿里巴巴数据库上云迁移实践分享

  上云后:数据库管理、诊断、优化

阿里巴巴数据库上云迁移实践分享

  上云产品简介:DTS

  数据传输服务(DTS)是提供数据迁移、数据实时同步的数据传输服务。同时,还推出上云改造评估、去IOE改造等多种增值服务。

  Oracle数据库跨平台迁移升级非常好的实践

  接下来为大家介绍下在专场四今天下午最后一位做主题演讲的嘉宾,Oracle ACE-云和恩墨专项服务部技术总监李真旭:网名Roger,Oracle ACE,云和恩墨专项服务部技术总监,拥有超过7年的Oracle运维管理使用经验,参与过众多移动、电信、联通、银行等大型数据库交付项目, 具有丰富的运维管理经验,对Oracle数据库管理运行机制、锁机制、优化机制等具有深入理解; 擅长Oracle数据库的performance tunning、troubleshooting以及异常恢复。

Oracle数据库跨平台迁移升级实践
Oracle ACE-云和恩墨专项服务部技术总监 李真旭

  今天带来了《Oracle数据库跨平台迁移升级非常好的实践》,随着Oracle的产品更新,Oracle重要版本10g已经退出主流舞台,国内用户迎来密集的升级和迁移周期,在这个主题中,将从多个Oracle的大型客户案例出发,分享跨越多版本(9i-11g)、异构操作系统(U2L)等复杂环境中的升级迁移方案,以及在各种项目决策过程中针对不同方案的奇思妙想的创新和实践技巧。

  为什么要升级、迁移?Not Support、X86架构的崛起、追求新的数据库特性、去IOE风波的蔓延(2013年6月,前中情局(CIA)职员爱德华斯诺登将两份绝密资料交给英国《卫报》和美国《华盛顿邮报》,披露了令举世震惊的“棱镜”项目。信息安全成为任何国家和组织都异常关注的问题,而摆脱国际巨头的控制--去IOE化成为一种时髦的提法。)、不能落后于人。

  跨平台数据库升级迁移的方法:数据逻辑迁移(Exp/Expdp/自开发工具)、GoldenGate/DSG/DDS/SharePlex、DataGuard、TTS/XTTS/XTTS增强版、Vertias SF/存储迁移。

  如何确保数据库升级迁移后的性能

Oracle数据库跨平台迁移升级实践

  跨平台非常好的迁移实践案例

  案例- 利用Veritas SF迁移升级

  背景:某运营商xx系统、数据量:5TB、数据库版本:9.2.0.8 、操作系统:AIX 5308、是否裸设备: Yes

  需求:从AIX迁移至Sun T5-8 Sparc.、升级至11.2.0.4.3、RAW FS、Downtime <6h

Oracle数据库跨平台迁移升级实践

  优势:数据的物理迁移,无需进行数据校对、操作流程相对简单、对原环境改动较小, 几乎无需回退操作

  缺陷:操作系统字节序必须一致、新环境必须使用Vertias 文件系统、需要购买Veritas,成本较高、如何选择非常好的的迁移升级方案

  如何选择非常好的的迁移升级方案

Oracle数据库跨平台迁移升级实践

1
相关文章