【IT168 DTCC 2015现场报道】作为国内数据库与大数据领域最大规模的技术盛宴,2015第六届中国数据库技术大会(DTCC)于2015年4月16日-18日在北京新云南皇冠假日酒店震撼登场。大会以“大数据技术探索和价值发现”为主题,云集了国内外顶尖专家,共同探讨MySQL、NoSQL、Oracle、缓存技术、闪存技术、国产数据库、Hadoop、数据挖掘、推荐系统、机器学习等领域的前瞻性热点技术。大会吸引了3000多名IT人士参会,举办120多场精彩演讲,致力于为数据库人群、大数据从业人员、广大互联网人士提供最具价值的交流平台。
自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区,已经连续举办了五届中国数据库技术大会,每届大会与会规模超千人,大会云集了国内水平最高的数据架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群,是目前国内最受欢迎、人气最高的的数据库技术交流盛会。
今年是中国数据库技术大会第六个年头,大会将继续秉承分享IT非常好的应用实践的宗旨,围绕传统数据库和大数据两条技术主线,在目前IT技术和管理快速的大背景下,更加深入地探讨数据库技术的现状和未来的发展方向,以及我们在这个转型过程中的实践经验和教训。
在4月16日下午的《数据库迁移与升级》的专场中,安排了四场主题演讲分别是:Amdocs DBA杨建荣先生带来的数据库升级与迁移实战分享、平安科技数据库技术支持部架构师樊永涛带来的平安科技Oracle数据库升级心得分享、阿里巴巴数据库技术-云DBA团队-资深DBA玄惭先生带来的数据库上云迁移实践分享和Oracle ACE-云和恩墨专项服务部技术总监李真旭带来的Oracle数据库跨平台迁移升级非常好的实践。
Amdocs数据库升级与迁移实战分享
首先为大家介绍下今天下午第一位做主题演讲的嘉宾,Amdocs DBA杨建荣:ITPUB专家博主,Amdocs DBA,负责亚太电信系统的数据业务支持,主要负责完成了数据业务升级,数据平台迁移,数据库版本升级,数据迁移和性能调优。拥有10g OCP、OCM认证,对shell,java有一定的功底。
今天带来了《数据库升级与迁移实战分享》,数据库升级,杨建荣主要和大家分享在海外电信生产系统中关于数据库升级(10gR2升级至11gR2)的实战经验。数据迁移,分享海量数据迁移中使用外部表作为技术手段全新的数据迁移方式,对传统的数据迁移方式是一个很好的补充和借鉴。在泰国电信系统中反馈良好,多次迁移工作都快速顺利的完成。
数据库升级实战:严谨,细心,运气
杨建荣表示:对待升级中的任何隐患和问题都要细心,总结经验,“运气”的部分也是有深层含义的,第一层意思是数据升级的过程中有很多综合因素,比如人为失误,比如环境问题,比如程序问题,如果在特定的时间特定的环境中发生了特定的问题,细节决定成败,细节问题就变得格外重要了。另外一层意思就是你已经准备得足够充分了,实在没有什么不周到不严密的地方了,还有什么需要考虑的呢,只能说是“运气”了,有了这些也就是运筹帷幄了。
资源情况概览:
2台服务器,单实例数据库 4个,10gR2, T级
Linux 2.6.18-308.el5 #1 SMP
x86_64 x86_64 x86_64 GNU/Linux
OS Sockets / Cores / CPUs:4 / 40 / 80
CPU model name : Intel(R) Xeon(R) CPU E7- 4870 @ 2.40GHz
OS Memory:346 GB
至少四轮以上的测试
开发测试部门,产品部规划
性能DBA,应用DBA,开发DBA
客户的DBA
Oracle的support
升级可选方案:
数据迁移实战:挑战传统方法,艰难的技术推广
数据迁移背景:
数据加载示意图:
已有的数据迁移方案:perl+csv+sqlldr+datapump;脚本由公司资深专家编写;在其它项目中已经使用多次;数据抽取和加载的过程可控;经过多次验证,算是稳定的实现;成本低,不依赖第三方的付费服务;sqlldr加载LOB数据类型的限制。
迁移需要注意的细节总结:1)充分的测试,评估时间,总结经验,提升性能;2)完整的备份策略;3)网络(网络带宽和网络中断);4)完整的日志;5)存储;6)归档空间;7)表级nologging;8)index级nologging;9)lob级nologging;10)foreign key;11)trigger的影响;12)goldengate的影响;13)主键冲突数据排除;14)constraint级的数据不一致。