【IT168 现场报道】2013年4月18-20日，第四届中国数据库技术大会（DTCC 2013）在北京福朋喜来登酒店拉开序幕。在为期三天的会议中，大会将围绕大数据应用、数据架构、数据管理（数据治理）、传统数据库软件等技术领域展开深入探讨，并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上，向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展，以满足于广大从业人士和行业用户的迫切需要。
自2010年以来，国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会，每届大会超过千人规模，云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等，是目前国内最受欢迎的数据库技术盛会。下面进行演讲的嘉宾是百度基础架构部高级工程师王猛先生，他演讲的主题是“百度的下一代离线存储计算系统”。
▲百度基础架构部高级工程师王猛先生
百度Hadoop分布式系统揭秘：4000节点集群
百度的高性能计算系统（主要是后端数据训练和计算）目前有4000节点，超过10个的集群，最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成，每天的数据生成量在3PB以上。规划当中的架构将有超过1万个节点，每天的数据生成量在10PB以上。
底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调度的分配，可以让HPC高性能计算集群和大规模分布式集群各得其所的计算相应数据。
2008年始于 社区 0.18~0.19 之间的trunk版本300台机器，2个集群
2013年总机器 4.8w+ 单集群最大规模 1w+ CPU利用率70%+ 日均作业数日均输入数据量总inode数使用磁盘空间。
百度存储hdfs2全面上线
需求
10000 * 12 * 2T * 3压缩比 / 256M / 3副本 = 9.8亿
问题
内存 : 9.8亿文件 （file:block = 1:1） 占用内存 380G
负载 : 吞吐有限，latency 增加
稳定性 :GC影响
可用性 : 2 亿 inode重启一次花费 1小时左右
存储 – hdfs3 – 社区方案未来
计算 – mr2全面上线 – 收益
可扩展性：计算模型和资源管理分开；单集群1w+,并发运行task 16w
热升级：MR计算模型升级，更新系统hdfs上abaci包；资源管理升级，可以正常查看提交作业
资源利用率提升：（ cpu, mem, disk, net） 多维资源描述；Over-commit调度
计算 – mr执行优化 – 方案
Shuffle独立：尽量减少map/reduce之间的barrier;同时充分利用资源，减少资源浪费；IO密集作业加速20%作业，资源利用提升6%
Map sort优化：优化map sort/spill过程，结合MAPREDUCE-64;并行sort,加速sort,减少block time;简单统计类应用map加速 30%。
