服务器 频道

DTCC大数据专场报道:实时计算与流计算

  【IT168 资讯】作为国内数据库与大数据领域最大规模的技术盛宴,2015第六届中国数据库技术大会(DTCC)于4月16日-18日在北京新云南皇冠假日酒店隆重登场。自2010年以来,由国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区举办的中国数据库技术大会,已经被连续成功举办了六届,每届大会与会嘉宾规模都超千人。

  基于多年的业界影响力,本次DTCC大会吸引到了2500余位IT人士莅临到场,云集了国内最高水平的数据架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群,在这个目前国内最受欢迎、人气最高的的数据库技术交流盛会上,互动交流,共享超级技术盛宴。

群英汇 第六届中国数据库大会盛大启幕

  本次DTCC大会以“大数据技术交流和价值发现”为核心主题,分3天共设21个专场,为技术人士呈现近百场精彩演讲。在今天下午的“实时计算与流计算”专场中,来自腾讯、美团、百度、苏宁等著名电商的嘉宾们都分享了各自在数据分析与计算上的绝技。

DTCC大数据专场报道:实时计算与流计算

  美团网技术专家鞠大升率先分享了他的心得。他表示,在美团的实时计算架构中,其核心组件就是Kafka和Storm系统。日志和业务数据分别通过Flume和Canal收集到Kafka中,并且分Topic存放;在Storm上运行LogParserTopology将原始文本转换成格式化的数据,提供给应用拓扑。应用拓扑的输入包括解析后的日志,业务数据,以及Hbase中存储的批量数据。应用拓扑可以将自己的状态存储到Redis中,结果可以写入Hbase/Tair/MySQL中。

DTCC大数据专场报道:实时计算与流计算

  来自腾讯数据平台部的高级工程师张文郁则提到了数据银行的概念——TDBank(Tencent Data Bank)。在他看来,数据银行其实是数据管道,是业务系统和数据处理系统的桥梁,它从业务系统实时采集数据,进行预处理和分布式消息缓存后,按照消息订阅的方式,分发给后端的离线和实时计算平台。

1
相关文章