服务器 频道

SACC2016:常盛解读饿了么实时架构演进

  【IT168 现场报道】2016年10月27日-29日,2016中国系统架构师大会(SACC 2016)在北京万达索菲特大饭店盛大开幕。作为中国规模最大的架构师豪门盛会,本届大会以“架构创新之路”为主题,站在创新的风口上,与大家共同打造一场通过架构创新及各种IT新技术来带动企业转型增效,助力架构师们腾飞的技术盛会。

  大会云集了国内外顶尖专家,共同探讨云计算和大数据等技术背景下,如何通过架构创新及各种IT新技术来带动企业转型增效。本届大会共设置两个主场分享时段,24个技术交流专场时段;邀请来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域,150多位技术专家及行业领袖来分享他们的经验;并将吸引4000多名系统运维、架构师、及各种企业的IT决策人士参会,为他们提供最具价值的交流平台。

  中国系统架构师大会的第一天下午,我们迎来了主题为“大数据平台架构及应用实践”的专场,今天下午的最后一位演讲嘉宾是饿了么高级实时计算工程师常盛,他演讲的题目是《饿了么实时架构演进》。

SACC2016:常盛解读饿了么实时架构演进
▲饿了么高级实时计算工程师常盛

  常老师2014年加入饿了么数据架构团队,一直从事实时数据平台的开发、运维和架构设计,目前主要致力于实时数仓的构建和完善实时平台全链路监控系统。

  从0到1

  饿了么实时数据平台经历了从0到支持百万每秒级别数据稳定运营,如何快速构建稳定高可用的实时平台,有效解决实时数据延迟,全链路监控和大规模实时集群迁移等。用户如何通过实时数据平台更方便管理任务,快速定位问题,更高效体现业务数据价值。常老师通过上述角度分享了一些在实时平台方面的心得。主要技术点包括大数据、实时计算、Storm、Kafka、ES等。

SACC2016:常盛解读饿了么实时架构演进

  每一个组件也许都踩过N次的坑......

  从0到1的实践:

SACC2016:常盛解读饿了么实时架构演进

  高速发展

  高速发展之烦恼,常老师总结道:“1、业务场景:交易、推荐、测试;2、平台问题:雪崩、规范;3、监控:粒度粗、告警多;4、压力:大促销、多维指标;5、资源:机器&人力、经验匮乏。”

SACC2016:常盛解读饿了么实时架构演进

  谈到高速发展监控优化时,常老师表示,监控问题:粒度粗、无效告警多;监控梳理:全链路、机器级别、服务级别、应用级别;监控完善:链路延迟、组件Metric、DB 性能;监控展示:阈值实时告警,数据入库展示;监而可控:应用自动拉起、监控驱动优化。

  高速发展之总结

SACC2016:常盛解读饿了么实时架构演进

  成熟与完善

  实时计算平台?不就Storm吗?

  业务实现实时应用,如何开发、上线、监控?

  消息队列里同一份数据,总是被多次重复处理?

  各种乱七八糟的报警,如何屏蔽或自定义监控?

  应用又报错,哪里可以快速、高效检索应用日志?

  。。。。。。

SACC2016:常盛解读饿了么实时架构演进

  新方向&新挑战

  BI同学想说:如何快速实时数据报表&实时数据分析

SACC2016:常盛解读饿了么实时架构演进

  实时计算同学想说:计算框架能否更快、更准确、更完美

SACC2016:常盛解读饿了么实时架构演进

  未来构想

SACC2016:常盛解读饿了么实时架构演进

SACC2016:常盛解读饿了么实时架构演进

  ▲更多信息尽在IT168现场报道专题:http://www.it168.com/redian/sacc2016/

0
相关文章