【IT168 现场报道】2016年10月27日-29日,2016中国系统架构师大会(SACC 2016)在北京万达索菲特大饭店盛大开幕。作为中国规模最大的架构师豪门盛会,本届大会以“架构创新之路”为主题,站在创新的风口上,与大家共同打造一场通过架构创新及各种IT新技术来带动企业转型增效,助力架构师们腾飞的技术盛会。
大会云集了国内外顶尖专家,共同探讨云计算和大数据等技术背景下,如何通过架构创新及各种IT新技术来带动企业转型增效。本届大会共设置两个主场分享时段,24个技术交流专场时段;邀请来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域,150多位技术专家及行业领袖来分享他们的经验;并将吸引4000多名系统运维、架构师、及各种企业的IT决策人士参会,为他们提供最具价值的交流平台。
中国系统架构师大会的第一天下午,我们迎来了主题为“大数据平台架构及应用实践”的专场,今天下午的第二位演讲嘉宾是优酷土豆数据智能团队技术经理吕红亮,曾在奇虎360、宝宝树从事推荐策略相关的研发工作。他演讲的题目是《视频精准推荐系统实践》。
视频自媒体越来越受到大家的重视,如何将合适的流量分配给合适的道长,成为了一个函待解决的关键问题。吕老师本次分享主要介绍构建视频生态分发系统的架构和策略,重点介绍系统的整体架构、定向投放、点击率预估、流量控制、生态扶持等相关技术,利用这些技术可以实现给合适的道长分配合适的流量的目的,在保证自频道主有一定自主性的基础上,引导他们向我们期望方向发展。
背景介绍
业务推广需求方包括,内部业务方:来疯、会员、PGC、分成、生态、游戏、BD;外部业务方:自频道的频道主,PGC。
精准推荐系统目的是整合和优化推广位,尽量满足各方需求,使推广位价值最大化;打造视频生态:扶持频道主,并引导他们的行为。保证用户的体验,在合适的时机给合适的用户推荐合适的限定集合内的视频。
精准推荐系统架构
其中吕老师推荐了以下几种模式,如时序图、链式架构、定向投放、索引管理。不仅如此还分享了三大功能:服务稳定性保障、在线debug系统、监控报警系统。
服务稳定性保障:服务降级系统会根据客户端当前上下文及用户标签产生投放结果,当UP查询接口性能不稳定时,可通过配置来暂时关闭其中某项查询以缩短投放服务整体的处理耗时。同理,在线计算也可以提供类似的功能:当性能良好时,系统可以要求在线模块做一些相对复杂的计算以便能够产生足够精准的投放结果;反之则需要对处理逻辑进行简化,以保证投放服务的正常运行。
在线debug系统:投放环节比较长,错误比较难定位,大量的时间花在查询各种case上面。在线debug系统可以方便定位问题出现在哪一个模块,对于为什么出A而不出B的问题,可以快速给出答案。
监控报警系统:支持订单数据异常报警、支持运营打底订单报警,防止出现天窗、支持数据统计异常报警,曝光点击波动超过了一定量的标准差。
精准推荐算法架构
精准推荐算法架构-点击率预估
模型:GBDT、LR、DNN
特征工程:特征预处理:归一化,one-hot编码, 缺失值补充,异常值去除,数据变化。
特征选择:Filter:计算特征和目标的相关性,比如方差、卡方检验、相关系数;Wrapper:根据损失函数,递归增加或者消除若干特征;模型的方法:L1正则,基于树模型。
实践比较有效的特征选择方法:专家经验:和产品运营的同学多聊;模型选择方法:L1正则,GBDT给出feature重要性排序;用非线性模型取代线性模型来减少对组合特征发现的依赖;快速迭代,快速上线测试。
计划与方向
实时化:模型实时更新;使用更多的实时化特征:比如用户短时兴趣。
推荐解释:同标签、同主演、同嘉宾、同类top10、奥斯卡、本站最热……
用户显性反馈,深度学习:视频截图分析:CNN;观看序列分析:LSTM;视频内容分析。
▲更多信息尽在IT168现场报道专题:http://www.it168.com/redian/sacc2016/