- B站大数据集群管理平台BMR的实践与创新
随着B站业务的快速发展,大数据的规模和复杂度也突飞猛进。为应对这一挑战,B站一站式大数据集群管理平台,在千呼万唤中孕育而生。BMR平台包含集群管理、元仓建设、智能运维等核心模块,这些功能很好的承接了业务场景的需求,显著提升了变更效率,保障了系统安全变更,优化了运维流程。
陶然 · 2024-10-30 09:04 - 转转首页推荐粗排优化实践
主流的推荐系统采用多阶段级联结构,主要分为召回、粗排、精排、重排几部分,每阶段可以视为一个漏斗,候选物品数量逐渐减小。召回作为第一级漏斗,从海量物品池中尽可能召回所有用户可能感兴趣的物品
陶然 · 2024-10-29 14:48 - B站大规模数据中心搬迁的挑战与实践
历时18个月,跨越长三角多个地区,搬迁数万台服务器和交换机设备……B站数据中心圆满完成搬迁项目,新机房拥有更先进的基础设施和更全面的技术支持,将进一步优化上层业务布局,支撑业务整体的异地多活,有效提升资源利用率和运营稳定性,为广大B站用户带来更好的访问服务体验。
陶然 · 2024-10-28 08:58 - 基于数据湖构建近实时数据链路
大数据处理技术,经历了基于Hadop+Hive的离线数据仓库,可以满足大部分场景的需求,数据准确性可以得到保证;但是对于秒级实时需求无法满足,基于此产生了实时处理数仓+离线数仓结合的Lambda架构,实时性和准确性得到了保证,但需要维护两套代码;利用kafka数据重放offset功能产生了Kappa架构
陶然 · 2024-10-25 15:31 - 应对AI挑战,货拉拉机器学习平台海豚出战
随着AI技术的不断成熟和广泛应用,已经逐渐成为各行各业用来提升生产力的重要工具。货拉拉作为互联网物流科技企业,过去几年不断深耕AI技术,推动物流行业的智能化发展,并在AI定价、AI营销、AI客服、AI安防等多个领域取得显著成就。
陶然 · 2024-10-25 09:11 - 爱奇艺大数据多 AZ 统一调度架构
爱奇艺大数据团队构建了多 AZ 统一调度架构,支持不同 AZ、不同集群间数据读写路由、计算调度路由,使得业务可以无感访问不同集群上的数据,在不同集群间无感迁移数据、按需调度计算,大幅降低存储计算成本,提升数据开发与分析效率。
陶然 · 2024-10-24 21:23 - 浅谈活动中台系统技术债管理实践
在项目研发过程中,由于时间、能力等因素往往会出现设计方案没有做到最好或最优、编码质量不够好等问题,技术债的出现是不可避免的,同时使得对代码和架构设计的更改越来越困难,想要进一步提升效能必须要对技术债进行管理,本文通过在活动中台系统的技术债实践经验,介绍技术债的含义、分类和管理。
陶然 · 2024-10-24 21:05 - Apache Pulsar在小红书在线场景下的探索与实践
本文结合消息队列进行选型介绍,就 Pulsar 和 RocketMQ 的特性作对比,介绍 Pulsar 在小红书在线消息队列的场景下如何落地,以及企业可以获得哪些实际收益。同时,文章结合小红书消息队列的实际情况、经验进行了整理和数据汇总。如有感兴趣的同学,欢迎联系我们开展技术交流。
陶然 · 2024-10-23 22:17 - 释放AI“希”引力,存储无限潜能
海量数据存储解决方案的领先创新者希捷科技今日在“中国数谷”贵阳举办了以“AI•希引力”为主题的2024希捷数据+峰会。大会期间,数百位来自数据圈的生态合作伙伴与希捷一起探讨在AI大潮下,如何构建坚实的数据存储基础设施,充分释放数据在AI发展中的力量。
陶然 · 2024-10-23 18:07 - 抖音集团实验平台的边界拓展
随着抖音集团公司业务的持续拓展,渐趋复杂化、多元化的场景为抖音集团实验平台提出了新的挑战。在此背景下,沿用传统的假设检验框架,则已无法解决难题。本篇聚焦实验平台主要面临的边际收益、干涉效应、自动实验配置与随机实验盲区四项挑战,详解实验平台应对挑战、拓展边界的研究进展与现阶段实践。
陶然 · 2024-10-23 16:20 - ClickHouse在百度MEG数据中台的落地和优化
百度MEG上一代大数据产品存在平台分散、质量不均和易用性差等问题,导致开发效率低下、学习成本高,业务需求响应迟缓。为了解决这些问题,百度MEG内部开发了图灵3.0生态系统,包括Turing Data Engine(TDE)计算引擎、Turing Data Studio(TDS)数据开发治理平台和Turing Data Analysis(TDA)可视化BI产品。
陶然 · 2024-10-22 22:16 - 从质量视角看可观测性背景下的质量保障思路
本文将探讨在可观测性背景下,作为一个测试人员在质量保障中的一些思路和个人思考,以及为什么要区别于研发维度的可观测性,测试团队维度的可观测性建设又能为业务带来哪些价值。
陶然 · 2024-10-22 21:35 - 稿件平台化建设演进-充电专属视频与短剧业务接入实践
充电专属视频是一种付费视频,是B站为UP主提供的一项增值服务,允许UP主为那些通过“充电”方式支持他们的用户,制作并分享一些特别的、不免费公开的视频内容。专属视频不仅仅是单向的内容输出,更是UP主与粉丝之间互动的桥梁。
陶然 · 2024-10-21 14:18 - 异地多活架构设计看这篇就够了
异地多活是分布式系统架构设计的一座高峰,当业务系统走到需要考虑异地多活这一步,其体量和复杂度都会达到很高的水准。接入层、逻辑层、数据层的三层架构,基本上是每个业务都会拥有的基础架构形态,而三层架构的关键在于数据层,本文将从数据层切入探讨异地多活对于基础架构设计的影响。
陶然 · 2024-10-21 11:14 - 360智算中心:万卡GPU集群落地实践
360内部对于智算中心的核心诉求是性能和稳定性,本文将深入探讨360智算中心在万卡GPU集群中的落地实践过程,包括算力基础设施搭建、集群优化、AI开发平台建设、以及训练和推理加速的实现。
陶然 · 2024-10-18 10:51 - 用增结算数仓化改造:在/离线调度系统的构建与应用
移动运营推广平台承载着百度内部移动应用/移动搜索业务的用户增长预算的全流程结算线上化管控功能,为了解决用增业务发展规模扩大、原有技术架构老旧、无离线数仓系统等一系列的问题,针对全域结算数据启动了整体的架构改造。
陶然 · 2024-10-18 09:38 - 腾讯广告基于混元大模型的生成式召回落地实践
本文阶段性总结了基于混元大模型的生成式召回技术在腾讯广告业务中的落地实践和效果提升。后续我们将继续深化基于混元大模型的生成式推荐技术研究与应用,尤其是从召回拓展到排序环节的全链路应用。
陶然 · 2024-10-17 14:33 - 游戏推荐业务中基于sentinel的动态限流实践
本文介绍了一种基于 sentinel 进行二次开发的动态限流解决方案,包括什么是动态限流、为什么需要引入动态限流、以及动态限流的实现原理。
陶然 · 2024-10-17 09:49