- Apache Celeborn 在B站的生产实践
随着B站业务的飞速发展,数据规模呈指数级增长,计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务,大数据系统的高效性与稳定性成为公司业务发展的重要基石。
陶然 · 2025-01-03 16:20 - 链路诊断优秀实践:1分钟定位错慢根因
本文聚焦于线上应用的风险管理,特别是针对“错”(程序运行不符合预期)和“慢”(性能低下或响应迟缓)两大类问题,提出了一个系统化的根因诊断方案。
陶然 · 2025-01-03 10:49 - 海量存储的批量计算框架
本文介绍了百度针对海量存储数据计算需求研发的HTAP表格存储系统及计算调度架构。项目背景源于原有存储系统难以满足日益增长的OLAP业务需求,因此构建了集OLTP与OLAP于一体的HTAP系统,通过存算分离、Serverless设计等创新点提升IO访问能力和资源利用率。
陶然 · 2025-01-02 15:51 - 异地多活架构设计看这篇就够了
异地多活是分布式系统架构设计的一座高峰,当业务系统走到需要考虑异地多活这一步,其体量和复杂度都会达到很高的水准。接入层、逻辑层、数据层的三层架构,基本上是每个业务都会拥有的基础架构形态,而三层架构的关键在于数据层,本文将从数据层切入探讨异地多活对于基础架构设计的影响。
陶然 · 2025-01-02 13:45 - B站AI计算网络建设实践
B站网络团队基于业务需求和特性出发,并结合业界对于AI网络的落地实践方案,设计并落地了自己的AI计算网络。本文将简单介绍B站网络团队在建设AI计算网络上的一些设计关键因素和选择。
陶然 · 2024-12-31 14:15 - 得物基于AIGC生成测试用例的探索与实践
随着人工智能技术的快速发展,尤其是在自然语言处理(NLP)、计算机视觉和生成对抗网络(GANs)等领域,AIGC(AI Generated Content)得到了广泛应用,这一技术的进步使得内容创作变得更加高效与多样化,推动了各个行业的创新与变革。对于测试而言,基于AI进行测试用例生成也逐渐从梦想变成现实。
陶然 · 2024-12-31 10:23 - 快手系统软件技术创新与领域演进之路
本篇作为系列文章的开篇,将为您勾勒出快手系统软件团队的整体风貌与成果概览,而后续的篇章则会针对各个重点方向逐一展开,进行深入而详尽的解析。
陶然 · 2024-12-31 09:49 - B站推荐模型数据流的一致性架构
推荐系统的模型,通过学习用户历史行为来达到个性化精准推荐的目的,因此模型训练依赖的样本数据,需要包括用户特征、服务端推荐的视频特征,以及用户在推荐视频上是否有一系列的消费行为。
陶然 · 2024-12-27 16:54 - 语音合成技术在货拉拉的应用实践
TTS(Text To Speech)技术可将文本转换为语音输出,货拉拉主要将其应用于智能客服和电话通知场景。智能客服利用 TTS 实现实时语音反馈,提升用户体验;电话通知则通过离线合成多样化语音内容。相比传统人工预录制方式,TTS 更能满足动态场景和多样化话术需求,实现灵活且个性化的语音合成。
陶然 · 2024-12-27 15:13 - 《雄狮少年2》:全片渲染量超4亿核小时,让每一拳都有真实“打击感”
近期,原创现实主义国漫动作喜剧电影《雄狮少年2》全国上映,带着更精彩的情节、更精美的特效、更精细的画面高燃回归。影片8.4的豆瓣评分延续了前作口碑,传统武术和格斗擂台赛的引入,也使动作戏成为观影的一大看点:拳拳到肉的打击感、皮肤汗水的反光、肌肉的运动细节等,片中的格斗场面可谓让每一位观众肾上腺素飙升!
陶然 · 2024-12-26 23:08 - 货拉拉风控测试的质效提升之路
随着货拉拉业务的迅猛发展,平台每时每刻都面临着黑产的攻击和挑战。为了保障业务安全和稳健地发展,风控作为抗击黑产的前线,负责各项业务的风险识别和阻断工作。同时,各类业务的接入以及风控策略的高强度迭代,也给风控的质量保障和交付效率带来了挑战。如何在保障质量的同时高效完成需求交付,是每个货拉拉风控测试人员的目标。
陶然 · 2024-12-25 15:43 - 携程从零构建多端一致的设计研发体系实践
本文深入探讨了如何在多品牌、多终端的环境中,建立一个支持多个平台和品牌的企业级设计系统。该系统不仅提供高效、可靠、统一的设计管理方案,还实现了设计的复用和资源共享,大幅提升设计效率和质量,同时降低设计成本。
陶然 · 2024-12-25 11:02 - 做好数据中心能耗管理的8个关键点
能耗管理对于数据中心的重要性不言而喻,其不仅在降低运营成本、提升能源效率、满足外部监管和符合内部考核等方面有着重要作用,还与数据中心利润有很强的关联。
陶然 · 2024-12-24 14:21 - 百度垂搜一站式研发平台演进实践
百度垂搜架构历经多年发展,内部沉淀了多个开发者平台\工具,涉及覆盖了搜索系统的多个阶段模块,如何高效地串联系统全流程,为业务提效提质,可靠的工程化基建和更上层的抽象设计是关键。本文阐述了百度垂搜一站式研发平台(经天)的思考和探索过程,以及如何通过FaaS机制和SaaS服务产品化来为业务提效提质。
陶然 · 2024-12-24 10:02 - B站装机系统实践:从初创到规模化的演进
本文将详细介绍B站装机系统的演进过程,以新交付装机和复杂网络装机两个装机场景为例,重点探讨我们在装机实践中面临的挑战和提出的解决方案。
陶然 · 2024-12-23 09:55 - AI Agents的安全与治理
随着人工智能技术的飞速发展,AI Agents(人工智能代理)在各个领域的应用日益广泛。然而,AI Agents在处理大量数据时,尤其是包含敏感个人信息的数据,其隐私安全和治理问题显得尤为重要。本文探讨了AI Agents面临比较典型的安全挑战,并提出了相应的治理策略。
陶然 · 2024-12-19 10:16 - 58大数据:智能加速引擎的探索与演进
智能加速引擎是58大数据平台自主研发的复杂计算系统组件,在支撑集团业务发展和平台稳定性建设方面,发挥了巨大作用。随着大数据技术的日益成熟和AIGC技术的迅猛发展,我们期望能够通过对智能加速引擎的技术迭代与架构升级,实现在降本增效方面的显著提升与突破。
陶然 · 2024-12-18 15:43 - 扛住每秒10W+数据冲击,实时对账系统的设计与实践
随着业务发展,货拉拉资金交易规模日渐增长,日单量峰值超百万级,在线系统超过500个。这样的交易量采用传统的对账方式,很难在短时间内完成对账操作。并且在复杂的系统交互中由于微服务间数据不一致或者业务逻辑问题导致的资损问题频发。
陶然 · 2024-12-18 10:10 - Apache Gravitino 在B站的优秀实践
随着数据湖大规模应用、AI 数据大量增长、数据安全与数据治理被更加被重视,我们难以基于原有的架构或组件实现一套统一的元数据管理系统,进而解决数据孤岛、统一权限,多维度数据治理等问题。因此,在 B 站 我们引入了 Gravitino,本次分享将介绍 Gravitino 在 b 站的优秀实践。
陶然 · 2024-12-17 14:00