SACC2024上海站
SACC2024上海站
DTCC2024
神机妙算
液冷服务器选型指南
开源秀

随着B站业务的快速发展,大数据的规模和复杂度也突飞猛进。为应对这一挑战,B站一站式大数据集群管理平台,在千呼万唤中

随着B站业务的快速发展,大数据的规模和复杂度也突飞猛进。为应对这一挑战,B站一站式大数据集群管理平台,在千呼万唤中孕育而生。BMR平台包含集群管理、元仓建设、智能运维等核心模块,这些功能很好的承接了业务场景的需求,显著提升了变更效率,保障了系统安全变更,优化了运维流程。

  
分享到:
B站大数据集群管理平台BMR的实践与创新

主流的推荐系统采用多阶段级联结构,主要分为召回、粗排、精排、重排几部分,每阶段可以视为一个漏斗,候选物品数量逐渐减小。召回作为第一级漏斗,从海量物品池中尽可能召回所有用户可能感兴趣的物品

  
分享到:
转转首页推荐粗排优化实践

本文将介绍抖音集团管理数据、应对数据质量与效率挑战的策略,重点聚焦于如何通过指标服务提升数据产品的稳定性和可复用性。

  
分享到:
抖音集团指标管理与消费体系建设实践

本文将围绕字节跳动当前的模式——同城容灾+异地多活,介绍团队在异地单元化架构落地上的一些思考和实践。

  
分享到:
单元化架构在字节跳动的落地实践

历时18个月,跨越长三角多个地区,搬迁数万台服务器和交换机设备……B站数据中心圆满完成搬迁项目,新机房拥有更先进的基础设施和更全面的技术支持,将进一步优化上层业务布局,支撑业务整体的异地多活,有效提升资源利用率和运营稳定性,为广大B站用户带来更好的访问服务体验。

  
分享到:
B站大规模数据中心搬迁的挑战与实践

大数据处理技术,经历了基于Hadop+Hive的离线数据仓库,可以满足大部分场景的需求,数据准确性可以得到保证;但是对于秒级实时需求无法满足,基于此产生了实时处理数仓+离线数仓结合的Lambda架构,实时性和准确性得到了保证,但需要维护两套代码;利用kafka数据重放offset功能产生了Kappa架构

  
分享到:
基于数据湖构建近实时数据链路

在当今数字化时代,软件供应链的创新发展至关重要。随着技术的飞速进步,企业对软件供应链的高效性、安全性和可靠性提出了更高要求。软件供应链已从传统的单一环节管理,向涵盖制品库、安全扫描、版本分发等多领域的集成化方向发展。

  
分享到:
探秘JFrog的软件供应链创新之路

随着AI技术的不断成熟和广泛应用,已经逐渐成为各行各业用来提升生产力的重要工具。货拉拉作为互联网物流科技企业,过去几年不断深耕AI技术,推动物流行业的智能化发展,并在AI定价、AI营销、AI客服、AI安防等多个领域取得显著成就。

  
分享到:
应对AI挑战,货拉拉机器学习平台海豚出战

爱奇艺大数据团队构建了多 AZ 统一调度架构,支持不同 AZ、不同集群间数据读写路由、计算调度路由,使得业务可以无感访问不同集群上的数据,在不同集群间无感迁移数据、按需调度计算,大幅降低存储计算成本,提升数据开发与分析效率。

  
分享到:
爱奇艺大数据多 AZ 统一调度架构

在项目研发过程中,由于时间、能力等因素往往会出现设计方案没有做到最好或最优、编码质量不够好等问题,技术债的出现是不可避免的,同时使得对代码和架构设计的更改越来越困难,想要进一步提升效能必须要对技术债进行管理,本文通过在活动中台系统的技术债实践经验,介绍技术债的含义、分类和管理。

  
分享到:
浅谈活动中台系统技术债管理实践

本文结合消息队列进行选型介绍,就 Pulsar 和 RocketMQ 的特性作对比,介绍 Pulsar 在小红书在线消息队列的场景下如何落地,以及企业可以获得哪些实际收益。同时,文章结合小红书消息队列的实际情况、经验进行了整理和数据汇总。如有感兴趣的同学,欢迎联系我们开展技术交流。

  
分享到:
Apache Pulsar在小红书在线场景下的探索与实践

海量数据存储解决方案的领先创新者希捷科技今日在“中国数谷”贵阳举办了以“AI•希引力”为主题的2024希捷数据+峰会。大会期间,数百位来自数据圈的生态合作伙伴与希捷一起探讨在AI大潮下,如何构建坚实的数据存储基础设施,充分释放数据在AI发展中的力量。

  
分享到:
释放AI“希”引力,存储无限潜能

随着抖音集团公司业务的持续拓展,渐趋复杂化、多元化的场景为抖音集团实验平台提出了新的挑战。在此背景下,沿用传统的假设检验框架,则已无法解决难题。本篇聚焦实验平台主要面临的边际收益、干涉效应、自动实验配置与随机实验盲区四项挑战,详解实验平台应对挑战、拓展边界的研究进展与现阶段实践。

  
分享到:
抖音集团实验平台的边界拓展

百度MEG上一代大数据产品存在平台分散、质量不均和易用性差等问题,导致开发效率低下、学习成本高,业务需求响应迟缓。为了解决这些问题,百度MEG内部开发了图灵3.0生态系统,包括Turing Data Engine(TDE)计算引擎、Turing Data Studio(TDS)数据开发治理平台和Turing Data Analysis(TDA)可视化BI产品。

  
分享到:
ClickHouse在百度MEG数据中台的落地和优化

本文将探讨在可观测性背景下,作为一个测试人员在质量保障中的一些思路和个人思考,以及为什么要区别于研发维度的可观测性,测试团队维度的可观测性建设又能为业务带来哪些价值。

  
分享到:
从质量视角看可观测性背景下的质量保障思路