- Gundam脚手架在新春除夕项目中的实践
Gundam 是快手主站前端工程化脚手架,目标在于建设统一标准的工程化解决方案,提升研发效率,保障稳定性底线。本文会结合Gundam在新春除夕项目中的落地实践来聊一聊在工程化领域中碰到的问题和思考,以及未来的发展方向。
陶然 · 2024-07-26 14:16 - 结合数据湖的实时数仓架构演进
本文将探讨数据湖实时数仓相关内容。很荣幸请到京东科技实时数仓建设负责人陈伟强老师,他同时也直接承担一些数据产品研发项目的支持,将分享实时数仓在落地和演化过程中的一些问题和解决方案。
陶然 · 2024-07-26 10:14 - 携程IT桌面全链路工具研发运营实践
本文概述了携程IT管理数万台办公PC时面临的挑战及应对方案,介绍了通过全链路工具实现故障主动发现和自动修复的运营理念。详细阐述了背景、系统架构选型及各部件,深入说明了工具实践过程中面对的大数据量、脚本运行权限、交互弹窗等问题及其解决方案。
陶然 · 2024-07-25 14:46 - 京东百万级调度系统(Buffalo)架构解密
为支撑灵活的业务加工和工作流编排场景,快速的业务发展带来的任务量增长,以及保障整个系统的稳定性,我们从易用性、稳定性、以及高性能等方面做了很多的思考和优化,下面我将着重从这三个方面详细介绍。
陶然 · 2024-07-25 10:11 - 字节跳动基于Parquet格式的降本增效实践
字节跳动离线数仓默认使用Parquet格式进行数据存储。Parquet作为一种列式存储的开源文件格式,在大数据领域被广泛应用,它所提供的一系列特性,如高压缩率、高查询性能等都非常契合大数据领域。
陶然 · 2024-07-24 14:01 - 大模型在京东快递物流场景中的应用与落地
在现代物流场景中,包裹信息的准确性和处理效率至关重要。当前,京东快递在邮寄场景中面临着日益丰富的寄递品类和多样化的个性化需求。本文将深入探讨托寄物智能识别——大模型在京东快递物流场景中的应用与落地,分析其产生背景、应用效果及未来发展方向。
陶然 · 2024-07-23 16:14 - 2000+应用、100w+QPS:超大规模贵州机房迁移历程回顾
2023年确定要将云音乐整体服务搬迁至贵州机房,项目需要在各种限制条件下,保障2000+应用、100w+QPS的服务稳定迁移,是云音乐历史上规模最大、人员最多、难度最高的技术项目。在此过程中,解决了大量历史技术债务,同时化解了大量新增系统性风险。以下为总体方案回顾。
陶然 · 2024-07-23 10:03 - 异常检测算法在可观测性平台的落地和实践
在稳定性保证中,重要的一个环节就是故障管理体系建设,故障管理体系的四大核心功能——故障发现、故障触达、故障定位和故障恢复,其中故障发现作为故障管理的第一步至关重要,包含了指标预测、异常检测和故障预测等方面,主要目标是能及时、准确地发现故障。
陶然 · 2024-07-22 13:59 - 大语言模型在推荐系统中的探索与应用
来自华为诺亚方舟实验室的王奕超老师今天给我们带来了关于大语言模型在推荐系统中的探索与应用的分享,将从数据、模型和流程三个层面展开,介绍华为在推荐系统领域的两个重要项目,并回答关于用户推理知识构造、特征交叉和在线服务流程的具体问题。通过这些前瞻性的探索和应用,推荐系统的性能和用户体验有望得到显著提升。
陶然 · 2024-07-22 09:55 - 广告营销多智能体架构落地全攻略
在AI Native时代,广告营销平台经历了根本性的变革,这些变化不仅提升了广告的效率和精准度,还重塑了广告行业的整体运作方式。其中,强大的广告营销智能体是下一代商业广告平台面向客户交付商业价值的首要载体。进一步,生成式AI又是广告营销智能体的内核及灵魂,真正达成让客户放开说、简单用、都搞定的极致体验。
陶然 · 2024-07-19 14:14 - B站一站式大数据集群管理平台(BMR)初窥
大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。
陶然 · 2024-07-19 13:51 - 转转上门履约服务拆分库表迁移实践
随着业务不断发展,一个服务中部分功能模块适合沉淀下来作为通用的基础能力。作为通用的基础能力,对提供的服务可用性和稳定性有较高的要求,因此把该部分功能模块拆分出来,单独一个服务是比较好的选择。为了更好的与业务服务物理隔离,不仅需要从代码层面拆分,数据库层面也需要拆分。
陶然 · 2024-07-18 09:50 - 图技术在金融反欺诈中的应用
在金融信贷领域,随着黑产的欺诈能力不断升级,黑产的欺诈方式已经从早期的个体欺诈发展到了聚集性欺诈,并且从早先的单一欺诈模式演化出各种复杂多变的欺诈模式,形成了完整的黑色产业链,严重扰乱了正常金融秩序,给反欺诈风控造成了极大的压力。
陶然 · 2024-07-17 09:56 - 字节跳动基于TrafficRoute DNS的超千亿级调度解析优化实践
在直播CDN、静态CDN和动态CDN等泛CDN边缘接入场景中,通常采用DNS来作为边缘第一层的接入调度。由于边缘接入点分布广泛且容易受到外部环境的影响,导致接入点频繁变动,因此,在泛CDN环境中,DNS的基础调度功能显得尤为关键。
陶然 · 2024-07-16 10:29 - 百度智能云网络故障定位的智能运维实践
近期,更是将大模型成功引入物理网络的故障定位中。相比过去传统的定位分析方法,大模型给网络故障定位的能力建设带来了很多改变。接下来我们将简单介绍百度智能云在物理网络故障定位的发展历程,然后详细分享如何基于大模型进行故障定位的最新实践。
陶然 · 2024-07-16 10:11 - 聚焦电商场景,详解抖音集团埋点及归因分析方案
本文将聚焦电商场景,介绍抖音集团埋点历程、电商场景解决方案、归因实践及其收益等模块,旨在为数据技术人员在埋点后数据加工过程中所遇到的问题提供有益思路。
陶然 · 2024-07-15 14:56 - 研发视角浅谈R2流量回放测试
测试小伙伴们在2023年保障了团队线上系统0问题,这简直就是一项了不起的壮举!这得益于咱们测试组同事对工作的细致投入、风险把控、以及严格遵循流程规范进行测试用例评审、自动化建设、联调推动、回归验证、常态化压测、大促高保真压测、引流回放等多重保险策略工作。
陶然 · 2024-07-15 10:25 - 指标归因在互联网平台的应用
大家在工作中经常会看很多的报表,在查看报表的过程中会发现指标并不是稳定不变的,而是可能会有各种各样的变化,比如下降、上升或者突变。指标的波动其实反映的是业务的实际波动。
陶然 · 2024-07-15 09:40 - 3个企业级优秀实践,教你ByteHouse云数仓这么用
随着各业务场景各行业数字化转型加快,数据量呈爆炸式增长。在拥有庞大数据的同时,业务也在分析、查询与响应层面,对数据库系统性能提出了更高要求。云原生技术推动了分布式数据库系统的迭代升级,对云数仓技术而言,“写入能力、高性能查询、高并发、架构精简、成本控制”的一系列挑战,是其在发展中亟待解决的难题。
陶然 · 2024-07-12 10:32