- 百度智能云网络故障定位的智能运维实践
近期,更是将大模型成功引入物理网络的故障定位中。相比过去传统的定位分析方法,大模型给网络故障定位的能力建设带来了很多改变。接下来我们将简单介绍百度智能云在物理网络故障定位的发展历程,然后详细分享如何基于大模型进行故障定位的最新实践。
陶然 · 2024-07-16 10:11 - 聚焦电商场景,详解抖音集团埋点及归因分析方案
本文将聚焦电商场景,介绍抖音集团埋点历程、电商场景解决方案、归因实践及其收益等模块,旨在为数据技术人员在埋点后数据加工过程中所遇到的问题提供有益思路。
陶然 · 2024-07-15 14:56 - 研发视角浅谈R2流量回放测试
测试小伙伴们在2023年保障了团队线上系统0问题,这简直就是一项了不起的壮举!这得益于咱们测试组同事对工作的细致投入、风险把控、以及严格遵循流程规范进行测试用例评审、自动化建设、联调推动、回归验证、常态化压测、大促高保真压测、引流回放等多重保险策略工作。
陶然 · 2024-07-15 10:25 - 指标归因在互联网平台的应用
大家在工作中经常会看很多的报表,在查看报表的过程中会发现指标并不是稳定不变的,而是可能会有各种各样的变化,比如下降、上升或者突变。指标的波动其实反映的是业务的实际波动。
陶然 · 2024-07-15 09:40 - 3个企业级优秀实践,教你ByteHouse云数仓这么用
随着各业务场景各行业数字化转型加快,数据量呈爆炸式增长。在拥有庞大数据的同时,业务也在分析、查询与响应层面,对数据库系统性能提出了更高要求。云原生技术推动了分布式数据库系统的迭代升级,对云数仓技术而言,“写入能力、高性能查询、高并发、架构精简、成本控制”的一系列挑战,是其在发展中亟待解决的难题。
陶然 · 2024-07-12 10:32 - 性能炸裂的ClickHouse,入坑后会遇到哪些难题?
ClickHouse是一款开源的列式数据库管理系统,适用于在线分析处理(OLAP)场景,本文通过介绍ClickHouse,帮助读者今后快速地处理大规模数据,并获得实时的分析结果,为业务提供有力支持。
陶然 · 2024-07-11 13:44 - 彻底解决网络哈希冲突,百度百舸的高性能网络HPN落地实践
GPU 的通信性能对于大模型的训练有着至关重要的影响。在 HPN 网络工程实践中,我们的核心关注点是如何充分利用网络硬件资源的能力,将通信性能最大化,从而提升大模型端到端的训练性能。
陶然 · 2024-07-11 10:05 - 新一代云数仓必不可少的五大核心能力
从数据库领域的发展历程来看,分析型数据库已有40多年的发展历史,与数据库基本同时代。从OLTP和OLAP的分支来看,分析型数据库支持了海量数据规模下的聚合性分析。随着移动互联网甚至AI等领域的发展,用户画像行为分析的重要性日益凸显,而这些都离不开分析型数据库的支撑。
陶然 · 2024-07-10 14:11 - AI绘图实践:用人工智能生图助力618大促
现在各种AI大模型大行其道,前有GhatGPT颠覆了我们对对话型AI的原有印象,后有Sora文生视频,让我们看到了利用AI进行创意创作的无限可能性。如今各大公司和团队都争相提出自己的大模型,各种网页端和软件应用也极大地降低了我们使用AI作为生产力的门槛。
陶然 · 2024-07-10 09:48 - 点播CDN回源标准化策略
回源标准化的过程持续了大半年,虽然遇到了各种各样的问题,方案也在逐步演进,好在方案得以初步实现,向着符合预期的方向前进,总体上完成了大部分的功能,接下来我们将会继续站在资源运营的角度上优化各类资源,让点播的CDN业务更加稳定可靠。
陶然 · 2024-07-09 16:12 - 百度Feed业务数仓建模实践
Feed,即个性化推荐信息流,是百度 App 上承载各种类型内容(如文章、视频、图集等)的重要 topic。本文概要讲述了随着业务发展,移动生态数据研发部在 Feed 数据宽表建模上的演进过程以及一些实践:整合流量、内容、用户等数据,建设多版本宽表,实现 feed 数仓的一致性,简化数仓取数逻辑,降低成本提升效率。
陶然 · 2024-07-09 10:45 - 大模型微调方案设计和能力整合
在构建大型模型应用时,技术架构的规划至关重要。整体架构可被划分为四个层次:基础设施层、模型工具层、模型引擎层及大模型应用层。基础设施层:涵盖了数据服务、云平台及开源社区等多个方面,为应用开发提供坚实的基础。
陶然 · 2024-07-08 11:12 - Instagram如何扩展支撑25亿用户的基础架构?
本文概述Instagram如何扩展其基础设施,主要基于笔者研究,可能与实际实践情况有所差异。从前,两位斯坦福大学毕业生决定制作一款实现位置签到功能的应用程序。然而,他们注意到,该应用中使用最频繁的功能是“照片共享”,所以他们转而创建了一款照片分享应用,并将其命名为Instagram。
陶然 · 2024-07-08 09:55 - 干货 | 携程门票秒杀系统的设计与实践
本文总结了携程门票的预订交易系统在承接秒杀活动中面临的挑战与应对策略。重点解决了读热点、写瓶颈、强事务、流量控制等诸多细节问题,同时通过日常的架构健康度治理和制定专项的保障计划,持续对系统进行优化,确保系统在高负载下依然能够稳定运行,实现系统的持续高可用。
陶然 · 2024-07-05 17:08 - 转转搭建平台——魔方数据中心实战分享
魔方是转转内部的可视化搭建平台,用于快速创建活动页面。然而,尽管平台相对稳定,却缺乏一个集中的数据中心来全面查看各项数据指标,给运营团队带来了一些挑战。
陶然 · 2024-07-05 16:34 - 华为发布园区网络“光进铜退”先锋行动,将投5000万元营销资源与新老伙伴共赢未来
华为正式发布园区网络“光进铜退”先锋行动。随着Wi-Fi 7时代加速到来,园区网络“光进铜退”势在必行,全光园区正成为数智园区新标配,每年将有超百亿的市场新商机涌现。为此,华为不仅推出了F5G全光园区2.0解决方案,更将投入5000万元营销资源,全方位支持伙伴抓住园区网络“光进铜退”大机遇,共赢园区数智新未来。
陶然 · 2024-07-05 16:16 - 货拉拉指标库概述及应用场景实践分享
货拉拉是一家专注于货运行业的科技公司,主要业务是提供在线货运服务,包括同城/跨城货运、企业版物流搬家、零担等。货拉拉每天需要处理大量的业务数据,以便更好地理解用户需求,优化服务,提高运营效率。
陶然 · 2024-07-05 00:02 - 全年宕机仅18秒!金融业异构交易系统建设实践
近年来,在全球经济复苏疲软叠加疫情冲击的背景下,全球交易所核心系统稳定性面临较大考验,软件故障频发。针对软件缺陷类故障无有效应对方式的现状,中国金融期货交易所自主设计研发打造了异构交易系统,该系统是一套软件架构与主交易相异的容错备系统...
陶然 · 2024-07-04 23:47 - 解密Lego:客户端日志系统的演进
埋点对于移动应用来说至关重要,无论是赋能业务增长,还是优化技术实现,埋点数据和技术日志都为决策和优化提供了关键依据。转转App也有着一套自研的日志采集系统(Lego),从2015年转转App上线第一个版本到现在,Lego逐步从一个单一功能架构演变为支持自动化采集、实时上报、业务与技术日志隔离的复合架构。
陶然 · 2024-07-03 14:08 - 基于Freetype的文字渲染流程以及缓存策略
OpenGL 对于文字的绘制以及字体的操纵提供了低层次的支持,即位图字体。每个字形根据他们的编号被放到位图字体中的确切位置,在渲染这些字形的时候根据这些排列规则将他们取出并贴到指定的位置。这种方法相对来说很容易实现。
陶然 · 2024-07-02 22:12