- 现身说法,AI小白的大模型学习路径
作为一个AI小白,把我自己学习大模型的学习路径还原出来,包括理解的逻辑、看到的比较好的学习材料,通过一篇文章给串起来,对大模型建立起一个相对体系化的认知,才能够在扑面而来的大模型时代,看出点门道。
陶然 · 2024-06-25 15:10 - 故障1min发现率100%%,去哪儿秒级监控预警落地实践
伴随着大众井喷的出游住宿需求,去哪儿旅行酒店订单激增。watcher作为公司级的监控系统,承载着越来越重要的故障预警能力。但watcher当前给业务流量提供的数据精度都是分钟级的,以分钟级为精度的数据虽然也可以反映业务流量的情况,但对订单报警来说,其精度是有限的,带来的必然是分钟级的故障预警。
陶然 · 2024-06-25 09:44 - 大模型助力国际术语专业化,前后联动实现所见即所得
国际的系统不仅仅是语言多、词条多,而且基本涵盖了供应链体系的所有核心系统,在这些系统的词条翻译也缺少统一的国际专业术语,相同的业务释义在不同的业务条线就存在各种名字,内部沟通不仅费时费力,在客户使用京东系统时也会造成一些困惑。
陶然 · 2024-06-24 17:08 - 在电商场景中,如何建设全链路数据血缘?
随着业务的快速发展,数据不断膨胀。数据量增大,但数据产生的实际价值在哪里?数据血缘则可以帮助我们更好评估数据价值,并在满足业务需求的同时,控制存储计算资源的膨胀速度。与此同时,数据血缘还能够衡量数仓建设的优劣,并且做好数仓体系化建设。
陶然 · 2024-06-24 14:51 - 美团超大规模数据库容灾体系建设
容灾能力的建设目标是非常明确的,就是要能够应对和处理这种机房级和地域级的大规模故障,从而来保障业务的连续性。近几年,业界也发生了多次数据中心级别的故障,对相关公司的业务和品牌产生了非常大的负面影响。当前容灾能力已经成为众多IT企业建设信息化系统的必选项。
陶然 · 2024-06-24 09:44 - 视频云沉浸式音视频技术能力探索与建设
随着传输技术、显示技术与算力的持续提升,用户对于音视频体验的需求在提高,各家设备厂商也在探索和推出对应的技术与产品。打造空间感的空间视频与空间音频是其中最为关键的2项技术,bilibili视频云在这两项技术领域也进行了相关代探索与建设。
陶然 · 2024-06-21 14:19 - 干货|携程注册中心整体架构与设计取舍
目前,携程大部分业务已经完成了微服务改造,基本架构如图。每一个微服务的实例都需要和注册中心进行通讯:服务端实例向注册中心注册自己的服务地址,客户端实例通过向注册中心查询得知服务端地址,从而完成远程调用。
陶然 · 2024-06-21 09:31 - 微信小程序包体积治理
微信考虑到小程序的体验和性能问题限制主包不能超过2M。哈啰微信小程序也随着业务线在主包中由简到复杂,体积越来越大,前期业务野蛮增长阶段npm库缺乏统一管理,第三方组件库本身工程复杂等问题导致包体积长期处于2M临界卡点,目前存在以下痛点:
陶然 · 2024-06-20 11:10 - 百度&YY设计稿转代码的探索与实践
本文阐述了百度&YY互动团队在设计稿转代码方面的实践与沉淀,自研的YYF2C是Figma & AI相结合生成开发代码的一站式解决方案。文章将从遇到的痛点以及对应的方案成果来阐述,并介绍相对应的YYF2C功能点。
陶然 · 2024-06-20 10:44 - 回忆杀!十年前的微信消息收发架构长啥样?
2023 年,微信及 WeChat 的 DAU(月活用户)达到 13.4 亿,微信已经是很多人工作、生活中不可或缺的一个环节。从 2011 年 1 月 21 日上线至今,微信已经走过了 13 个年头,其背后的技术基座与架构也发生了巨大的变化。
陶然 · 2024-06-19 10:22 - 如何实现埋点日志精准监控?
日志中台承载了百度千亿量级PV的埋点流量,如何对这些流量进行准确监控,并支持个性化字段的抽取、下钻,是日志中台的一大难题。本文简单介绍了日志中台的基本概念及实时流架构,并基于此深入讲解了低成本实现可扩展、高准确度的埋点监控的技术方案。
陶然 · 2024-06-18 09:57 - 电商知识图谱建设及大模型应用探索
本文将分享 Shopee 在电商知识图谱构建,以及与大模型结合方面的探索。主要内容包括以下五大部分:1. 电商知识图谱概览;2. 电商知识图谱构建;3. 电商知识图谱应用;4. 知识图谱与大模型探索。
陶然 · 2024-06-17 09:59 - 抖音集团数据治理经验:如何让计算治理自动化?
本文旨在探讨字节跳动数据平台在处理计算治理过程中所面临的问题及其解决方案,并展示这些解决方案带来的实际收益。主要内容包括:探讨面临的痛点和挑战、提供自动化的解决方案、分析实践效果和收益、提出结论和未来展望。
陶然 · 2024-06-14 11:30 - 货拉拉如何连续保持业务高峰的稳定运行?
业务高峰通常还具备一些特殊意义,往往伴随着公司业务目标的达成,如单日订单破峰,如果因为系统故障导致目标未达成,影响也会非常恶劣。当前货拉拉会经历各种业务高峰场景,像新业务开城放量、优惠权益秒杀、节前货运需求激增等等,都要求系统具备高度稳定性和抗风险能力。
陶然 · 2024-06-14 10:02 - 从打点平台谈打点治理
本文介绍了打点治理的概念和其对于数据质量保障的重要性,分享了日志中台在打点治理方面的解决方案与实践经验。文章从用户痛点和打点治理的难点出发,介绍了日志中台如何通过质量标准的制定、在线化流程的建设和相应的配套工具来解决这些问题。
陶然 · 2024-06-13 15:22 - 烧钱又费力!Kafka给大数据运维留下了多少坑?
滴滴大数据 DKafka 集群,基于社区 2.12-0.10.2.0 版本。在运维过程中,遇到了不少痛点,如磁盘 IO 不均、存储容量不均、CPU 利用率不均等负载不均问题,尤其是在高峰期出现瓶颈或故障发生后,想要快速扩容止损成为了一个棘手的问题。
陶然 · 2024-06-13 09:50 - 从电商场景,看抖音集团数据治理实践
随着电商业务不断发展和成熟,对数据稳定性、数据质量、数据成本的要求越来越高。为了能可持续地提供质量更高、产出更快、表现力更强的数据资产,数据治理成为数仓日常工作的重要一环。本文将从现状解读、发展阶段、解决方案以及思考与展望四大部分,分享电商数仓治理的发展历程和实践总结。
陶然 · 2024-06-12 15:00 - Gartner:超60%%的企业已将云战略调整为业务运营核心
Gartner近期研究显示,随着云计算技术的成熟和广泛采用,超过60%%的企业已经将云战略调整为其业务运营的核心部分,以适应不断变化的市场需求和技术环境。这种趋势反映了企业对于提高业务敏捷性和运营效率的持续关注。
陶然 · 2024-06-11 14:14 - 抖音 Android 端图片优化实践
本文从抖音Android端图片优化历程着笔,主要介绍字节自研BDFresco图片框架及其在抖音的优秀实践、经验沉淀、业务价值。通过分享业务视角遇到的一些问题和我们的解决思路,希望能抛砖引玉,为遇到类似困扰的伙伴们提供有价值的参考。
陶然 · 2024-06-11 13:47 - 爱奇艺公有云对账标准化实践
公有云作为基础架构部核心资源之一,其成本占比逐年上升,企业对于公有云成本实施精细化管理的需求越来越高。相较于私有化部署主要关注服务器、网设、带宽等资源的成本管理方式,使用公有云服务面临多厂家、多产品、多折扣、多套餐、多优惠方案、多账单格式等多个维度的问题。
陶然 · 2024-06-07 14:04