- 得物自建Redis无人值守资源均衡调度设计与实现
得物 Redis 管理平台目前管理着几百个集群、数万个 Redis-server 节点、几千台 server 宿主机,而且通过精细化运维管理,目前 Redis-server 宿主机平均内存使用率和内存分配率均达到一个合理且较高的水位,资源管理处于业内第一梯队,使用最低的成本做到最大的支撑业务缓存需求。
陶然 · 2024-09-19 10:16 - 百度Android IM SDK组件能力建设及应用
移动互联网时代,随着社交媒体、移动支付、线上购物等行业的快速发展,对即时通讯功能的需求不断增加。对于各APP而言,接入IM SDK(即时通讯软件开发工具包)能够大大降低开发成本、提高开发效率,快速构建自己的IM系统。本文主要介绍了百度APP Android IM SDK的建设背景、IM SDK主要结构和工作流程以及建设过程遇到的问题和解决方案。
陶然 · 2024-09-18 15:18 - 货拉拉在逻辑漏洞自动化检测的实践
随着纵深防御体系建设的越来越完善,通用漏洞的攻击一般都被被WAF 等拦截,而逻辑类漏洞的利用却无法被拦截,一旦被利用,可能泄露大量的敏感信息。
陶然 · 2024-09-18 10:11 - 搜推电商大模型及应用实践——上篇
大模型对搜推技术产生了深远的影响,极大地推动了搜推技术的演进趋势,使得搜推更加的智能化和个性化,然而在搜推中引入大模型时同样面临一系列的挑战,例如商品知识的幻觉,复杂查询的理解,个性化商品推荐,隐私和安全等问题。本文基于这个问题背景介绍下我们的技术实践,完整文章分为上下两篇介绍:
陶然 · 2024-09-13 14:15 - 爱奇艺广告智能算力探索与实践
随着广告业务的发展,流量、订单、模型复杂度快速增长,算力消耗也愈加严重。同时我们也注意到,流量质量参差不齐,投入更多的计算资源呈现了边际效益递减的效应。如何平衡流量收益和计算资源成本成为了广告业务发展无法规避的挑战。
陶然 · 2024-09-13 09:58 - 能效变革,携程酒店前端BFF实践
本文概述了携程酒店前端BFF层在架构迁移及效能提升过程中面临的挑战和应对方案。第一部分描述了BFF实践过程中遇到的问题,分析了两种BFF模式的对比并提出了一码多端的BFF研发方案;第二部分通过介绍携程云函数平台能力来阐述其如何帮助提升BFF研发的效能;第三部分简单介绍了前端动态化能力的未来规划。
陶然 · 2024-09-12 16:05 - 十大流行的微服务架构设计模式详解
通过阅读这篇文章,你会学到:微服务架构、微服务架构的优势、微服务架构的劣势、何时使用微服务架构,最重要的微服务架构设计模式,包括其优缺点、用例、上下文、技术栈示例及可用资源。请注意,本清单中的大部分设计模式常出现在多种语境中,并且可以在非微服务架构中使用。而我将在微服务这个特定语境中介绍它们。
陶然 · 2024-09-12 09:49 - 如何通过二级缓存架构设计提升系统性能?
随着k8s成为用云新界面,容器成为众多用户“弹性”的利器,因此容器的创建天生具备高并发特性。高并发、大数据量下,为了提供更好的容器弹性体验,笔者通过二级缓存的设计,成功优化了系统性能、资源消耗、系统容量。
陶然 · 2024-09-11 10:28 - 字节跳动容灾实践:同城容灾+异地多活是优选的模式吗?
今天,我将与大家分享字节跳动的容灾实践。大家对字节跳动的业务形态应该有所了解,在业务规模持续扩大和多样化部署模式下,字节跳动基础架构团队面临的容灾挑战是巨大的。因此今天的分享将分为三个主要部分:首先是基础演进路径,然后结合演进介绍容灾实践,最后我会简要说明容灾实施情况。
陶然 · 2024-09-09 15:27 - 腾讯大数据实时湖仓智能优化实践
数据湖计算部分,Spark 作为 ETL Batch 任务的主要批处理引擎,Flink 作为准实时计算的流处理引擎,StarRocks 和 Presto 作为即席查询的 OLAP 引擎。数据湖管理层以 Iceberg 为核心,同时开放了一些简单的 API,支持用户通过 SDK 的方式去调用。
陶然 · 2024-09-09 14:33 - B站直播的极速排障建设-全链路Trace追踪
直播业务具有实时性强,复杂度高,排查链路长,影响面大等特征,线上问题如果不能立刻排查处理,分分秒秒都在影响用户的观看体验、主播的收入。
陶然 · 2024-09-06 14:45 - 携程PB级数据基础平台2.0建设,多机房架构的演进
携程数据基础平台主要组件包括:HDFS 分布式存储集群,YARN 计算集群,Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型,2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复,支撑集群数据和计算任务高速增长。
陶然 · 2024-09-06 09:44 - 从3大场景,解读企业级云数仓落地实践
本文聚焦 ByteHouse 在实时数仓、企业级中台OLAP 以及广告投放三个领域优秀实践,拆解高并发点查、OLAP 引擎技术、以及圈选投放等能力在实际业务场景中的实现逻辑和效果,分享新一代云数仓的三大优秀实践。
陶然 · 2024-09-05 14:59 - 表格存储低成本向量检索服务助力AI检索
本文阐述了阿里云表格存储(Tablestore)如何通过其向量检索服务应对大规模数据检索的需求,尤其是在成本、规模和召回率这三个关键挑战方面。
陶然 · 2024-09-05 10:49 - 字节跳动多机房资源统一管理系统解析
在字节跳动,每天有数百万的大数据作业在其全球的数十个数据中心运行。由于作业计算和存储资源的不匹配,存在将跨机房带宽用尽的风险,这会影响其他业务的运作,还会造成不同机房的资源负载不均衡。而且跨机房带宽存在成本高、延迟高、稳定性差等问题,会大幅增加作业的运行时长。
陶然 · 2024-09-04 10:25 - 大模型在小红书标题生成中的深度实践
这一次,AIGC 席卷而来,打破了这份许久的宁静,素材+AIGC 给广告带来了新的机会。本文剖析素材之于业务的价值,回顾大模型浪潮下的行业动向,分享展示广告关于素材+AIGC 的实践。
陶然 · 2024-09-04 10:12 - 货拉拉利用大模型打造多场景个人、办公助理实践
本次分享题目为货拉拉利用大模型打造多场景个人、办公助理实践,主讲老师杨丹来自货拉拉。货拉拉是一家专注于物流和货运的科技公司,自成立以来一直致力于通过科技手段提升物流效率。
陶然 · 2024-09-03 11:04 - GPU利用率:一个被误解的性能指标
AI团队经常会使用GPU利用率来代表GPU性能。但一项最新报告表明,即使GPU显示100%%的利用率,实际上可能还有大量未被充分利用的计算能力。一些与基础模型公司合作的研究人员发现,他们在优化LLM训练过程中,尽管GPU利用率达到了100%%,但实际的模型浮点运算使用率(MFU)仅为20%%,远低于行业平均水平。
陶然 · 2024-09-03 09:27 - 莉莉丝游戏云原生之路
成本和效率在这些年来逐渐成为了游戏基础设施领域热烈讨论的话题。传统机器运维模式在业务规模化部署的情况下将带来巨大的人力与资源的成本投入,已然不符合当下游戏精细化运营的时代趋势。
陶然 · 2024-09-02 17:48 - 阿里巴巴AIGC技术与数据分析的融合实践
在数字化转型浪潮中,数据分析和商业智能(BI)工具成为企业洞察数据、优化决策的关键,场景化应用也日益广泛。伴随生成式AI发展,新一代BI与大模型深度融合,引领商业智能的新变革。
陶然 · 2024-08-30 14:25