- 京东HDFS统一存储实践经验分享
随着大数据时代的到来,海量数据的存储与处理成为了众多企业面临的重要挑战。HDFS 作为一个高可靠性、高扩展性的分布式文件系统,在京东零售的数据管理中扮演着重要角色。本文将分享京东在 HDFS 统一存储方面的实践经验,并对相关的技术细节进行总结。
陶然 · 2024-05-28 15:00 - 小红书云原生Kafka技术剖析:分层存储与弹性伸缩
面对 Kafka 规模快速增长带来的成本、效率和稳定性挑战时,小红书大数据存储团队采取云原生架构实践:通过引入冷热数据分层存储、容器化技术以及自研的负载均衡服务「Balance Control」,成功实现了集群存储成本的显著降低、分钟级的集群弹性迁移、高性能的数据访问策略和自动化的资源调度。
陶然 · 2024-05-27 14:50 - GPU集合通信库在B站的应用和改进
本篇文章将重点介绍支撑大模型运作的核心组件——集合通信库,介绍其在大模型架构中的关键作用和实现机制,以及B站是如何应用和改进它的。
陶然 · 2024-05-27 10:21 - 揭秘支付对账:确保每一分钱的安全之旅
随着转转业务的迅速发展,业务场景日益复杂,单量与日俱增,支付部门每天与外部渠道的交易额也呈现水涨船高的趋势。迭代速度加快,故障概率也增大,这增加了资金安全的风险,对转转、用户包括商家都是不容忽视的挑战。系统化保障资金安全成为至关重要的任务,其中“对账”显得尤为核心。
陶然 · 2024-05-24 13:42 - 领域化、中台化和多Region化,携程账号系统演进之路
随着业务的发展,每个功能逐渐分化出自己的需求和架构侧重点,独立出各自的领域服务也成了业界共识。本文分享的账号系统,指的是提供用户账号管理、登录认证相关能力的系统。介绍了携程在不断发展的过程中,账号系统在领域化、中台化和多Region化方向上的演进、探索和一些思考。
陶然 · 2024-05-24 09:36 - 摩尔纹识别算法在货拉拉业务中的探索与实践
摩尔纹识别作为一项相对简单的任务,其核心挑战在于如何实现高召回率和低误判率。这需要我们在算法设计和模型优化上下足功夫,以提升识别的准确性和效率。在扩散模型的应用上,我们看到了一种有效的解决方案。
陶然 · 2024-05-23 13:50 - 亿级流量下通用的高并发架构设计
既然是亿级用户应用,那么高并发必然是其架构设计的核心要素。本文我们将介绍高并发架构设计的一些通用设计方案。高并发意味着系统要应对海量请求。从笔者多年的面试经验来看,很多面试者在面对“什么是高并发架构”的问题时,往往会粗略地认为一个系统的设计是否满足高并发架构,就是看这个系统是否可以应对海量请求。
陶然 · 2024-05-23 10:19 - 美团大规模KV存储挑战与架构实践
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995%% 的服务可用性。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV Squirrel 挑战和架构实践;第三部分阐述了持久化 KV Cellar 挑战和架构实践;最后一部分介绍了未来的发展规划。
陶然 · 2024-05-22 10:45 - 货拉拉信息安全资产库建设实践
随着货拉拉业务的扩大,在数字化过程中,信息安全部参考业界资产测绘方案,围绕资产的点线面构造资产空间地图,建立信息安全资产库,助力安全体系建设。本文主要包括三方面内容,一是资产建设背景和需求场景,二是详细的资产测绘方案,三是安全资产的部分效果。
陶然 · 2024-05-22 09:54 - 从0到1:广告营销多智能体架构落地全攻略
在AI Native时代,广告营销平台经历了根本性的变革,这些变化不仅提升了广告的效率和精准度,还重塑了广告行业的整体运作方式。其中,强大的广告营销智能体是下一代商业广告平台面向客户交付商业价值的首要载体。进一步,生成式 AI 又是广告营销智能体的内核及灵魂,真正达成让客户放开说、简单用、都搞定的极致体验。
陶然 · 2024-05-21 11:03 - DDD领域驱动设计理论|得物技术
领域驱动设计简称“DDD”,一套“知易行难”的方法论。同时我所工作的这些年,尤其在某大厂做初创项目的那段时间,经常会产生各式各样的“思想碰撞”,特别在设计中台基建类领域时,为了保证充足的扩展性和稳定性,都要好好的“碰撞”一下。
陶然 · 2024-05-21 09:52 - 冷板式液冷的泄漏检测与缓解对策
随着技术的发展与迭代,冷板式、浸没式、喷淋式三类液冷方案都取得了长足的发展,技术日趋成熟。但在传统的印象中,数据中心采用液冷方案比风冷方案的初投资高出许多,但从设备的全生命周期角度去看,液冷在节能、节地、节水等方面,达到甚至优于传统的风冷方案。
陶然 · 2024-05-20 14:00 - 解锁潜在价值,智行日志治理的实践之路
日志,作为系统运行的忠实记录者,不仅是问题追踪的利器,更是性能调优的指南针。通过深入分析日志,我们可以洞悉系统运行的每一个细节,从而快速定位问题、优化性能。同时,日志也可以作为数据分析和决策的重要依据。研发流程中,如何使用好日志,还是存在着以下难点。
陶然 · 2024-05-20 09:59 - 精简代码实战:核心系统缩减80%%代码
我们对精简代码做了一些创新尝试,在核心发券系统alsc-pc实践落地,取得不错的效果。希望能给大家带来一点参考价值。精简代码是系统重构的一种手段,其目标在通过量化手段,辅助删减无效代码。通过减少无效代码来减轻系统的复杂度,提升系统的可读性、可运维性,从而减轻研发人员的理解、开发、运维的成本。
陶然 · 2024-05-17 09:47 - 从T+1到分钟级,爱奇艺数据湖应用及升级实践
上图展示了爱奇艺的数据业务链路。数据中台的主要职责是制定数据标准,集成来自用户、业务和合作方的数据。通过规范和系统,数据中台对数据进行综合管理和治理,确保数据安全,并为上层业务提供服务支撑。
陶然 · 2024-05-16 14:02 - KubeAI大模型推理加速实践|得物技术
最近我们在生产环境批量部署了大模型专用推理集群,并成功让包括70B在内的大模型推理速度提升50%%,大幅缩减部署成本,稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验,分享一些有效提升大模型的推理速度方法。最后,我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。
陶然 · 2024-05-16 09:42 - 中台过气、微服务回归单体,DDD的意义何在?
十年过去了,中台已经过气,微服务回归单体也一度成为技术圈讨论的热点话题,曾经神坛上云遮雾绕的 DDD 在今天看来是否还有讨论的意义?在过去一两年的实践中,笔者对 DDD 有了更深的体会,本文将阐述我的一些浅见,如果有理解不到位的地方,也希望同学们一起讨论。
陶然 · 2024-05-15 16:57 - Elasticsearch 在滴滴的应用与实践
滴滴 ES 发展至今,承接了公司绝大部分端上文本检索、少部分日志场景和向量检索场景,包括地图 POI 检索、订单检索、客服、内搜及把脉日志 ELK 场景等。滴滴 ES 在2020年由2.X升级到7.6.0,近几年围绕保稳定、控成本、提效能和优生态这几个方向持续探索和改进,本文会围绕这几个方向展开介绍。
陶然 · 2024-05-15 11:13 - 哔哩哔哩直播通用榜单系统实践
榜单遍布B站直播相关业务的各个角落,直播打赏、直播间互动、付费玩法、互动玩法、活动、主播PK、语聊房、人气主播排名、高价值用户排名、增值集卡、up主充电等等,在这众多的业务场景中,我们能看到各种各样的榜单。
陶然 · 2024-05-14 14:28