- 如何搞定一个可以支持多芯混合训练的AI集群
由于外部环境的变化,适用于大模型训练任务的 GPU 整体规模无法继续增长。这些存量 GPU 组成的集群,仍然是当前加速大模型训练的主要 AI 算力来源。同时,各类国产 AI 芯片开始大规模投入实际生产任务。在未来一段时间内,数据中心的 AI 算力将保持多种芯片并存的现象。
陶然 · 2024-04-30 09:56 - NameNode锁细粒度优化在B站的实践
随着业务的高速发展,针对HDFS元数据的访问请求量呈指数级上升。在之前的工作中,我们已经通过引入HDFS Federation和Router机制实现NameNode的平行扩容,在一定程度上满足了元数据的扩容需求;
陶然 · 2024-04-29 10:40 - 液冷关键突破!宁畅发布大解耦液冷通用机架服务器
4月26日,宁畅正式发布业内首个实现原生全液冷的通用机架服务器。基于在液冷技术和产业生态化上的深厚积累,宁畅本次在通用机架服务器液冷技术上实现重大突破,从原生全液冷、大解耦、高能效三方面发力,为液冷数据中心建设提速。
鸿途 · 2024-04-28 12:22 - 平安银行智能化数据安全分类分级实践
随着国家对数据安全的高度重视,以及相关法律法规的出台,数据安全领域工作得到了极大的提升。本文将分享平安银行运用智能化手段实现数据安全分类分级的背景、思路和方法。
陶然 · 2024-04-28 10:42 - 携程多品牌融合与多端一致的前端方案实践
参照Apple、Booking和AirBnB等一众品牌在国际化的进程中始终保持品牌认知的一致性,Ctrip和Trip(以下简称为“C&T”)并驾齐驱的过程中,集团对于不同国度和不同客群的品牌效应有趋于统一的诉求。
陶然 · 2024-04-28 10:04 - AIGC在京东广告创意的技术应用
电商广告图片不仅能够抓住消费者的眼球,还可以传递品牌核心价值和故事,建立起与消费者之间的情感联系。然而现有的广告图片大多依赖人工制作,存在效率和成本的限制。尽管最近AIGC技术取得了卓越的进展,但其在广告图片的应用还存在缺乏卖点信息、难以规模化和个性化以及不利于卖点展示等问题。
陶然 · 2024-04-25 15:04 - 转转在顺序消息和事务消息方面的实践
最近团队内部在RocketMQ的业务实践上有一些心得,想给大家分享一下,首先转转这边是有架构团队自研的ZZMQ的,所以我们自然而然的用的ZZMQ,考虑到受众人群,开篇会先讲开源版本的一些基础知识,然后从顺序消息和事务消息2个炽手可热的话题上逐渐转入到与ZZMQ的比较,希望可以帮助到大家绕过"坑"。
陶然 · 2024-04-25 09:41 - 阿里巴巴技术实践:BI+AI技术的融合与应用
在商业智能走向成熟的今天,大模型技术的融入正在引发技术革新,为企业决策赋能。近日,阿里云智能集团瓴羊高级技术专家王璟尧,分享了BI与AI技术融合及其实践:BI+AI技术爆炸下的发展趋势、BI领域大模型在Quick BI的应用实践,以及面向AI的技术架构设计和实现。
陶然 · 2024-04-24 14:55 - 分布式转型时期,日志分析难题如何应对?
从根源上分析,正是因为应用系统在分布式转型后续的复杂度提高,规模膨胀,日志分布随之变得复杂,日志数据量也不断攀升,而且分布式体系下涉及的技术栈种类丰富,导致日志数据存在多种格式和来源,致使人工甄别、跟踪成本飙升,所以在进行问题分析时需要更多考虑节点分散部署的特征
陶然 · 2024-04-24 09:46 - 从0到1,聊聊货拉拉如何搭建数据指标体系
指标体系是指一系列维度、有组织及结构的指标集合。构建指标体系主要是为公司业务目标落地做辅助决策,以及监控业务运行的稳定性情况等。具体从业务、技术及产品三个视角来阐述指标体系构建中的痛点:
陶然 · 2024-04-23 10:45 - 重构国内游戏账号登录系统的思考和实践
账号登录系统,作为游戏发行平台最重要的应用之一,在当前的发行平台的应用架构中,主要承载的是用户的账号注册、登录、实名、防沉迷、隐私合规、风控等职责。合规作为企业经营的生命线,同时,账号登录作为在线链路转化的第一站,因此账号登录系统的稳定性,一直面临极高的要求。
陶然 · 2024-04-22 10:49 - 如何做配置链接的质量保障?|得物技术
除了日常保障系统功能正常,业务侧的正确配置也是需要特别关注和重点保障的内容。针对链接问题,技术侧各方链接都有对应的保障手段,通过梳理现有各端的保障手段,对其进行分析以及不断优化完善。
陶然 · 2024-04-22 09:54 - 流量回放平台AREX在携程的大规模实践
在携程落地至今已有 4000+ 应用接入,交付率和缺陷数均有所改善。本篇文章主要介绍AREX在携程内部落地实践过程中遇到的一系列挑战和解决方案,以及如何通过AREX快速部署一站式流量录制回放解决方案来降低接入成本,快速落地。
陶然 · 2024-04-19 11:15 - 一个高并发项目到落地的心酸路
最近闲来没事,摸鱼看了不少高并发相关的文章,突然有感而发,想到了几年前做的一个项目,也多少和高并发有点关系。这里我一边回忆落地细节一边和大家分享下,兴许能给大家带来点灵感。
陶然 · 2024-04-18 14:01 - 大模型下B端前端代码辅助生成的思考与实践
重复工作,代码规范:B端前端代码开发过程中开发者总会面临重复开发的痛点,很多CRUD页面的元素模块基本相似,但仍需手动开发,将时间花在简单的元素搭建上,降低了业务需求的开发效率,同时因为不同开发者的代码风格不一致,使得敏捷迭代时其他人上手成本较高。
陶然 · 2024-04-18 10:22 - 转转业财系统亿级数据存储优化实践
转转业财系统于2021年开始构建,前期为了满足需求短时间内上线,选择了主动接收上游业务系统的数据。然而随着时间的推移,数据量在不断增长,系统已经达到无法承载的边缘,引发了许多问题。因此,我们需要对数据存储进行优化。
陶然 · 2024-04-18 09:43 - 突破深度模型线上耗时瓶颈,我们做了什么?
广告投放是深度模型应用较为普遍的场景之一,虽然深度模型能够提升业务效果,但往往也会付出更加高额的耗时开销。滴滴现今 DSP(Demand-Side Platform) 业务场景中,耗时问题已然成为限制模型发挥的魔咒,为了打破魔咒,我们探索了一套解决方案,可以让深度模型极大限度摆脱耗时困扰。
陶然 · 2024-04-17 09:49 - 订单视角看支付|得物技术
支付是指为清偿商品交换和劳务活动所引起的债权债务,货币债权从付款人向收付人的转移的过程。支付能力是电商产品的核心能力之一,本文将从支付系统的历史、基本概念、系统设计、资损防控与订单与支付交互等方面予以介绍。
陶然 · 2024-04-16 10:52 - 基于afx透明视频的视觉增强前端方案
本文介绍了增长前端团队自研的Webview框架下透明视频视觉增强方案,该方案在保证对视觉进行高度还原的同时可投入更少的开发成本,还能获得更优的前端性能表现。
陶然 · 2024-04-16 10:39