- 干货|在抖音集团,存储实时数仓这样建
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。本文将分享基于存储的实时数仓架构在不同业务场景的实践经验,以及该架构带来的收益。
陶然 · 2024-06-07 10:06 - PB级数据秒级响应:Uber实时数据平台架构演进
为了支持业务,Uber 积极利用数据分析和机器学习模型辅助运营。从Uber 乘车的动态定价到外卖软件 Uber Eats 的“餐厅经理(Restaurant Manager)”仪表板,都使用实时数据进行高效操作。在本文中,请跟随笔者一起了解 Uber 如何管理其支持实时应用程序的基础架构。
陶然 · 2024-06-06 14:18 - 转转回收业务策略中心的实践
回收业务发展日益壮大,我们在邮寄、上门、门店三大履约模式下的业务逻辑日益复杂。同样都是在做回收这一个业务,即便履约方式不同,也有很多业务概念是一致的。为了避免各个业务闷头造轮子,同时又能拉齐三端的业务标准,故成立了业务中台。
陶然 · 2024-06-06 10:06 - 助力AIGC应用落地,宁畅首款AI工作站释放“微型智算中心”级算力
随着AI技术的不断成熟与广泛应用,大模型已成为驱动业务革新与价值创造的新引擎,其影响力跨越云端至边缘,激发了行业对高性能AI终端解决方案的迫切需求。
关关 · 2024-06-05 16:20 - B站内核隔离技术的应用与实践之大数据混部篇
随着B站大数据业务的高速发展,各类业务资源需求也随之快速增长。与此同时,大数据集群有效的资源利用率低于预期,究其原因主要有以下两点,业务出于性能、稳定性考量会向平台申请过量的系统资源,导致平台不会调度更多任务上来运行。
陶然 · 2024-06-04 14:22 - Opal机器学习平台:爱奇艺数智一体化实践
近年来,机器学习、深度学习算法在推荐、广告、搜索、风控等业务场景中的占比越来越高,相关业务团队开发及部署算法模型的需求也日益旺盛。纵观整个机器学习的工程化落地过程,其实掺杂着很多与算法本身不是很相关,但是跟基础设施强相关且通用的事情,比如环境搭建、框架版本适配、模型部署、训练任务监控、任务调度、多租户、与大数据体系打通等。
陶然 · 2024-06-03 14:12 - 货拉拉AI招聘实践探索
Al现已应用于人力资源管理从招聘到员工体验到员工培训与发展的各个环节中,人工智能在人才招聘上的应用场景主要包括简历 解析与筛选、人岗匹配、招聘客服等。根据艾瑞咨询关于中国网络招聘市场发展研究报告,不难发现,AI在招聘领域的不同环节,重塑了整个流程的职能分工,进一步解放人力资本,将这个市场推向另一个高度。
陶然 · 2024-06-03 10:04 - Gartner:生成式人工智能对基础设施和运营的影响显著增加
在近期举办的2024大中华区高管交流大会上,Gartner发布了对基础设施和运营(I&O)的最新研究。ChatGPT自2022年11月问世以来,生成式人工智能(GenAI)引发了一场全球技术革命,超过50%%的企业已经开始测试或大规模应用GenAI技术。GenAI不仅改变了传统的运营模式,还带来了新的挑战和机遇。
陶然 · 2024-05-31 19:10 - 创新引擎激发数据潜力,戴尔科技助力企业领跑AI时代
今天,2024戴尔科技企业基础架构峰会暨存储新品发布会在浙江安吉盛大召开。本次大会以“智聚创新,闪耀前行”为主题,聚焦在人工智能(AI)时代下,企业应如何构建现代化整体基础架构,制定创新发展战略,激发潜能,以创新推动变革,从而充分挖掘、释放数据价值,将创意转化为现实,最终实现业务持续创新增长。
陶然 · 2024-05-31 15:20 - 携程数据基础平台2.0建设,多机房架构下的演进
携程数据基础平台主要组件包括:HDFS 分布式存储集群,YARN 计算集群,Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型,2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复,支撑集群数据和计算任务高速增长。
陶然 · 2024-05-31 00:08 - 如何建立高影响力的数据治理团队
对于高影响力数据治理团队来说,最好的比喻就是一个运转良好的厨房。他们帮助保持厨房清洁,确保所有刀具都锋利,所有东西都摆放在正确的位置。这让厨师工作得更快,错误更少,并防止食品卫生评级不佳。
陶然 · 2024-05-31 00:02 - 这些年背过的面试题——领域模型落地篇
本文是技术人面试系列领域模型落地篇,也是面试题系列的完结篇,感谢大家对本系列文章的支持~面试中关于领域模型落地都需要了解哪些内容?一文带你详细了解,欢迎收藏!
陶然 · 2024-05-30 23:59 - 京东HDFS统一存储实践经验分享
随着大数据时代的到来,海量数据的存储与处理成为了众多企业面临的重要挑战。HDFS 作为一个高可靠性、高扩展性的分布式文件系统,在京东零售的数据管理中扮演着重要角色。本文将分享京东在 HDFS 统一存储方面的实践经验,并对相关的技术细节进行总结。
陶然 · 2024-05-28 15:00 - 小红书云原生Kafka技术剖析:分层存储与弹性伸缩
面对 Kafka 规模快速增长带来的成本、效率和稳定性挑战时,小红书大数据存储团队采取云原生架构实践:通过引入冷热数据分层存储、容器化技术以及自研的负载均衡服务「Balance Control」,成功实现了集群存储成本的显著降低、分钟级的集群弹性迁移、高性能的数据访问策略和自动化的资源调度。
陶然 · 2024-05-27 14:50 - GPU集合通信库在B站的应用和改进
本篇文章将重点介绍支撑大模型运作的核心组件——集合通信库,介绍其在大模型架构中的关键作用和实现机制,以及B站是如何应用和改进它的。
陶然 · 2024-05-27 10:21 - 揭秘支付对账:确保每一分钱的安全之旅
随着转转业务的迅速发展,业务场景日益复杂,单量与日俱增,支付部门每天与外部渠道的交易额也呈现水涨船高的趋势。迭代速度加快,故障概率也增大,这增加了资金安全的风险,对转转、用户包括商家都是不容忽视的挑战。系统化保障资金安全成为至关重要的任务,其中“对账”显得尤为核心。
陶然 · 2024-05-24 13:42 - 领域化、中台化和多Region化,携程账号系统演进之路
随着业务的发展,每个功能逐渐分化出自己的需求和架构侧重点,独立出各自的领域服务也成了业界共识。本文分享的账号系统,指的是提供用户账号管理、登录认证相关能力的系统。介绍了携程在不断发展的过程中,账号系统在领域化、中台化和多Region化方向上的演进、探索和一些思考。
陶然 · 2024-05-24 09:36 - 摩尔纹识别算法在货拉拉业务中的探索与实践
摩尔纹识别作为一项相对简单的任务,其核心挑战在于如何实现高召回率和低误判率。这需要我们在算法设计和模型优化上下足功夫,以提升识别的准确性和效率。在扩散模型的应用上,我们看到了一种有效的解决方案。
陶然 · 2024-05-23 13:50 - 亿级流量下通用的高并发架构设计
既然是亿级用户应用,那么高并发必然是其架构设计的核心要素。本文我们将介绍高并发架构设计的一些通用设计方案。高并发意味着系统要应对海量请求。从笔者多年的面试经验来看,很多面试者在面对“什么是高并发架构”的问题时,往往会粗略地认为一个系统的设计是否满足高并发架构,就是看这个系统是否可以应对海量请求。
陶然 · 2024-05-23 10:19 - 美团大规模KV存储挑战与架构实践
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995%% 的服务可用性。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV Squirrel 挑战和架构实践;第三部分阐述了持久化 KV Cellar 挑战和架构实践;最后一部分介绍了未来的发展规划。
陶然 · 2024-05-22 10:45