- 货拉拉如何连续保持业务高峰的稳定运行?
业务高峰通常还具备一些特殊意义,往往伴随着公司业务目标的达成,如单日订单破峰,如果因为系统故障导致目标未达成,影响也会非常恶劣。当前货拉拉会经历各种业务高峰场景,像新业务开城放量、优惠权益秒杀、节前货运需求激增等等,都要求系统具备高度稳定性和抗风险能力。
陶然 · 2024-06-14 10:02 - 从打点平台谈打点治理
本文介绍了打点治理的概念和其对于数据质量保障的重要性,分享了日志中台在打点治理方面的解决方案与实践经验。文章从用户痛点和打点治理的难点出发,介绍了日志中台如何通过质量标准的制定、在线化流程的建设和相应的配套工具来解决这些问题。
陶然 · 2024-06-13 15:22 - 烧钱又费力!Kafka给大数据运维留下了多少坑?
滴滴大数据 DKafka 集群,基于社区 2.12-0.10.2.0 版本。在运维过程中,遇到了不少痛点,如磁盘 IO 不均、存储容量不均、CPU 利用率不均等负载不均问题,尤其是在高峰期出现瓶颈或故障发生后,想要快速扩容止损成为了一个棘手的问题。
陶然 · 2024-06-13 09:50 - 从电商场景,看抖音集团数据治理实践
随着电商业务不断发展和成熟,对数据稳定性、数据质量、数据成本的要求越来越高。为了能可持续地提供质量更高、产出更快、表现力更强的数据资产,数据治理成为数仓日常工作的重要一环。本文将从现状解读、发展阶段、解决方案以及思考与展望四大部分,分享电商数仓治理的发展历程和实践总结。
陶然 · 2024-06-12 15:00 - Gartner:超60%%的企业已将云战略调整为业务运营核心
Gartner近期研究显示,随着云计算技术的成熟和广泛采用,超过60%%的企业已经将云战略调整为其业务运营的核心部分,以适应不断变化的市场需求和技术环境。这种趋势反映了企业对于提高业务敏捷性和运营效率的持续关注。
陶然 · 2024-06-11 14:14 - 抖音 Android 端图片优化实践
本文从抖音Android端图片优化历程着笔,主要介绍字节自研BDFresco图片框架及其在抖音的优秀实践、经验沉淀、业务价值。通过分享业务视角遇到的一些问题和我们的解决思路,希望能抛砖引玉,为遇到类似困扰的伙伴们提供有价值的参考。
陶然 · 2024-06-11 13:47 - 爱奇艺公有云对账标准化实践
公有云作为基础架构部核心资源之一,其成本占比逐年上升,企业对于公有云成本实施精细化管理的需求越来越高。相较于私有化部署主要关注服务器、网设、带宽等资源的成本管理方式,使用公有云服务面临多厂家、多产品、多折扣、多套餐、多优惠方案、多账单格式等多个维度的问题。
陶然 · 2024-06-07 14:04 - 干货|在抖音集团,存储实时数仓这样建
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。本文将分享基于存储的实时数仓架构在不同业务场景的实践经验,以及该架构带来的收益。
陶然 · 2024-06-07 10:06 - PB级数据秒级响应:Uber实时数据平台架构演进
为了支持业务,Uber 积极利用数据分析和机器学习模型辅助运营。从Uber 乘车的动态定价到外卖软件 Uber Eats 的“餐厅经理(Restaurant Manager)”仪表板,都使用实时数据进行高效操作。在本文中,请跟随笔者一起了解 Uber 如何管理其支持实时应用程序的基础架构。
陶然 · 2024-06-06 14:18 - 转转回收业务策略中心的实践
回收业务发展日益壮大,我们在邮寄、上门、门店三大履约模式下的业务逻辑日益复杂。同样都是在做回收这一个业务,即便履约方式不同,也有很多业务概念是一致的。为了避免各个业务闷头造轮子,同时又能拉齐三端的业务标准,故成立了业务中台。
陶然 · 2024-06-06 10:06 - 助力AIGC应用落地,宁畅首款AI工作站释放“微型智算中心”级算力
随着AI技术的不断成熟与广泛应用,大模型已成为驱动业务革新与价值创造的新引擎,其影响力跨越云端至边缘,激发了行业对高性能AI终端解决方案的迫切需求。
关关 · 2024-06-05 16:20 - B站内核隔离技术的应用与实践之大数据混部篇
随着B站大数据业务的高速发展,各类业务资源需求也随之快速增长。与此同时,大数据集群有效的资源利用率低于预期,究其原因主要有以下两点,业务出于性能、稳定性考量会向平台申请过量的系统资源,导致平台不会调度更多任务上来运行。
陶然 · 2024-06-04 14:22 - Opal机器学习平台:爱奇艺数智一体化实践
近年来,机器学习、深度学习算法在推荐、广告、搜索、风控等业务场景中的占比越来越高,相关业务团队开发及部署算法模型的需求也日益旺盛。纵观整个机器学习的工程化落地过程,其实掺杂着很多与算法本身不是很相关,但是跟基础设施强相关且通用的事情,比如环境搭建、框架版本适配、模型部署、训练任务监控、任务调度、多租户、与大数据体系打通等。
陶然 · 2024-06-03 14:12 - 货拉拉AI招聘实践探索
Al现已应用于人力资源管理从招聘到员工体验到员工培训与发展的各个环节中,人工智能在人才招聘上的应用场景主要包括简历 解析与筛选、人岗匹配、招聘客服等。根据艾瑞咨询关于中国网络招聘市场发展研究报告,不难发现,AI在招聘领域的不同环节,重塑了整个流程的职能分工,进一步解放人力资本,将这个市场推向另一个高度。
陶然 · 2024-06-03 10:04 - Gartner:生成式人工智能对基础设施和运营的影响显著增加
在近期举办的2024大中华区高管交流大会上,Gartner发布了对基础设施和运营(I&O)的最新研究。ChatGPT自2022年11月问世以来,生成式人工智能(GenAI)引发了一场全球技术革命,超过50%%的企业已经开始测试或大规模应用GenAI技术。GenAI不仅改变了传统的运营模式,还带来了新的挑战和机遇。
陶然 · 2024-05-31 19:10 - 创新引擎激发数据潜力,戴尔科技助力企业领跑AI时代
今天,2024戴尔科技企业基础架构峰会暨存储新品发布会在浙江安吉盛大召开。本次大会以“智聚创新,闪耀前行”为主题,聚焦在人工智能(AI)时代下,企业应如何构建现代化整体基础架构,制定创新发展战略,激发潜能,以创新推动变革,从而充分挖掘、释放数据价值,将创意转化为现实,最终实现业务持续创新增长。
陶然 · 2024-05-31 15:20 - 携程数据基础平台2.0建设,多机房架构下的演进
携程数据基础平台主要组件包括:HDFS 分布式存储集群,YARN 计算集群,Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型,2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复,支撑集群数据和计算任务高速增长。
陶然 · 2024-05-31 00:08 - 如何建立高影响力的数据治理团队
对于高影响力数据治理团队来说,最好的比喻就是一个运转良好的厨房。他们帮助保持厨房清洁,确保所有刀具都锋利,所有东西都摆放在正确的位置。这让厨师工作得更快,错误更少,并防止食品卫生评级不佳。
陶然 · 2024-05-31 00:02 - 这些年背过的面试题——领域模型落地篇
本文是技术人面试系列领域模型落地篇,也是面试题系列的完结篇,感谢大家对本系列文章的支持~面试中关于领域模型落地都需要了解哪些内容?一文带你详细了解,欢迎收藏!
陶然 · 2024-05-30 23:59 - 京东HDFS统一存储实践经验分享
随着大数据时代的到来,海量数据的存储与处理成为了众多企业面临的重要挑战。HDFS 作为一个高可靠性、高扩展性的分布式文件系统,在京东零售的数据管理中扮演着重要角色。本文将分享京东在 HDFS 统一存储方面的实践经验,并对相关的技术细节进行总结。
陶然 · 2024-05-28 15:00