- 转转质检数字化埋点探索之路
转转每一台‘官方验’的设备,都会经过质检站点对其进行全方面的检测。在检测流水线中,质检工程师对每台设备进行检测作业;这过程中除了产生对应的检测结果外,检测过程的动作、硬件参数、耗时等数据目前没有系统性的利用起来。
陶然 · 2024-08-30 09:37 - 哔哩哔哩基于Iceberg的智能数据组织优化实践
随着数据存储规模的增长和查询环境的复杂化,数仓面临着查询性能与稳定性的挑战。为了实现查询加速,哔哩哔哩在 Iceberg 基础上进行了功能拓展,包括多维排序、多种索引和预计算等。然而,现有优化手段对用户的技术门槛较高,需要手动配置或组织培训提供指导,限制了优化技术的推广使用。
陶然 · 2024-08-29 15:25 - 京东平台内容合规的技术与挑战
合规域在电商平台中扮演着重要的角色,它相当于电商体系中的“免疫系统”,通过识别恶意的商品、商家以及UGC内容,确保电商生态的健康、有序和可持续发展。
陶然 · 2024-08-29 10:31 - 货拉拉服务端质量保障之测试策略篇
服务端质量保障是确保服务器端应用程序在开发、部署和运行过程中达到预期性能和可靠性的关键步骤。一个全面的服务端测试策略不仅能提高系统的稳定性和安全性,还能提升用户体验和满意度。
陶然 · 2024-08-28 14:35 - 用多模态技术在多媒体系统中实现场景分类
视频场景分类算法是计算机视觉领域研究的热门内容,并作为复杂任务系统的前置算法,能够应用于我们多媒体实验室多项业务,如内容自适应转码、画质智能修复和视频质量评估(VQA)中。
陶然 · 2024-08-28 09:26 - 首个氢动力数据中心究竟什么样?
数据中心即服务先驱ECL宣布,在其位于加州山景城的MV1设施中,交付了世界上第一个使用氢气作为主要电源的数据中心。该公司还宣布,由Hyperwise Ventures领投的额外1000万美元资金将用于加速研发,扩大公司的全球足迹。
陶然 · 2024-08-26 18:04 - 携程度假商品千亿日志系统架构演进
在携程旅游度假的线路类商品系统中,由于商品结构复杂,涉及底层数据表上千张,在日常供应商以及业务维护过程中,每日产生6亿+的数据变动记录。这些数据的变动留痕,不但可供录入方查看,也对日常产研的排障起着至关重要的作用,同时也可以提供给BI做数据进一步分析。本文将介绍线路商品日志系统的演进过程以及在其中遇到的问题。
陶然 · 2024-08-26 09:41 - 大模型在货运取消单判责上的应用探索
货拉拉作为货运交易平台,需要对司机行为进行规范,提升服务质量。所以我们会对取消单进行事后判责找出取消的责任方,从而给出对应的补偿或者教育措施。
陶然 · 2024-08-22 14:43 - 转转客服IM系统:高效沟通背后的技术挑战和解决方案
在当今互联网时代,高效的用户服务是提升用户体验的关键。转转自研的客服IM系统作为用户与客服沟通的桥梁,承担着传递信息、解决问题的关键角色。然而,消息数据的流转并非一帆风顺,本文将深入探讨IM系统在消息传递过程中遇到的问题和挑战,以及相应的技术解决方案。
陶然 · 2024-08-22 14:35 - 抖音集团FlinkSQL性能优化探索及实践
在降本增效的大背景下,为满足业务对更高性能的需求,流式计算团队对 FlinkSQL 进行了深度优化。本文将聚焦这一实践,详解主要优化思路。
陶然 · 2024-08-20 14:04 - 利用多Lora节省大模型部署成本|得物技术
本文从如何节省多业务场景部署大模型的成本入手,逐步介绍了Lora的概念、如何对大模型进行Lora微调,以及微调后如何合并Lora参数以部署大模型。接着,我们提出了一个问题:在多个业务场景的部署中,如何降低大模型的部署成本。
陶然 · 2024-08-20 09:40 - 推荐系统融合排序的多目标寻优技术
首先,我们来探讨排序公式在推荐系统中的重要地位。对于眼界广阔的算法工程师来说,他们在各种大公司中的工作可能看起来像是在进行数据分析,或者进行开发,或者策略制定,但实际上他们所做的一切都是为了一件事——服务于最终的排序。这是因为,推荐系统的最终输出就是排序结果。
陶然 · 2024-08-19 11:31 - 95%%向量资源节省,火山引擎云搜索RAG技术演进
支撑 RAG 的向量数据库市场竞争愈加激烈。然而从当前向量数据库的实现来看,无论是插件形式,还是专门的向量数据库,底层实现上很多都是采用诸如 HNSW 之类的公开算法,因此一些关键指标例如召回率并不会有太大的区别。
陶然 · 2024-08-19 10:06 - B站面向1-3-5-10的应急响应中心建设
随着业务规模的不断扩张和日常需求的快速迭代,即使是最优秀的业务架构、最完善的生产体系也无法确保系统100%%的可用性,参考墨菲定律,会出错的事总会出错,故障在生产环境中不可避免。为了在故障发生时能够快速定界定位,采取有效措施止损,避免同根因故障重复发生,我们需要对故障全生命周期进行统一管理。
陶然 · 2024-08-16 14:04 - 携程前端自动化任务平台TaskHub开发实践
本文介绍了前端自动化任务中的难题,讲解了Taskhub如何通过拆分核心和辅助模块来应对这些挑战,并结合两个实际场景展示了Taskhub在提升自动化任务排障效率等方面的表现。最后,讨论了Taskhub使用的RPC BFF框架如何提升整体开发效率,并分享了使用RPC BFF的经验。
陶然 · 2024-08-16 09:34 - 原来AIGC公司,都是这样做增长
本文将从推广获客、产品优化、用户运营三个角度,分享火山引擎营销套件如何多方面为 LLM 领域的相关业务提供深度支持,帮助大模型应用公司在应用推广环节实现健康快速增长。
陶然 · 2024-08-15 09:35 - 西瓜视频基于Hertz的微服务落地实践
西瓜视频是一个开眼界、涨知识的视频 App (Informative Video Platform),作为国内领先的中长视频平台,它源源不断地为不同人群提供优质内容,让人们看到更丰富和有深度的世界,收获轻松的获得感,点亮对生活的好奇心。
陶然 · 2024-08-14 14:37 - 揭秘液冷技术在气象超算中心的应用实践
气象部门是较早且主应用超算的行业之一。从上图可以看出,90年代初气象部门已经开始将超算用于天气预报进行数据处理和分析。从最初CDC的赛博系列992到1994年左右引进962这套超算。后续将近30年时间,大概已经陆续建设了30多台套超算系统。2000年以前基本上都是小型的模式和程序,从2004年开始用大的集约化超算运行。
陶然 · 2024-08-14 10:23 - 高并发系统的艺术:如何在流量洪峰中游刃有余
高并发系统的设计和实现是一个复杂且多层次的过程,涉及到硬件资源的合理利用、系统架构的精心设计、并发控制技术的应用以及性能调优等多个方面。无论是电商平台在大促期间应对突发流量,还是社交媒体在热点事件发生时的流量激增,抑或是金融系统在交易高峰期的平稳运行。
陶然 · 2024-08-13 11:27