服务器 频道
  • B站自研角色扮演模型背后的技术

    角色扮演作为热门领域,这一场景中的技术发展和创新备受关注。各大企业纷纷上线了角色对话的相关产品,可以说这个领域正在成为各企业AIGC综合能力的竞技场。对于B站来说,角色扮演模型在娱乐、教育、视频创作等方面都拥有着丰富的应用场景。

    陶然 · 2024-11-05 14:48
  • 百度沧海数据湖存储加速方案2.0设计实践

    数据湖这个概念,从 2012 年产生到现在已经有十余年的时间,每家公司对它内涵的解读都不太一样。但是数据湖的主要存储底座有从传统的 HDFS 向对象存储演进的趋势。

    陶然 · 2024-11-05 10:53
  • 对象存储的多中心多活架构设计

    本文探讨了对象存储的多中心多活架构设计,旨在确保数据安全性和业务连续性。首先介绍了增量异步复制和同步复制两种数据同步方式,并分析了同城多活和异地多活两种容灾模式。其中,同城多活是基于同步复制,对网络质量和运维能力都有较高的要求。

    陶然 · 2024-11-04 17:15
  • 抖音集团如何巧用“数仓”降本

    随着数据量的爆炸性增长,现代企业在数据存储、处理与分析上面临巨大挑战。在 IT 架构中,数据仓库承担着企业中关键的数据存储和分析任务,如果不能高效运作,必将导致成本飙升和决策效率低下。因此数据仓库的降本增效是企业IT部门持续的命题。

    陶然 · 2024-11-04 14:47
  • 第八届永洪科技用户大会:荣耀与创新引领数据分析新征程

    2024年11月1日,第八届永洪科技全国用户大会(以下简称“用户大会”)在北京圆满召开。来自金融、制造、零售、能源、政府、医疗等众多行业的精英领袖、技术专家以及媒体朋友齐聚一堂,共襄盛会。

    陶然 · 2024-11-01 15:56
  • 是否应在Kubernetes上运行Redis?快手这样做

    针对无状态服务,业界已拥有成熟解决方案,但对于有状态服务(如数据库、Redis)是否适合容器化与K8s托管,仍存在争议。本文将基于快手在 Redis 云原生化实践中的经验,探讨有关有状态服务的云原生化思考及应对方案。

    陶然 · 2024-11-01 09:59
  • 架构设计原则:选择 SPI 还是 API ?

    第一次听说 SPI 是阅读《软件框架设计的艺术》,以后陆续在 JDBC 和 SpringBoot 中发现了以这种形式组织代码的方式,本位给出为什么要区分 SPI 和 API 的一个思考过程。

    陶然 · 2024-11-01 09:30
  • 浅谈TiKV集群运维问题排查与修复

    在业务快速扩张的年代,vivo内部的很多业务为了可以快速上线,给现网功能提供支撑,在KV类型的选型下许多场景都选用了轻量快速的Redis集群。但是随着业务的不断发展与稳定,当数据量级达到一定程度的时候,数据性质开始发生变化:

    陶然 · 2024-10-31 09:40
  • B站大数据集群管理平台BMR的实践与创新

    随着B站业务的快速发展,大数据的规模和复杂度也突飞猛进。为应对这一挑战,B站一站式大数据集群管理平台,在千呼万唤中孕育而生。BMR平台包含集群管理、元仓建设、智能运维等核心模块,这些功能很好的承接了业务场景的需求,显著提升了变更效率,保障了系统安全变更,优化了运维流程。

    陶然 · 2024-10-30 09:04
  • 转转首页推荐粗排优化实践

    主流的推荐系统采用多阶段级联结构,主要分为召回、粗排、精排、重排几部分,每阶段可以视为一个漏斗,候选物品数量逐渐减小。召回作为第一级漏斗,从海量物品池中尽可能召回所有用户可能感兴趣的物品

    陶然 · 2024-10-29 14:48
  • 抖音集团指标管理与消费体系建设实践

    本文将介绍抖音集团管理数据、应对数据质量与效率挑战的策略,重点聚焦于如何通过指标服务提升数据产品的稳定性和可复用性。

    陶然 · 2024-10-29 14:27
  • 单元化架构在字节跳动的落地实践

    本文将围绕字节跳动当前的模式——同城容灾+异地多活,介绍团队在异地单元化架构落地上的一些思考和实践。

    陶然 · 2024-10-28 15:05
  • B站大规模数据中心搬迁的挑战与实践

    历时18个月,跨越长三角多个地区,搬迁数万台服务器和交换机设备……B站数据中心圆满完成搬迁项目,新机房拥有更先进的基础设施和更全面的技术支持,将进一步优化上层业务布局,支撑业务整体的异地多活,有效提升资源利用率和运营稳定性,为广大B站用户带来更好的访问服务体验。

    陶然 · 2024-10-28 08:58
  • 基于数据湖构建近实时数据链路

    大数据处理技术,经历了基于Hadop+Hive的离线数据仓库,可以满足大部分场景的需求,数据准确性可以得到保证;但是对于秒级实时需求无法满足,基于此产生了实时处理数仓+离线数仓结合的Lambda架构,实时性和准确性得到了保证,但需要维护两套代码;利用kafka数据重放offset功能产生了Kappa架构

    陶然 · 2024-10-25 15:31
  • 应对AI挑战,货拉拉机器学习平台海豚出战

    随着AI技术的不断成熟和广泛应用,已经逐渐成为各行各业用来提升生产力的重要工具。货拉拉作为互联网物流科技企业,过去几年不断深耕AI技术,推动物流行业的智能化发展,并在AI定价、AI营销、AI客服、AI安防等多个领域取得显著成就。

    陶然 · 2024-10-25 09:11
  • 爱奇艺大数据多 AZ 统一调度架构

    爱奇艺大数据团队构建了多 AZ 统一调度架构,支持不同 AZ、不同集群间数据读写路由、计算调度路由,使得业务可以无感访问不同集群上的数据,在不同集群间无感迁移数据、按需调度计算,大幅降低存储计算成本,提升数据开发与分析效率。

    陶然 · 2024-10-24 21:23
  • 浅谈活动中台系统技术债管理实践

    在项目研发过程中,由于时间、能力等因素往往会出现设计方案没有做到最好或最优、编码质量不够好等问题,技术债的出现是不可避免的,同时使得对代码和架构设计的更改越来越困难,想要进一步提升效能必须要对技术债进行管理,本文通过在活动中台系统的技术债实践经验,介绍技术债的含义、分类和管理。

    陶然 · 2024-10-24 21:05
  • Apache Pulsar在小红书在线场景下的探索与实践

    本文结合消息队列进行选型介绍,就 Pulsar 和 RocketMQ 的特性作对比,介绍 Pulsar 在小红书在线消息队列的场景下如何落地,以及企业可以获得哪些实际收益。同时,文章结合小红书消息队列的实际情况、经验进行了整理和数据汇总。如有感兴趣的同学,欢迎联系我们开展技术交流。

    陶然 · 2024-10-23 22:17
  • 释放AI“希”引力,存储无限潜能

    海量数据存储解决方案的领先创新者希捷科技今日在“中国数谷”贵阳举办了以“AI•希引力”为主题的2024希捷数据+峰会。大会期间,数百位来自数据圈的生态合作伙伴与希捷一起探讨在AI大潮下,如何构建坚实的数据存储基础设施,充分释放数据在AI发展中的力量。

    陶然 · 2024-10-23 18:07
  • 抖音集团实验平台的边界拓展

    随着抖音集团公司业务的持续拓展,渐趋复杂化、多元化的场景为抖音集团实验平台提出了新的挑战。在此背景下,沿用传统的假设检验框架,则已无法解决难题。本篇聚焦实验平台主要面临的边际收益、干涉效应、自动实验配置与随机实验盲区四项挑战,详解实验平台应对挑战、拓展边界的研究进展与现阶段实践。

    陶然 · 2024-10-23 16:20