AI的火热促进了对高性能存储的需求,特别是应对海量的数据生成与处理,使得存储行业面临巨大挑战。忆恒创源凭借其长期的
随着k8s成为用云新界面,容器成为众多用户“弹性”的利器,因此容器的创建天生具备高并发特性。高并发、大数据量下,为了提供更好的容器弹性体验,笔者通过二级缓存的设计,成功优化了系统性能、资源消耗、系统容量。
近日,北京忆恒创源科技股份有限公司(Memblaze,以下简称“忆恒创源”)出席了2024开放数据中心大会,并在会上正式发布了公司首款全国产企业级SSD——PBlaze7 7A40。会后,笔者有幸采访到了忆恒创源CEO张泰乐博士,张泰乐博士针对存储挑战、研发路程、产品特性和国产化未来等方面进行了深度解读。
今天,我将与大家分享字节跳动的容灾实践。大家对字节跳动的业务形态应该有所了解,在业务规模持续扩大和多样化部署模式下,字节跳动基础架构团队面临的容灾挑战是巨大的。因此今天的分享将分为三个主要部分:首先是基础演进路径,然后结合演进介绍容灾实践,最后我会简要说明容灾实施情况。
数据湖计算部分,Spark 作为 ETL Batch 任务的主要批处理引擎,Flink 作为准实时计算的流处理引擎,StarRocks 和 Presto 作为即席查询的 OLAP 引擎。数据湖管理层以 Iceberg 为核心,同时开放了一些简单的 API,支持用户通过 SDK 的方式去调用。
携程数据基础平台主要组件包括:HDFS 分布式存储集群,YARN 计算集群,Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型,2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复,支撑集群数据和计算任务高速增长。
本文聚焦 ByteHouse 在实时数仓、企业级中台OLAP 以及广告投放三个领域优秀实践,拆解高并发点查、OLAP 引擎技术、以及圈选投放等能力在实际业务场景中的实现逻辑和效果,分享新一代云数仓的三大优秀实践。
在字节跳动,每天有数百万的大数据作业在其全球的数十个数据中心运行。由于作业计算和存储资源的不匹配,存在将跨机房带宽用尽的风险,这会影响其他业务的运作,还会造成不同机房的资源负载不均衡。而且跨机房带宽存在成本高、延迟高、稳定性差等问题,会大幅增加作业的运行时长。
这一次,AIGC 席卷而来,打破了这份许久的宁静,素材+AIGC 给广告带来了新的机会。本文剖析素材之于业务的价值,回顾大模型浪潮下的行业动向,分享展示广告关于素材+AIGC 的实践。
本次分享题目为货拉拉利用大模型打造多场景个人、办公助理实践,主讲老师杨丹来自货拉拉。货拉拉是一家专注于物流和货运的科技公司,自成立以来一直致力于通过科技手段提升物流效率。
AI团队经常会使用GPU利用率来代表GPU性能。但一项最新报告表明,即使GPU显示100%的利用率,实际上可能还有大量未被充分利用的计算能力。一些与基础模型公司合作的研究人员发现,他们在优化LLM训练过程中,尽管GPU利用率达到了100%,但实际的模型浮点运算使用率(MFU)仅为20%,远低于行业平均水平。
成本和效率在这些年来逐渐成为了游戏基础设施领域热烈讨论的话题。传统机器运维模式在业务规模化部署的情况下将带来巨大的人力与资源的成本投入,已然不符合当下游戏精细化运营的时代趋势。
在数字化转型浪潮中,数据分析和商业智能(BI)工具成为企业洞察数据、优化决策的关键,场景化应用也日益广泛。伴随生成式AI发展,新一代BI与大模型深度融合,引领商业智能的新变革。