服务器 频道

华为云存储All-Flash战略打造全新智能数据底座

  华为全球产业展望报告显示,全球年数据增量将从2018年的32.5ZB快速增长到2025年的180ZB,但目前企业数据利用率只有10%,数据价值没有得到充分释放。

  面对海量数据爆炸式的增长和发掘数据内在价值的巨大需求,拥有弹性伸缩、无限扩展能力的云存储正发展成为时代的智能数据底座。

  近日,华为发布了云存储All-Flash战略,并推出战略落地的首个产品——全新一代极速IO云硬盘,标志着华为云存储正式从毫秒进入微秒时代。

  打破时延瓶颈 软硬优化必不可少

  据华为云CTO张宇昕介绍,从毫秒进入微秒时代,数据中心客户主要面临两大时延瓶颈:一方面是技术栈中软件、网络、服务器这段时延瓶颈;另一方面则是传统HDD介质的物理能力瓶颈。目前这两段的时延都是毫秒级,这样情况下很难做到实时处理,所以如果要进入微秒时代,必须要打破以上两段时延瓶颈。

华为云CTO张宇昕

  华为云存储针对以上瓶颈进行了三方面的优化:

  第一,介质层面的优化。华为云在介质上采用Flash替代HDD,平均时延达4毫秒的机械硬盘(7200转)成为了第一个被优化的对象。

  相比机械硬盘,Flash介质具有更强的性能和20μs的极低时延。围绕介质上的能力,全新设计了先进的存储引擎,里面运用了很多的技术来充分释放介质的能力,把它的时延和性能发挥出来,同时把它的可靠性和寿命都提升起来。

  第二,软硬件架构和数据中心架构的优化。华为一直十分重视基础数学,为了应对数据在海量、实时、智能方面的挑战,华为云存储融入了多项核心自研算法,将存储写带宽与数据重构带宽提升数倍的同时,通过自适应差量压缩算法将数据压缩率提升3倍,并可大幅降低网络拥塞发生概率,长尾时延降低30%,时延稳定性更优。

  第三,芯片级优化。华为云是业界独家采用全系列自研芯片,从“算、传、存、智”四个维度来增强数据处理全流程的云厂商。芯片与架构的紧密配合,充分发挥了鲲鹏CPU在多核、低功耗等方面的优势,通过高性能智能网卡芯片、SSD存储控制芯片实现了数据的直接访问,结合昇腾AI芯片,让全栈软硬件联动创新,并首次实现云存储在芯片级的深度定制优化。

  不仅如此,华为云存储还将人工智能技术融入分布式存储的全生命周期,智能识别用户业务模型,实现存储平台的自主调优和自我进化,让应用越用越快。

  AI预测能力,可预判30天性能趋势、提前14天发现故障盘并自动隔离。AI控制的引入,可智能预测用户性能趋势,并根据用户提前配置的自动扩容等策略完成调整,免人工干预保障业务平稳。

  All-Flash的第一步,从块存储开始

  如上所说,此次大会,华为云发布了存储All-Flash战略落地的第一款产品——极速IO云硬盘。该产品时延低至50~100μs,并具有4GB/s带宽和高达100万IOPS性能,可满足结构化数据库、半结构化数据库和ELK分布式日志应用以及流处理等场景对性能的极致要求,也是主流云厂商中首家进入百微秒以内的云硬盘。

  因为在块存储上承载的一般都是数据库这类对于性能要求极高的应用,所以这也是华为云为什么选择针对块存储场景发布All-Flash的原因。“今天的Flash不再是潮流,将会逐渐变成主流。从存储介质未来发展趋势看,未来3-5年后Flash的容量也会越来越大,成本将越来越低,华为云的All-Flash战略也会跟着这个趋势逐步推进。”张宇昕说道。

  在谈到Flash替代HDD的问题上,张宇昕表示,传统硬盘是物理盘片,在提供算法的时候需要考虑到大圈小圈的问题,所以之前的算法都是对于物理磁头的读写性能进行优化,随机读写方面的性能就明显低得多。更换为Flash介质之后就完全不存在这种问题,随机读写的性能表现非常不错。

  但是对于Flash来说,我们需要保证不在某一个位置持续、频繁地读写,所以在算法上也要进行调整。而对于这一点,华为云的工程师们进行了大量、复杂的算法优化工作,在提升性能、降低时延的同时,也保证了Flash介质的寿命和应用可靠性。

  站在整个云数据中心的角度来看,其实空间,也是成本。数据中心的占用面积,机架面积,其集成度也会影响成本,能耗也是成本,这方面Flash远远优于HDD。所以华为云不仅仅是看一个HDD硬盘和一个SSD的固态盘的成本,而是将云数据中心的创新以技术红利的方式反馈给客户。

  如今,万物感知、万物智能、万物互联的时代已经到来,为加速各项依托云计算的创新产业发展、满足各类新兴应用对数据实时性的诉求,华为云将持续创新,打造出全新一代智能数据底座,最终引领云上存储进入微秒时代。

0
相关文章