随着人工智能和大数据技术的不断发展,业内AIGC(人工智能、图形处理和云计算)和大模型的发展趋势正在对数据中心存储发展方向产生深远的影响,主要集中对数据量和高性能计算的诉求。
1.高容量需求
大模型的普及要求数据中心存储具备更大的容量。大模型需要大量的计算资源和存储空间,因此,数据中心需要使用更大的存储系统来满足这些需求。同时,存储系统的可扩展性也非常重要,以便在需要时增加存储容量。随着AIGC应用的不断扩大,数据中心需要处理的数据量也在不断增长。因此,数据中心需要采用更高效、更可靠的存储方案来满足不断增长的数据需求。
根据IDC的预测,2025年的数据将达到175ZB。这将是一个非常庞大的数据量。这个数据量到底有多大呢?举个可以感知到的例子,如果把这些数据全部存在DVD光盘上,那么这些DVD堆起来的高度将可以绕地球222圈。如果当前的网速水平,全部下载下来也许要18亿年。
产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。
存储数据的介质,也更加多元化。包括磁带、光盘、非易失性存储、固态硬盘SSD,机械硬盘等。其中,在2025年,数据存储市场,HDD机械硬盘依然占据50%左右的份额。同时,磁带和固态硬盘的存储需求也在逐步的攀升。
SSD领域,QLC SSD是提升容量的先锋。根据有关数据统计,目前SSD出货的DWPD小于1的占比达到85%,这几年一直维持在85%-86%,后续可能会继续扩大占比。也就是说,这个市场上的对SSD的寿命的诉求并不是很强烈,不需要DWPD很高的SSD。这也侧面说明了,行业内对已不再完全SSD硬件本身的特性来达到整个系统的可靠性。分布式存储,全闪存阵列,各种针对SSD优化的存储软件系统也是遍地开花。这个也给了QLC SSD大规模普及提供了有利条件。
SLC的Program/Erase(P/E) Cycle可以达到10万,MLC P/E cycle可以到1万,到TLC 3000次P/E cycle,再到QLC NAND只有1000 P/E cycle。P/E cycle是表征SSD寿命的最重要的参数。
我们可以看到,随着单个cell含有的bit数越多,NAND的可靠性也会有所降低,自然成本也会继续下降,QLC的成本只有SLC成本的1/4。除了寿命可靠性,QLC处于劣势,还有在性能方面也有所降低,如下图,QLC NAND单个page页的写延迟是SLC的8倍,是TLC的2倍,读延迟是SLC的4倍,是TLC的约1.3倍。
HDD领域:为了提升容量,出现叠瓦式机械硬盘SMR。SMR的技术核心就是把传统PMR整齐排练的磁道,转换成类似房顶瓦片层叠的方式,目的是增加存储密度,降低硬件成本TCO。
同时,针对HDD容量提升,业内也在大力推广HAMR和MAMR技术。HAMR:全称,Heat Assisted Magnetic Recording,是一种热辅助磁记录技术。HAMR 采用了一种新型的介质磁技术,数据颗粒位的占用空间会更小,密度也会相应增加,从而达到提升容量的目的,同时保持磁稳定和热稳定。
MAMR:全称Microwave Assisted Magnetic Recording,是一种微波辅助磁记录技术。MAMR技术的原理是通过自旋力矩震荡器(STO)产生的微波场,进而提供能量辅助完成磁记录。
磁带目前也是提升存储容量的优选方案。LTO磁带已经远远超过机械硬盘的容量了,目前拥有HAMR/MAMR新技术加持的HDD最大容量也只有30TB。在LTO Gen5以及之前的LTO代次,实现的压缩比主要是2:1, 在Gen6以后的压缩比已经达到2.5:1. LTO Ultrium目前已经设计了Gen14,单个磁带盒最大压缩数据可以存储1.44PB,数据存储量实在恐怖。
LTO助推磁带大容量存储技术超越磁盘HDD
2. 高性能计算的需求
AIGC应用通常需要高性能计算,这意味着数据中心需要使用更快、更稳定的存储硬件来支持这些应用。SSD(固态硬盘)是当前最流行的高性能存储硬件之一,因为它具有更快的读写速度和更低的延迟。
为了追求高性能,PCIE SSD是数据中心的高性能标配,PCIE SSD在数据中心的占比还在继续攀升。
pcie协议5.0还没完全普及,pcie 6.0 spec已经发布,pcie 7.0 spec也在路上了,这个世界都在狂奔。
NAND ONFI接口速率也提升至了3600MT/s.
此外,还有一个为高性能而生的一种新型的存储器架构-计算存储。计算存储的核心思想是将一些计算任务迁移到存储器中,从而减少数据在存储器和处理器之间的传输。这样一来,不仅可以减少数据传输的能耗,还可以提高处理器的利用率,从而提高整个系统的性能和能效。
计算存储的优点有很多,其中最显著的是提高数据处理效率。在传统的存储系统中,处理器需要从存储器中读取数据,然后在处理器中进行计算。这个过程不仅慢,而且会增加系统的能耗。而计算存储可以将一些计算任务直接在存储器中完成,从而减少数据传输的时间和能耗。
另一个优点是减少数据访问延迟。在传统的存储系统中,数据访问需要经过多个环节,比如寻道、旋转延迟等。这些环节都会增加数据访问的延迟。而计算存储可以将计算和存储集成在一起,从而减少数据访问的环节,进而降低访问延迟。
比如,ScaleFlux CSD 2000是一种计算存储驱动器,它采用透明压缩技术,可以在不牺牲性能的情况下提高OP并延长NAND的使用寿命。据该公司称,这可以有效地将容量翻两番,性能翻番 。CSD 2000的数据路径压缩/解压缩引擎可以更有效地储存更多的数据,同时保持一定的性能表现,即使是在不同的读写混合状况下也能保持稳定的低延迟。
三星SmartSSD是在SSD中整合数据管理功能,集成了一颗ARM内核的处理器,可以直接处理数据的硬件。它可以在数据的存放处就近进行高速计算,从而提高数据处理速度和效率。SmartSSD内置FPGA,支持在数据的存放处就近进行高速计算,从而提高数据处理速度和效率,可为视频处理、数据库管理和人工智能等多种应用场景提供加速。
3. 结语
除了上面的大容量和高性能诉求,对存储的诉求还有数据的可靠性和安全性。在AIGC应用中,数据的可靠性和安全性非常重要。因此,数据中心需要采用高可靠性和安全性的存储解决方案。AIGC应用通常需要灵活和可扩展的存储解决方案,以便快速适应不同的工作负载和需求。
总之,AIGC和大模型的发展趋势对数据中心存储发展方向产生了重大影响。数据中心需要使用SSD、HDD等存储硬件,同时结合新型存储技术,如云存储、分布式存储和对象存储等,来满足更高的性能、更大的容量和更低的成本需求。
免责声明:文章来源于存储随笔,转载目的在于传递更多信息,内容仅供读者参考,不确保文章的准确性,如有侵犯版权请告知,我们将在24小时内删除!