HPC分级存储管理
技术性数据一旦被创建,通常只在很短的时间内被使用,之后便很少被访问了。但是仍然要能够继续访问这些数据。既然这些数据仅需要被访问,对性能没有相关的要求,为什么不把这些数据迁移到更加廉价的磁盘或磁带上呢?这样做不仅节约了成本,而且带来了其他操作上的好处。
Dell采用了称为分级存储管理(Hierarchical Storage Management,HSM)的方法,从字面意思看,HSM实现了以下三大功能:
在一个分层的虚拟环境中自动管理存储子系统
在不同的存储层之间持续监控并自动迁移文件和数据
最终用户及应用程序不用管文件及数据实际的存储位置,他们一直能够访问这些文件及数据
产生新的存储预算及容量需求时,通过走捷径能够满足这些需求。意识到并不是所有的HPC存储都需要快速访问或者直接连接到HPC计算资源,这时使用HSM系统能够为满足容量及预算需求提供帮助,可以将不需要频繁访问的数据迁移到大容量在线存储或磁带上。在很多情况下,不必牺牲HPC性能货吞吐量,也不会超出存储预算,总的存储容量仍可以显著增加。
HSM系统基于管理员定义的策略在多个存储层之间监控并迁移数据。HSM系统通常留下文件元数据(比如文件名,大小等等)的存根。HSM系统可以创建大量的存储迁移策略,以下是两个例子:
“如果文件在6个月之内没有被访问,将它迁移到磁带上并创建两个副本。”
“如果数据归Johnson所有,将它迁移到磁带上。”
HSM系统将数据转移到更慢的存储的过程称之为迁移,将数据从更慢的存储回迁数据的过程称之为回迁(recall)。
HSM系统有别于备份系统,不应该将HSM系统与备份系统相混淆。HSM更多关注数据的可用性,而备份更多关注的是数据在某个时间点的拷贝。例如,因为备份时间窗口过长,备份1PB的数据几乎是不可能的。然而HSM系统可以很好的运行于超过1PB数据的环境中并使用多个数据副本提供数据的可用性。然而在使用HSM系统迁移数据后,备份系统可以用来备份和该数据相关的元数据。
当你需要在系统中增加存储组件时,Dell HPC存储解决方案为你提供了足够的灵活性。当数据卷容量超出现有容量,增加HSM系统将允许你继续访问没有被频繁使用的数据。Dell为HSM系统提供了模块化方式,你可以从使用Dell PowerVault DL2200备份设备开始,该设备使用Commvault提供了非常强大的HSM功能。Dell PowerVault DL2200可以和诸如Dell ML6000系列的磁带机进行捆绑,该组合能够享受Dell全球范围内的支持及配送。
我们在HPC HSM中使用了Commvault的归档功能。Commvault允许文件被迁移或回迁到任意的磁盘,磁带,PowerVault DX6000系列数据归档存储或者是上述三个设备的组合。迁移数据文件时,将迁移数据块并保留有关数据文件的元数据存根。Commvault同样存储使用数据块存储元数据的副本,这样即使元数据存根被意外删除仍然能够将它恢复;或者在原始存储完全失效的情况时,仍然能够恢复被迁移的数据。
HSM实际是Commvault归档功能的一个子集,Commvault同样能够归档数据,使数据从主存储迁移到磁带或磁盘存储中。当需要时,可以使用Commvault GUI恢复这些数据。除此之外,Commvault对已经迁移或归档的数据提供了“法定保留”(legal hold)功能。如果项目正在接受审查或者用户、数据集发生了某种状况,法定保留允许你冻结这些数据直至审查结束。
Dell HPC存储战略是灵活性之一。你可以使用PowerVault DL2200以及简单的磁带或者基于磁盘的存储来创建HSM。如果需要更多的容量,你可以很容易的添加另一个磁带库或者更多的磁盘存储。如果需要提高性能,你可以添加磁盘,磁带驱动器或者具有磁带驱动器的磁带库更快的迁移或回迁数据。所有的扩展都不必移动已经迁移或归档的数据。
Commvault同样具有非常灵活的策略,只要能够通过网络访问PowerVault DL2200,管理员可以在Windows系统或者Linux系统上访问中央管理工具控制这些策略。这些策略非常灵活,允许管理员定义数据迁移的时间窗口以减少网络流量。同样可以给特定的用户分配管理权限,允许单个组或团队控制他们自己的HSM策略集。只要共享相同的硬件就可以进行上述设置。当你将磁带从磁带库中取出或者重新放回磁带库时,Commvault能够自动识别上述操作,这一特性在满足离线需求时非常有用。
如果你没有备份解决方案,在提供HSM功能的同时,Commvault同样提供了企业级的备份解决方案。许多其它的HSM解决方案将备份完全分离开来,为了备份需要将磁带库进行分区。Commvault允许备份和HSM系统共享硬件,不必对磁带库或者磁盘存储进行分区。
总之,Dell磁带库,PowerVault DL2200以及Dell HPC存储为HPC提供了一个非常强大、非常灵活的HSM解决方案。