HPC 快速暂存: 并行文件系统简介
近些年来,在HPC中从计算节点到后台存储都在广泛应用并行I/O,并行文件系统作为I/O性能扩展的解决方案在不断上升。并行I/O 由于它的并行特性,应用程序性能非常突出,它可以同时在容量和性能方面进行大量扩展。并行文件系统通过在多存储装置上分配(或分割)数据实现性能及扩展性。并行文件系统接近线性的性能扩展是NFS方案无法达到的。
尽管并行存储方案可以带来高性能以及容量的可扩展性,但是设计、调整、控制和维护并行文件系统很困难。并行文件系统通常包含几种存储服务器,既可以共享后台存储方案也可以拥有各自独立的存储。恰当地配置这种存储是很难的。HPC系统的设计和实施面临的较为典型的困难就是,多少条带宽度最合适,需要多少存储服务器,要求哪种元数据性能,如何按比例扩充存储方案的性能和容量,如何使用最少的人力成本管理和监控存储方案的有效性,等等。不难看出,设计一个良好的并行存储方案并不是一件容易的事。
在实现并行文件系统的众多方法中,有一种是在单一系统里交付高吞吐量,并行存取以及可扩展的容量。不过,事实证明这种方案在配置实施和维护的时候很复杂,成本也相当高。因此另一种方案,Lustre®并行文件系统开始流行起来,Lustre®并行文件系统使用完全可伸缩的多服务器、高度并行的方式部署。