服务器 频道

解读HPC系统数据生命周期中的三种形态

  1.为高性能计算应用程序生成输入数据。虽然工作任务的存储性能需求可能不同,但是存储的可靠性是必须的。如果丢失了应用程序的输出,你一般可能通过重新运行应用程序重建丢失的数据。然而,丢失输入数据可能需要花费大量时间和金钱重建,你甚至可能必须重做整个实验。

  2.应用程序执行数据I/O以及输出数据后处理/后分析。应用程序执行时读取或写入数据的初始阶段关注和应用程序的性能相匹配的I/O性能,以便任务在合理的时限内完成。取决于吞吐量和IOPS需求,可能需要使用高性能的可扩展性存储系统。本阶段的第二部分,应用程序运行后,输出数据被存储在一个可靠的存储系统用于分析。假使I/O需求非常低,数据将被迁移回主存储。在这种情况下,主存是可靠的存储区域,通常被备份以防止硬件故障的发生。

  3.归档数据。大多数用户想通过将数据存储在磁带,磁盘或者磁带和磁盘的组合可靠的在线归档数据。这样做,解放了不间断的应用程序和工程的主存储,如果应用程序或用户随后请求数据,仍然能够保持数据持续访问。通常情况下归档存储的容量请求比主存储请求高更多,但是性能需求更低。

  高性能计算处理的每个阶段——创建输入数据,运行应用程序生成输出并分析,归档结果——都有唯一的需求集合。伴随着无处不在的成本压力使单一的解决方案难于实现。

0
相关文章