服务器 频道

揭秘下一代HPC技术:Lustre英特尔企业版

  【IT168 技术】新发布的Lustre软件英特尔企业版中的Lustre并行文件系统可作为众多商业机构的企业平台,其中包括了大型企业和小型企业。它可让需要大规模高带宽存储设备的企业能够充分利用Lustre的强大功能和可扩展性,而Intel Manager则为Lustre软件简化了安装、配置和监控等功能,这是专为Lustre文件系统开发的一个管理解决方案。Lustre软件英特尔企业版包括了来自于英特尔公司具有丰富经验Lustre专家的支持。

  以企业为目标对象的高性能并行存储

  Lustre软件英特尔企业版为数据密集型企业带来了高性能计算的优势。对于希望更快寻求实现他们业务目标和成本效益的决策者来说,Lustre软件英特尔企业版为他们提供了一个更具强大计算功能的并行文件系统,进而获得了改进的结果、数据驱动的业务以及IT智能。Lustre软件英特尔企业版提供了可实现轻松集成的开放接口和与现有基础设施的高层次互操作性。因为Lustre是开源软件,所以随着时间的推移IT部门能够按照预算计划发展数据中心存储系统,以及使用多种网络和硬件选项。

揭秘下一代HPC技术:企业版Lustre软件

揭秘下一代HPC技术:企业版Lustre软件
▲典型的Lustre软件英特尔企业版配置

  Lustre是什么?

  Lustre文件系统是专门为高性能计算集群中大型存储设备提供持续性能和稳定性而专门开发的。Lustre是兼容POSIX的,它能够跨集群服务器实现对超大规模数据和海量共享文件的并行处理。它在性能和存储容量两方面提供了广泛的可扩展性。援引top500.org的报告称,Lustre是在超级计算领域中应用最为广泛的文件系统,在全球TOP100的超级计算站点中有超过六成使用了这个系统。一直以来,Lustre都被应用于产生和处理大量数据的研究、政府以及特殊行业等高性能计算环境中,它是解决百亿亿次超级计算问题和未来新兴“大数据”挑战的非常好的突破性技术之一。

  但是,高性能计算并不再只是基因组学、气候变化模拟以及机械建模等数据密集型项目所独有的技术了。各种类型的组织和企业正越来越多地产生大量的数据流,并依靠可扩展的存储来为超大规模应用提供较高的I/O吞吐速率和大容量。

  随着Lustre软件英特尔企业版的发布,英特尔公司为企业客户提供了一款商业级别版本的Lustre产品,这个版本为满足企业用户解决所面临的HPC级计算的关键存储和数据吞吐量挑战的需要而进行了专门的优化。

  Lustre软件英特尔企业版所提供的并行文件系统可为商业HPC应用在性能和存储容量两方面提供大规模的可扩展性。

  性能

  Lustre软件英特尔企业版是专为在数以千计的客户端、服务器以及存储设备中实现完全的I/O数据吞吐而设计的。被存储在独立服务器中的元数据和数据都针对它们各自所需执行的不同工作负载而进行了优化处理。Lustre英特尔企业版还可实现高效的规模缩小以便于为小型组织提供快速的并行存储功能。

Luster的优势及Intel Manager
▲Lustre英特尔企业版的整合信息以浏览器的形式呈现

  1,很多的Lustre配置都是运行在500至750 GB/s的生产环境中的,而先进的设备可达到每秒1TB以上的数据吞吐速度。

  2, 更快速地为关键应用程序提供数据,以便于提高基于实时分析的决策能力。

  3, 针对低性能开销应用,海量数据流可以以较高的比例充分利用底层存储资源和网络带宽。

  4, 通过允许企业以更快速更简便的方式运行更大规模和更为复杂的模拟应用,为企业提供一个创新优势。

  容量

  Lustre软件英特尔企业版基于对象的存储架构可以扩展至数以千计客户端和数以PB计数据的规模

  1, Lustre目前的版本支持512PB存储,其存储容量是巨大的。

  2,Lustre是为满足处理科学研究型数据应用需求而开发的,经过实践证明,它可达到值得信赖的极端吞吐水平,而且其存储规模没有上限。

  可靠性

  Lustre软件英特尔企业版是基于开源Lustre软件的,同时其硬件、服务器以及网络设施也都是中立的。所以,企业用户不仅可以水平地扩展他们的存储部署,还可继续维持简单的存储管理。

  1,Lustre英特尔企业版推动了多厂商的解决方案,因此管理员们可以定制他们自己的存储基础设施,以满足他们独特的存储需求和预算计划。

  2,Lustre软件的Intel Manager提供了相关工具和GUI,以实现高速高效的存储管理;而且使用Lustre软件英特尔企业版不需要特殊的培训或专业知识。

  成熟度

  Lustre已在世界上最大的数据中心服役超过十年,并在最恶劣的大数据环境中得到了磨练;其最新版本经过了精心架构设计,是高度可信、可靠的。目前的Lustre已经过了严格的测试,被证明可应用于不同的市场和真实世界应用中。

  1,Lustre英特尔企业版能够高效地扩展或缩小规模以适应你的业务工作负载变化,并具备了内置的可管理性。

  2,Lustre软件英特尔企业版拥有着一个清晰的产品发展路线图,并具有可预测的发布时间

  3,Lustre软件英特尔企业版为企业用户带来了Lustre最好和最睿智的专业知识以及英特尔公司的资源与信誉

  Luster的Intel Manager

  Lustre的Intel Manager为Lustre存储系统提供了一个统一的、一致的管理视图,并简化了Lustre的安装、配置、监控以及整体管理等工作。该工具在一个浏览器可访问的集中位置整合了所有的Lustre信息,从而实现了管理工作的简化和复杂性的降低。

Luster的优势及Intel Manager
▲Intel Manager管理模块(点击可查看大图)

  Apache Hadoop适配器

  当组织在一个共享基础设施中同时运行Lustre和Apache Hadoop时,往往会把Lustre用作文件系统,而Hadoop Analytics作为HPC存储设备。

  Lustre软件英特尔企业版包括了一个英特尔开发的适配器,它可允许用户直接在Lustre上运行Map/Reduce应用程序。这一举措在优化了Map/Reduce运行性能的同时,还为存储设备管理提供了更快速、更具可扩展性以及更简便的方法。

  1,Hadoop用户可以从Hadoop直接访问任何的Lustre文件,且无需把他们复制到Hadoop环境中。

  2,一起使用Hadoop与Lustre将进一步简化存储管理,因为平台将运行一个单一的Lustre文件系统实例而不是每个集群都配有Hadoop实例,从而能够更充分地利用好存储设施。

8
相关文章