服务器 频道

向Facebook取经 刀片+ Haystack 妙管150亿照片

  新的Haystack照片架构消除瓶颈

  新的照片架构将输出层和存储层合并为一个物理层,建立在一个基于 HTTP 的照片服务器上,照片存储在一个叫做 haystack 的对象库,以消除照片读取操作中不必要的元数据开销。新架构中,I/O 操作只针对真正的照片数据(而不是文件系统元数据)。haystack 可以细分为以下几个功能层:

  # HTTP 服务器

  # 照片存储

  # Haystack 对象存储

  # 文件系统

  # 存储空间

  存储

  Haystack 部署在商业存储刀片服务器上,典型配置为一个2U的服务器,包含:

  # 两个4核CPU

  # 16GB - 32GB 内存

  # 硬件 RAID,含256-512M NVRAM 高速缓存

  # 超过12个1TB SATA 硬盘

  每个刀片服务器提供大约10TB的存储能力,使用了硬件 RAID-6, RAID 6在保持低成本的基础上实现了很好的性能和冗余。不佳的写性能可以通过高速缓存解决,硬盘缓存被禁用以防止断电损失。

  文件系统

  Haystack 对象库是建立在10TB容量的单一文件系统之上。文件系统中的每个文件都在一张区块表中对应具体的物理位置,目前使用的文件系统为 XFS。

0
相关文章