并行文件系统构筑高性能计算数据基石(3)

时间:2009-10-23   来源:   网友评论:0   人气: 692 作者:

上。用来连接文件系统和磁盘的光纤通道是由存储区域网(SAN)所组成,例如光纤通道或者 iSCSI。还有个别的磁盘依附于一些 I/O 节点,它们通过一个运行在通用的网络上的软件层来实现存取,例如 IBM 的运行于 SP switch 上的虚拟共享磁盘。

    GPFS 依靠一个组服务层,通过监测节点和通讯连接出错的早期征兆,来监测节点错误,并且提供了一个组成员协议。当一个节点出现错误时,这个服务层通知其余的节点组成员变化了,通过早期的行为来触发恢复程序。导致通讯失败的原因,如网络适配器损坏、线缆松动导致孤立节点、光纤交换机可以产生了一个不可识别的网络分区等。
    因为 GPFS 把数据和元数据条块化存储在文件系统中的所有磁盘上,所以损失单个磁盘也会不同程度的影响文件。因此,典型的 GPFS 用双重附带的 RAID 控制器。大型的 GPFS 文件系统分布在多个 RAID 上,这种情况下,文件系统块大小和 RAID 的匹配就非常重要,这样可以防止写数据时发生奇偶校验的错误。
    作为 RAID 的替代或补充,GPFS 支持替代机制,它为每个数据和元数据块都分配空间,将两份拷贝存在两个不同的磁盘上。当一个磁盘不可靠时,GPFS会追踪上面文件块的更新,以便磁盘恢复时恢复数据。如果磁盘完全无效了,它会用备份来代替所有可能影响到其他磁盘的块。数据和元数据可以单独的运行这种恢复机制。事实上当一个磁盘部分磁道不可读时,元数据的恢复保证了只需要恢复很少的几个数据块,而不需要彻底的去恢复很多文件。
PVFS:虚拟并行文件系统
    PVFS
用来为运行 Linux 操作系统的 PC 群集创建一个开放源码的并行文件系统。PVFS 已被广泛地用作临时存储的高性能的大型文件系统和并行 I/O 研究的基础架构。作为一个并行文件系统,PVFS将数据存储到多个群集节点的已有的文件系统中,而且多个客户端可以同时访问这些数据。
    PVFS 具有很多优点,它可以提供一个全局命名空间,可以将数据分配到多个磁盘上,并且允许使用不同的用户界面,还可以包含其它的 I/O 接口来支持大型文件。该并行文件系统最早是Clemson 大学的并行虚拟文件系统(PVFS)项目,由于该并行文件系统可开放源代码进行二次开发,因此在高性能计算系统的并行文件系统中占有独特的地位。
    为高速访问群集中的文件系统,PVFS 将文件数据进行条块化划分,分散存储到某些群集节点(称作 I/O 节点)的多个磁盘上。条块化数据的方法可在群集上提供相当大的存储容量,具体容量取决于群集中节点的数量。PVFS 所带来的存储容量可以为用户提供整个集群内的大型全局操作空间。
    与很多网络文件系统或并行文件系统一样,PVFS 是利用客户端-服务器架构实现的。它利用一组协作的用户空间进程(daemon),提供一个群集范围内的一致的命名空间,并将数据条块化,分配到多个群集节点中。
    PVFS 客户和服务器之间的消息传递通过 TCP/IP 来完成,提供可靠的通讯环境。所有的 PVFS 文件系统数据都保存在 I/O 节点的本地文件系统中,本地的文件系统可以是一个硬盘驱动器上的一个分区,可以是整个磁盘驱动器,也可以利用本地所支持的 Linux 文件系统(例如 ext2ext3 ReiserFS)所提供的多个磁盘驱动器的逻辑卷。
    PVFS 使用管理节点,I/O 节点和计算节点三种类型的节点。一个群集节点可以提供其中的一种功能,也可以同时提供其中的两种功能或三种功能。但是 PVFS 还是存在不少问题,比方说它的集中的元数据管理可能成为整个系统的瓶颈,可扩展性受到一定限制。还有它的系统中的数据没有采取相应的容错机制,系统的可用性有待提高。由于是采用的静态配置,因此不具备动态扩展性。
Lustre:前景广阔的分布式并行文件系统


 

文章评论