使用 Parallel NFS 增强文件系统

  实现每秒读写上千兆字节的速率

    网络文件系统（Network File System，NFS）是大多数局域网（LAN）的重要组成部分。但 NFS 不适用于高性能计算中苛刻的输入输出密集型应用程序，至少以前是这样。NFS 标准的最新修改纳入了 Parallel NFS（pNFS），它是文件共享的并行实现，将传输速率提高了几个数量级。本文提供入门级介绍。

    通过 NFS（由服务器、客户机软件和两者之间的协议组成），一台计算机就可以和同一网络中的其他计算机共享物理文件系统。NFS 隐藏服务器的文件系统的实现和类型。对于在 NFS 客户机上运行的应用程序，共享的文件系统看起来和本地存储一样。

    图 1 演示了在包含各种操作系统的网络中部署 NFS 的一般方法。这些操作系统包括支持 NFS 标准的 Linux?、Mac OS X 和 Windows?。（NFS 是 Internet Engineering Task Force 惟一支持的文件系统）。

    图 1. 简单的 NFS 配置

    在图 1 中，Linux 机器是 NFS 服务器；它共享或导出（用 NFS 的话讲）一个或多个物理附带文件系统。Mac OS X 和 Windows 机器是 NFS 客户机。它们分别使用或挂载 共享的文件系统。实际上，挂载 NFS 文件系统和挂载本地驱动分区的结果是一样的 — 在挂载时，应用程序仅根据访问控制读写文件，而不注意持久化数据所需的技巧。

    对于通过 NFS 进行共享的文件系统，Read 和 Write 操作 — 由蓝色阴影表示 — 从客户机（这里是 Windows 机器）遍历到服务器。这个服务器最终执行获取或持久化数据的请求或修改文件元数据的请求，比如权限或最后的修改时间。

    NFS 的功能非常强大，从广泛将它用作 Network Attached Storage (NAS) 就可以看出来。它可以在 Transmission Control Protocol (TCP) 和 User Datagram Protocol (UDP) 上运行，并且相对容易管理。此外，NFS 的最新许可版本是 NFS version 4，它提高了安全性、增强了 Windows 和类 UNIX? 系统之间的互操作性，并且通过锁租赁（lock lease）提供更好的排他性。（NFSv4 于 2003 年首次获得批准）。NFS 的基础设施也不昂贵，因为它通常能在普通的 Ethernet 硬件上很好地运行。NFS 能够解决大部分的问题。

    不过，NFS 处理高性能计算（HPC）一直不够理想。高性能计算涉及到的数据文件非常庞大，并且 NFS 客户机的数量可能达到几千台。（想一想拥有数千个计算节点的计算集群或网格）。在这里，NFS 是一个负担，因为 NFS 服务器的局限性 — 比如带宽、存储容量和处理器速度 — 限制了总体计算性能。NFS 在这里成了瓶颈。

    或者，至少以前 是这样。

    NFS 的下一个修改版是 version 4.1，包括一个扩展 Parallel NFS（pNFS），它将普通 NFS 的优势和并行输入输出（I/O）的高传输率结合起来。使用 pNFS 时，客户机也像以前一样可以从服务器共享文件系统，但数据不经过 NFS 服务器。相反，客户机系统将与数据存储系统直接连接，为大型数据传输提供许多并行的高速数据路径。在简短的初始化和握手（handshaking）过程之后，pNFS 服务器开始退出 “舞台”，不再阻碍传输速率。

    图 2 显示一个 pNFS 配置。顶部是计算集群的节点，比如大量便宜的、基于 Linux 的刀片服务器群。左边是 NFSv4.1 服务器。（为了方便讨论，我们称之为 pNFS 服务器）。底部是一个大型的并行文件系统。

    图 2. pNFS 的概念组织结构

    像 NFS 一样，pNFS 服务器也导出文件系统，并且保留和维护数据仓库中描述每个文件的标准元数据。pNFS 客户机和 NFS 一样 — 在这里是集群中的一个节点 — 挂载服务器导出的文件系统。类似于 NFS，每个节点都将文件系统看作本地的物理附加文件系统。元数据的更改通过网络传回给 pNFS 服务器。然而，与 NFS 不同的是，pNFS 在 Read 或 Write 数据时是在节点和存储系统之间直接 操作的，如图 2 的底部所示。从数据事务中移除 pNFS 服务器为 pNFS 提供了明显的性能优势。

    因此，pNFS 保留了 NFS 的所有优点，并且改善了性能和可伸缩性。扩展存储系统的容量几乎不会影响客户机配置，同时还可以增加客户机的数量以提高计算能力。您只需同步 pNFS 目录和存储系统。

 [2] [3] 下一页