ZFS 存储驱动程序

目录

ZFS 是下一代文件系统，支持许多高级存储技术，如卷管理、快照、校验和、压缩和去重、复制等。

它由 Sun Microsystems（现为 Oracle Corporation）创建，并在 CDDL 许可下开源。由于 CDDL 和 GPL 之间的许可不兼容，ZFS 不能作为 Linux 内核主线的一部分发布。但是，ZFS On Linux (ZoL) 项目提供了一个树外内核模块和用户空间工具，可以单独安装。

ZFS on Linux (ZoL) 移植版是健康且成熟的。但是，目前不建议在生产环境中使用 zfs Docker 存储驱动程序，除非您在 Linux 上有丰富的 ZFS 经验。

注意

Linux 平台上还有一个 ZFS 的 FUSE 实现。不建议使用这个。原生的 ZFS 驱动程序 (ZoL) 经过更多测试，性能更好，使用更广泛。本文档的其余部分指的是原生的 ZoL 移植版。

先决条件

  • ZFS 需要一个或多个专用的块设备，最好是固态硬盘 (SSD)。
  • /var/lib/docker/ 目录必须挂载在 ZFS 格式的文件系统上。
  • 更改存储驱动程序会使您已创建的任何容器在本地系统上无法访问。使用 docker save 保存容器，并将现有镜像推送到 Docker Hub 或私有仓库，这样您就不需要稍后重新创建它们。
注意

无需使用 MountFlags=slave，因为 dockerd 和 containerd 在不同的挂载命名空间中。

使用 zfs 存储驱动程序配置 Docker

  1. 停止 Docker。

  2. 将 /var/lib/docker/ 的内容复制到 /var/lib/docker.bk，并删除 /var/lib/docker/ 的内容。

    $ sudo cp -au /var/lib/docker /var/lib/docker.bk

$ sudo rm -rf /var/lib/docker/*

  3. 在您的专用块设备上创建一个新的 zpool，并将其挂载到 /var/lib/docker/。请确保您指定了正确的设备，因为这是一个破坏性操作。此示例将两个设备添加到池中。

    $ sudo zpool create -f zpool-docker -m /var/lib/docker /dev/xvdf /dev/xvdg

    该命令创建名为 zpool-docker 的 zpool。该名称仅用于显示，您可以使用不同的名称。使用 zfs list 检查池是否已正确创建和挂载。

    $ sudo zfs list

NAME           USED  AVAIL  REFER  MOUNTPOINT
zpool-docker    55K  96.4G    19K  /var/lib/docker

  4. 配置 Docker 以使用 zfs。编辑 /etc/docker/daemon.json 并将 storage-driver 设置为 zfs。如果文件之前是空的，现在它应该如下所示：

    {
  "storage-driver": "zfs"
}

    保存并关闭文件。

  5. 启动 Docker。使用 docker info 验证存储驱动程序是否为 zfs。

    $ sudo docker info
  Containers: 0
   Running: 0
   Paused: 0
   Stopped: 0
  Images: 0
  Server Version: 17.03.1-ce
  Storage Driver: zfs
   Zpool: zpool-docker
   Zpool Health: ONLINE
   Parent Dataset: zpool-docker
   Space Used By Parent: 249856
   Space Available: 103498395648
   Parent Quota: no
   Compression: off
<...>

管理 zfs

增加正在运行的设备的容量

要增加 zpool 的大小，您需要向 Docker 主机添加一个专用的块设备，然后使用 zpool add 命令将其添加到 zpool 中：

$ sudo zpool add zpool-docker /dev/xvdh

限制容器的可写存储配额

如果您想在每个镜像/数据集的基础上实施配额，可以设置 size 存储选项来限制单个容器可用于其可写层的空间量。

编辑 /etc/docker/daemon.json 并添加以下内容：

{
  "storage-driver": "zfs",
  "storage-opts": ["size=256M"]
}

请参阅 守护进程参考文档 中每个存储驱动程序的所有存储选项

保存并关闭文件，然后重新启动 Docker。

zfs 存储驱动程序的工作原理

ZFS 使用以下对象：

  • 文件系统 (filesystems)：精简配置，按需从 zpool 分配空间。
  • 快照 (snapshots)：文件系统的只读、空间高效的时间点副本。
  • 克隆 (clones)：快照的读写副本。用于存储与上一层的差异。

创建克隆的过程：

ZFS snapshots and clones
  1. 从文件系统创建一个只读快照。
  2. 从快照创建一个可写克隆。这包含了与父层的所有差异。

文件系统、快照和克隆都从底层的 zpool 中分配空间。

磁盘上的镜像和容器层

每个正在运行的容器的统一文件系统都挂载在 /var/lib/docker/zfs/graph/ 中的一个挂载点上。继续阅读以了解统一文件系统是如何组成的。

镜像分层和共享

镜像的基础层是一个 ZFS 文件系统。每个子层都是基于其下一层 ZFS 快照的 ZFS 克隆。容器是基于其创建来源镜像顶层 ZFS 快照的 ZFS 克隆。

下图显示了如何将一个基于两层镜像的运行中容器组合在一起。

ZFS pool for Docker container

当您启动一个容器时，会按顺序发生以下步骤：

  1. 镜像的基础层作为 ZFS 文件系统存在于 Docker 主机上。

  2. 额外的镜像层是托管其正下方镜像层的数据集的克隆。

    在图中，“层 1”是通过对基础层进行 ZFS 快照，然后从该快照创建一个克隆来添加的。该克隆是可写的，并根据需要从 zpool 中消耗空间。快照是只读的，将基础层维护为一个不可变对象。

  3. 当容器启动时，会在镜像上方添加一个可写层。

    在图中，容器的读写层是通过对镜像的顶层（层 1）进行快照并从该快照创建一个克隆来创建的。

  4. 当容器修改其可写层的内容时，会为被更改的块分配空间。默认情况下，这些块的大小为 128k。

容器的读写如何与 zfs 协同工作

读取文件

每个容器的可写层都是一个 ZFS 克隆，它与创建它的数据集（其父层的快照）共享所有数据。读操作速度很快，即使读取的数据来自很深的层。下图说明了块共享的工作原理：

ZFS block sharing

写入文件

写入新文件：从底层的 zpool 按需分配空间，并将块直接写入容器的可写层。

修改现有文件：仅为已更改的块分配空间，并使用写时复制 (CoW) 策略将这些块写入容器的可写层。这最小化了层的大小并提高了写入性能。

删除文件或目录:

  • 当您删除存在于较低层中的文件或目录时，ZFS 驱动程序会在容器的可写层中屏蔽该文件或目录的存在，即使该文件或目录仍然存在于较低的只读层中。
  • 如果您在容器的可写层内创建然后删除一个文件或目录，这些块将被 zpool 回收。

ZFS 和 Docker 性能

有几个因素会影响使用 zfs 存储驱动程序的 Docker 性能。

  • 内存：内存对 ZFS 性能有重大影响。ZFS 最初是为拥有大量内存的大型企业级服务器设计的。

  • ZFS 功能：ZFS 包括一个去重功能。使用此功能可能会节省磁盘空间，但会占用大量内存。建议您对与 Docker 一起使用的 zpool 禁用此功能，除非您正在使用 SAN、NAS 或其他硬件 RAID 技术。

  • ZFS 缓存：ZFS 将磁盘块缓存在一个称为自适应替换缓存 (ARC) 的内存结构中。ZFS 的*单副本 ARC* 功能允许一个块的单个缓存副本被多个克隆共享。通过此功能，多个正在运行的容器可以共享一个缓存块的单个副本。此功能使 ZFS 成为 PaaS 和其他高密度用例的良好选择。

  • 碎片化：碎片化是像 ZFS 这样的写时复制文件系统的自然副产品。ZFS 通过使用 128k 的小块大小来缓解这个问题。ZFS 意图日志 (ZIL) 和写操作的合并（延迟写入）也有助于减少碎片化。您可以使用 zpool status 来监控碎片化情况。但是，除了重新格式化和恢复文件系统外，没有办法对 ZFS 进行碎片整理。

  • 使用 Linux 的原生 ZFS 驱动程序：由于性能较差，不建议使用 ZFS FUSE 实现。

性能最佳实践

  • 使用快速存储：固态硬盘 (SSD) 提供比旋转磁盘更快的读写速度。

  • 对写入密集型工作负载使用卷：卷为写入密集型工作负载提供最佳且最可预测的性能。这是因为它们绕过了存储驱动程序，并且不会产生由精简配置和写时复制引入的任何潜在开销。卷还有其他好处，例如允许您在容器之间共享数据，并且即使没有正在运行的容器使用它们，它们也会持久存在。

© . This site is unofficial and not affiliated with Kubernetes or Docker Inc.