使用 Longhorn 优雅地恢复运行中的容器应用

简介

Longhorn 是基于 Kubernetes 的轻量级分布式块存储系统，它完全开源，并且已经捐献给 CNCF。随着云原生应用的普及，越来越多的服务提供容器运行时，数据的持久化存储问题渐渐显现出来，我们要做的不仅仅是数据的持久化，还要考虑备份的准确性，迁移的复杂性等。

Longhorn 提供的分布式块存储可以在 Kubernetes 中直接使用持久化存储，它可以为数据卷在不同主机提供多副本服务，以保证数据的可靠性，它提供简洁的 UI 可以直接管理存储节点、数据卷，轻松实现数据卷的备份/定时备份，您还可以使用容灾备份功能，在不同集群创建容灾备份卷，并在发生紧急情况时及时进行故障转移。

在这篇文章中，我们将把 MySQL 作为 Pod 部署到集群 A 中，并使用 Longhorn 作为持久化存储卷，然后依托 Rancher 多集群管理的特性，结合 Longhorn 的容灾备份功能，演示一下如何优雅地将集群 A 中的 MySQL 应用及数据迁移到集群 B 中。

环境准备

Rancher (HA 部署) - v2.4.8
Longhorn（通过 Rancher UI Catalog 部署） - v1.0.2
MySQL - 8
私有 S3 - minio 部署
业务集群 A、B

部署 longhorn

在 Rancher 中，进入集群 A 的 system 项目，在应用商店中可以一键启动 Longhorn。
等待应用商店部署成功后，可以根据应用商店链接进入到 Longhorn UI。
接下来，我们在集群 B 中以同样方式启动 Longhorn，等待 Longhorn 正常运行。

Longhorn 配置

创建 s3 访问的 secret（用于 longhorn 备份使用）

访问 Rancher，进入集群 A 的 system 项目，选择资源 > 密文菜单，在 longhorn-system 命名空间中创建访问 s3 的 secret，需要增加的参数包括：
访问 Rancher，进入集群 B 的 system 项目，选择 资源 > 密文 菜单，在 longhorn-system 命名空间中创建与上面相同的 secret 内容。

配置 longhorn backup target

接下来我们需要在 A 和 B 两个集群的 Longhorn 中配置相同的 backup target。

从应用商店的链接跳转到 longhorn UI，点击 Setting > General 菜单，找到 Backup 分类，配置备份目标。
目前 Longhorn 支持 NFS/S3 两种备份方式，在本例中，我们使用 minio 搭建了一个私有 S3 服务，这里我们使用 s3 方式配置。
PS: 如果使用 NFS，则需要保证 NFS server 支持 NFSv4

部署 MySQL 应用

在集群 A 中部署一个 MySQL 应用，并在 MySQL 中创建测试表 article 并插入一条数据。
在集群 A 的 Longhorn 中对这个卷进行备份。
备份成功后，可以在集群 B 的 Longhorn 中看到备份信息（因为两个集群的 Longhorn 配置了相同的 backup target，所以备份信息是共享的）。

创建容灾备份卷

访问集群 B 的 Longhorn UI，使用集群 A 的 Volume 的备份，在集群 B 中创建一个容灾备份卷。
这里 Volume 的名称会根据备份卷自动填充，不建议手动修改。保存后，访问 Volume 页面可以看到我们新创建的容灾备份卷。
在集群 A 的 MySQL 应用中再次插入几条数据。
访问集群 A 的 Longhorn UI，对这个卷再次进行备份。这时可以看到集群 B 中的容灾备份卷图标变成了灰色，代表这个卷正在同步集群 A 中 Volume 的最新备份数据，此时无法激活和使用容灾备份卷。
等待一会，图标变成了蓝色，代表已经与集群 A 中 Volume 的最新备份同步成功。接下来我们就可以使用这个卷了。
如果在集群 A 中对 MySQL 卷设置了自动备份，集群 B 中的 Longhorn 会定时轮询最新的备份，将增量数据信息自动同步到容灾备份卷，以保持与集群 A 中 Volume 的数据一致。

在新集群中恢复 mysql 应用

假设此时我们的集群 A 已经无法使用了，我们可以在集群 B 使用最新的备份卷快速恢复 MySQL 应用。

首先，我们将集群 B 的容灾备份卷激活。
等待卷状态变成 Detached 以后，选择创建 PV/PVC。
这里不建议修改 PV 和 PVC 的名称，namespace 可根据实际集群 B 中的 namespace 名称进行填写。保存会，会在集群 B 的指定 namespace 中创建 PVC。
访问 Rancher 可以看到 PVC 已经创建成功。
使用恢复的 PVC 创建 MySQL 应用，再查询一下数据，可以看到数据也恢复过来啦！大功告成！