使用 Longhorn 优雅地恢复运行中的容器应用
简介
Longhorn 是基于 Kubernetes 的轻量级分布式块存储系统,它完全开源,并且已经捐献给 CNCF。随着云原生应用的普及,越来越多的服务提供容器运行时,数据的持久化存储问题渐渐显现出来,我们要做的不仅仅是数据的持久化,还要考虑备份的准确性,迁移的复杂性等。
Longhorn 提供的分布式块存储可以在 Kubernetes 中直接使用持久化存储,它可以为数据卷在不同主机提供多副本服务,以保证数据的可靠性,它提供简洁的 UI 可以直接管理存储节点、数据卷,轻松实现数据卷的备份/定时备份,您还可以使用容灾备份功能,在不同集群创建容灾备份卷,并在发生紧急情况时及时进行故障转移。
在这篇文章中,我们将把 MySQL 作为 Pod 部署到集群 A 中,并使用 Longhorn 作为持久化存储卷,然后依托 Rancher 多集群管理的特性,结合 Longhorn 的容灾备份功能,演示一下如何优雅地将集群 A 中的 MySQL 应用及数据迁移到集群 B 中。
环境准备
- Rancher (HA 部署) - v2.4.8
- Longhorn(通过 Rancher UI Catalog 部署) - v1.0.2
- MySQL - 8
- 私有 S3 - minio 部署
- 业务集群 A、B
部署 longhorn
在 Rancher 中,进入集群 A 的 system 项目,在应用商店中可以一键启动 Longhorn。
等待应用商店部署成功后,可以根据应用商店链接进入到 Longhorn UI。
接下来,我们在集群 B 中以同样方式启动 Longhorn,等待 Longhorn 正常运行。
Longhorn 配置
创建 s3 访问的 secret(用于 longhorn 备份使用)
访问 Rancher,进入集群 A 的 system 项目,选择 资源 > 密文 菜单,在 longhorn-system 命名空间中创建访问 s3 的 secret,需要增加的参数包括:
访问 Rancher,进入集群 B 的 system 项目,选择 资源 > 密文 菜单,在 longhorn-system 命名空间中创建与上面相同的 secret 内容。
配置 longhorn backup target
接下来我们需要在 A 和 B 两个集群的 Longhorn 中配置相同的 backup target。
从应用商店的链接跳转到 longhorn UI,点击 Setting > General 菜单,找到 Backup 分类,配置备份目标。
目前 Longhorn 支持 NFS/S3 两种备份方式,在本例中,我们使用 minio 搭建了一个私有 S3 服务,这里我们使用 s3 方式配置。
PS: 如果使用 NFS,则需要保证 NFS server 支持 NFSv4
部署 MySQL 应用
在集群 A 中部署一个 MySQL 应用,并在 MySQL 中创建测试表 article 并插入一条数据。
在集群 A 的 Longhorn 中对这个卷进行备份。
备份成功后,可以在集群 B 的 Longhorn 中看到备份信息(因为两个集群的 Longhorn 配置了相同的 backup target,所以备份信息是共享的)。
创建容灾备份卷
访问集群 B 的 Longhorn UI,使用集群 A 的 Volume 的备份,在集群 B 中创建一个容灾备份卷。
这里 Volume 的名称会根据备份卷自动填充,不建议手动修改。保存后,访问 Volume 页面可以看到我们新创建的容灾备份卷。
在集群 A 的 MySQL 应用中再次插入几条数据。
访问集群 A 的 Longhorn UI,对这个卷再次进行备份。这时可以看到集群 B 中的容灾备份卷图标变成了灰色,代表这个卷正在同步集群 A 中 Volume 的最新备份数据,此时无法激活和使用容灾备份卷。
等待一会,图标变成了蓝色,代表已经与集群 A 中 Volume 的最新备份同步成功。接下来我们就可以使用这个卷了。
如果在集群 A 中对 MySQL 卷设置了自动备份,集群 B 中的 Longhorn 会定时轮询最新的备份,将增量数据信息自动同步到容灾备份卷,以保持与集群 A 中 Volume 的数据一致。
在新集群中恢复 mysql 应用
假设此时我们的集群 A 已经无法使用了,我们可以在集群 B 使用最新的备份卷快速恢复 MySQL 应用。
首先,我们将集群 B 的容灾备份卷激活。
等待卷状态变成 Detached 以后,选择创建 PV/PVC。
这里不建议修改 PV 和 PVC 的名称,namespace 可根据实际集群 B 中的 namespace 名称进行填写。保存会,会在集群 B 的指定 namespace 中创建 PVC。
访问 Rancher 可以看到 PVC 已经创建成功。
使用恢复的 PVC 创建 MySQL 应用,再查询一下数据,可以看到数据也恢复过来啦!大功告成!
总 结
随着云原生应用的普及,越来越多的服务可以依托 Kubernetes 运行,保证服务的稳定性和可靠性也渐渐成为难题,依托 Longhorn 的跨集群容灾备份功能,在 Rancher 中可以自动完成应用的编排、数据迁移,随时优雅的切换业务应用运行环境。