2. 首页 > ElasticSearch教程 > 正文

ElasticSearch教程FG030-ElasticSearch集群备份与恢复实战

教程整理：风哥教程  |  更新时间：2026-01-01  |  教程分类：ElasticSearch教程  |  文档学习：30

内容简介：本文档风哥主要介绍ElasticSearch集群备份与恢复的概念、实现方法以及最佳实践，包括配置备份存储库、创建快照、恢复数据、监控与管理等内容。通过学习本文，您将掌握如何构建一个可靠的ElasticSearch备份与恢复系统。风哥教程参考ElasticSearch官方文档Snapshot and Restore部分。

Part01-基础概念与理论知识

1.1 备份与恢复概述

备份与恢复是ElasticSearch生产环境中的重要组成部分，它可以：

  • 防止数据丢失
  • 支持灾难恢复
  • 便于数据迁移
  • 满足合规要求

1.2 备份类型

ElasticSearch的备份类型包括：

  • 快照(Snapshot)：创建集群数据的完整副本
  • 增量备份：只备份自上次备份以来的变化
  • 手动备份：管理员手动触发的备份
  • 自动备份：通过定时任务自动执行的备份

1.3 备份策略

常见的备份策略包括：

  • 全量备份：定期创建完整的快照
  • 增量备份：在全量备份之间创建增量快照
  • 差异备份：备份自上次全量备份以来的变化
  • 混合策略：结合全量、增量和差异备份

Part02-生产环境规划与建议

2.1 备份存储规划

备份存储规划建议：

  • 存储介质：使用独立的存储设备，如NFS、S3等
  • 存储容量：至少是集群数据大小的2-3倍
  • 存储性能：确保存储设备有足够的IOPS
  • 存储安全：加密存储备份数据
  • 存储可靠性：使用RAID或其他冗余技术

2.2 备份策略设计

备份策略设计建议：

  • 频率：根据数据重要性和变化率确定备份频率
  • 保留期限：根据业务需求和合规要求确定保留期限
  • 备份窗口：选择业务低峰期执行备份
  • 验证机制：定期验证备份的完整性和可恢复性
  • 监控告警：监控备份执行状态，及时告警

2.3 恢复演练计划

恢复演练计划建议：

  • 定期演练：至少每季度执行一次恢复演练
  • 演练环境：使用与生产环境相似的环境
  • 演练步骤：制定详细的恢复演练步骤
  • 演练评估：评估恢复时间和数据完整性
  • 演练文档：记录演练过程和结果

Part03-生产环境项目实施方案

3.1 配置备份存储库

配置备份存储库：

# 创建本地存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup” -H “Content-Type: application/json” -d ‘{
“type”: “fs”,
“settings”: {
“location”: “/es/backup”,
“compress”: true
}
}’

# 创建NFS存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_nfs_backup” -H “Content-Type: application/json” -d ‘{
“type”: “fs”,
“settings”: {
“location”: “/mnt/nfs/elasticsearch/backup”,
“compress”: true
}
}’

# 创建S3存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_s3_backup” -H “Content-Type: application/json” -d ‘{
“type”: “s3”,
“settings”: {
“bucket”: “fgedu-elasticsearch-backup”,
“region”: “us-east-1”,
“access_key”: “your_access_key”,
“secret_key”: “your_secret_key”
}
}’

3.2 创建快照

创建快照：

# 创建完整快照
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-*”,
“include_global_state”: true
}’

# 创建增量快照
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240102” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-*”,
“include_global_state”: true
}’

# 查看快照状态
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101/_status”

# 列出所有快照
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/_all”

3.3 恢复数据

恢复数据：

# 恢复整个快照
curl -X POST “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101/_restore”

# 恢复特定索引
curl -X POST “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101/_restore” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-products,fgedu-orders”,
“rename_pattern”: “fgedu-(.*)”,
“rename_replacement”: “restored_fgedu-$1”
}’

# 查看恢复状态
curl -X GET “http://192.168.1.10:9200/_recovery”

3.4 监控与管理

监控与管理：

# 查看存储库状态
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup”

# 检查快照完整性
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101”

# 删除快照
curl -X DELETE “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101”

# 删除存储库
curl -X DELETE “http://192.168.1.10:9200/_snapshot/fgedu_backup”

Part04-生产案例与实战讲解

4.1 配置备份存储库实战

配置备份存储库：

# 1. 创建备份目录
mkdir -p /es/backup
chown -R elasticsearch:elasticsearch /es/backup

# 2. 配置ElasticSearch
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

# 添加以下配置
path.repo: [“/es/backup”]

# 3. 重启ElasticSearch
systemctl restart elasticsearch

# 4. 创建存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup” -H “Content-Type: application/json” -d ‘{
“type”: “fs”,
“settings”: {
“location”: “/es/backup”,
“compress”: true
}
}’

# 5. 验证存储库
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup”

4.2 创建快照实战

创建快照：

# 1. 创建测试索引
curl -X PUT “http://192.168.1.10:9200/fgedu-test” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“name”: {
“type”: “text”
},
“value”: {
“type”: “integer”
}
}
}
}’

# 2. 插入测试数据
curl -X POST “http://192.168.1.10:9200/fgedu-test/_bulk” -H “Content-Type: application/json” -d ‘{
“index”: {}
{“name”: “Test 1”, “value”: 100}
{“index”: {}
{“name”: “Test 2”, “value”: 200}
{“index”: {}
{“name”: “Test 3”, “value”: 300}
}’

# 3. 创建快照
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_$(date +%Y%m%d)” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-test”,
“include_global_state”: true
}’

# 4. 查看快照状态
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_$(date +%Y%m%d)/_status”

# 5. 列出所有快照
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/_all”

4.3 恢复数据实战

恢复数据：

# 1. 删除测试索引
curl -X DELETE “http://192.168.1.10:9200/fgedu-test”

# 2. 恢复快照
curl -X POST “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_$(date +%Y%m%d)/_restore”

# 3. 查看恢复状态
curl -X GET “http://192.168.1.10:9200/_recovery”

# 4. 验证恢复的数据
curl -X GET “http://192.168.1.10:9200/fgedu-test/_search”

4.4 备份自动化实战

自动化备份：

# 创建备份脚本
vi /es/app/scripts/backup.sh

#!/bin/bash
# backup.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`

# 设置变量
ES_HOST=”192.168.1.10:9200″
REPO_NAME=”fgedu_backup”
SNAPSHOT_NAME=”snapshot_$(date +%Y%m%d)”
LOG_FILE=”/es/app/logs/backup_$(date +%Y%m%d).log”

# 开始备份
echo “[$(date +’%Y-%m-%d %H:%M:%S’)] 开始备份” >> $LOG_FILE

# 创建快照
curl -X PUT “http://$ES_HOST/_snapshot/$REPO_NAME/$SNAPSHOT_NAME” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-*”,
“include_global_state”: true
}’ >> $LOG_FILE 2>&1

# 检查备份状态
sleep 60
curl -X GET “http://$ES_HOST/_snapshot/$REPO_NAME/$SNAPSHOT_NAME/_status” >> $LOG_FILE 2>&1

# 清理过期快照（保留最近30天）
echo “[$(date +’%Y-%m-%d %H:%M:%S’)] 清理过期快照” >> $LOG_FILE

# 获取所有快照
SNAPSHOTS=$(curl -s “http://$ES_HOST/_snapshot/$REPO_NAME/_all” | jq -r ‘.snapshots[].snapshot’)

# 计算30天前的日期
THIRTY_DAYS_AGO=$(date -d “30 days ago” +%Y%m%d)

# 遍历快照并删除过期的
for SNAPSHOT in $SNAPSHOTS; do
SNAPSHOT_DATE=$(echo $SNAPSHOT | sed ‘s/snapshot_//’)
if [ $SNAPSHOT_DATE -lt $THIRTY_DAYS_AGO ]; then
echo “[$(date +’%Y-%m-%d %H:%M:%S’)] 删除过期快照: $SNAPSHOT” >> $LOG_FILE
curl -X DELETE “http://$ES_HOST/_snapshot/$REPO_NAME/$SNAPSHOT” >> $LOG_FILE 2>&1
fi
done

echo “[$(date +’%Y-%m-%d %H:%M:%S’)] 备份完成” >> $LOG_FILE

# 设置执行权限
chmod +x /es/app/scripts/backup.sh

# 添加到crontab
crontab -e

# 添加以下内容（每天凌晨2点执行备份）
0 2 * * * /es/app/scripts/backup.sh

Part05-风哥经验总结与分享

5.1 备份与恢复最佳实践

  • 使用独立存储：将备份存储在独立的存储设备上
  • 定期备份：根据数据重要性和变化率确定备份频率
  • 验证备份：定期验证备份的完整性和可恢复性
  • 自动化备份：使用脚本和定时任务自动执行备份
  • 保留策略：制定合理的备份保留策略
  • 恢复演练：定期执行恢复演练，确保备份可恢复
  • 监控告警：监控备份执行状态，及时告警

5.2 常见问题与解决方案

  • 备份失败：检查存储权限、空间和网络连接
  • 恢复失败：检查快照完整性和目标集群状态
  • 备份速度慢：优化存储性能，调整备份窗口
  • 存储空间不足：清理过期快照，增加存储容量
  • 备份占用过多资源：调整备份参数，限制资源使用

5.3 性能优化建议

  • 存储优化：使用高性能存储设备，启用压缩
  • 网络优化：确保备份存储与集群之间的网络带宽足够
  • 参数优化：调整快照创建参数，如并发度
  • 时间窗口：选择业务低峰期执行备份
  • 增量备份：使用增量备份减少备份时间和空间
  • 并行备份：在多个存储库上并行执行备份

更多视频教程www.fgedu.net.cn

学习交流加群风哥微信: itpux-com

学习交流加群风哥QQ113257174

风哥提示：备份与恢复是ElasticSearch生产环境中的重要保障，必须认真配置和管理

更多学习教程公众号风哥教程itpux_com

from ElasticSearch视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息