2. 首页 > ElasticSearch教程 > 正文

ElasticSearch教程FG020-ElasticSearch数据备份与恢复实战

教程整理：风哥教程  |  更新时间：2026-01-01  |  教程分类：ElasticSearch教程  |  文档学习：20

内容简介：本文档风哥主要介绍ElasticSearch数据备份与恢复的概念、策略、操作方法以及在生产环境中的实战应用。通过学习本文，您将掌握如何创建存储库、生成快照、执行数据恢复操作，以及如何制定合理的备份策略，确保数据安全。风哥教程参考ElasticSearch官方文档Snapshot and Restore部分。

Part01-基础概念与理论知识

1.1 备份与恢复概述

备份与恢复是ElasticSearch运维中的重要环节，它可以：

  • 防止数据丢失：在发生硬件故障、人为错误或自然灾害时，确保数据可以恢复
  • 支持版本回滚：当数据被错误修改时，可以回滚到之前的版本
  • 便于数据迁移：在集群升级或迁移时，可以通过备份和恢复来迁移数据
  • 满足合规要求：某些行业对数据备份有明确的合规要求

1.2 备份类型与策略

常见的备份类型包括：

  • 全量备份：备份所有数据，恢复速度快，但备份时间长，占用空间大
  • 增量备份：只备份自上次备份以来变化的数据，备份时间短，占用空间小，但恢复速度较慢
  • 差异备份：备份自上次全量备份以来变化的数据，介于全量备份和增量备份之间

常见的备份策略包括：

  • 每日全量备份：适合数据量较小的集群
  • 每周全量备份+每日增量备份：适合数据量较大的集群
  • 异地备份：将备份数据存储在不同的地理位置，提高数据安全性

1.3 快照与存储库

在ElasticSearch中，备份是通过创建快照（Snapshot）来实现的。快照是存储在存储库（Repository）中的数据备份。存储库可以是：

  • 本地文件系统：存储在本地磁盘上
  • 网络文件系统：存储在NFS等网络文件系统上
  • 云存储：存储在S3、GCS、Azure Blob Storage等云存储服务上
  • HDFS：存储在Hadoop分布式文件系统上

Part02-生产环境规划与建议

2.1 备份策略制定

在生产环境中，建议根据以下因素制定备份策略：

  • 数据重要性：对重要数据，应增加备份频率和保留时间
  • 数据量：数据量较大时，可采用增量备份策略
  • 恢复时间目标（RTO）：根据业务要求的恢复时间，选择合适的备份策略
  • 恢复点目标（RPO）：根据业务要求的最大数据丢失量，选择合适的备份频率

2.2 存储库配置建议

存储库配置建议：

  • 存储位置：选择可靠的存储介质，最好是与集群分离的存储
  • 存储容量：预留足够的存储空间，考虑数据增长和备份保留时间
  • 网络带宽：如果使用远程存储库，确保网络带宽足够
  • 访问权限：设置适当的访问权限，确保备份数据的安全性

2.3 备份监控与验证

备份监控与验证建议：

  • 监控备份状态：定期检查备份是否成功完成
  • 验证备份完整性：定期测试备份的恢复功能
  • 监控存储库空间：确保存储库有足够的空间
  • 设置备份告警：当备份失败时及时告警

Part03-生产环境项目实施方案

3.1 存储库创建与配置

创建和配置存储库的步骤：

# 创建本地存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup” -H “Content-Type: application/json” -d ‘{
“type”: “fs”,
“settings”: {
“location”: “/es/backup”,
“compress”: true
}
}’

执行后输出：

{
“acknowledged” : true
}
# 查看存储库信息
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup?pretty”

3.2 快照创建与管理

创建和管理快照的步骤：

# 创建快照（备份所有索引）
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101” -H “Content-Type: application/json” -d ‘{
“indices”: “*”,
“ignore_unavailable”: true,
“include_global_state”: true
}’

执行后输出：

{
“accepted” : true
}
# 查看快照状态
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101/_status?pretty”
# 列出所有快照
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/_all?pretty”

3.3 数据恢复操作

数据恢复操作步骤：

# 恢复快照（恢复所有索引）
curl -X POST “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101/_restore” -H “Content-Type: application/json” -d ‘{
“indices”: “*”,
“ignore_unavailable”: true,
“include_global_state”: true,
“rename_pattern”: “(.+)”,
“rename_replacement”: “restored_$1”
}’

执行后输出：

{
“accepted” : true
}

3.4 备份自动化

备份自动化可以通过编写脚本并设置定时任务来实现：

# 创建备份脚本
vi /es/app/scripts/backup_elasticsearch.sh

#!/bin/bash
# backup_elasticsearch.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`

# 设置变量
DATE=$(date +%Y%m%d)
SNAPSHOT_NAME=”snapshot_${DATE}”
REPOSITORY=”fgedu_backup”

# 创建快照
curl -X PUT “http://192.168.1.10:9200/_snapshot/${REPOSITORY}/${SNAPSHOT_NAME}” -H “Content-Type: application/json” -d ‘{
“indices”: “*”,
“ignore_unavailable”: true,
“include_global_state”: true
}’

# 检查快照状态
curl -X GET “http://192.168.1.10:9200/_snapshot/${REPOSITORY}/${SNAPSHOT_NAME}/_status”

# 清理过期快照（保留最近7天的快照）
curl -X GET “http://192.168.1.10:9200/_snapshot/${REPOSITORY}/_all” | jq -r ‘.snapshots[] | select(.start_time < (now - 7*24*60*60)) | .snapshot' | xargs -I {} curl -X DELETE "http://192.168.1.10:9200/_snapshot/${REPOSITORY}/{}"

# 设置定时任务
crontab -e

# 添加以下内容（每天凌晨2点执行备份）
0 2 * * * /es/app/scripts/backup_elasticsearch.sh >> /es/app/logs/backup.log 2>&1

Part04-生产案例与实战讲解

4.1 本地存储库备份实战

使用本地文件系统作为存储库进行备份：

# 创建备份目录
mkdir -p /es/backup
chown -R elasticsearch:elasticsearch /es/backup

# 在ElasticSearch配置文件中添加路径设置
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

# 添加以下配置
path.repo: [“/es/backup”]

# 重启ElasticSearch服务
systemctl restart elasticsearch

# 创建存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup” -H “Content-Type: application/json” -d ‘{
“type”: “fs”,
“settings”: {
“location”: “/es/backup”,
“compress”: true
}
}’

# 创建快照
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-products,fgedu-logs”,
“ignore_unavailable”: true,
“include_global_state”: true
}’

执行后输出：

{
“accepted” : true
}

4.2 远程存储库备份实战

使用S3作为远程存储库进行备份：

# 安装S3存储库插件
/es/app/elasticsearch-8.10.0/bin/elasticsearch-plugin install repository-s3

# 配置S3凭证
/es/app/elasticsearch-8.10.0/bin/elasticsearch-keystore add s3.client.default.access_key
/es/app/elasticsearch-8.10.0/bin/elasticsearch-keystore add s3.client.default.secret_key

# 重启ElasticSearch服务
systemctl restart elasticsearch

# 创建S3存储库
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_s3_backup” -H “Content-Type: application/json” -d ‘{
“type”: “s3”,
“settings”: {
“bucket”: “fgedu-elasticsearch-backup”,
“region”: “us-east-1”,
“compress”: true
}
}’

# 创建快照
curl -X PUT “http://192.168.1.10:9200/_snapshot/fgedu_s3_backup/snapshot_20240101” -H “Content-Type: application/json” -d ‘{
“indices”: “*”,
“ignore_unavailable”: true,
“include_global_state”: true
}’

执行后输出：

{
“accepted” : true
}

4.3 数据恢复实战

从快照恢复数据：

# 查看快照信息
curl -X GET “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101?pretty”

# 恢复特定索引
curl -X POST “http://192.168.1.10:9200/_snapshot/fgedu_backup/snapshot_20240101/_restore” -H “Content-Type: application/json” -d ‘{
“indices”: “fgedu-products”,
“ignore_unavailable”: true,
“include_global_state”: false
}’

# 查看恢复状态
curl -X GET “http://192.168.1.10:9200/_recovery?pretty”

4.4 备份自动化脚本实战

编写和使用备份自动化脚本：

# 创建完整的备份脚本
vi /es/app/scripts/backup_elasticsearch.sh

#!/bin/bash
# backup_elasticsearch.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`

# 设置变量
DATE=$(date +%Y%m%d)
SNAPSHOT_NAME=”snapshot_${DATE}”
REPOSITORY=”fgedu_backup”
LOG_FILE=”/es/app/logs/backup_${DATE}.log”

# 记录开始时间
echo “[$(date +%Y-%m-%d%H:%M:%S)] 开始执行ElasticSearch备份” >> $LOG_FILE

# 检查存储库是否存在
REPO_EXISTS=$(curl -s -o /dev/null -w “%{http_code}” http://192.168.1.10:9200/_snapshot/${REPOSITORY})
if [ “$REPO_EXISTS” != “200” ]; then
echo “[$(date +%Y-%m-%d%H:%M:%S)] 存储库不存在，创建存储库” >> $LOG_FILE
curl -X PUT “http://192.168.1.10:9200/_snapshot/${REPOSITORY}” -H “Content-Type: application/json” -d ‘{
“type”: “fs”,
“settings”: {
“location”: “/es/backup”,
“compress”: true
}
}’ >> $LOG_FILE 2>&1
fi

# 创建快照
echo “[$(date +%Y-%m-%d%H:%M:%S)] 创建快照 ${SNAPSHOT_NAME}” >> $LOG_FILE
curl -X PUT “http://192.168.1.10:9200/_snapshot/${REPOSITORY}/${SNAPSHOT_NAME}” -H “Content-Type: application/json” -d ‘{
“indices”: “*”,
“ignore_unavailable”: true,
“include_global_state”: true
}’ >> $LOG_FILE 2>&1

# 等待快照完成
echo “[$(date +%Y-%m-%d%H:%M:%S)] 等待快照完成…” >> $LOG_FILE
while true; do
STATUS=$(curl -s http://192.168.1.10:9200/_snapshot/${REPOSITORY}/${SNAPSHOT_NAME}/_status | jq -r ‘.snapshots[0].state’)
if [ “$STATUS” = “SUCCESS” ]; then
echo “[$(date +%Y-%m-%d%H:%M:%S)] 快照创建成功” >> $LOG_FILE
break
elif [ “$STATUS” = “FAILED” ]; then
echo “[$(date +%Y-%m-%d%H:%M:%S)] 快照创建失败” >> $LOG_FILE
exit 1
fi
sleep 10
done

# 清理过期快照（保留最近7天的快照）
echo “[$(date +%Y-%m-%d%H:%M:%S)] 清理过期快照” >> $LOG_FILE
OLD_SNAPSHOTS=$(curl -s http://192.168.1.10:9200/_snapshot/${REPOSITORY}/_all | jq -r ‘.snapshots[] | select(.start_time_in_millis < ('$(date +%s)' - 7*24*60*60)*1000) | .snapshot') for SNAPSHOT in $OLD_SNAPSHOTS; do echo "[$(date +%Y-%m-%d%H:%M:%S)] 删除过期快照 ${SNAPSHOT}" >> $LOG_FILE
curl -X DELETE “http://192.168.1.10:9200/_snapshot/${REPOSITORY}/${SNAPSHOT}” >> $LOG_FILE 2>&1
done

# 记录结束时间
echo “[$(date +%Y-%m-%d%H:%M:%S)] ElasticSearch备份执行完成” >> $LOG_FILE

# 设置执行权限
chmod +x /es/app/scripts/backup_elasticsearch.sh

# 执行备份脚本
/es/app/scripts/backup_elasticsearch.sh

# 查看备份日志
tail -f /es/app/logs/backup_$(date +%Y%m%d).log

Part05-风哥经验总结与分享

5.1 备份与恢复最佳实践

  • 定期备份：根据业务需求，制定合理的备份计划
  • 多存储位置：将备份数据存储在多个位置，提高数据安全性
  • 验证备份：定期测试备份的恢复功能，确保备份可用
  • 监控备份：设置备份监控和告警，及时发现备份问题
  • 文档化流程：记录备份和恢复流程，便于团队成员遵循
  • 合理设置快照保留策略：根据存储空间和业务需求，设置合理的快照保留时间

5.2 常见问题与解决方案

  • 备份失败：检查存储库权限、空间和网络连接
  • 恢复失败：检查索引是否存在、权限是否正确
  • 备份速度慢：考虑使用增量备份、增加网络带宽或使用更快的存储介质
  • 存储库空间不足：清理过期快照、增加存储容量
  • 快照创建超时：调整快照创建超时时间，或分批次备份

5.3 灾备方案建议

  • 异地备份：将备份数据存储在不同的地理位置，防止区域性灾难
  • 多集群架构：部署多个集群，实现数据冗余
  • 定期灾备演练：定期进行灾备演练，确保在灾难发生时能够快速恢复
  • 自动化灾备：使用自动化工具和脚本，减少人工干预
  • 灾备文档：制定详细的灾备计划和恢复流程文档

更多视频教程www.fgedu.net.cn

学习交流加群风哥微信: itpux-com

学习交流加群风哥QQ113257174

风哥提示：定期备份是确保数据安全的关键，不要等到数据丢失才后悔莫及

更多学习教程公众号风哥教程itpux_com

from ElasticSearch视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息