1. RTO（Recovery Time Objective）
– 恢复时间目标
– 业务中断到恢复的时间
– 影响业务连续性

2. RPO（Recovery Point Objective）
– 恢复点目标
– 可接受的数据丢失量
– 影响数据完整性

3. 容灾等级
等级 RTO RPO 适用场景
—- —- —- ——–
1级 <15分钟 0 金融交易、核心业务 2级 <1小时 <15分钟 关键业务系统 3级 <4小时 <1小时 重要业务系统 4级 <24小时 <4小时 一般业务系统 5级 <72小时 <24小时 非关键业务 6级 >72小时 >24小时 归档数据

# FGedu容灾目标
业务系统 RTO目标 RPO目标 容灾等级
——– ——- ——- ——–
核心交易系统 15分钟 0 1级
CRM系统 30分钟 5分钟 2级
OA系统 1小时 15分钟 2级
邮件系统 2小时 30分钟 3级
文件服务器 4小时 1小时 3级
开发测试环境 24小时 4小时 4级

# 容灾成本分析
成本类型 说明 占比
——– —- —-
基础设施建设 机房、网络、硬件设备 40%
软件许可费用 容灾软件、复制软件 25%
运维人力成本 日常运维、演练 20%
网络带宽费用 数据复制带宽 10%
其他费用 培训、咨询等 5%

# 容灾方案选择
方案类型 RTO RPO 成本 复杂度
——– —- —- —- ——
本地高可用 秒级 0 低 低
同城双活 分钟级 0 中 中
两地三中心 分钟级 0 高 高
异地灾备 小时级 分钟级 中 中
冷备 天级 小时级 低 低

架构拓扑：
用户访问
│
全局负载均衡
(GSLB/DNS)
│
┌───────────┴───────────┐
│ │
负载均衡器A 负载均衡器B
(LVS/F5-A) (LVS/F5-B)
│ │
┌───────┴───────┐ ┌───────┴───────┐
│ │ │ │
应用集群A 应用集群B 应用集群A 应用集群B
│ │ │ │
└───────┬───────┘ └───────┬───────┘
│ │
数据库集群A 数据库集群A
(主-主同步) (主-主同步)
│ │
┌───────┴───────┐ ┌───────┴───────┐
│ │ │ │
存储系统A 存储系统B 存储系统A 存储系统B
(同步复制) (同步复制) (同步复制) (同步复制)

站点A（主站点） 站点B（备站点）
机房：北京A中心 机房：北京B中心
距离：<50公里 距离：<50公里 # 网络架构设计 # 1. DNS配置 $ cat /etc/named.conf zone "fgedu.net.cn" IN { type master; file "fgedu.net.cn.zone"; allow-update { none; }; }; $ cat /var/named/fgedu.net.cn.zone $TTL 300 @ IN SOA ns1.fgedu.net.cn. admin.fgedu.net.cn. ( 2026040301 ; Serial 300 ; Refresh 180 ; Retry 604800 ; Expire 300 ) ; Minimum @ IN NS ns1 @ IN A 202.100.1.10 ; 站点A IP @ IN A 202.100.2.10 ; 站点B IP www IN A 202.100.1.10 www IN A 202.100.2.10 # 2. 负载均衡配置 # LVS配置（站点A） $ ipvsadm -A -t 202.100.1.10:80 -s rr $ ipvsadm -a -t 202.100.1.10:80 -r 192.168.1.11:80 -g -w 3 $ ipvsadm -a -t 202.100.1.10:80 -r 192.168.1.12:80 -g -w 3 $ ipvsadm -a -t 202.100.1.10:80 -r 192.168.2.11:80 -g -w 2 $ ipvsadm -a -t 202.100.1.10:80 -r 192.168.2.12:80 -g -w 2 # 查看LVS状态 $ ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 202.100.1.10:80 rr
-> 192.168.1.11:80 Route 3 125 50
-> 192.168.1.12:80 Route 3 120 48
-> 192.168.2.11:80 Route 2 85 35
-> 192.168.2.12:80 Route 2 80 32

# 3. 健康检查脚本
#!/bin/bash
# 文件名: health_check.sh

SITE_A_VIP=”202.100.1.10″
SITE_B_VIP=”202.100.2.10″
SITE_A_REAL=”192.168.1.11 192.168.1.12″
SITE_B_REAL=”192.168.2.11 192.168.2.12″

check_site() {
local vip=$1
local reals=$2
local site_name=$3

active_count=0
for real in $reals; do
if curl -s –connect-timeout 2 http://$real/health > /dev/null; then
((active_count++))
fi
done

echo “$site_name: $active_count/$(echo $reals | wc -w) 节点正常”

if [ $active_count -eq 0 ]; then
echo “警告: $site_name 全部节点故障!”
return 1
fi
return 0
}

echo “=== 容灾健康检查 ===”
echo “时间: $(date ‘+%Y-%m-%d %H:%M:%S’)”

check_site $SITE_A_VIP “$SITE_A_REAL” “站点A”
check_site $SITE_B_VIP “$SITE_B_REAL” “站点B”

$ chmod +x health_check.sh
$ ./health_check.sh
=== 容灾健康检查 ===
时间: 2026-04-03 10:00:00
站点A: 2/2 节点正常
站点B: 2/2 节点正常

架构拓扑：
主站点（北京）
│
┌───────────┼───────────┐
│ │ │
应用集群 数据库集群 存储系统
│ │ │
│ 异步复制 │
│ │ │
└───────────┼───────────┘
│
│ (专线/VPN)
│
备站点（上海）
│
┌───────────┼───────────┐
│ │ │
应用集群 数据库集群 存储系统

# 网络连接配置
# 1. VPN配置（主站点）
$ cat /etc/ipsec.conf
config setup
charondebug=”ike 2, knl 2, cfg 2″

conn fgedu-dr-tunnel
left=202.100.1.1
leftsubnet=192.168.1.0/24
right=202.200.1.1
rightsubnet=192.168.2.0/24
ike=aes256-sha2_256-modp2048!
esp=aes256-sha2_256!
keyexchange=ikev2
auto=start

$ systemctl start strongswan

# 2. 路由配置
# 主站点路由
$ ip route add 192.168.2.0/24 via 202.100.1.1

# 备站点路由
$ ip route add 192.168.1.0/24 via 202.200.1.1

# 3. 带宽计算
数据复制需求：
– 数据库日志量：500GB/天
– 文件同步量：200GB/天
– 总计：700GB/天
– 峰值系数：3
– 所需带宽：700GB * 8 * 3 / 86400 = 200Mbps

# 4. 数据库异步复制配置
# MySQL主从复制
# 主站点配置
$ cat /etc/my.cnf
[mysqld]
server-id = 1
log-bin = mysql-bin
binlog-format = ROW
gtid-mode = ON
enforce-gtid-consistency = ON

# 创建复制用户
mysql> CREATE USER ‘repl’@’192.168.2.%’ IDENTIFIED BY ‘Fgedu@Repl123’;
mysql> GRANT REPLICATION SLAVE ON *.* TO ‘repl’@’192.168.2.%’;

# 备站点配置
$ cat /etc/my.cnf
[mysqld]
server-id = 2
log-bin = mysql-bin
binlog-format = ROW
gtid-mode = ON
enforce-gtid-consistency = ON
relay-log = relay-bin
read-only = ON

# 配置复制
mysql> CHANGE MASTER TO
-> MASTER_HOST=’192.168.1.20′,
-> MASTER_USER=’repl’,
-> MASTER_PASSWORD=’Fgedu@Repl123′,
-> MASTER_AUTO_POSITION=1;
mysql> START SLAVE;

# 查看复制状态
mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.1.20
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 1234567
Relay_Log_File: relay-bin.000003
Relay_Log_Pos: 1234567
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 1234567
Relay_Log_Space: 1234567
Seconds_Behind_Master: 0

# 1. 应用同步脚本
#!/bin/bash
# 文件名: app_sync.sh

SRC_DIR=”/data/app”
DST_HOST=”192.168.2.10″
DST_DIR=”/data/app”
LOG_FILE=”/var/log/app_sync.log”

echo “=== 应用同步开始 ===” >> $LOG_FILE
echo “时间: $(date ‘+%Y-%m-%d %H:%M:%S’)” >> $LOG_FILE

rsync -avz –delete \
–exclude=’logs/*’ \
–exclude=’temp/*’ \
–exclude=’*.log’ \
$SRC_DIR/ $DST_HOST:$DST_DIR/ >> $LOG_FILE 2>&1

if [ $? -eq 0 ]; then
echo “同步成功” >> $LOG_FILE
else
echo “同步失败” >> $LOG_FILE
exit 1
fi

# 2. 配置文件同步
#!/bin/bash
# 文件名: config_sync.sh

CONFIG_FILES=(
“/etc/nginx/nginx.conf”
“/etc/nginx/conf.d/*.conf”
“/etc/supervisord.conf”
“/etc/supervisord.d/*.ini”
)

DST_HOST=”192.168.2.10″
LOG_FILE=”/var/log/config_sync.log”

for config in “${CONFIG_FILES[@]}”; do
rsync -avz $config $DST_HOST:$(dirname $config) >> $LOG_FILE 2>&1
done

echo “配置同步完成: $(date ‘+%Y-%m-%d %H:%M:%S’)” >> $LOG_FILE

# 3. 定时同步任务
$ crontab -l
*/5 * * * * /opt/scripts/app_sync.sh
*/10 * * * * /opt/scripts/config_sync.sh
0 2 * * * /opt/scripts/full_sync.sh

# 4. 应用启动脚本
#!/bin/bash
# 文件名: start_app.sh

APP_NAME=”fgedu-web”
APP_DIR=”/data/app”

cd $APP_DIR

# 检查应用状态
check_app() {
curl -s http://fgedudb:8080/health > /dev/null
return $?
}

# 启动应用
start_app() {
echo “启动应用: $APP_NAME”
./bin/startup.sh

for i in {1..30}; do
if check_app; then
echo “应用启动成功”
return 0
fi
sleep 2
done

echo “应用启动超时”
return 1
}

# 停止应用
stop_app() {
echo “停止应用: $APP_NAME”
./bin/shutdown.sh

for i in {1..30}; do
if ! check_app; then
echo “应用停止成功”
return 0
fi
sleep 2
done

echo “应用停止超时，强制终止”
pkill -f $APP_NAME
return 1
}

case “$1” in
start)
start_app
;;
stop)
stop_app
;;
restart)
stop_app
start_app
;;
status)
if check_app; then
echo “应用运行中”
else
echo “应用未运行”
fi
;;
*)
echo “用法: $0 {start|stop|restart|status}”
exit 1
;;
esac

# 5. 应用健康检查
#!/bin/bash
# 文件名: health_check_app.sh

APP_URL=”http://fgedudb:8080/health”
ALERT_EMAIL=”admin@fgedu.net.cn”

check_health() {
response=$(curl -s -o /dev/null -w “%{http_code}” $APP_URL)

if [ “$response” == “200” ]; then
echo “应用健康”
return 0
else
echo “应用异常: HTTP $response”
echo “应用健康检查失败: $(date)” | mail -s “应用告警” $ALERT_EMAIL
return 1
fi
}

check_health

# 1. DRBD配置（同步复制）
$ cat /etc/drbd.d/fgedu.res
resource fgedu_data {
protocol C;

disk {
on-io-error detach;
}

on fgedu-node1 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.1.10:7789;
meta-disk internal;
}

on fgedu-node2 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.2.10:7789;
meta-disk internal;
}
}

# 初始化DRBD
$ drbdadm create-md fgedu_data
$ drbdadm up fgedu_data
$ drbdadm primary –force fgedu_data

# 查看DRBD状态
$ drbdadm status
fgedu_data role:Primary
disk:UpToDate
fgedu-node2 role:Secondary
peer-disk:UpToDate

# 2. 存储阵列复制
# 配置远程复制
$ ssh storage-admin@storage-a
storage-a> remote_replication create \
-source_volume vol_app \
-target_storage storage-b \
-target_volume vol_fgapp_rep \
-replication_type async \
-rpo 300

# 查看复制状态
storage-a> remote_replication show
Name: vol_fgapp_replication
Source: storage-a:vol_app
Target: storage-b:vol_fgapp_rep
Status: Synchronizing
Progress: 85%
RPO: 300 seconds

# 3. 文件系统级复制
# lsyncd配置
$ cat /etc/lsyncd.conf
settings {
logfile = “/var/log/lsyncd.log”,
statusFile = “/var/log/lsyncd.status”,
inotifyMode = “CloseWrite”,
maxProcesses = 8,
}

sync {
default.rsync,
source = “/data/files”,
target = “192.168.2.10:/data/files”,
delete = true,
delay = 5,
rsync = {
binary = “/usr/bin/rsync”,
archive = true,
compress = true,
verbose = true,
exclude = { “*.tmp”, “*.log” }
}
}

$ systemctl start lsyncd

# 4. 数据库复制监控
#!/bin/bash
# 文件名: db_replication_monitor.sh

DB_HOST=”192.168.1.20″
DB_USER=”monitor”
DB_PASS=”Fgedu@Monitor123″
ALERT_THRESHOLD=300 # 5分钟延迟告警

check_replication() {
delay=$(mysql -h $DB_HOST -u $DB_USER -p$DB_PASS -N -e ”
SHOW SLAVE STATUS\G” | grep “Seconds_Behind_Master” | awk ‘{print $2}’)

if [ -z “$delay” ]; then
echo “错误: 无法获取复制状态”
return 1
fi

if [ “$delay” == “NULL” ]; then
echo “错误: 复制已停止”
return 1
fi

if [ $delay -gt $ALERT_THRESHOLD ]; then
echo “警告: 复制延迟 ${delay} 秒”
return 1
fi

echo “复制正常: 延迟 ${delay} 秒”
return 0
}

check_replication

# 1. Keepalived配置
$ cat /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1

authentication {
auth_type PASS
auth_pass Fgedu@VRRP123
}

virtual_ipaddress {
192.168.1.100
}

track_script {
check_app
}

notify_master “/opt/scripts/notify_master.sh”
notify_backup “/opt/scripts/notify_backup.sh”
notify_fault “/opt/scripts/notify_fault.sh”
}

vrrp_script check_app {
script “/opt/scripts/check_app.sh”
interval 3
weight -20
fall 3
rise 2
}

# 2. 切换通知脚本
#!/bin/bash
# 文件名: notify_master.sh

LOG_FILE=”/var/log/dr_switch.log”
ALERT_EMAIL=”admin@fgedu.net.cn”

echo “=== 切换为主站点 ===” >> $LOG_FILE
echo “时间: $(date ‘+%Y-%m-%d %H:%M:%S’)” >> $LOG_FILE

# 启动应用
/opt/scripts/start_app.sh start

# 更新DNS
/opt/scripts/update_dns.sh master

# 发送通知
echo “容灾切换: 已切换为主站点” | mail -s “容灾切换通知” $ALERT_EMAIL

# 3. DNS自动切换
#!/bin/bash
# 文件名: update_dns.sh

DNS_SERVER=”192.168.1.1″
ZONE=”fgedu.net.cn”
MASTER_IP=”202.100.1.10″
SLAVE_IP=”202.100.2.10″

case “$1” in
master)
# 切换到主站点
nsupdate << EOF server $DNS_SERVER zone $ZONE update delete www.$ZONE A update add www.$ZONE 60 A $MASTER_IP send EOF echo "DNS已切换到主站点: $MASTER_IP" ;; slave) # 切换到备站点 nsupdate << EOF server $DNS_SERVER zone $ZONE update delete www.$ZONE A update add www.$ZONE 60 A $SLAVE_IP send EOF echo "DNS已切换到备站点: $SLAVE_IP" ;; *) echo "用法: $0 {master|slave}" exit 1 ;; esac # 4. 数据库切换脚本 #!/bin/bash # 文件名: db_switch.sh MASTER_HOST="192.168.1.20" SLAVE_HOST="192.168.2.20" DB_USER="root" DB_PASS="Fgedu@Root123" switch_to_slave() { echo "=== 数据库切换到备站点 ===" # 停止主站点写入 mysql -h $MASTER_HOST -u $DB_USER -p$DB_PASS -e " FLUSH TABLES WITH READ LOCK; SET GLOBAL read_only = ON;" # 等待从库同步完成 while true; do delay=$(mysql -h $SLAVE_HOST -u $DB_USER -p$DB_PASS -N -e " SHOW SLAVE STATUS\G" | grep "Seconds_Behind_Master" | awk '{print $2}') if [ "$delay" == "0" ]; then break fi echo "等待同步完成，当前延迟: ${delay}秒" sleep 5 done # 提升从库为主库 mysql -h $SLAVE_HOST -u $DB_USER -p$DB_PASS -e " STOP SLAVE; RESET SLAVE ALL; SET GLOBAL read_only = OFF;" echo "数据库切换完成" } case "$1" in switch) switch_to_slave ;; *) echo "用法: $0 switch" exit 1 ;; esac # 5. 一键切换脚本 #!/bin/bash # 文件名: dr_switch.sh LOG_FILE="/var/log/dr_switch.log" echo "=== 容灾切换开始 ===" >> $LOG_FILE
echo “时间: $(date ‘+%Y-%m-%d %H:%M:%S’)” >> $LOG_FILE

# 1. 检查备站点状态
echo “检查备站点状态…”
/opt/scripts/check_site.sh slave
if [ $? -ne 0 ]; then
echo “备站点不可用，切换取消”
exit 1
fi

# 2. 停止主站点应用
echo “停止主站点应用…”
/opt/scripts/start_app.sh stop

# 3. 切换数据库
echo “切换数据库…”
/opt/scripts/db_switch.sh switch

# 4. 更新DNS
echo “更新DNS…”
/opt/scripts/update_dns.sh slave

# 5. 启动备站点应用
echo “启动备站点应用…”
ssh root@192.168.2.10 “/opt/scripts/start_app.sh start”

# 6. 验证服务
echo “验证服务…”
sleep 30
curl -s http://www.fgedu.net.cn/health

echo “=== 容灾切换完成 ===” >> $LOG_FILE

# 1. 演练计划
演练类型 频率 参与人员 目标
——– —- ——– —-
桌面演练 每季度 IT团队 流程验证
技术演练 每月 运维团队 技术验证
综合演练 每年 全公司 全面验证
应急演练 不定期 IT团队 应急响应

# 2. 演练检查清单
#!/bin/bash
# 文件名: drill_checklist.sh

echo “=== 容灾演练检查清单 ===”
echo “日期: $(date ‘+%Y-%m-%d’)”
echo “”

checklist=(
“1. 演练方案已审批”
“2. 参与人员已通知”
“3. 数据备份已完成”
“4. 回滚方案已准备”
“5. 监控系统正常”
“6. 通讯渠道畅通”
“7. 应急联系人确认”
“8. 演练时间窗口确认”
)

for item in “${checklist[@]}”; do
read -p “$item [y/n]: ” confirm
if [ “$confirm” != “y” ]; then
echo “检查未通过，演练取消”
exit 1
fi
done

echo “所有检查项通过，可以开始演练”

# 3. 演练执行脚本
#!/bin/bash
# 文件名: drill_execute.sh

DRILL_TYPE=$1
LOG_FILE=”/var/log/dr_drill_$(date +%Y%m%d).log”

echo “=== 容灾演练执行 ===” >> $LOG_FILE
echo “演练类型: $DRILL_TYPE” >> $LOG_FILE
echo “开始时间: $(date ‘+%Y-%m-%d %H:%M:%S’)” >> $LOG_FILE

case “$DRILL_TYPE” in
“failover”)
echo “执行故障切换演练…”
/opt/scripts/dr_switch.sh switch
;;
“failback”)
echo “执行故障回切演练…”
/opt/scripts/dr_switch.sh switch_back
;;
“database”)
echo “执行数据库切换演练…”
/opt/scripts/db_switch.sh switch
;;
“network”)
echo “执行网络切换演练…”
/opt/scripts/network_switch.sh switch
;;
*)
echo “未知演练类型: $DRILL_TYPE”
exit 1
;;
esac

echo “结束时间: $(date ‘+%Y-%m-%d %H:%M:%S’)” >> $LOG_FILE

# 4. 演练报告生成
#!/bin/bash
# 文件名: drill_report.sh

DRILL_DATE=$1
LOG_FILE=”/var/log/dr_drill_${DRILL_DATE}.log”
REPORT_FILE=”/var/log/dr_drill_report_${DRILL_DATE}.txt”

cat << EOF > $REPORT_FILE
========================================
容灾演练报告
========================================

演练日期: $DRILL_DATE
演练类型: 故障切换演练
参与人员: 运维团队

一、演练目标
验证容灾系统的可用性和切换流程的有效性

二、演练过程
$(cat $LOG_FILE)

三、演练结果
– 切换时间: 8分钟
– RTO达成: 是（目标15分钟）
– RPO达成: 是（目标0）
– 服务恢复: 正常

四、发现问题
1. DNS切换延迟较高
2. 部分应用启动时间过长

五、改进建议
1. 优化DNS切换流程
2. 优化应用启动脚本

六、结论
演练成功，系统满足容灾要求

报告生成时间: $(date ‘+%Y-%m-%d %H:%M:%S’)
EOF

echo “演练报告已生成: $REPORT_FILE”

# 5. 演练指标统计
#!/bin/bash
# 文件名: drill_metrics.sh

echo “=== 容灾演练指标统计 ===”

# RTO统计
rto_times=(8 10 7 9 8 11 7 8 9 8)
rto_avg=$(echo “${rto_times[@]}” | tr ‘ ‘ ‘\n’ | awk ‘{sum+=$1} END {print sum/NR}’)
echo “平均RTO: ${rto_avg}分钟”

# 成功率统计
total_drills=10
success_drills=9
success_rate=$(echo “scale=2; $success_drills * 100 / $total_drills” | bc)
echo “演练成功率: ${success_rate}%”

# 问题统计
issues=(
“DNS切换延迟”
“应用启动慢”
“网络抖动”
“数据库同步延迟”
)
echo “发现问题数: ${#issues[@]}”

# 6. 定期演练计划
$ cat /etc/cron.d/dr_drill
# 每月第一个周六执行技术演练
0 2 1-7 * 6 [ $(date +\%d) -le 7 ] && /opt/scripts/drill_execute.sh failover

# 每季度执行综合演练
0 2 1 1,4,7,10 * /opt/scripts/drill_execute.sh failover

# 演练报告生成
0 8 * * 1 /opt/scripts/drill_report.sh $(date +\%Y\%m\%d)