两地三中心故障处理脚本示例

#!/bin/bash
# two_place_three_center_failover.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

# 定义变量
PRIMARY_HOST="192.168.1.10"  # 主中心
STANDBY_HOST="192.168.2.10"   # 同城备中心
DR_HOST="192.168.3.10"        # 异地灾备中心
DB_USER="fgedu"
DB_PASS="Fgedu@123"
DATA_DIR="/opengauss/fgdata"

# 检查节点状态
check_node() {
    local node_ip=$1
    echo "检查节点 $node_ip 状态..."
    ping -c 3 $node_ip > /dev/null 2>&1
    if [ $? -ne 0 ]; then
        echo "节点 $node_ip 网络不可达"
        return 1
    fi
    
    ssh $DB_USER@$node_ip "gs_ctl status -D $DATA_DIR" > /dev/null 2>&1
    if [ $? -ne 0 ]; then
        echo "节点 $node_ip 数据库服务异常"
        return 1
    fi
    
    return 0
}

# 检查复制状态
check_replication() {
    local node_ip=$1
    echo "检查节点 $node_ip 的复制状态..."
    ssh $DB_USER@$node_ip "gsql -U $DB_USER -d postgres -c 'SELECT application_name, state, sync_state FROM pg_stat_replication; 
'"
}

# 执行同城备中心切换
do_standby_failover() {
    echo "开始执行同城备中心切换..."
    ssh $DB_USER@$STANDBY_HOST "gs_ctl promote -D $DATA_DIR"
    if [ $? -eq 0 ]; then
        echo "同城备中心切换成功，已提升为新主库"
        # 更新异地灾备中心指向
        update_dr_replication
    else
        echo "同城备中心切换失败"
    fi
}

# 执行异地灾备中心切换
do_dr_failover() {
    echo "开始执行异地灾备中心切换..."
    ssh $DB_USER@$DR_HOST "gs_ctl promote -D $DATA_DIR"
    if [ $? -eq 0 ]; then
        echo "异地灾备中心切换成功，已提升为新主库"
    else
        echo "异地灾备中心切换失败"
    fi
}

# 更新异地灾备中心复制配置
update_dr_replication() {
    echo "更新异地灾备中心复制配置..."
    ssh $DB_USER@$DR_HOST "cat > $DATA_DIR/recovery.conf << EOF
standby_mode = 'on'
primary_conninfo = 'host=$STANDBY_HOST port=5432 user=$DB_USER password=$DB_PASS'
recovery_target_timeline = 'latest'
EOF"
    ssh $DB_USER@$DR_HOST "gs_ctl restart -D $DATA_DIR"
    echo "异地灾备中心复制配置已更新"
}

# 主流程
echo "=== 两地三中心故障处理开始 ==="

# 检查三个节点状态
check_node $PRIMARY_HOST
PRIMARY_STATUS=$?

check_node $STANDBY_HOST
STANDBY_STATUS=$?

check_node $DR_HOST
DR_STATUS=$?

# 根据状态执行相应操作
if [ $PRIMARY_STATUS -eq 0 ]; then
    echo "主中心状态正常"
    check_replication $PRIMARY_HOST
elif [ $STANDBY_STATUS -eq 0 ]; then
    echo "主中心故障，执行同城备中心切换"
    do_standby_failover
elif [ $DR_STATUS -eq 0 ]; then
    echo "主中心和同城备中心都故障，执行异地灾备中心切换"
    do_dr_failover
else
    echo "三个节点都故障，需要人工干预"
fi

echo "=== 两地三中心故障处理完成 ==="