1. 查看节点状态
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT zone, svr_ip, svr_port, status, use_ob_disk, stop_time
FROM oceanbase.__all_server;
”

+——-+—————+———-+——–+————-+———————+
| zone | svr_ip | svr_port | status | use_ob_disk | stop_time |
+——-+—————+———-+——–+————-+———————+
| zone1 | 192.168.1.101 | 2882 | active | YES | NULL |
| zone2 | 192.168.1.102 | 2882 | inactive| YES | 2024-01-20 10:00:00 |
| zone3 | 192.168.1.103 | 2882 | active | YES | NULL |
+——-+—————+———-+——–+————-+———————+

# 发现zone2节点故障

2. 检查集群健康状态
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT * FROM oceanbase.__all_zone;
”

+———–+——–+——–+——-+
| zone | status | region | type |
+———–+——–+——–+——-+
| zone1 | ACTIVE | region1| ReadWrite |
| zone2 | INACTIVE| region1| ReadWrite |
| zone3 | ACTIVE | region1| ReadWrite |
+———–+——–+——–+——-+

3. 检查数据副本状态
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e “，更多学习教程公众号风哥教程itpux_com。
SELECT
table_id,
partition_id,
svr_ip,
role,
replica_type,
status
FROM oceanbase.__all_virtual_proxy_schema
WHERE svr_ip = ‘192.168.1.102’;
”

1. 启动故障节点
$ ssh admin@192.168.1.102
$ cd /ob/app/oceanbase
$ ./bin/observer -start

# 查看启动日志
$ tail -f /ob/fgdata/log/observer.log
[2024-01-20 10:30:00.123456] INFO [SERVER] start_service (ob_server.cpp:1234) [12345] [lt=0] [dc=0] start service success

2. 检查节点恢复状态
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT zone, svr_ip, svr_port, status, start_service_time
FROM oceanbase.__all_server;
“，from DB视频:www.itpux.com。

+——-+—————+———-+——–+———————+
| zone | svr_ip | svr_port | status | start_service_time |
+——-+—————+———-+——–+———————+
| zone1 | 192.168.1.101 | 2882 | active | 2024-01-20 09:00:00 |
| zone2 | 192.168.1.102 | 2882 | active | 2024-01-20 10:30:00 |
| zone3 | 192.168.1.103 | 2882 | active | 2024-01-20 09:00:00 |
+——-+—————+———-+——–+———————+

3. 检查副本恢复进度
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT
svr_ip,
COUNT(*) as replica_count,
SUM(CASE WHEN is_restore = 1 THEN 1 ELSE 0 END) as restoring_count
FROM oceanbase.__all_virtual_proxy_schema
WHERE svr_ip = ‘192.168.1.102’
GROUP BY svr_ip;
”

+—————+—————+—————–+
| svr_ip | replica_count | restoring_count |
+—————+—————+—————–+
| 192.168.1.102 | 1000 | 50 |
+—————+—————+—————–+

4. 等待恢复完成
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT
svr_ip,
COUNT(*) as replica_count,
SUM(CASE WHEN is_restore = 1 THEN 1 ELSE 0 END) as restoring_count
FROM oceanbase.__all_virtual_proxy_schema
WHERE svr_ip = ‘192.168.1.102’
GROUP BY svr_ip;
”

+—————+—————+—————–+
| svr_ip | replica_count | restoring_count |
+—————+—————+—————–+
| 192.168.1.102 | 1000 | 0 |
+—————+—————+—————–+

# 恢复完成

1. Zone故障场景
– 整个Zone所有节点故障
– Zone网络隔离
– Zone机房故障

2. 检查Zone状态
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT zone, status, region
FROM oceanbase.__all_zone;
”

+——-+———+———+
| zone | status | region |
+——-+———+———+
| zone1 | ACTIVE | region1 |
| zone2 | INACTIVE| region1 |
| zone3 | ACTIVE | region1 |
+——-+———+———+

3. 启动Zone内所有节点
# 在zone2的每个节点上执行
$ ssh admin@192.168.1.102
$ cd /ob/app/oceanbase
$ ./bin/observer -start

$ ssh admin@192.168.1.103
$ cd /ob/app/oceanbase
$ ./bin/observer -start

4. 激活Zone
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
ALTER SYSTEM ACTIVATE ZONE zone2;
”

Query OK, 0 rows affected

5. 检查Zone恢复
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
SELECT zone, status, region
FROM oceanbase.__all_zone;
”

+——-+——–+———+
| zone | status | region |
+——-+——–+———+
| zone1 | ACTIVE | region1 |
| zone2 | ACTIVE | region1 |
| zone3 | ACTIVE | region1 |
+——-+——–+———+

# Zone恢复完成

1. 集群故障场景
– 多数派节点故障
– 集群脑裂
– 数据损坏

2. 备份恢复流程
# 从备份恢复集群

# 步骤1：准备恢复环境
$ mkdir -p /ob/fgdata/recovery
$ chown -R admin:admin /ob/fgdata/recovery

# 步骤2：恢复系统表
$ cd /ob/app/oceanbase
$ ./bin/observer -i eth0 -p 2881 -P 2882 -z zone1 -c 1 \
-d /ob/fgdata/recovery \
-r ‘192.168.1.101:2882:2881’ \
-o ‘memory_limit=50G,cluster_id=1,cluster_name=fgedu_cluster’

# 步骤3：恢复租户数据
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
— 创建资源单元
CREATE RESOURCE UNIT fgedu_unit
MAX_CPU 4, MAX_MEMORY ‘8G’, MAX_IOPS 10000, MAX_DISK_SIZE ‘100G’, MAX_SESSION_NUM 1000;

— 创建资源池
CREATE RESOURCE POOL fgedu_pool
UNIT=’fgedu_unit’,
UNIT_NUM=1,
ZONE_LIST=(‘zone1′);

— 创建租户
CREATE TENANT IF NOT EXISTS fgedu_tenant
PRIMARY_ZONE=’zone1’,
RESOURCE_POOL_LIST=(‘fgedu_pool’);
”

# 步骤4：恢复数据
$ obclient -h192.168.1.101 -P2881 -uroot@fgedu_tenant -p -e ”
— 从逻辑备份恢复
SOURCE /backup/fgedudb_backup.sql;
”

# 步骤5：验证恢复
$ obclient -h192.168.1.101 -P2881 -uroot@fgedu_tenant -p -e ”
SHOW DATABASES;
SELECT COUNT(*) FROM fgedudb.fgedu_order;
”

# 步骤6：扩展集群
$ obclient -h192.168.1.101 -P2881 -uroot@sys -p -e ”
— 添加zone2
ALTER SYSTEM ADD ZONE zone2 REGION ‘region1’;

— 添加zone3
ALTER SYSTEM ADD ZONE zone3 REGION ‘region1’;

— 添加OBServer
ALTER SYSTEM ADD SERVER ‘192.168.1.102:2882’ ZONE ‘zone2’;
ALTER SYSTEM ADD SERVER ‘192.168.1.103:2882’ ZONE ‘zone3’;
”

# 集群恢复完成