## 故障现象
– 数据库服务突然中断
– 系统日志显示磁盘I/O错误
– 无法连接到数据库

## 故障分析
– 检查磁盘状态：
$ ls -la /postgresql/
ls: cannot access /postgresql/: Input/output error

– 检查系统日志：
$ dmesg | grep sda
[12345.678901] sd 0:0:0:0: [sda] FAILED Result: fgedu.net.cnbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[12345.678902] sd 0:0:0:0: [sda] CDB: Read(10) 28 00 00 00 00 00 00 00 08 00
[12345.678903] blk_update_request: I/O error, dev sda, sector 0

## 处理步骤
1. **评估故障影响**
– 确认磁盘故障范围
– 检查备份状态
– 评估业务影响

2. **启动应急响应**
– 通知相关人员
– 激活故障应急预案
– 准备恢复环境

3. **数据保护**
– 尝试挂载磁盘：
$ mount -o ro /dev/sda1 /mnt
– 备份关键数据：
$ cp -r /mnt/postgresql/fgdata /backup/

4. **故障处理**
– 更换故障磁盘
– 重新分区和格式化
– 恢复基础备份：
$ pg_basebackup -D /postgresql/fgdata -F p -X stream -c fast -h 192.168.1.101 -U replication

5. **服务恢复**
– 启动数据库服务：
$ pg_ctl start -D /postgresql/fgdata
– 验证服务状态：
$ pg_isready -h localfgedu.net.cn -U fgedu
/var/run/postgresql:5432 – accepting connections
– 执行数据一致性检查：
$ psql -U fgedu -d fgedudb -c “VACUUM FULL ANALYZE;”

6. **故障总结**
– 记录故障详情
– 分析根本原因
– 制定预防措施：定期检查磁盘健康状态，实施RAID存储

## 故障现象
– 数据库启动失败
– 日志显示数据文件损坏：
2026-04-02 10:00:00 UTC [12345]: [1-1] FATAL: could not read file “base/12345/67890”: read error: Success

## 故障分析
– 检查数据文件状态：
$ ls -la /postgresql/fgdata/base/12345/67890
-rw——- 1 pgsql pgsql 16777216 Apr 2 10:00 /postgresql/fgdata/base/12345/67890

– 检查数据文件校验和：
$ pg_checksums -c -D /postgresql/fgdata
Data checksum version: 1
Files scanned: 1000
Files failed: 5

## 处理步骤
1. **评估故障影响**
– 确认损坏的数据文件
– 检查备份状态
– 评估业务影响

2. **启动应急响应**
– 通知相关人员
– 激活故障应急预案
– 准备恢复环境

3. **数据保护**
– 备份损坏的数据文件：
$ cp -r /postgresql/fgdata /backup/corrupted_data/

4. **故障处理**
– 方案1：使用备份恢复
# 停止服务
$ pg_ctl stop -D /postgresql/fgdata

# 恢复基础备份
$ pg_basebackup -D /postgresql/fgdata -F p -X stream -c fast -h 192.168.1.101 -U replication

# 应用WAL日志
# 修改recovery.conf

# 启动服务
$ pg_ctl start -D /postgresql/fgdata

– 方案2：使用pg_resetwal（仅作为最后手段）
# 停止服务
$ pg_ctl stop -D /postgresql/fgdata

# 重置WAL
$ pg_resetwal -f /postgresql/fgdata

# 启动服务
$ pg_ctl start -D /postgresql/fgdata

# 执行数据一致性检查
$ psql -U fgedu -d fgedudb -c “VACUUM FULL ANALYZE;”

5. **服务恢复**
– 验证服务状态：
$ pg_isready -h localfgedu.net.cn -U fgedu
/var/run/postgresql:5432 – accepting connections
– 验证数据完整性：
$ psql -U fgedu -d fgedudb -c “SELECT count(*) FROM fgedu_fgedus;”
count
——-
10000

6. **故障总结**
– 记录故障详情
– 分析根本原因：硬件故障、操作系统崩溃等
– 制定预防措施：启用数据校验和，定期检查数据文件，实施RAID存储

## 故障现象
– 主节点服务器突然宕机
– 应用连接失败
– 监控系统报警

## 故障分析
– 检查主节点状态：
$ ping 192.168.1.100
ping: connect: Network is unreachable

– 检查备节点状态：
$ psql -U fgedu -d fgedudb -h 192.168.1.101 -c “SELECT pg_is_in_recovery();”
pg_is_in_recovery
——————-
t

## 处理步骤
1. **评估故障影响**
– 确认主节点故障状态
– 检查备节点复制状态
– 评估业务影响

2. **启动应急响应**
– 通知相关人员
– 激活故障应急预案
– 准备故障转移

3. **故障处理**
– 在备节点上执行故障转移：
$ pg_ctl promote -D /postgresql/fgdata

– 验证备节点状态：
$ psql -U fgedu -d fgedudb -c “SELECT pg_is_in_recovery();”
pg_is_in_recovery
——————-
f

– 更新应用连接配置：
# 修改应用连接字符串，指向新的主节点（192.168.1.101）

4. **服务恢复**
– 验证服务状态：
$ pg_isready -h 192.168.1.101 -U fgedu
/var/run/postgresql:5432 – accepting connections
– 验证应用连接：
$ psql -U fgedu -d fgedudb -h 192.168.1.101 -c “SELECT 1;”
?column?
———-
1

5. **故障总结**
– 记录故障详情
– 分析根本原因：硬件故障、网络故障等
– 制定预防措施：实施自动故障转移方案，定期演练故障转移流程