## 1. 日常巡检最佳实践
– 制定巡检计划：制定详细的巡检计划，包括频率、内容、人员等
– 使用标准化模板：使用标准化的巡检模板，确保巡检的一致性
– 自动化巡检：使用脚本工具自动化巡检过程，提高效率
– 记录详细：详细记录巡检结果，便于后续分析
– 及时处理问题：对发现的问题及时处理，避免问题扩大
– 定期总结：定期总结巡检结果，发现系统的趋势和规律

## 2. 健康检查最佳实践
– 全面检查：进行全面的健康检查，覆盖系统的各个方面
– 使用专业工具：使用专业的健康检查工具，提高检查的准确性
– 对比分析：对比不同时期的健康检查结果，发现系统的变化
– 关注性能：重点关注系统的性能指标，及时发现性能瓶颈
– 安全检查：定期进行安全检查，确保系统的安全性
– 文档记录：详细记录健康检查的结果和建议

## 3. 监控最佳实践
– 多维度监控：从多个维度监控系统的状态，如进程、同步延迟、系统资源等
– 智能告警：设置智能告警，减少误报，提高告警的准确性
– 可视化监控：使用可视化工具，直观展示系统的状态
– 历史数据分析：分析历史数据，发现系统的趋势和规律
– 预测性分析：使用预测性分析，预测系统可能出现的问题

## 4. 故障预防最佳实践
– 定期备份：定期备份GoldenGate的配置和数据
– 补丁管理：及时安装安全补丁，修复已知的bug
– 配置管理：对配置进行版本控制，防止配置错误
– 容量规划：进行容量规划，确保系统有足够的资源
– 灾备方案：制定灾难恢复方案，确保系统的可用性

## 5. 持续改进最佳实践
– 定期评估：定期评估巡检和健康检查的效果，发现问题
– 优化流程：根据评估结果，优化巡检和健康检查的流程
– 培训学习：对相关人员进行培训，提高其技能水平
– 知识共享：共享巡检和健康检查的经验和知识
– 技术创新：采用新的技术和工具，提高巡检和健康检查的效率

from GoldenGate视频:www.itpux.com

Part03-生产环境项目实施方案

3.1 日常巡检实施

GoldenGate日常巡检的实施步骤如下：

## 1. 准备阶段
– 制定巡检计划：制定详细的巡检计划，包括频率、内容、人员等
– 准备工具：准备巡检所需的工具，如GGSCI命令、脚本工具等
– 准备模板：准备标准化的巡检模板，确保巡检的一致性
– 培训人员：对巡检人员进行培训，提高其技能水平

## 2. 执行阶段
– 检查进程状态：
“`
GGSCI> info all
“`
– 检查同步延迟：
“`
GGSCI> lag *
“`
– 检查日志文件：
“`
GGSCI> view report EXT1
GGSCI> view report REP1
“`
– 检查系统资源：
“`
top
free -m
df -h
“`
– 检查网络状态：
“`
ping 192.168.1.100
netstat -an | grep 7809
“`
– 检查备份情况：
“`
ls -la /GoldenGate/backup/
“`

## 3. 记录阶段
– 填写巡检记录：按照巡检模板填写巡检记录
– 记录问题：记录发现的问题和异常情况
– 拍照取证：对重要的问题和异常情况进行拍照取证
– 保存记录：保存巡检记录，便于后续分析

## 4. 分析阶段
– 分析巡检结果：分析巡检结果，发现潜在的问题
– 评估风险：评估发现问题的风险程度
– 制定方案：制定问题处理的方案
– 优先级排序：对问题进行优先级排序，优先处理高风险问题

## 5. 处理阶段
– 处理问题：按照制定的方案处理问题
– 验证处理结果：验证问题处理的结果
– 记录处理过程：记录问题处理的详细过程
– 总结经验：总结问题处理的经验和教训

## 6. 报告阶段
– 编写巡检报告：编写详细的巡检报告，包括巡检结果、发现的问题、处理情况等
– 向上级报告：向上级报告巡检结果和处理情况
– 分享经验：与团队成员分享巡检和问题处理的经验
– 更新文档：根据巡检结果，更新相关的文档和流程

## 1. 准备阶段
– 制定检查计划：制定详细的健康检查计划，包括时间、内容、人员等
– 准备工具：准备健康检查所需的工具，如Oracle Enterprise Manager、第三方工具等
– 准备检查清单：准备详细的健康检查清单，确保检查的全面性
– 通知相关方：通知相关方健康检查的时间和内容

## 2. 执行阶段
– 性能检查：
– 检查同步延迟：
“`
GGSCI> lag *
“`
– 检查进程性能：
“`
GGSCI> stats extract *
GGSCI> stats replicat *
“`
– 检查系统资源：
“`
top
free -m
df -h
“`
– 配置检查：
– 检查参数配置：
“`
GGSCI> view param EXT1
GGSCI> view param REP1
“`
– 检查表映射：
“`
GGSCI> view param REP1 | grep MAP
“`
– 检查安全配置：
“`
GGSCI> view param MGR | grep PORT
“`
– 安全检查：
– 检查权限配置：
“`sql
SELECT * FROM dba_role_privs WHERE grantee = ‘GGADMIN’;
“`
– 检查加密配置：
“`
GGSCI> view param EXT1 | grep ENCRYPT
“`
– 可靠性检查：
– 检查备份情况：
“`
ls -la /GoldenGate/backup/
“`
– 检查故障恢复配置：
“`
GGSCI> view param MGR | grep AUTORESTART
“`

## 3. 分析阶段
– 收集数据：收集健康检查的相关数据
– 分析数据：分析收集的数据，发现潜在的问题
– 评估风险：评估发现问题的风险程度
– 制定建议：制定改进建议和解决方案

## 4. 报告阶段
– 编写健康检查报告：编写详细的健康检查报告，包括检查结果、发现的问题、建议的解决方案等
– 向相关方报告：向相关方报告健康检查的结果和建议
– 讨论解决方案：与相关方讨论解决方案的可行性和实施计划

## 5. 实施阶段
– 实施解决方案：按照讨论的解决方案实施改进措施
– 验证实施结果：验证改进措施的实施结果
– 监控改进效果：监控改进措施的效果，确保问题得到解决
– 调整方案：根据实施结果，调整解决方案

## 6. 总结阶段
– 总结健康检查的经验和教训
– 更新健康检查的流程和方法
– 培训相关人员：对相关人员进行培训，提高其技能水平
– 制定后续计划：制定后续的健康检查计划

## 1. 需求分析
– 分析巡检需求：分析日常巡检的需求和内容
– 确定自动化范围：确定需要自动化的巡检内容
– 评估自动化可行性：评估自动化巡检的可行性和成本

## 2. 工具选择
– 选择脚本语言：选择合适的脚本语言，如Shell、Python等
– 选择监控工具：选择合适的监控工具，如Zabbix、Prometheus等
– 选择告警工具：选择合适的告警工具，如Email、短信、微信等

## 3. 脚本开发
– 开发巡检脚本：开发自动化巡检的脚本
– 测试脚本：测试脚本的功能和可靠性
– 优化脚本：优化脚本的性能和稳定性

## 4. 配置部署
– 配置脚本：配置脚本的参数和执行方式
– 部署脚本：将脚本部署到生产环境
– 配置调度：配置脚本的执行调度，如使用crontab

## 5. 监控配置
– 配置监控：配置监控工具，监控系统的状态
– 配置告警：配置告警规则，及时通知异常情况
– 配置报表：配置自动生成巡检报表

## 6. 测试验证
– 测试自动化巡检：测试自动化巡检的功能和可靠性
– 验证告警：验证告警机制的有效性
– 验证报表：验证巡检报表的准确性和完整性

## 7. 维护优化
– 定期维护：定期维护自动化巡检系统
– 优化脚本：根据实际情况，优化巡检脚本
– 更新配置：根据系统的变化，更新巡检配置
– 培训人员：对相关人员进行培训，提高其使用和维护能力

## 案例1：每日巡检

### 背景
– 客户：某大型金融机构
– 系统：GoldenGate 19c
– 巡检频率：每日
– 巡检内容：进程状态、同步延迟、日志文件、系统资源

### 巡检步骤
1. 检查进程状态：
“`
GGSCI> info all
“`
输出：
“`
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING EXT1 00:00:00 00:00:05
EXTRACT RUNNING EXT2 00:00:00 00:00:06
REPLICAT RUNNING REP1 00:00:00 00:00:04
REPLICAT RUNNING REP2 00:00:00 00:00:03
“`

2. 检查同步延迟：
“`
GGSCI> lag *
“`
输出：
“`
REPLICAT REP1 00:00:00 (rep1.prm)
REPLICAT REP2 00:00:00 (rep2.prm)
“`

3. 检查日志文件：
“`
GGSCI> view report EXT1
GGSCI> view report REP1
“`
日志显示无错误信息

4. 检查系统资源：
“`
top
free -m
df -h
“`
输出：
“`
top – 10:00:00 up 10 days, 2:30, 1 user, load average: 0.50, 0.40, 0.30
Tasks: 150 total, 1 running, 149 sleeping, 0 stopped, 0 zombie
%Cpu(s): 5.0 us, 2.0 sy, 0.0 ni, 93.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 16384000 total, 8192000 free, 4096000 used, 4096000 buff/cache
KiB Swap: 8192000 total, 8192000 free, 0 used. 10240000 avail Mem

Filesystem Size Used Avail Use% Mounted on
/dev/sda1 50G 20G 30G 40% /
/dev/sdb1 500G 200G 300G 40% /GoldenGate
“`

5. 检查网络状态：
“`
ping 192.168.1.100
netstat -an | grep 7809
“`
输出：
“`
PING 192.168.1.100 (192.168.1.100) 56(84) bytes of data.
64 bytes from 192.168.1.100: icmp_seq=1 ttl=64 time=0.500 ms
64 bytes from 192.168.1.100: icmp_seq=2 ttl=64 time=0.450 ms
64 bytes from 192.168.1.100: icmp_seq=3 ttl=64 time=0.480 ms

tcp 0 0 0.0.0.0:7809 0.0.0.0:* LISTEN
“`

### 巡检结果
– 所有进程正常运行
– 同步延迟为0
– 日志文件无错误信息
– 系统资源使用正常
– 网络状态正常
– 巡检结论：系统运行正常

## 案例2：每周巡检

### 背景
– 客户：某电商平台
– 系统：GoldenGate 21c
– 巡检频率：每周
– 巡检内容：配置文件、备份情况、性能指标

### 巡检步骤
1. 检查配置文件：
“`
GGSCI> view param EXT1
GGSCI> view param REP1
“`
配置文件正常

2. 检查备份情况：
“`
ls -la /GoldenGate/backup/
“`
输出：
“`
total 102400
-rw-r–r– 1 oracle oinstall 51200000 Jan 1 00:00 ggs_backup_20240101.tar.gz
-rw-r–r– 1 oracle oinstall 51200000 Dec 25 00:00 ggs_backup_20231225.tar.gz
-rw-r–r– 1 oracle oinstall 51200000 Dec 18 00:00 ggs_backup_20231218.tar.gz
“`

3. 检查性能指标：
“`
GGSCI> stats extract EXT1, total
GGSCI> stats replicat REP1, total
“`
输出：
“`
Sending STATS request to EXTRACT EXT1 …
Start of Statistics at 2024-01-01 10:00:00.
Output to /GoldenGate/fgdata/dirdat/et:

Extracted 100000 records
Total bytes processed: 10240000
Average bytes/second: 10240

End of Statistics.

Sending STATS request to REPLICAT REP1 …
Start of Statistics at 2024-01-01 10:00:00.
Output to fgedu.emp:

Inserted 100000 records
Updated 50000 records
Deleted 10000 records
Total bytes processed: 15360000
Average bytes/second: 15360

End of Statistics.
“`

### 巡检结果
– 配置文件正常
– 备份情况正常，有最近的备份
– 性能指标正常，数据处理速度满足要求
– 巡检结论：系统运行正常

## 案例1：季度健康检查

### 背景
– 客户：某制造企业
– 系统：GoldenGate 19c
– 检查频率：每季度
– 检查内容：性能、配置、安全、可靠性

### 检查步骤
1. 性能检查：
– 检查同步延迟：
“`
GGSCI> lag *
“`
输出：
“`
REPLICAT REP1 00:00:00 (rep1.prm)
REPLICAT REP2 00:00:00 (rep2.prm)
“`
– 检查进程性能：
“`
GGSCI> stats extract *
GGSCI> stats replicat *
“`
输出显示性能正常
– 检查系统资源：
“`
top
free -m
df -h
“`
系统资源使用正常

2. 配置检查：
– 检查参数配置：
“`
GGSCI> view param EXT1
GGSCI> view param REP1
“`
配置参数正常
– 检查表映射：
“`
GGSCI> view param REP1 | grep MAP
“`
表映射配置正常
– 检查安全配置：
“`
GGSCI> view param MGR | grep PORT
“`
安全配置正常

3. 安全检查：
– 检查权限配置：
“`sql
SELECT * FROM dba_role_privs WHERE grantee = ‘GGADMIN’;
“`
权限配置正常
– 检查加密配置：
“`
GGSCI> view param EXT1 | grep ENCRYPT
“`
加密配置正常

4. 可靠性检查：
– 检查备份情况：
“`
ls -la /GoldenGate/backup/
“`
备份情况正常
– 检查故障恢复配置：
“`
GGSCI> view param MGR | grep AUTORESTART
“`
故障恢复配置正常

### 检查结果
– 性能正常：同步延迟为0，进程性能良好
– 配置正常：参数配置、表映射、安全配置均正常
– 安全正常：权限配置、加密配置均正常
– 可靠性正常：备份情况、故障恢复配置均正常
– 检查结论：系统健康状态良好

## 案例2：年度健康检查

### 背景
– 客户：某金融科技公司
– 系统：GoldenGate 21c
– 检查频率：每年
– 检查内容：全面的健康状态评估

### 检查步骤
1. 性能评估：
– 分析历史性能数据
– 进行性能测试
– 评估性能瓶颈

2. 配置评估：
– 检查配置的合理性
– 评估配置的安全性
– 检查配置的一致性

3. 安全评估：
– 进行安全审计
– 检查安全漏洞
– 评估安全风险

4. 可靠性评估：
– 测试故障恢复能力
– 评估高可用性配置
– 检查灾难恢复方案

### 检查结果
– 性能评估：系统性能良好，满足业务需求
– 配置评估：配置合理，安全可靠
– 安全评估：系统安全，无重大漏洞
– 可靠性评估：系统可靠性高，故障恢复能力强
– 检查结论：系统健康状态优秀，建议继续保持

## 案例1：Shell脚本自动化巡检

### 背景
– 客户：某大型零售企业
– 系统：GoldenGate 19c
– 需求：自动化日常巡检，减少人工操作

### 解决方案
– 编写Shell脚本：
“`bash
#!/bin/bash
# daily_check.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

# 设置变量
GG_HOME=”/GoldenGate/app”
LOG_DIR=”/GoldenGate/logs”
REPORT_FILE=”${LOG_DIR}/daily_check_$(date +%Y%m%d).log”
ALERT_EMAIL=”admin@fgedu.net.cn”

# 创建日志目录
mkdir -p ${LOG_DIR}

# 编写报告头
echo “=== GoldenGate Daily Check Report ===” > ${REPORT_FILE}
echo “Date: $(date)” >> ${REPORT_FILE}
echo “” >> ${REPORT_FILE}

# 检查Manager进程
echo “1. Checking Manager process…” >> ${REPORT_FILE}
${GG_HOME}/ggsci << EOF >> ${REPORT_FILE}
info mgr
EOF
echo “” >> ${REPORT_FILE}

# 检查Extract进程
echo “2. Checking Extract processes…” >> ${REPORT_FILE}
${GG_HOME}/ggsci << EOF >> ${REPORT_FILE}
info extract *
EOF
echo “” >> ${REPORT_FILE}

# 检查Replicat进程
echo “3. Checking Replicat processes…” >> ${REPORT_FILE}
${GG_HOME}/ggsci << EOF >> ${REPORT_FILE}
info replicat *
EOF
echo “” >> ${REPORT_FILE}

# 检查同步延迟
echo “4. Checking replication lag…” >> ${REPORT_FILE}
${GG_HOME}/ggsci << EOF >> ${REPORT_FILE}
lag *
EOF
echo “” >> ${REPORT_FILE}

# 检查系统资源
echo “5. Checking system resources…” >> ${REPORT_FILE}
echo “CPU usage:” >> ${REPORT_FILE}
top -b -n 1 | grep “%Cpu” >> ${REPORT_FILE}
echo “Memory usage:” >> ${REPORT_FILE}
free -m >> ${REPORT_FILE}
echo “Disk usage:” >> ${REPORT_FILE}
df -h >> ${REPORT_FILE}
echo “” >> ${REPORT_FILE}

# 检查网络状态
echo “6. Checking network status…” >> ${REPORT_FILE}
echo “Ping to target database:” >> ${REPORT_FILE}
ping -c 3 192.168.1.100 >> ${REPORT_FILE}
echo “GoldenGate port status:” >> ${REPORT_FILE}
netstat -an | grep 7809 >> ${REPORT_FILE}
echo “” >> ${REPORT_FILE}

# 检查备份情况
echo “7. Checking backup status…” >> ${REPORT_FILE}
ls -la /GoldenGate/backup/ >> ${REPORT_FILE}
echo “” >> ${REPORT_FILE}

# 检查日志文件
echo “8. Checking log files…” >> ${REPORT_FILE}
grep -i error ${GG_HOME}/dirrpt/*.rpt | tail -n 10 >> ${REPORT_FILE}
echo “” >> ${REPORT_FILE}

# 发送邮件
mail -s “GoldenGate Daily Check Report” ${ALERT_EMAIL} < ${REPORT_FILE} echo "Daily check completed. Report sent to ${ALERT_EMAIL}" ``` - 配置crontab： ``` # 每天凌晨2点执行 0 2 * * * /GoldenGate/scripts/daily_check.sh ``` ### 实施结果 - 自动化巡检脚本成功运行 - 每天自动生成巡检报告并发送邮件 - 及时发现和解决问题 - 减少了人工操作，提高了工作效率 ## 案例2：Python脚本自动化巡检与监控 ### 背景 - 客户：某金融机构 - 系统：GoldenGate 21c - 需求：自动化巡检和监控，实时告警 ### 解决方案 - 编写Python脚本： ```python #!/usr/bin/env python3 # gg_monitor.py # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn import os import time import smtplib from email.mime.text import MIMEText from email.header import Header # 设置变量 GG_HOME = "/GoldenGate/app" LOG_DIR = "/GoldenGate/logs" ALERT_EMAIL = "admin@fgedu.net.cn" # 创建日志目录 os.makedirs(LOG_DIR, exist_ok=True) def run_ggsci_command(command): """运行GGSCI命令""" cmd = f"{GG_HOME}/ggsci << EOF\n{command}\nEOF" result = os.popen(cmd).read() return result def check_manager(): """检查Manager进程""" result = run_ggsci_command("info mgr") if "RUNNING" in result: return True, result else: return False, result def check_extract(): """检查Extract进程""" result = run_ggsci_command("info extract *") if "ABENDED" in result: return False, result else: return True, result def check_replicat(): """检查Replicat进程""" result = run_ggsci_command("info replicat *") if "ABENDED" in result: return False, result else: return True, result def check_lag(): """检查同步延迟""" result = run_ggsci_command("lag *") # 检查是否有延迟超过10分钟的情况 lines = result.split('\n') for line in lines: if "REPLICAT" in line: parts = line.split() if len(parts) > 2:
lag = parts[2]
if “hh:mm:ss” in lag:
hours, minutes, seconds = lag.split(‘:’)
total_minutes = int(hours) * 60 + int(minutes)
if total_minutes > 10:
return False, result
return True, result

def send_alert(subject, message):
“””发送告警邮件”””
msg = MIMEText(message, ‘plain’, ‘utf-8’)
msg[‘Subject’] = Header(subject, ‘utf-8’)
msg[‘From’] = “goldengate@fgedu.net.cn”
msg[‘To’] = ALERT_EMAIL

try:
smtp = smtplib.SMTP(‘smtp.fgedu.net.cn’)
smtp.login(‘goldengate@fgedu.net.cn’, ‘password’)
smtp.sendmail(‘goldengate@fgedu.net.cn’, [ALERT_EMAIL], msg.as_string())
smtp.quit()
print(“Alert email sent successfully”)
except Exception as e:
print(f”Failed to send alert email: {e}”)

def main():
“””主函数”””
timestamp = time.strftime(“%Y%m%d_%H%M%S”)
log_file = os.path.join(LOG_DIR, f”gg_monitor_{timestamp}.log”)

with open(log_file, ‘w’) as f:
f.write(“=== GoldenGate Monitor Report ===\n”)
f.write(f”Time: {time.strftime(‘%Y-%m-%d %H:%M:%S’)}\n\n”)

# 检查Manager进程
f.write(“1. Checking Manager process…\n”)
mgr_ok, mgr_result = check_manager()
f.write(mgr_result)
f.write(“\n”)

# 检查Extract进程
f.write(“2. Checking Extract processes…\n”)
extract_ok, extract_result = check_extract()
f.write(extract_result)
f.write(“\n”)

# 检查Replicat进程
f.write(“3. Checking Replicat processes…\n”)
replicat_ok, replicat_result = check_replicat()
f.write(replicat_result)
f.write(“\n”)

# 检查同步延迟
f.write(“4. Checking replication lag…\n”)
lag_ok, lag_result = check_lag()
f.write(lag_result)
f.write(“\n”)

# 检查系统资源
f.write(“5. Checking system resources…\n”)
f.write(“CPU usage:\n”)
f.write(os.popen(“top -b -n 1 | grep ‘%Cpu'”).read())
f.write(“Memory usage:\n”)
f.write(os.popen(“free -m”).read())
f.write(“Disk usage:\n”)
f.write(os.popen(“df -h”).read())
f.write(“\n”)

# 检查网络状态
f.write(“6. Checking network status…\n”)
f.write(“Ping to target database:\n”)
f.write(os.popen(“ping -c 3 192.168.1.100”).read())
f.write(“GoldenGate port status:\n”)
f.write(os.popen(“netstat -an | grep 7809”).read())
f.write(“\n”)

# 检查是否有异常
if not mgr_ok:
send_alert(“GoldenGate Alert: Manager Process Down”, mgr_result)
if not extract_ok:
send_alert(“GoldenGate Alert: Extract Process Abended”, extract_result)
if not replicat_ok:
send_alert(“GoldenGate Alert: Replicat Process Abended”, replicat_result)
if not lag_ok:
send_alert(“GoldenGate Alert: Replication Lag Exceeded”, lag_result)

print(f”Monitoring completed. Log saved to {log_file}”)

if __name__ == “__main__”:
main()
“`

– 配置监控：
– 使用crontab每5分钟执行一次
– 配置Prometheus和Grafana进行可视化监控

### 实施结果
– 自动化监控脚本成功运行
– 实时监控GoldenGate的状态
– 发现异常及时发送告警邮件
– 通过Grafana面板直观展示系统状态
– 提高了系统的可靠性和稳定性