## 1. SQL最佳实践
– 使用绑定变量：避免SQL注入，提高性能
– 优化SQL语句：确保SQL语句的执行效率
– 使用适当的索引：提高SQL语句的执行速度
– 避免全表扫描：减少数据库的负载
– 合理使用分区：提高查询性能
– 定期分析执行计划：优化SQL语句的执行

## 2. 开发最佳实践
– 模块化设计：将代码分为多个模块，提高可维护性
– 代码复用：复用现有的代码，减少重复开发
– 错误处理：添加适当的错误处理机制
– 日志记录：添加详细的日志记录
– 性能优化：优化代码的性能
– 安全性：确保代码的安全性
– 可测试性：确保代码易于测试

## 3. GoldenGate配置最佳实践
– 使用参数文件：将配置参数集中管理
– 合理设置参数：根据实际需求设置参数
– 使用映射文件：定义表和列的映射关系
– 定期备份配置：防止配置丢失
– 版本控制：对配置文件进行版本控制
– 文档化：为配置添加详细的文档

## 4. 测试最佳实践
– 单元测试：测试各个模块的功能
– 集成测试：测试模块之间的集成
– 性能测试：测试系统的性能
– 安全测试：测试系统的安全性
– 回归测试：确保修改不会破坏现有功能
– 自动化测试：使用自动化测试工具

## 5. 部署最佳实践
– 制定部署计划：详细规划部署步骤
– 备份现有系统：防止部署失败
– 分阶段部署：减少部署风险
– 监控部署过程：及时发现和解决问题
– 回滚计划：制定部署失败的回滚计划
– 文档化部署：记录部署过程和结果

from GoldenGate视频:www.itpux.com

Part03-生产环境项目实施方案

3.1 SQL实施

GoldenGate SQL实施的步骤如下：

## 1. 需求分析
– 分析业务需求：了解业务对数据同步的需求
– 分析数据结构：了解源数据库和目标数据库的数据结构
– 分析数据流程：了解数据的流动过程
– 分析性能要求：了解对数据同步性能的要求

## 2. SQL设计
– 设计表映射：定义源表和目标表之间的映射关系
– 设计列映射：定义源列和目标列之间的映射关系
– 设计过滤条件：定义数据过滤的条件
– 设计数据转换：定义数据转换的规则

## 3. SQL编写
– 编写Extract SQL：编写用于提取数据的SQL语句
– 编写Replicat SQL：编写用于应用数据的SQL语句
– 编写转换函数：编写用于数据转换的函数
– 编写过滤条件：编写用于数据过滤的条件

## 4. SQL测试
– 测试SQL语句的正确性：确保SQL语句能够正确执行
– 测试SQL语句的性能：确保SQL语句的执行效率
– 测试SQL语句的稳定性：确保SQL语句在不同情况下都能正常执行
– 测试SQL语句的安全性：确保SQL语句不会导致安全问题

## 5. SQL优化
– 分析执行计划：分析SQL语句的执行计划
– 优化SQL语句：根据执行计划优化SQL语句
– 优化索引：为SQL语句创建适当的索引
– 优化参数：调整数据库参数以提高SQL语句的性能

## 6. SQL部署
– 部署SQL语句：将SQL语句部署到生产环境
– 监控SQL执行：监控SQL语句的执行情况
– 调整SQL语句：根据监控结果调整SQL语句
– 维护SQL语句：定期维护和更新SQL语句

## 1. 环境搭建
– 安装GoldenGate：在开发环境中安装GoldenGate
– 配置开发环境：配置GoldenGate的开发环境
– 安装开发工具：安装必要的开发工具
– 配置版本控制：配置代码版本控制系统

## 2. 代码开发
– 设计架构：设计GoldenGate应用的架构
– 编写代码：编写GoldenGate应用的代码
– 编写配置文件：编写GoldenGate的配置文件
– 编写脚本：编写自动化脚本

## 3. 代码测试
– 单元测试：测试各个模块的功能
– 集成测试：测试模块之间的集成
– 性能测试：测试系统的性能
– 安全测试：测试系统的安全性

## 4. 代码优化
– 性能优化：优化代码的性能
– 安全性优化：优化代码的安全性
– 可维护性优化：优化代码的可维护性
– 可靠性优化：优化代码的可靠性

## 5. 代码部署
– 编译代码：编译GoldenGate应用的代码
– 打包应用：打包GoldenGate应用
– 部署应用：将应用部署到生产环境
– 监控应用：监控应用的运行情况

## 6. 代码维护
– 故障排查：排查应用运行中遇到的问题
– 性能调优：调整应用的性能
– 功能扩展：扩展应用的功能
– 版本更新：更新应用的版本

## 1. 测试计划
– 制定测试计划：详细规划测试步骤和测试用例
– 确定测试环境：搭建适当的测试环境
– 确定测试数据：准备测试数据
– 确定测试工具：选择合适的测试工具

## 2. 功能测试
– 测试数据同步：测试数据从源端到目标端的同步
– 测试数据转换：测试数据转换的正确性
– 测试数据过滤：测试数据过滤的正确性
– 测试错误处理：测试系统对错误的处理能力

## 3. 性能测试
– 测试同步速度：测试数据同步的速度
– 测试同步延迟：测试数据同步的延迟
– 测试系统资源使用：测试系统资源的使用情况
– 测试并发处理：测试系统的并发处理能力

## 4. 可靠性测试
– 测试故障恢复：测试系统在故障情况下的恢复能力
– 测试数据一致性：测试数据在同步过程中的一致性
– 测试系统稳定性：测试系统在长时间运行中的稳定性
– 测试边界情况：测试系统在边界情况下的表现

## 5. 安全性测试
– 测试权限控制：测试系统的权限控制能力
– 测试数据安全：测试数据的安全性
– 测试审计功能：测试系统的审计功能
– 测试防护能力：测试系统对安全攻击的防护能力

## 6. 验收测试
– 按照验收标准进行测试：验证系统是否满足验收标准
– 测试业务场景：测试实际业务场景的运行情况
– 测试用户体验：测试系统的用户体验
– 编写验收报告：记录测试结果和发现的问题

## 案例1：基本数据同步

### 需求
– 同步源数据库中的fgedu.emp表到目标数据库
– 保持数据的一致性

### 解决方案
– Extract配置：
“`
EXTRACT EXT1
USERID fgedu, PASSWORD fgedu123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.emp;
“`
– Replicat配置：
“`
REPLICAT REP1
USERID fgedu, PASSWORD fgedu123
ASSUMETARGETDEFS
MAP fgedu.emp, TARGET fgedu.emp;
“`

### 执行过程
1. 启动Extract进程：
“`
GGSCI> start EXT1
“`
2. 启动Replicat进程：
“`
GGSCI> start REP1
“`
3. 验证同步：
“`sql
— 在源数据库插入数据
INSERT INTO fgedu.emp (empno, ename, job, mgr, hiredate, sal, comm, deptno) VALUES (7369, ‘SMITH’, ‘CLERK’, 7902, TO_DATE(’17-12-1980′, ‘DD-MM-YYYY’), 800, NULL, 20);
COMMIT;

— 在目标数据库查询数据
SELECT * FROM fgedu.emp WHERE empno = 7369;
“`

### 输出结果
“`
EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO
7369 SMITH CLERK 7902 17-DEC-80 800 NULL 20
“`

## 案例2：数据转换

### 需求
– 同步源数据库中的fgedu.emp表到目标数据库
– 将sal列的值乘以1.1（增加10%）

### 解决方案
– Replicat配置：
“`
REPLICAT REP1
USERID fgedu, PASSWORD fgedu123
ASSUMETARGETDEFS
MAP fgedu.emp, TARGET fgedu.emp, COLMAP (
empno = empno,
ename = ename,
job = job,
mgr = mgr,
hiredate = hiredate,
sal = sal * 1.1,
comm = comm,
deptno = deptno
);
“`

### 执行过程
1. 启动Extract和Replicat进程
2. 在源数据库插入数据：
“`sql
INSERT INTO fgedu.emp (empno, ename, job, mgr, hiredate, sal, comm, deptno) VALUES (7499, ‘ALLEN’, ‘SALESMAN’, 7698, TO_DATE(’20-02-1981′, ‘DD-MM-YYYY’), 1600, 300, 30);
COMMIT;
“`
3. 在目标数据库查询数据：
“`sql
SELECT empno, ename, sal FROM fgedu.emp WHERE empno = 7499;
“`

### 输出结果
“`
EMPNO ENAME SAL
7499 ALLEN 1760
“`

## 案例3：数据过滤

### 需求
– 同步源数据库中的fgedu.emp表到目标数据库
– 只同步deptno为20的记录

### 解决方案
– Extract配置：
“`
EXTRACT EXT1
USERID fgedu, PASSWORD fgedu123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.emp, FILTER (deptno = 20);
“`

### 执行过程
1. 启动Extract和Replicat进程
2. 在源数据库插入数据：
“`sql
— 插入deptno为20的记录
INSERT INTO fgedu.emp (empno, ename, job, mgr, hiredate, sal, comm, deptno) VALUES (7521, ‘WARD’, ‘SALESMAN’, 7698, TO_DATE(’22-02-1981′, ‘DD-MM-YYYY’), 1250, 500, 30);
— 插入deptno为30的记录
INSERT INTO fgedu.emp (empno, ename, job, mgr, hiredate, sal, comm, deptno) VALUES (7566, ‘JONES’, ‘MANAGER’, 7839, TO_DATE(’02-04-1981′, ‘DD-MM-YYYY’), 2975, NULL, 20);
COMMIT;
“`
3. 在目标数据库查询数据：
“`sql
SELECT empno, ename, deptno FROM fgedu.emp;
“`

### 输出结果
“`
EMPNO ENAME DEPTNO
7566 JONES 20
“`

## 案例1：自动化监控脚本

### 需求
– 开发一个脚本，监控GoldenGate进程的状态
– 当进程异常时，发送告警邮件

### 解决方案
– 编写Shell脚本：
“`bash
#!/bin/bash
# monitor_gg.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

# 设置变量
GG_HOME=”/GoldenGate/app”
EMAIL=”admin@fgedu.net.cn”

# 检查Manager进程
echo “Checking Manager process…”
$GG_HOME/ggsci << EOF > /tmp/gg_status.txt
info mgr
EOF

if grep -q “RUNNING” /tmp/gg_status.txt; then
echo “Manager is running.”
else
echo “Manager is not running!”
echo “Manager is not running. Please check.” | mail -s “GoldenGate Manager Alert” $EMAIL
fi

# 检查Extract进程
echo “Checking Extract processes…”
$GG_HOME/ggsci << EOF >> /tmp/gg_status.txt
info extract *
EOF

if grep -q “ABENDED” /tmp/gg_status.txt; then
echo “Some Extract processes are abended!”
echo “Some Extract processes are abended. Please check.” | mail -s “GoldenGate Extract Alert” $EMAIL
else
echo “All Extract processes are running.”
fi

# 检查Replicat进程
echo “Checking Replicat processes…”
$GG_HOME/ggsci << EOF >> /tmp/gg_status.txt
info replicat *
EOF

if grep -q “ABENDED” /tmp/gg_status.txt; then
echo “Some Replicat processes are abended!”
echo “Some Replicat processes are abended. Please check.” | mail -s “GoldenGate Replicat Alert” $EMAIL
else
echo “All Replicat processes are running.”
fi

# 检查同步延迟
echo “Checking replication lag…”
$GG_HOME/ggsci << EOF >> /tmp/gg_status.txt
lag *
EOF

# 清理临时文件
rm /tmp/gg_status.txt
“`

### 执行过程
1. 保存脚本为monitor_gg.sh
2. 赋予执行权限：
“`
chmod +x monitor_gg.sh
“`
3. 运行脚本：
“`
./monitor_gg.sh
“`

### 输出结果
“`
Checking Manager process…
Manager is running.
Checking Extract processes…
All Extract processes are running.
Checking Replicat processes…
All Replicat processes are running.
Checking replication lag…
“`

## 案例2：数据同步状态监控工具

### 需求
– 开发一个工具，监控GoldenGate数据同步的状态
– 提供Web界面，显示同步状态和延迟

### 解决方案
– 编写Python脚本，使用Flask框架：
“`python
#!/usr/bin/env python3
# gg_monitor.py
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

from flask import Flask, render_template
import subprocess
import re

app = Flask(__name__)

GG_HOME = “/GoldenGate/app”

def get_gg_status():
# 获取Manager状态
result = subprocess.run([GG_HOME + “/ggsci”], input=b”info mgr\nexit\n”, capture_output=True, text=True)
mgr_status = “RUNNING” if “RUNNING” in result.stdout else “STOPPED”

# 获取Extract状态
result = subprocess.run([GG_HOME + “/ggsci”], input=b”info extract *\nexit\n”, capture_output=True, text=True)
extract_status = []
for line in result.stdout.split(‘\n’):
if “EXTRACT” in line:
parts = line.split()
extract_status.append({
“name”: parts[1],
“status”: parts[2],
“lag”: parts[3] if len(parts) > 3 else “0”
})

# 获取Replicat状态
result = subprocess.run([GG_HOME + “/ggsci”], input=b”info replicat *\nexit\n”, capture_output=True, text=True)
replicat_status = []
for line in result.stdout.split(‘\n’):
if “REPLICAT” in line:
parts = line.split()
replicat_status.append({
“name”: parts[1],
“status”: parts[2],
“lag”: parts[3] if len(parts) > 3 else “0”
})

return {
“mgr_status”: mgr_status,
“extract_status”: extract_status,
“replicat_status”: replicat_status
}

@app.route(‘/’)
def index():
status = get_gg_status()
return render_template(‘index.html’, status=status)

if __name__ == ‘__main__’:
app.run(host=’0.0.0.0′, port=5000)
“`

### 执行过程
1. 安装Flask：
“`
pip install flask
“`
2. 创建templates目录和index.html文件
3. 运行脚本：
“`
python gg_monitor.py
“`
4. 访问Web界面：http://localhost:5000

### 输出结果
– Web界面显示Manager、Extract和Replicat的状态和延迟

## 案例1：SQL语句优化

### 背景
– 源数据库中的fgedu.emp表有1000万条记录
– Extract进程提取数据的速度很慢

### 问题分析
– 检查表结构：
“`sql
DESC fgedu.emp;
“`
– 查看执行计划：
“`sql
EXPLAIN PLAN FOR SELECT * FROM fgedu.emp;
SELECT * FROM TABLE(DBMS_XPLAN.DISPLAY);
“`
– 发现问题：表没有主键，Extract进程需要全表扫描

### 解决方案
– 添加主键：
“`sql
ALTER TABLE fgedu.emp ADD PRIMARY KEY (empno);
“`
– 重新启动Extract进程：
“`
GGSCI> stop EXT1
GGSCI> start EXT1
“`

### 优化结果
– Extract进程提取数据的速度从1000条/秒提升到10000条/秒

## 案例2：索引优化

### 背景
– 目标数据库中的fgedu.emp表有1000万条记录
– Replicat进程应用数据的速度很慢

### 问题分析
– 检查表结构：
“`sql
DESC fgedu.emp;
“`
– 查看执行计划：
“`sql
EXPLAIN PLAN FOR UPDATE fgedu.emp SET sal = :sal WHERE empno = :empno;
SELECT * FROM TABLE(DBMS_XPLAN.DISPLAY);
“`
– 发现问题：表有主键，但Replicat进程使用的是全表扫描

### 解决方案
– 重建索引：
“`sql
ALTER INDEX fgedu.emp_pk REBUILD;
“`
– 收集统计信息：
“`sql
EXEC DBMS_STATS.GATHER_TABLE_STATS(‘FGEDU’, ‘EMP’);
“`

### 优化结果
– Replicat进程应用数据的速度从500条/秒提升到5000条/秒

## 案例3：参数优化

### 背景
– GoldenGate同步延迟很高
– 系统资源使用正常

### 问题分析
– 查看Extract参数：
“`
GGSCI> view param EXT1
“`
– 发现问题：Extract进程的参数设置不合理

### 解决方案
– 修改Extract参数：
“`
GGSCI> edit param EXT1
EXTRACT EXT1
USERID fgedu, PASSWORD fgedu123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.emp;
TRANLOGOPTIONS EXCLUDEUSER FGEDU
FETCHOPTIONS NOUSESNAPSHOT
NUMFILES 5000
BUFFERSIZE 256K
“`
– 重新启动Extract进程：
“`
GGSCI> stop EXT1
GGSCI> start EXT1
“`

### 优化结果
– 同步延迟从10分钟降低到1分钟