## 1. 分片策略选择
– 哈希分片：适合数据分布均匀，查询模式简单的场景
– 范围分片：适合数据有明显范围特征，查询模式以范围查询为主的场景
– 列表分片：适合数据有明确分类，查询模式以分类查询为主的场景
– 复合分片：适合复杂的业务场景，需要综合多种分片策略

## 2. 分片键选择
– 唯一性：分片键应该具有唯一性，确保数据分布均匀
– 稳定性：分片键应该是稳定的，避免数据频繁迁移
– 业务相关性：分片键应该与业务逻辑相关，减少跨分片查询
– 查询频率：分片键应该是查询频率较高的字段，提高查询性能

## 3. 分片数量确定
– 数据量：根据数据量的大小，确定分片的数量
– 性能要求：根据系统的性能要求，确定分片的数量
– 硬件资源：根据硬件资源的情况，确定分片的数量
– 管理成本：考虑分片的管理成本，避免分片数量过多

## 4. 数据迁移策略
– 离线迁移：在系统低峰期进行数据迁移
– 在线迁移：使用工具进行在线数据迁移，减少系统 downtime
– 双写迁移：同时向旧分片和新分片写入数据，确保数据一致性
– 验证迁移：迁移后验证数据的一致性，确保迁移成功

## 5. 跨分片查询处理
– 应用层处理：在应用层处理跨分片查询，如使用UNION ALL
– 中间件处理：使用中间件处理跨分片查询，如MyCat、Sharding-JDBC
– 缓存处理：使用缓存减少跨分片查询的频率
– 数据冗余：在多个分片上冗余数据，减少跨分片查询

## 6. 事务处理
– 本地事务：尽量使用本地事务，减少跨分片事务
– 分布式事务：使用分布式事务处理跨分片事务，如XA协议
– 最终一致性：使用最终一致性模型，减少分布式事务的开销
– 消息队列：使用消息队列确保数据的最终一致性

## 7. 监控管理
– 分片状态监控：监控分片的状态，如数据量、查询性能等
– 告警机制：设置告警机制，及时发现和处理问题
– 日志分析：分析分片的日志，发现潜在的问题
– 性能优化：根据监控数据，优化分片的性能

## 8. 扩展性考虑
– 动态分片：支持分片的动态增减，应对数据量的增长
– 数据重分布：支持数据的重分布，确保数据均匀分布
– 负载均衡：支持负载均衡，确保各分片的负载均衡
– 弹性伸缩：支持系统的弹性伸缩，应对业务的变化

from GoldenGate视频:www.itpux.com

Part03-生产环境项目实施方案

3.1 分表分库实施

GoldenGate分表分库的实施步骤如下：

## 1. 需求分析
– 分析业务需求：了解业务的特点和数据量
– 分析数据模型：分析数据模型，确定分表分库的对象
– 分析访问模式：分析业务的访问模式，确定分片策略
– 确定性能要求：确定系统的性能要求，如响应时间、并发量等

## 2. 设计方案
– 选择分片策略：根据业务需求，选择合适的分片策略
– 选择分片键：根据访问模式，选择合适的分片键
– 确定分片数量：根据数据量和性能要求，确定分片的数量
– 设计系统架构：设计支持分表分库的系统架构

## 3. 实施准备
– 准备硬件资源：准备足够的硬件资源，如服务器、存储等
– 准备软件环境：安装必要的软件，如数据库、中间件等
– 准备测试环境：搭建测试环境，验证分表分库的效果
– 准备数据迁移工具：准备数据迁移工具，如Oracle Data Pump等

## 4. 数据迁移
– 导出数据：使用数据迁移工具导出原有数据
– 分片数据：根据分片规则，将数据分片到不同的表或数据库
– 导入数据：将分片后的数据导入到目标表或数据库
– 验证数据：验证数据的一致性，确保数据迁移成功

## 5. 应用改造
– 修改应用代码：修改应用代码，支持分表分库
– 配置中间件：配置中间件，如MyCat、Sharding-JDBC等
– 测试应用：测试应用的功能，确保应用正常运行
– 优化应用：根据测试结果，优化应用的性能

## 6. 系统上线
– 切换系统：将系统切换到分表分库模式
– 监控系统：监控系统的运行状态，及时发现和解决问题
– 优化系统：根据运行情况，优化系统的配置和性能
– 培训用户：对用户进行培训，确保用户正确使用系统

## 1. 分片规则设计
– 选择分片键：选择合适的分片键，如用户ID、时间等
– 确定分片算法：根据分片键，确定分片算法，如哈希算法、范围算法等
– 确定分片数量：根据数据量和性能要求，确定分片的数量
– 测试分片效果：测试分片效果，确保数据分布均匀

## 2. 分片环境搭建
– 准备分片服务器：准备多个服务器，用于部署分片
– 安装数据库：在每个分片服务器上安装数据库
– 配置网络：配置分片服务器之间的网络连接
– 配置存储：配置分片服务器的存储，确保存储足够

## 3. 数据初始化
– 创建分片表：在每个分片服务器上创建分片表
– 初始化数据：将初始数据按照分片规则分布到各个分片
– 验证数据：验证数据的分布情况，确保数据分布均匀
– 测试查询：测试查询性能，确保查询性能满足要求

## 4. 分片管理
– 配置分片管理工具：配置分片管理工具，如MyCat、Sharding-JDBC等
– 监控分片状态：监控分片的状态，如数据量、查询性能等
– 处理分片故障：处理分片故障，确保系统的可用性
– 数据备份：定期备份分片数据，确保数据安全

## 5. 性能优化
– 优化分片规则：根据实际情况，优化分片规则
– 优化查询语句：优化查询语句，减少跨分片查询
– 优化索引：优化分片表的索引，提高查询性能
– 优化系统配置：优化系统配置，提高系统的性能

## 6. 扩展性管理
– 动态添加分片：支持动态添加分片，应对数据量的增长
– 数据重分布：支持数据的重分布，确保数据均匀分布
– 负载均衡：支持负载均衡，确保各分片的负载均衡
– 弹性伸缩：支持系统的弹性伸缩，应对业务的变化

## 1. 配置源端
– 配置Extract进程：配置Extract进程，捕获源端数据的变化
– 配置Trail文件：配置Trail文件，存储捕获的数据
– 配置参数：配置Extract进程的参数，如TABLE参数等
– 启动Extract进程：启动Extract进程，开始捕获数据

## 2. 配置目标端
– 配置Replicat进程：配置Replicat进程，应用数据的变化
– 配置表映射：配置表映射，将源端表映射到目标端的分片表
– 配置参数：配置Replicat进程的参数，如MAP参数等
– 启动Replicat进程：启动Replicat进程，开始应用数据

## 3. 数据同步测试
– 测试数据同步：在源端插入、更新、删除数据，测试目标端的数据同步
– 测试性能：测试数据同步的性能，确保性能满足要求
– 测试可靠性：测试系统的可靠性，确保系统稳定运行
– 测试故障恢复：测试故障恢复能力，确保系统在故障后能够正常恢复

## 4. 监控与管理
– 监控数据同步：监控数据同步的状态，如同步延迟、错误等
– 监控系统资源：监控系统资源的使用情况，如CPU、内存、磁盘等
– 处理同步错误：处理数据同步过程中的错误，确保数据一致性
– 优化同步性能：根据监控数据，优化数据同步的性能

## 5. 故障处理
– 处理Extract故障：处理Extract进程的故障，确保数据捕获的连续性
– 处理Replicat故障：处理Replicat进程的故障，确保数据应用的连续性
– 处理网络故障：处理网络故障，确保数据传输的可靠性
– 处理数据库故障：处理数据库故障，确保系统的可用性

## 6. 维护与优化
– 定期维护：定期维护GoldenGate系统，确保系统的正常运行
– 优化配置：根据运行情况，优化GoldenGate的配置
– 升级版本：定期升级GoldenGate版本，确保系统的先进性
– 备份配置：定期备份GoldenGate的配置，确保配置的安全

## 案例1：电商平台订单表分表

### 背景
– 客户：某大型电商平台
– 需求：订单表数据量过大，查询性能下降
– 系统：Oracle Database 19c，GoldenGate 19c
– 数据量：订单表数据量达到1亿条

### 分表方案
1. 分片策略：按照订单创建时间范围分片
2. 分片键：order_create_time
3. 分片数量：12个分片（每月一个分片）
4. 表命名：orders_202401, orders_202402, …, orders_202412

### 实施步骤
1. 创建分片表：
“`sql
CREATE TABLE orders_202401 (
order_id NUMBER PRIMARY KEY,
customer_id NUMBER,
order_amount NUMBER,
order_create_time DATE,
order_status VARCHAR2(20)
);

CREATE TABLE orders_202402 (
order_id NUMBER PRIMARY KEY,
customer_id NUMBER,
order_amount NUMBER,
order_create_time DATE,
order_status VARCHAR2(20)
);

— 创建其他月份的表
“`

2. 配置GoldenGate：
– 源端Extract配置：
“`
EXTRACT EXT1
USERID ggadmin, PASSWORD ggadmin123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.orders;
“`
– 目标端Replicat配置：
“`
REPLICAT REP1
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.orders, TARGET fgedu.orders_202401, FILTER (@STRFIND(order_create_time, ‘2024-01’) > 0);
MAP fgedu.orders, TARGET fgedu.orders_202402, FILTER (@STRFIND(order_create_time, ‘2024-02’) > 0);
— 配置其他月份的映射
“`

3. 启动GoldenGate进程：
“`
GGSCI> start extract EXT1
GGSCI> start replicat REP1
“`

4. 验证数据同步：
– 在源端插入数据：
“`sql
INSERT INTO fgedu.orders (order_id, customer_id, order_amount, order_create_time, order_status)
VALUES (1001, 101, 1000, TO_DATE(‘2024-01-01’, ‘YYYY-MM-DD’), ‘PENDING’);

INSERT INTO fgedu.orders (order_id, customer_id, order_amount, order_create_time, order_status)
VALUES (1002, 102, 2000, TO_DATE(‘2024-02-01’, ‘YYYY-MM-DD’), ‘COMPLETED’);
COMMIT;
“`
– 在目标端查询数据：
“`sql
SELECT * FROM fgedu.orders_202401;
SELECT * FROM fgedu.orders_202402;
“`

### 实施结果
– 订单表成功分表，每个分片的数据量减少
– 查询性能显著提高
– GoldenGate数据同步正常
– 系统稳定性和可扩展性得到提升

## 案例2：金融机构用户表分库

### 背景
– 客户：某大型银行
– 需求：用户表数据量过大，系统性能下降
– 系统：Oracle Database 19c，GoldenGate 19c
– 数据量：用户表数据量达到5000万条

### 分库方案
1. 分片策略：按照用户ID哈希分片
2. 分片键：user_id
3. 分片数量：4个分片（4个数据库）
4. 数据库命名：db1, db2, db3, db4

### 实施步骤
1. 创建分片数据库：
– 在4个服务器上创建数据库：db1, db2, db3, db4
– 在每个数据库中创建用户表：
“`sql
CREATE TABLE users (
user_id NUMBER PRIMARY KEY,
username VARCHAR2(50),
password VARCHAR2(100),
email VARCHAR2(100),
create_time DATE
);
“`

2. 配置GoldenGate：
– 源端Extract配置：
“`
EXTRACT EXT1
USERID ggadmin, PASSWORD ggadmin123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.users;
“`
– 目标端Replicat配置：
– db1的Replicat配置：
“`
REPLICAT REP1
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 0);
“`
– db2的Replicat配置：
“`
REPLICAT REP2
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 1);
“`
– db3的Replicat配置：
“`
REPLICAT REP3
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 2);
“`
– db4的Replicat配置：
“`
REPLICAT REP4
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 3);
“`

3. 启动GoldenGate进程：
“`
GGSCI> start extract EXT1
GGSCI> start replicat REP1
GGSCI> start replicat REP2
GGSCI> start replicat REP3
GGSCI> start replicat REP4
“`

4. 验证数据同步：
– 在源端插入数据：
“`sql
INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (1, ‘user1’, ‘pass1’, ‘user1@example.com’, SYSDATE);

INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (2, ‘user2’, ‘pass2’, ‘user2@example.com’, SYSDATE);

INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (3, ‘user3’, ‘pass3’, ‘user3@example.com’, SYSDATE);

INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (4, ‘user4’, ‘pass4’, ‘user4@example.com’, SYSDATE);
COMMIT;
“`
– 在目标端查询数据：
– db1：
“`sql
SELECT * FROM users;
“`
– db2：
“`sql
SELECT * FROM users;
“`
– db3：
“`sql
SELECT * FROM users;
“`
– db4：
“`sql
SELECT * FROM users;
“`

### 实施结果
– 用户表成功分库，每个分片的数据量减少
– 查询性能显著提高
– GoldenGate数据同步正常
– 系统稳定性和可扩展性得到提升

## 案例1：零售企业销售数据表分片

### 背景
– 客户：某大型零售企业
– 需求：销售数据表数据量过大，查询性能下降
– 系统：Oracle Database 19c，GoldenGate 19c
– 数据量：销售数据表数据量达到2亿条

### 分片方案
1. 分片策略：按照销售日期范围分片
2. 分片键：sale_date
3. 分片数量：12个分片（每月一个分片）
4. 表命名：sales_202401, sales_202402, …, sales_202412

### 实施步骤
1. 创建分片表：
“`sql
CREATE TABLE sales_202401 (
sale_id NUMBER PRIMARY KEY,
product_id NUMBER,
customer_id NUMBER,
sale_amount NUMBER,
sale_date DATE,
sale_store VARCHAR2(50)
);

CREATE TABLE sales_202402 (
sale_id NUMBER PRIMARY KEY,
product_id NUMBER,
customer_id NUMBER,
sale_amount NUMBER,
sale_date DATE,
sale_store VARCHAR2(50)
);

— 创建其他月份的表
“`

2. 配置GoldenGate：
– 源端Extract配置：
“`
EXTRACT EXT1
USERID ggadmin, PASSWORD ggadmin123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.sales;
“`
– 目标端Replicat配置：
“`
REPLICAT REP1
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.sales, TARGET fgedu.sales_202401, FILTER (@STRFIND(sale_date, ‘2024-01’) > 0);
MAP fgedu.sales, TARGET fgedu.sales_202402, FILTER (@STRFIND(sale_date, ‘2024-02’) > 0);
— 配置其他月份的映射
“`

3. 启动GoldenGate进程：
“`
GGSCI> start extract EXT1
GGSCI> start replicat REP1
“`

4. 验证数据同步：
– 在源端插入数据：
“`sql
INSERT INTO fgedu.sales (sale_id, product_id, customer_id, sale_amount, sale_date, sale_store)
VALUES (1001, 1, 101, 100, TO_DATE(‘2024-01-01’, ‘YYYY-MM-DD’), ‘Store A’);

INSERT INTO fgedu.sales (sale_id, product_id, customer_id, sale_amount, sale_date, sale_store)
VALUES (1002, 2, 102, 200, TO_DATE(‘2024-02-01’, ‘YYYY-MM-DD’), ‘Store B’);
COMMIT;
“`
– 在目标端查询数据：
“`sql
SELECT * FROM fgedu.sales_202401;
SELECT * FROM fgedu.sales_202402;
“`

### 实施结果
– 销售数据表成功分片，每个分片的数据量减少
– 查询性能显著提高
– GoldenGate数据同步正常
– 系统稳定性和可扩展性得到提升

## 案例2：制造企业生产数据表分片

### 背景
– 客户：某大型制造企业
– 需求：生产数据表数据量过大，查询性能下降
– 系统：Oracle Database 19c，GoldenGate 19c
– 数据量：生产数据表数据量达到1亿条

### 分片方案
1. 分片策略：按照生产车间列表分片
2. 分片键：workshop_id
3. 分片数量：5个分片（5个车间）
4. 表命名：production_workshop1, production_workshop2, …, production_workshop5

### 实施步骤
1. 创建分片表：
“`sql
CREATE TABLE production_workshop1 (
production_id NUMBER PRIMARY KEY,
workshop_id NUMBER,
product_id NUMBER,
production_date DATE,
production_quantity NUMBER,
production_status VARCHAR2(20)
);

CREATE TABLE production_workshop2 (
production_id NUMBER PRIMARY KEY,
workshop_id NUMBER,
product_id NUMBER,
production_date DATE,
production_quantity NUMBER,
production_status VARCHAR2(20)
);

— 创建其他车间的表
“`

2. 配置GoldenGate：
– 源端Extract配置：
“`
EXTRACT EXT1
USERID ggadmin, PASSWORD ggadmin123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.production;
“`
– 目标端Replicat配置：
“`
REPLICAT REP1
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.production, TARGET fgedu.production_workshop1, FILTER (workshop_id = 1);
MAP fgedu.production, TARGET fgedu.production_workshop2, FILTER (workshop_id = 2);
— 配置其他车间的映射
“`

3. 启动GoldenGate进程：
“`
GGSCI> start extract EXT1
GGSCI> start replicat REP1
“`

4. 验证数据同步：
– 在源端插入数据：
“`sql
INSERT INTO fgedu.production (production_id, workshop_id, product_id, production_date, production_quantity, production_status)
VALUES (1001, 1, 1, SYSDATE, 100, ‘COMPLETED’);

INSERT INTO fgedu.production (production_id, workshop_id, product_id, production_date, production_quantity, production_status)
VALUES (1002, 2, 2, SYSDATE, 200, ‘COMPLETED’);
COMMIT;
“`
– 在目标端查询数据：
“`sql
SELECT * FROM fgedu.production_workshop1;
SELECT * FROM fgedu.production_workshop2;
“`

### 实施结果
– 生产数据表成功分片，每个分片的数据量减少
– 查询性能显著提高
– GoldenGate数据同步正常
– 系统稳定性和可扩展性得到提升

## 案例1：电商平台订单系统GoldenGate集成

### 背景
– 客户：某大型电商平台
– 需求：实现订单系统的实时数据同步，支持分表分库
– 系统：Oracle Database 19c，GoldenGate 19c
– 架构：源端为单一数据库，目标端为分表分库架构

### 集成方案
1. 源端配置：
– 配置Extract进程：
“`
EXTRACT EXT1
USERID ggadmin, PASSWORD ggadmin123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.orders;
“`

2. 目标端配置：
– 配置Replicat进程：
“`
REPLICAT REP1
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.orders, TARGET fgedu.orders_202401, FILTER (@STRFIND(order_create_time, ‘2024-01’) > 0);
MAP fgedu.orders, TARGET fgedu.orders_202402, FILTER (@STRFIND(order_create_time, ‘2024-02’) > 0);
— 配置其他月份的映射
“`

3. 启动GoldenGate进程：
“`
GGSCI> start extract EXT1
GGSCI> start replicat REP1
“`

4. 验证数据同步：
– 在源端插入数据：
“`sql
INSERT INTO fgedu.orders (order_id, customer_id, order_amount, order_create_time, order_status)
VALUES (1001, 101, 1000, TO_DATE(‘2024-01-01’, ‘YYYY-MM-DD’), ‘PENDING’);

INSERT INTO fgedu.orders (order_id, customer_id, order_amount, order_create_time, order_status)
VALUES (1002, 102, 2000, TO_DATE(‘2024-02-01’, ‘YYYY-MM-DD’), ‘COMPLETED’);
COMMIT;
“`
– 在目标端查询数据：
“`sql
SELECT * FROM fgedu.orders_202401;
SELECT * FROM fgedu.orders_202402;
“`

### 集成结果
– GoldenGate成功集成分表分库架构
– 数据同步正常，延迟控制在秒级
– 系统性能显著提高
– 可扩展性得到提升

## 案例2：金融机构用户系统GoldenGate集成

### 背景
– 客户：某大型银行
– 需求：实现用户系统的实时数据同步，支持分库架构
– 系统：Oracle Database 19c，GoldenGate 19c
– 架构：源端为单一数据库，目标端为分库架构

### 集成方案
1. 源端配置：
– 配置Extract进程：
“`
EXTRACT EXT1
USERID ggadmin, PASSWORD ggadmin123
EXTTRAIL /GoldenGate/fgdata/dirdat/et
TABLE fgedu.users;
“`

2. 目标端配置：
– 配置多个Replicat进程，分别对应不同的分片数据库：
– db1的Replicat配置：
“`
REPLICAT REP1
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 0);
“`
– db2的Replicat配置：
“`
REPLICAT REP2
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 1);
“`
– db3的Replicat配置：
“`
REPLICAT REP3
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 2);
“`
– db4的Replicat配置：
“`
REPLICAT REP4
USERID ggadmin, PASSWORD ggadmin123
ASSUMETARGETDEFS
MAP fgedu.users, TARGET users, FILTER (MOD(user_id, 4) = 3);
“`

3. 启动GoldenGate进程：
“`
GGSCI> start extract EXT1
GGSCI> start replicat REP1
GGSCI> start replicat REP2
GGSCI> start replicat REP3
GGSCI> start replicat REP4
“`

4. 验证数据同步：
– 在源端插入数据：
“`sql
INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (1, ‘user1’, ‘pass1’, ‘user1@example.com’, SYSDATE);

INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (2, ‘user2’, ‘pass2’, ‘user2@example.com’, SYSDATE);

INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (3, ‘user3’, ‘pass3’, ‘user3@example.com’, SYSDATE);

INSERT INTO fgedu.users (user_id, username, password, email, create_time)
VALUES (4, ‘user4’, ‘pass4’, ‘user4@example.com’, SYSDATE);
COMMIT;
“`
– 在目标端查询数据：
– db1：
“`sql
SELECT * FROM users;
“`
– db2：
“`sql
SELECT * FROM users;
“`
– db3：
“`sql
SELECT * FROM users;
“`
– db4：
“`sql
SELECT * FROM users;
“`

### 集成结果
– GoldenGate成功集成分库架构
– 数据同步正常，延迟控制在秒级
– 系统性能显著提高
– 可扩展性得到提升