OceanBase教程FG128-OceanBase数据迁移与同步
本文档风哥主要介绍OceanBase数据迁移与同步，包括数据迁移的概念与意义、数据同步的概念与意义、迁移与同步方法、迁移规划、同步规划、迁移策略、数据迁移实施方案、数据同步实施方案、迁移与同步集成、实战案例等内容，风哥教程参考OceanBase官方文档数据迁移、数据同步等内容编写，适合DBA人员和运维工程师在学习和工作中使用。更多视频教程www.fgedu.net.cn
Part01-基础概念与理论知识
1.1 数据迁移的概念与意义
数据迁移是指将数据从一个系统迁移到另一个系统的过程。数据迁移的意义包括：
- 系统升级：将数据从旧系统迁移到新系统
- 数据整合：将多个系统的数据整合到一个系统
- 云迁移：将数据从本地迁移到云环境
- 存储优化：将数据迁移到更高效的存储介质
- 业务需求：满足业务发展的需要
1.2 数据同步的概念与意义
数据同步是指将数据在不同系统之间保持一致的过程。数据同步的意义包括：
- 数据备份：将数据同步到备份系统
- 高可用性：通过数据同步实现系统的高可用性
- 负载均衡：通过数据同步实现负载均衡
- 数据分发：将数据分发到多个系统
- 业务需求：满足业务发展的需要
1.3 迁移与同步方法
常见的数据迁移与同步方法包括：
- 逻辑迁移：使用SQL语句或工具将数据从源系统导出，然后导入到目标系统
- 物理迁移：直接复制数据文件从源系统到目标系统
- 增量迁移：只迁移自上次迁移以来更改的数据
- 全量迁移：迁移所有数据
- 实时同步：实时将数据从源系统同步到目标系统
- 定期同步：定期将数据从源系统同步到目标系统
Part02-生产环境规划与建议
2.1 迁移规划
迁移规划的考虑因素：
- 迁移目标：确定迁移的目标和范围
- 迁移方法：选择合适的迁移方法
- 迁移时间：确定迁移的时间窗口
- 迁移测试：制定迁移测试计划
- 回滚计划：制定迁移失败的回滚计划
推荐的迁移规划：
- 迁移方法：根据数据量和业务需求选择合适的迁移方法
- 迁移时间：选择业务低峰期进行迁移
- 迁移测试：在迁移前进行充分的测试
- 回滚计划：制定详细的回滚计划，确保在迁移失败时能够快速回滚
2.2 同步规划
同步规划的考虑因素：
- 同步目标：确定同步的目标和范围
- 同步方法：选择合适的同步方法
- 同步频率：确定同步的频率
- 同步监控：制定同步监控计划
- 同步故障处理：制定同步故障的处理计划
，风哥提示：。
推荐的同步规划：
- 同步方法：根据业务需求选择合适的同步方法
- 同步频率：根据数据变化的频率确定同步频率
- 同步监控：建立同步监控机制，及时发现和处理同步问题
- 同步故障处理：制定详细的同步故障处理计划，确保同步的可靠性
2.3 迁移策略
迁移策略的内容包括：
- 迁移顺序：确定迁移的顺序，如先迁移静态数据，后迁移动态数据
- 迁移时间：确定迁移的时间窗口，如周末或夜间
- 迁移验证：确定迁移后的验证方法
- 业务切换：确定业务切换的方法和时间
- 风险评估：评估迁移的风险，制定风险应对措施
推荐的迁移策略：
- 分阶段迁移：将迁移分为多个阶段，逐步完成
- 增量迁移：先进行全量迁移，然后进行增量迁移
- 并行运行：在迁移后，让源系统和目标系统并行运行一段时间，确保数据一致性
- 业务切换：在迁移完成后，选择合适的时间进行业务切换
，学习交流加群风哥微信: itpux-com。
Part03-生产环境项目实施方案
3.1 数据迁移实施方案
3.1.1 数据迁移实施步骤
## 1. 环境准备
– 创建目标数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE USER fgedu IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb.* TO fgedu;”
– 创建表结构：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_user (user_id INT PRIMARY KEY, user_name VARCHAR(100), password VARCHAR(255));”
## 2. 全量迁移
– 使用obdump导出数据：
$ obdump –tenant fgedudb –database fgedudb –table fgedu_order,fgedu_user –output_dir /ob/migration/full –user root@fgedudb –password password
– 使用obload导入数据：
$ obload –tenant fgedudb –database fgedudb –input_dir /ob/migration/full –user root@fgedudb –password password
– 验证数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_order;”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_user;”
## 3. 增量迁移
– 使用obdump导出增量数据：
$ obdump –tenant fgedudb –database fgedudb –table fgedu_order,fgedu_user –output_dir /ob/migration/incremental –user root@fgedudb –password password –where “order_time >= ‘2026-01-01′”
– 使用obload导入增量数据：
$ obload –tenant fgedudb –database fgedudb –input_dir /ob/migration/incremental –user root@fgedudb –password password
– 验证数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_order WHERE order_time >= ‘2026-01-01’;”，学习交流加群风哥QQ113257174。
## 4. 迁移自动化
– 创建迁移脚本：
$ cat > /ob/scripts/migration.sh << 'EOF'
#!/bin/bash
# migration.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`
# 全量迁移
full_migration() {
output_dir="/ob/migration/full_$(date +%Y%m%d)"
obdump --tenant fgedudb --database fgedudb --table fgedu_order,fgedu_user --output_dir $output_dir --user root@fgedudb --password password
if [ $? -eq 0 ]; then
echo "全量导出成功: $output_dir"
obload --tenant fgedudb --database fgedudb --input_dir $output_dir --user root@fgedudb --password password
if [ $? -eq 0 ]; then
echo "全量导入成功"
else
echo "全量导入失败"
fi
else
echo "全量导出失败"
fi
}
# 增量迁移
incremental_migration() {
output_dir="/ob/migration/incremental_$(date +%Y%m%d)"
obdump --tenant fgedudb --database fgedudb --table fgedu_order,fgedu_user --output_dir $output_dir --user root@fgedudb --password password --where "order_time >= ‘$(date -d “-1 day” +%Y-%m-%d)'”
if [ $? -eq 0 ]; then
echo “增量导出成功: $output_dir”
obload –tenant fgedudb –database fgedudb –input_dir $output_dir –user root@fgedudb –password password
if [ $? -eq 0 ]; then
echo “增量导入成功”
else
echo “增量导入失败”
fi
else
echo “增量导出失败”
fi，更多视频教程www.fgedu.net.cn。
}
# 验证数据
verify_data() {
echo “验证订单表数据:”
obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_order;”
echo “验证用户表数据:”
obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_user;”
}
# 主函数
main() {
case $1 in
full)
full_migration
;;
incremental)
incremental_migration
;;
verify)
verify_data
;;
*)
echo “用法: $0 {full|incremental|verify}”
;;
esac
}
main $@
EOF
– 设置脚本权限：
$ chmod +x /ob/scripts/migration.sh
– 执行迁移：
$ /ob/scripts/migration.sh full
$ /ob/scripts/migration.sh incremental
$ /ob/scripts/migration.sh verify
## 5. 测试验证，更多学习教程公众号风哥教程itpux_com。
– 检查数据一致性：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_order ORDER BY order_id DESC LIMIT 10;”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_user ORDER BY user_id DESC LIMIT 10;”
– 测试业务功能：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “INSERT INTO fgedu_order VALUES (100001, 123456, 100.00, NOW());”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_order WHERE order_id = 100001;”
3.2 数据同步实施方案
3.2.1 数据同步实施步骤
## 1. 环境准备
– 配置源数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb_source;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE USER fgedu_source IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb_source.* TO fgedu_source;”
– 配置目标数据库：
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb_target;”
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “CREATE USER fgedu_target IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb_target.* TO fgedu_target;”
– 创建表结构：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”，from DB视频:www.itpux.com。
## 2. 全量同步
– 使用obdump导出数据：
$ obdump –tenant fgedudb_source –database fgedudb_source –table fgedu_order –output_dir /ob/sync/full –user root@fgedudb_source –password password
– 使用obload导入数据：
$ obload –tenant fgedudb_target –database fgedudb_target –input_dir /ob/sync/full –user root@fgedudb_target –password password
– 验证数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “SELECT COUNT(*) FROM fgedu_order;”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT COUNT(*) FROM fgedu_order;”
## 3. 增量同步
– 创建同步脚本：
$ cat > /ob/scripts/sync.sh << 'EOF'
#!/bin/bash
# sync.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`
# 增量同步
incremental_sync() {
output_dir="/ob/sync/incremental_$(date +%Y%m%d_%H%M%S)"
obdump --tenant fgedudb_source --database fgedudb_source --table fgedu_order --output_dir $output_dir --user root@fgedudb_source --password password --where "order_time >= ‘$(date -d “-1 hour” +%Y-%m-%d %H:%M:%S)'”
if [ $? -eq 0 ]; then
echo “增量导出成功: $output_dir”
obload –tenant fgedudb_target –database fgedudb_target –input_dir $output_dir –user root@fgedudb_target –password password
if [ $? -eq 0 ]; then
echo “增量导入成功”
else
echo “增量导入失败”
fi
else
echo “增量导出失败”
fi
}
# 验证数据
verify_sync() {
echo “源数据库订单表数据:”
obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “SELECT COUNT(*) FROM fgedu_order;”
echo “目标数据库订单表数据:”
obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT COUNT(*) FROM fgedu_order;”
}
# 主函数
main() {
case $1 in
sync)
incremental_sync
;;
verify)
verify_sync
;;
*)
echo “用法: $0 {sync|verify}”
;;
esac
}
main $@
EOF
– 设置脚本权限：
$ chmod +x /ob/scripts/sync.sh
– 配置crontab：
$ crontab -e
# 每小时执行一次增量同步
0 * * * * /ob/scripts/sync.sh sync
## 4. 实时同步
– 使用OceanBase的数据同步工具：
$ obctl sync create –source “mysql://root:password@192.168.1.10:2881/fgedudb_source” –target “mysql://root:password@192.168.1.11:2881/fgedudb_target” –table fgedu_order
– 查看同步状态：
$ obctl sync status
– 停止同步：
$ obctl sync stop
## 5. 测试验证
– 在源数据库中插入数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “INSERT INTO fgedu_order VALUES (100001, 123456, 100.00, NOW());”
– 执行同步：
$ /ob/scripts/sync.sh sync
– 验证同步：
$ /ob/scripts/sync.sh verify
– 检查数据一致性：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “SELECT * FROM fgedu_order WHERE order_id = 100001;”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT * FROM fgedu_order WHERE order_id = 100001;”
3.3 迁移与同步集成
3.3.1 迁移与同步集成步骤
## 1. 集成迁移与同步
– 配置源数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb_source;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE USER fgedu_source IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb_source.* TO fgedu_source;”
– 配置目标数据库：
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb_target;”
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “CREATE USER fgedu_target IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb_target.* TO fgedu_target;”
– 创建表结构：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”
## 2. 全量迁移
– 执行全量迁移：
$ obdump –tenant fgedudb_source –database fgedudb_source –table fgedu_order –output_dir /ob/migration_sync/full –user root@fgedudb_source –password password
$ obload –tenant fgedudb_target –database fgedudb_target –input_dir /ob/migration_sync/full –user root@fgedudb_target –password password
– 验证迁移：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “SELECT COUNT(*) FROM fgedu_order;”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT COUNT(*) FROM fgedu_order;”
## 3. 实时同步
– 配置实时同步：
$ obctl sync create –source “mysql://root:password@192.168.1.10:2881/fgedudb_source” –target “mysql://root:password@192.168.1.11:2881/fgedudb_target” –table fgedu_order
– 查看同步状态：
$ obctl sync status
## 4. 业务切换
– 测试目标数据库：
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “INSERT INTO fgedu_order VALUES (100001, 123456, 100.00, NOW());”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT * FROM fgedu_order WHERE order_id = 100001;”
– 切换业务连接：
– 修改应用配置，将数据库连接指向目标数据库
– 测试业务功能
– 正式切换业务流量
## 5. 测试验证
– 在源数据库中插入数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb_source -p -e “INSERT INTO fgedu_order VALUES (100002, 123457, 200.00, NOW());”
– 验证同步：
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT * FROM fgedu_order WHERE order_id = 100002;”
– 测试业务功能：
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “INSERT INTO fgedu_order VALUES (100003, 123458, 300.00, NOW());”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb_target -p -e “SELECT * FROM fgedu_order WHERE order_id = 100003;”
Part04-生产案例与实战讲解
4.1 数据迁移实战案例
## 案例背景
– 源系统：MySQL 5.7
– 目标系统：OceanBase 4.0
– 业务类型：电商业务
– 数据量：500GB
– 需求：将MySQL中的数据迁移到OceanBase
## 实施步骤
### 1. 环境准备
– 配置OceanBase目标数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE USER fgedu IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb.* TO fgedu;”
– 创建表结构：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_user (user_id INT PRIMARY KEY, user_name VARCHAR(100), password VARCHAR(255));”
### 2. 全量迁移
– 使用mysqldump导出MySQL数据：
$ mysqldump -h192.168.1.20 -P3306 -uroot -ppassword fgedudb fgedu_order fgedu_user > /ob/migration/mysql_backup.sql
– 使用obclient导入数据到OceanBase：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p < /ob/migration/mysql_backup.sql
- 验证数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e "SELECT COUNT(*) FROM fgedu_order;"
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e "SELECT COUNT(*) FROM fgedu_user;"
### 3. 增量迁移
- 创建增量迁移脚本：
$ cat > /ob/scripts/incremental_migration.sh << 'EOF'
#!/bin/bash
# incremental_migration.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`
# 导出增量数据
mysqldump -h192.168.1.20 -P3306 -uroot -ppassword fgedudb fgedu_order fgedu_user --where "order_time >= ‘$(date -d “-1 day” +%Y-%m-%d)'” > /ob/migration/incremental_backup.sql
# 导入增量数据
obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p < /ob/migration/incremental_backup.sql
# 验证数据
echo "验证订单表数据:"
obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e "SELECT COUNT(*) FROM fgedu_order WHERE order_time >= ‘$(date -d “-1 day” +%Y-%m-%d)’;”
EOF
– 设置脚本权限：
$ chmod +x /ob/scripts/incremental_migration.sh
– 执行增量迁移：
$ /ob/scripts/incremental_migration.sh
### 4. 业务切换
– 测试OceanBase数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “INSERT INTO fgedu_order VALUES (100001, 123456, 100.00, NOW());”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_order WHERE order_id = 100001;”
– 切换业务连接：
– 修改应用配置，将数据库连接指向OceanBase
– 测试业务功能
– 正式切换业务流量
## 案例总结
– 成功将MySQL中的数据迁移到OceanBase
– 实施了全量迁移和增量迁移
– 验证了数据的一致性
– 成功切换了业务连接
– 验证了迁移的有效性
4.2 数据同步实战案例
## 案例背景
– 源系统：OceanBase 4.0（主集群）
– 目标系统：OceanBase 4.0（从集群）
– 业务类型：金融核心业务
– 需求：实现主从集群的数据同步，提高系统的高可用性
## 实施步骤
### 1. 环境准备
– 配置主集群：
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE USER fgedu IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb.* TO fgedu;”
– 配置从集群：
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb;”
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “CREATE USER fgedu IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.11 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb.* TO fgedu;”
– 创建表结构：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_transaction (trans_id INT PRIMARY KEY, user_id INT, amount DECIMAL(10,2), trans_time DATETIME);”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_transaction (trans_id INT PRIMARY KEY, user_id INT, amount DECIMAL(10,2), trans_time DATETIME);”
### 2. 全量同步
– 执行全量同步：
$ obdump –tenant fgedudb –database fgedudb –table fgedu_transaction –output_dir /ob/sync/full –user root@fgedudb –password password
$ obload –tenant fgedudb –database fgedudb –input_dir /ob/sync/full –user root@fgedudb –password password
– 验证同步：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_transaction;”
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_transaction;”
### 3. 实时同步
– 配置实时同步：
$ obctl sync create –source “mysql://root:password@192.168.1.10:2881/fgedudb” –target “mysql://root:password@192.168.1.11:2881/fgedudb” –table fgedu_transaction
– 查看同步状态：
$ obctl sync status
### 4. 测试验证
– 在主集群中插入数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “INSERT INTO fgedu_transaction VALUES (100001, 123456, 1000.00, NOW());”
– 验证同步：
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_transaction WHERE trans_id = 100001;”
– 测试故障切换：
– 停止主集群服务：
$ systemctl stop oceanbase
– 在从集群中插入数据：
$ obclient -h192.168.1.11 -P2881 -uroot@fgedudb -p -e “INSERT INTO fgedu_transaction VALUES (100002, 123457, 2000.00, NOW());”
– 启动主集群服务：
$ systemctl start oceanbase
– 验证数据同步：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_transaction WHERE trans_id = 100002;”
## 案例总结
– 成功实现了主从集群的数据同步
– 验证了数据的一致性
– 测试了故障切换的有效性
– 提高了系统的高可用性
4.3 迁移与同步集成实战案例
## 案例背景
– 源系统：Oracle 11g
– 目标系统：OceanBase 4.0
– 业务类型：电商业务
– 数据量：1TB
– 需求：将Oracle中的数据迁移到OceanBase，并实现实时同步
## 实施步骤
### 1. 环境准备
– 配置OceanBase目标数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE DATABASE fgedudb;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “CREATE USER fgedu IDENTIFIED BY ‘password’;”
$ obclient -h192.168.1.10 -P2881 -uroot@sys -p -e “GRANT ALL PRIVILEGES ON fgedudb.* TO fgedu;”
– 创建表结构：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_order (order_id INT PRIMARY KEY, user_id INT, order_amount DECIMAL(10,2), order_time DATETIME);”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “CREATE TABLE fgedu_user (user_id INT PRIMARY KEY, user_name VARCHAR(100), password VARCHAR(255));”
### 2. 全量迁移
– 使用Oracle的数据泵导出数据：
$ expdp system/password@orcl schemas=fgedudb directory=DATA_PUMP_DIR dumpfile=fgedudb.dmp logfile=expdp.log
– 使用Oracle的SQL*Loader导入数据到OceanBase：
– 转换数据格式：
$ sqluldr2 user=system/password@orcl query=”SELECT * FROM fgedu_order” output=/ob/migration/fgedu_order.csv field=, record=\n
– 导入数据：
$ obload –tenant fgedudb –database fgedudb –table fgedu_order –input_file /ob/migration/fgedu_order.csv –user root@fgedudb –password password
– 验证数据：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_order;”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT COUNT(*) FROM fgedu_user;”
### 3. 实时同步
– 配置实时同步：
$ obctl sync create –source “oracle://system:password@192.168.1.20:1521/orcl” –target “mysql://root:password@192.168.1.10:2881/fgedudb” –table fgedu_order,fgedu_user
– 查看同步状态：
$ obctl sync status
### 4. 业务切换
– 测试OceanBase数据库：
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “INSERT INTO fgedu_order VALUES (100001, 123456, 100.00, NOW());”
$ obclient -h192.168.1.10 -P2881 -uroot@fgedudb -p -e “SELECT * FROM fgedu_order WHERE order_id = 100001;”
– 切换业务连接：
– 修改应用配置，将数据库连接指向OceanBase
– 测试业务功能
– 正式切换业务流量
## 案例总结
– 成功将Oracle中的数据迁移到OceanBase
– 实现了实时同步，确保数据的一致性
– 成功切换了业务连接
– 验证了迁移与同步集成的有效性
Part05-风哥经验总结与分享
5.1 数据迁移与同步最佳实践
数据迁移与同步的最佳实践：
- 充分测试：在迁移前进行充分的测试，确保迁移的可行性
- 分阶段迁移：将迁移分为多个阶段，逐步完成
- 增量迁移：先进行全量迁移，然后进行增量迁移
- 并行运行：在迁移后，让源系统和目标系统并行运行一段时间，确保数据一致性
- 实时同步：在迁移过程中，使用实时同步确保数据的一致性
- 监控与告警：建立监控和告警机制，及时发现和处理迁移与同步问题
- 回滚计划：制定详细的回滚计划，确保在迁移失败时能够快速回滚
- 文档化：记录迁移与同步的过程和结果，形成知识库
5.2 常见迁移问题与解决方案
常见迁移问题与解决方案：
- 数据类型不兼容：
- 原因：源系统和目标系统的数据类型定义不同
- 解决方案：在迁移前进行数据类型映射，确保数据类型的兼容性
- 数据量过大：
- 原因：数据量过大，迁移时间长
- 解决方案：分批次迁移，使用并行迁移，优化迁移工具
- 数据一致性问题：
- 原因：迁移过程中数据发生变化
- 解决方案：使用增量迁移，实时同步，确保数据的一致性
- 性能问题：
- 原因：迁移过程中影响源系统性能
- 解决方案：在业务低峰期进行迁移，限制迁移的并发度
- 迁移失败：
- 原因：网络故障，权限问题，配置错误
- 解决方案：检查网络连接，检查权限设置，检查配置
5.3 迁移与同步 checklist
迁移与同步 checklist：
- 迁移前：
- 确认源系统和目标系统的环境是否准备就绪？
- 确认迁移工具是否安装和配置正确？
- 确认表结构是否一致？
- 确认数据类型是否兼容？
- 制定迁移计划和回滚计划？
- 迁移中：
- 监控迁移进度？
- 检查迁移是否有错误？
- 记录迁移时间和数据量？
- 迁移后：
- 验证数据是否一致？
- 测试业务功能？
- 切换业务连接？
- 监控系统性能？
- 同步中：
- 监控同步状态？
- 检查同步是否有错误？
- 验证数据一致性？
- 同步后：
- 测试故障切换？
- 验证系统高可用性？
- 监控系统性能？
本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html
