tidb教程FG110-TiDB升级与迁移策略

本文档详细介绍TiDB升级与迁移策略，包括升级流程、迁移方法、风险评估等内容。风哥教程参考TiDB官方文档升级指南、迁移工具手册等内容，适合DBA进行TiDB版本升级和数据迁移。

Part01-基础概念与理论知识

1.1 TiDB升级概述

TiDB升级是指将TiDB集群从低版本升级到高版本，以获得新特性和性能改进。TiDB支持滚动升级，最小化服务中断。

TiDB升级特点：

支持滚动升级，服务不中断
支持跨版本升级
自动备份元数据
提供详细的升级指导

1.2 数据迁移概述

数据迁移是指将数据从其他数据库系统迁移到TiDB，或在TiDB集群之间迁移数据。TiDB提供多种迁移工具。

# 数据迁移类型

# 1. 从其他数据库迁移到TiDB
# – MySQL → TiDB
# – PostgreSQL → TiDB
# – Oracle → TiDB
# – SQL Server → TiDB

# 2. TiDB内部迁移
# – 同版本TiDB集群间迁移
# – 跨版本TiDB集群间迁移
# – 跨地域TiDB集群迁移

# 3. 迁移工具
# – DM（Data Migration）：从MySQL迁移
# – TiDB Lightning：快速导入数据
# – Dumpling + Lightning：逻辑备份恢复
# – BR：物理备份恢复

1.3 版本兼容性

TiDB版本兼容性包括：API兼容性、SQL兼容性、存储格式兼容性等。升级前需要了解版本间的兼容性情况。

风哥提示：升级前必须备份数据，制定回滚计划。建议先在测试环境验证升级过程，确保升级安全。更多视频教程www.fgedu.net.cn

Part02-生产环境规划与建议

2.1 升级策略设计

# 升级策略设计

# 1. 升级路径
# – 小版本升级：v7.5.0 → v7.5.1（补丁版本）
# – 中版本升级：v7.4.0 → v7.5.0（功能版本）
# – 大版本升级：v6.5.0 → v7.5.0（主版本）

# 2. 升级时机
# 选择业务低峰期
# 预留足够的维护窗口
# 例如：周末凌晨2:00-6:00

# 3. 升级前准备
# – 备份数据
# – 检查集群状态
# – 阅读升级文档
# – 准备回滚方案

# 4. 升级顺序
# 1. 升级TiUP
# 2. 升级PD
# 3. 升级TiKV
# 4. 升级TiDB
# 5. 升级TiFlash（如果使用）

# 5. 升级验证
# – 检查集群状态
# – 验证业务功能
# – 性能测试

2.2 迁移策略设计

# 迁移策略设计

# 1. 迁移方法选择
# – 全量迁移：一次性迁移所有数据
# – 增量迁移：先全量后增量
# – 双写迁移：同时写入源库和目标库

# 2. 迁移工具选择
# – 小数据量（< 10GB）：Dumpling + Lightning # - 中数据量（10GB-1TB）：DM # - 大数据量（> 1TB）：BR + DM

# 3. 迁移步骤
# 1. 准备目标环境
# 2. 配置迁移工具
# 3. 执行全量迁移
# 4. 执行增量同步
# 5. 切换业务流量
# 6. 验证数据完整性

# 4. 迁移窗口
# 全量迁移：业务低峰期
# 增量同步：持续进行
# 流量切换：短暂停机窗口

# 5. 数据验证
# – 数据量比对
# – 关键业务验证
# – 性能测试

2.3 风险评估与预案

# 风险评估与预案

# 1. 升级风险
# – 服务中断
# – 数据丢失
# – 性能下降
# – 功能异常

# 2. 迁移风险
# – 数据不一致
# – 业务中断
# – 性能问题
# – 兼容性问题

# 3. 风险预案
# – 数据备份
# – 回滚计划
# – 应急响应
# – 监控告警

# 4. 测试计划
# – 功能测试
# – 性能测试
# – 兼容性测试
# – 故障演练

# 5. 沟通计划
# – 内部沟通
# – 用户通知
# – 升级/迁移公告风哥提示：
# – 应急联系方式

生产环境建议：制定详细的升级和迁移计划，包括时间安排、步骤、风险预案等。建议在测试环境充分验证后再进行生产环境操作。学习交流加群风哥微信: itpux-com

Part03-生产环境项目实施方案

3.1 升级实战

3.1.1 使用TiUP升级TiDB

# 使用TiUP升级TiDB

# 1. 检查当前版本
[root@fgedu.net.cn ~]# tiup cluster display fgedudb

# 输出
Cluster type: tidb
Cluster name: fgedudb
Cluster version: v7.4.0
Deploy user: tidb
SSH type: builtin
Dashboard URL: http://192.168.1.10:2379/dashboard

# 2. 升级TiUP
[root@fgedu.net.cn ~]# tiup update –self
[root@fgedu.net.cn ~]# tiup update cluster

# 3. 执行升级
[root@fgedu.net.cn ~]# tiup cluster upgrade fgedudb v7.5.0

# 升级过程输出
[2024/04/09 02:00:00] [INFO] [upgrade.go:400] [“start upgrading cluster”] [cluster=fgedudb] [version=v7.5.0]
[2024/04/09 02:00:01] [INFO] [upgrade.go:420] [“upgrade pd”]
[2024/04/09 02:05:00] [INFO] [upgrade.go:440] [“upgrade tikv”]
[2024/04/09 02:20:00] [INFO] [upgrade.go:460] [“upgrade tidb”]
[2024/04/09 02:30:00] [INFO] [upgrade.go:480] [“upgrade tiflash”]
[2024/04/09 02:35:00] [INFO] [upgrade.go:500] [“upgrade success”] [duration=35m0s]

# 4. 验证升级结果
[root@fgedu.net.cn ~]# tiup cluster display fgedudb

# 输出
Cluster type: tidb
Cluster name: fgedudb
Cluster version: v7.5.0
Deploy user: tidb
SSH type: builtin
Dashboard URL: http://192.168.1.10:2379/dashboard

# 5. 检查集群状态
[root@fgedu.net.cn ~]# tiup cluster status fgedudb

# 输出
Cluster fgedudb status:

Host Role State Health Storage(GB) Leader Leader(%) Learner Read-Only Up-Time
—- —- —– —— ———– —— ——— ——- ——— ——–
192.168.1.10 pd Up Healthy 50.0 1 33.33 0 false 10d
192.168.1.11 pd Up Healthy 50.0 0 0.00 0 false 10d
192.168.1.12 pd Up Healthy 50.0 0 0.00 0 false 10d
192.168.1.10 tikv Up Healthy 500.0 0 0.00 0 false 10d
192.168.1.11 tikv Up Healthy 500.0 1 33.33 0 false 10d
192.168.1.12 tikv Up Healthy 500.0 1 33.33 0 false 10d
192.168.1.13 tidb Up Healthy – – – – false 10d
192.168.1.14 tidb Up Healthy – – – – false 10d
192.168.1.15 tiflash Up Healthy 1000.0 – – – false 10d

3.1.2 升级注意事项

# 升级注意事项

# 1. 升级前检查
# 检查集群健康状态
[root@fgedu.net.cn ~]# tiup cluster check fgedudb –apply

# 检查存储空间
[root@fgedu.net.cn ~]# df -h

# 备份数据
[root@fgedu.net.cn ~]# tiup br backup full –pd “192.168.1.10:2379” –storage “local:///tidb/backup/full/upgrade”

# 2. 升级过程监控
# 监控集群状态
[root@fgedu.net.cn ~]# tiup cluster display fgedudb

# 查看升级日志
[root@fgedu.net.cn ~]# tail -f /tidb/log/upgrade.log

# 3. 升级后验证
# 验证业务功能
mysql -h192.168.1.13 -P4000 -u root -p’root123′ -e ”
SELECT * FROM fgedudb.fgedu_users LIMIT 10;
SELECT * FROM fgedudb.fgedu_orders LIMIT 10;
”

# 验证性能
[root@fgedu.net.cn ~]# sysbench –mysql-host=192.168.1.13 –mysql-port=4000 –mysql-user=root –mysql-password=root123 –mysql-db=fgedudb –table-size=1000000 –tables=10 –threads=16 –time=60 oltp_read_write run

# 4. 回滚方案
# 如果升级失败，执行回滚
[root@fgedu.net.cn ~]# tiup cluster rollback fgedudb

# 恢复数据
[root@fgedu.net.cn ~]# tiup br restore full –pd “192.168.1.10:2379” –storage “local:///tidb/backup/full/upgrade”

# 5. 常见问题处理
# – 升级卡住：检查网络连接和服务状态学习交流加群风哥QQ113257174
# – 服务启动失败：查看日志，分析原因
# – 性能下降：检查参数配置，进行调优

3.2 迁移实战

3.2.1 使用DM从MySQL迁移

# 使用DM从MySQL迁移到TiDB

# 1. 准备DM环境
[root@fgedu.net.cn ~]# tiup install dm
[root@fgedu.net.cn ~]# tiup dm deploy dm-master v7.5.0 /tidb/dm-master –topology dm-master-topology.yaml
[root@fgedu.net.cn ~]# tiup dm deploy dm-worker v7.5.0 /tidb/dm-worker –topology dm-worker-topology.yaml
[root@fgedu.net.cn ~]# tiup dm start dm-master
[root@fgedu.net.cn ~]# tiup dm start dm-worker

# 2. 配置迁移任务
# 创建迁移任务配置文件
cat > mysql-to-tidb.yaml << EOF name: "mysql-to-tidb" source-id: "mysql-1" target-id: "tidb-1" topology: mysql-1: host: "192.168.1.50" port: 3306 user: "root" password: "mysql123" tidb-1: host: "192.168.1.13" port: 4000 user: "root" password: "root123" mysql-instances: - source-id: "mysql-1" block-allow-list: "bwlist" route-rules: [] mydumper-config-name: "global" loader-config-name: "global" sync-config-name: "global" block-allow-list: bwlist: do-dbs: ["fgedudb"] do-tables: - db-name: "fgedudb" tbl-name: "fgedu_*" mydumper-configs: global: mydumper-path: "bin/mydumper" threads: 4 chunk-filesize: 64 skip-tz-utc: true loader-configs: global: pool-size: 16 dir: "${work_dir}/loader" sync-configs: global: worker-count: 16 batch-size: 1000 max-retry: 10 EOF # 3. 执行迁移任务 [root@fgedu.net.cn ~]# tiup dmctl --master-addr=192.168.1.10:8261 operate-source create mysql-source.yaml [root@fgedu.net.cn ~]# tiup dmctl --master-addr=192.168.1.10:8261 start-task mysql-to-tidb.yaml # 4. 监控迁移进度 [root@fgedu.net.cn ~]# tiup dmctl --master-addr=192.168.1.10:8261 query-status mysql-to-tidb # 输出 {"result": true, "msg": "", "data": { "mysql-to-tidb": { "stage": "Running", "units": [ { "unit": "Sync", "stage": "Running", "progress": { "total-tables": 20, "completed-tables": 20, "total-rows": 1000000, "completed-rows": 800000, "progress": "80.00%" } } ] } }} # 5. 验证迁移结果 # 数据量比对 mysql -h192.168.1.50 -P3306 -u root -p'mysql123' -e "SELECT COUNT(*) FROM fgedudb.fgedu_users;" mysql -h192.168.1.13 -P4000 -u root -p'root123' -e "SELECT COUNT(*) FROM fgedudb.fgedu_users;" # 业务验证 mysql -h192.168.1.13 -P4000 -u root -p'root123' -e " SELECT * FROM fgedudb.fgedu_users WHERE id = 1; SELECT * FROM fgedudb.fgedu_orders WHERE user_id = 1; " # 6. 切换业务流量 # 停止DM任务 [root@fgedu.net.cn ~]# tiup dmctl --master-addr=192.168.1.10:8261 stop-task mysql-to-tidb # 修改应用连接配置 # 将应用连接地址从MySQL改为TiDB

3.3 升级迁移后验证

# 升级迁移后验证

# 1. 集群状态验证
[root@fgedu.net.cn ~]# tiup cluster status fgedudb

# 2. 数据完整性验证
# 检查关键表数据量
mysql -h192.168.1.13 -P4000 -u root -p’root123′ -e ”
SELECT table_name, table_rows FROM information_schema.tables
WHERE table_schema = ‘fgedudb’
ORDER BY table_rows DESC;
”

# 3. 功能验证
# 执行常见业务操作
mysql -h192.168.1.13 -P4000 -u root -p’root123′ -e ”
— 插入数据
INSERT INTO fgedudb.fgedu_users (username, email) VALUES (‘fgedu01’, ‘fgedu01@fgedu.net.cn’);
— 查询数据
SELECT * FROM fgedudb.fgedu_users WHERE username = ‘fgedu01’;
— 更新数据
UPDATE fgedudb.fgedu_users SET email = ‘fgedu01_update@fgedu.net.cn’ WHERE username = ‘fgedu01’;
— 删除数据
DELETE FROM fgedudb.fgedu_users WHERE username = ‘fgedu01’;
”

# 4. 性能验证
# 运行基准测试
[root@fgedu.net.cn ~]# sysbench –mysql-host=192.168.1.13 –mysql-port=4000 –mysql-user=root –mysql-password=root123 –mysql-db=fgedudb –table-size=1000000 –tables=10 –threads=16 –time=60 oltp_read_write run

# 5. 监控验证
# 查看Grafana监控
# http://192.168.1.10:3000

# 6. 备份验证
# 执行备份操作
[root@fgedu.net.cn ~]# tiup br backup full –pd “192.168.1.10:2379” –storage “local:///tidb/backup/verify”

# 7. 文档更新
# 更新集群文档
# 记录升级/迁移过程
# 更新监控告警配置

风哥提示：升级和迁移后必须进行全面的验证，确保集群正常运行，业务功能不受影响。建议制定详细的验证计划，覆盖所有关键业务场景。学习交流加群风哥QQ113257174

Part04-生产案例与实战讲解

4.1 版本升级案例

# 版本升级案例：v7.4.0 → v7.5.0

# 场景：生产环境5节点TiDB集群，数据量500GB

# 1. 升级前准备
# 时间：2024-04-09 02:00
# 维护窗口：4小时
# 备份：已完成全量备份

# 2. 升级执行
[root@fgedu.net.cn ~]# tiup cluster upgrade fgedudb v7.5.0

# 升级过程
# 1. 升级PD（3节点）：10分钟
# 2. 升级TiKV（3节点）：15分钟
# 3. 升级TiDB（2节点）：5分钟
# 4. 升级TiFlash（1节点）：5分钟

# 3. 升级结果
# 升级耗时：35分钟
# 服务中断：无（滚动升级）
# 状态：成功

# 4. 验证结果
# 功能验证：通过
# 性能验证：通过
# 数据验证：通过

# 5. 问题处理
# 无重大问题
# 轻微问题：TiFlash启动时间较长（约3分钟）

# 6. 经验总结
# – 滚动升级确实可以做到服务不中断
# – 升级过程比预期快（预计4小时，实际35分钟）
# – 新版本性能有所提升（QPS提升约10%）

4.2 从MySQL迁移

# 从MySQL迁移到TiDB案例

# 场景：MySQL 5.7 → TiDB v7.5.0，数据量1TB

# 1. 迁移策略
# – 全量+增量迁移
# – 使用DM工具
# – 双写验证

# 2. 迁移准备
# 源库：MySQL 5.7，192.168.1.50:3306
# 目标库：TiDB v7.5.0，192.168.1.13:4000
# 迁移工具：DM v7.5.0

# 3. 执行迁移
# 3.1 全量迁移
[root@fgedu.net.cn ~]# tiup dmctl –master-addr=192.168.1.10:8261 start-task mysql-to-tidb.yaml

# 全量迁移耗时：8小时
# 数据量：1TB

# 3.2 增量同步
# 持续同步MySQL变更

# 4. 验证过程
# 4.1 数据完整性验证
# 数据量比对：一致
# 随机抽样验证：通过

# 4.2 性能验证
# 读性能：TiDB优于MySQL约30%
# 写性能：TiDB优于MySQL约20%
# 并发性能：TiDB优于MySQL约50%

# 5. 流量切换
# 5.1 准备工作
# – 更新应用配置
# – 准备回滚方案

# 5.2 执行切换
# 时间：2024-04-10 22:00
# 切换步骤：
# 1. 停止增量同步
# 2. 切换应用连接
# 3. 验证业务功能

# 6. 迁移结果
# 总耗时：9小时（8小时全量+1小时切换）
# 业务中断：10分钟
# 数据一致性：100%
# 性能提升：显著

# 7. 后续优化
# – 优化TiDB参数
# – 调整索引
# – 配置监控告警

4.3 跨平台迁移

# 跨平台迁移案例：x86 → ARM

# 场景：从x86服务器迁移到ARM服务器

# 1. 迁移策略
# – 使用BR进行物理备份恢复
# – 跨平台兼容

# 2. 源环境
# 平台：x86_64
# TiDB版本：v7.5.0
# 数据量：200GB

# 3. 目标环境
# 平台：ARM64
# TiDB版本：v7.5.0
# 配置：相同规格

# 4. 迁移步骤
# 4.1 备份源集群
[root@x86-server ~]# tiup br backup full –pd “192.168.1.10:2379” –storage “s3://tidb-backup/cross-platform”

# 4.2 恢复到目标集群
[root@arm-server ~]# tiup br restore full –pd “192.168.2.10:2379” –storage “s3://tidb-backup/cross-platform”

# 5. 验证过程
# 5.1 集群状态
[root@arm-server ~]# tiup cluster status fgedudb-arm

# 5.2 数据验证
mysql -h192.168.2.13 -P4000 -u root -p’root123′ -e ”
SELECT COUNT(*) FROM fgedudb.fgedu_users;
SELECT COUNT(*) FROM fgedudb.fgedu_orders;
”

# 5.3 性能验证
[root@arm-server ~]# sysbench –mysql-host=192.168.2.13 –mysql-port=4000 –mysql-user=root –mysql-password=root123 –mysql-db=fgedudb –table-size=1000000 –tables=10 –threads=16 –time=60 oltp_read_write run

# 6. 迁移结果
# 总耗时：2小时
# 数据一致性：100%
# ARM性能：与x86相当
# 兼容性：完全兼容

# 7. 经验总结
# – BR备份恢复跨平台可行
# – ARM平台性能表现良好
# – 迁移过程顺利，无异常

风哥提示：跨平台迁移需要注意二进制兼容性。TiDB的BR工具支持跨平台备份恢复，是迁移的理想选择。更多学习教程公众号风哥教程itpux_com

Part05-风哥经验总结与分享

5.1 升级迁移最佳实践

充分准备：制定详细计划，备份数据，准备回滚方案
测试验证：在测试环境充分验证升级/迁移过程
选择合适时机：业务低峰期，预留足够维护窗口
监控全程：实时监控升级/迁移过程，及时发现问题
验证全面：升级/迁移后进行全面验证，确保业务正常
文档记录：详细记录整个过程，为后续操作提供参考

5.2 常见问题与解决方案

# 常见升级迁移问题及解决方案

# 问题1：升级过程卡住
# 原因：
# – 网络连接中断
# – 服务启动失败
# – 资源不足
# 解决方案：
# – 检查网络连接
# – 查看服务日志
# – 增加资源配置
# – 执行回滚

# 问题2：迁移数据不一致
# 原因：
# – 增量同步中断
# – 源库数据变更
# – 工具配置错误
# 解决方案：
# – 重新执行全量迁移
# – 检查同步配置
# – 验证数据完整性

# 问题3：性能下降
# 原因：
# – 参数配置不当
# – 索引失效
# – 统计信息过时
# 解决方案：
# – 优化参数配置
# – 重建索引
# – 更新统计信息
# – 执行ANALYZE TABLE

# 问题4：兼容性问题
# 原因：
# – SQL语法差异
# – 函数不兼容
# – 数据类型差异
# 解决方案：
# – 修改SQL语句
# – 使用兼容函数
# – 调整数据类型

# 问题5：服务无法启动
# 原因：
# – 端口冲突
# – 配置错误
# – 权限问题
# 解决方案：
# – 检查端口占用
# – 验证配置文件
# – 检查文件权限
# – 查看启动日志

5.3 升级迁移检查清单

#!/bin/bash
# tidb-upgrade-migration-checklist.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`

# TiDB升级迁移检查清单

echo “=== TiDB升级迁移检查清单 ===”

# 1. 升级前检查
echo “[ ] 是否已备份数据？”
echo “[ ] 是否已阅读升级文档？”
echo “[ ] 是否已检查集群状态？”
echo “[ ] 是否已准备回滚方案？”

# 2. 迁移前检查
echo “[ ] 目标环境是否就绪？”
echo “[ ] 迁移工具是否配置正确？”
echo “[ ] 源库是否稳定？”
echo “[ ] 是否已测试迁移工具？”

# 3. 执行过程检查
echo “[ ] 是否监控升级/迁移过程？”
echo “[ ] 是否记录关键步骤？”
echo “[ ] 是否及时处理异常？”
echo “[ ] 是否保持沟通畅通？”

# 4. 验证检查
echo “[ ] 是否已验证集群状态？”
echo “[ ] 是否已验证数据完整性？”
echo “[ ] 是否已验证业务功能？”
echo “[ ] 是否已验证性能？”

# 5. 后续检查
echo “[ ] 是否已更新文档？”
echo “[ ] 是否已配置监控？”
echo “[ ] 是否已清理临时文件？”
echo “[ ] 是否已总结经验？”

echo “=== 检查完成 ===”

# 执行检查示例
# 检查集群状态
[root@fgedu.net.cn ~]# tiup cluster status fgedudb

# 检查数据备份
[root@fgedu.net.cn ~]# ls -la /tidb/backup/full/

# 检查迁移工具状态
[root@fgedu.net.cn ~]# tiup dmctl –master-addr=192.168.1.10:8261 query-status

风哥提示：升级和迁移是数据库运维的重要任务，需要谨慎操作。建立完善的流程和检查机制，确保升级迁移的顺利进行。from tidb视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html