2. 网络规划：
– 从库应与所有主库保持良好的网络连接
– 建议使用万兆网络，确保网络带宽充足
– 避免跨数据中心部署，如必须跨数据中心，应使用专线

3. 硬件规划：
– 从库的硬件配置应高于所有主库
– 建议使用多核CPU、大容量内存和SSD存储
– 从库的存储容量应足够大，能够容纳所有主库的数据

4. 数据库规划：
– 多个主库的数据库名应不同，避免数据冲突
– 建议为每个主库的数据创建独立的数据库或表前缀
– 合理规划数据结构，便于数据管理和查询

5. 监控规划：
– 监控每个复制通道的状态
– 监控从库的性能和资源使用情况
– 监控复制延迟

# 多源复制的拓扑示例
## 基本多源复制
“`
Master 1 → Channel 1
↓
Slave
↑
Master 2 → Channel 2
“`

## 复杂多源复制
“`
Master 1 → Channel 1
↓
Slave ← Channel 3 ← Master 3
↑
Master 2 → Channel 2
“`

2. 复制通道配置：
– 为每个主库创建独立的复制通道
– 使用GTID复制：MASTER_AUTO_POSITION=1
– 为每个通道配置合适的参数

3. 并行复制配置：
– 启用并行复制：slave_parallel_type = LOGICAL_CLOCK, slave_parallel_workers = 4
– 为每个通道配置合适的并行工作线程数

4. 性能优化配置：
– 优化InnoDB参数：innodb_buffer_pool_size、innodb_log_file_size等
– 优化网络参数：减少网络延迟
– 优化复制参数：减少复制延迟

# 多源复制的推荐配置
## 从库配置
[mysqld]
server-id = 100
log_bin = /mysql/data/binlog
gtid_mode = ON
enforce_gtid_consistency = ON
relay_log_recovery = ON
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8

## 复制通道配置
# 通道1：连接到主库1
CHANGE MASTER TO
MASTER_HOST=’192.168.1.101′,
MASTER_USER=’repl’,
MASTER_PASSWORD=’ReplPassword123!’,
MASTER_AUTO_POSITION=1
FOR CHANNEL ‘master1′;

# 通道2：连接到主库2
CHANGE MASTER TO
MASTER_HOST=’192.168.1.102′,
MASTER_USER=’repl’,
MASTER_PASSWORD=’ReplPassword123!’,
MASTER_AUTO_POSITION=1
FOR CHANNEL ‘master2’;

# 步骤1：配置从库
# vi /mysql/data/my.cnf
[mysqld]
server-id = 100
log_bin = /mysql/data/binlog
gtid_mode = ON
enforce_gtid_consistency = ON
relay_log_recovery = ON
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8

# 步骤2：重启从库
systemctl restart mysqld

# 步骤3：在主库上创建复制用户
# 在主库1上创建复制用户
mysql> CREATE USER ‘repl’@’192.168.1.100’ IDENTIFIED BY ‘ReplPassword123!’;
mysql> GRANT REPLICATION SLAVE ON *.* TO ‘repl’@’192.168.1.100’;
mysql> FLUSH PRIVILEGES;

# 在主库2上创建复制用户
mysql> CREATE USER ‘repl’@’192.168.1.100’ IDENTIFIED BY ‘ReplPassword123!’;
mysql> GRANT REPLICATION SLAVE ON *.* TO ‘repl’@’192.168.1.100′;
mysql> FLUSH PRIVILEGES;

# 步骤4：在从库上创建复制通道
# 创建通道1：连接到主库1
mysql> CHANGE MASTER TO
-> MASTER_HOST=’192.168.1.101′,
-> MASTER_USER=’repl’,
-> MASTER_PASSWORD=’ReplPassword123!’,
-> MASTER_AUTO_POSITION=1
-> FOR CHANNEL ‘master1′;

# 创建通道2：连接到主库2
mysql> CHANGE MASTER TO
-> MASTER_HOST=’192.168.1.102′,
-> MASTER_USER=’repl’,
-> MASTER_PASSWORD=’ReplPassword123!’,
-> MASTER_AUTO_POSITION=1
-> FOR CHANNEL ‘master2’;

# 步骤5：启动复制
# 启动通道1的复制
mysql> START SLAVE FOR CHANNEL ‘master1’;

# 启动通道2的复制
mysql> START SLAVE FOR CHANNEL ‘master2’;

# 步骤6：验证多源复制状态
# 检查通道1的状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master1’\G;

# 检查通道2的状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master2’\G;

# 预期输出：
# 通道1：
# Slave_IO_Running: Yes
# Slave_SQL_Running: Yes
# Retrieved_Gtid_Set: 12345678-1234-1234-1234-1234567890ab:1-10
# Executed_Gtid_Set: 12345678-1234-1234-1234-1234567890ab:1-10

# 通道2：
# Slave_IO_Running: Yes
# Slave_SQL_Running: Yes
# Retrieved_Gtid_Set: 87654321-4321-4321-4321-ba0987654321:1-10
# Executed_Gtid_Set: 87654321-4321-4321-4321-ba0987654321:1-10

# 二进制日志配置
log_bin = /mysql/data/binlog
binlog_format = ROW

# GTID配置
gtid_mode = ON
enforce_gtid_consistency = ON

# 复制配置
relay_log_recovery = ON
slave_net_timeout = 60
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8
slave_preserve_commit_order = ON

# InnoDB配置
innodb_buffer_pool_size = 16G
innodb_log_file_size = 2G
innodb_flush_log_at_trx_commit = 2
innodb_file_per_table = ON
innodb_io_capacity = 2000
innodb_io_capacity_max = 4000

# 内存配置
key_buffer_size = 256M
query_cache_size = 0
query_cache_type = 0

# 连接配置
max_connections = 1000
wait_timeout = 300

# 步骤2：优化复制通道参数
# 为每个通道配置合适的参数
# 例如，为写入量大的主库配置更多的并行工作线程

# 步骤3：优化网络参数
# 系统网络参数
# vi /etc/sysctl.conf
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 15

# 应用网络参数
sysctl -p

# 步骤4：验证参数优化效果
# 检查复制状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master1’\G | grep Seconds_Behind_Master;
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master2’\G | grep Seconds_Behind_Master;

# 检查从库性能
mysql> SHOW GLOBAL STATUS LIKE ‘Slave_%’;

# 示例：优化多源复制参数
# 优化前
mysql> SHOW GLOBAL VARIABLES LIKE ‘slave_parallel_workers’;
+————————+——-+
| Variable_name | Value |
+————————+——-+
| slave_parallel_workers | 4 |
+————————+

# 优化后
mysql> SET GLOBAL slave_parallel_workers = 8;

# 优化效果
# 复制延迟从300秒减少到0秒
# 从库SQL线程执行速度提升2倍

# 情况2：复制通道故障
# 症状：某个通道的复制线程停止
# 处理步骤：
1. 查看复制错误：SHOW SLAVE STATUS FOR CHANNEL ‘channel_name’\G | grep Last_SQL_Error
2. 分析错误原因：根据错误信息分析故障原因
3. 处理错误：根据错误原因，采取相应的处理措施
4. 跳过错误：如果是可以跳过的错误，使用SET GLOBAL sql_slave_skip_counter = 1 FOR CHANNEL ‘channel_name’
5. 重启复制：START SLAVE FOR CHANNEL ‘channel_name’

# 情况3：从库故障
# 症状：从库无法正常运行，所有复制通道停止
# 处理步骤：
1. 检查从库状态：登录从库，检查MySQL是否正常运行
2. 修复从库故障：根据故障原因，修复从库的问题
3. 重启从库：启动MySQL服务
4. 重启所有复制通道：执行START SLAVE FOR CHANNEL ‘channel_name’ for each channel
5. 验证复制状态：检查所有通道的复制状态

# 情况4：数据冲突
# 症状：多个主库的数据库名或表名冲突，导致数据覆盖
# 处理步骤：
1. 停止复制：STOP SLAVE FOR CHANNEL ‘channel_name’
2. 重命名冲突的数据库或表：使用RENAME DATABASE或RENAME TABLE命令
3. 重新配置复制：修改复制通道的配置，避免数据冲突
4. 启动复制：START SLAVE FOR CHANNEL ‘channel_name’

# 示例：处理主库故障
# 检查主库状态
$ systemctl status mysqld

# 修复主库故障
# 例如，修复磁盘空间不足的问题
$ df -h
$ sudo rm -rf /mysql/data/binlog.old*

# 重启主库
systemctl restart mysqld

# 重启对应通道的复制
mysql> START SLAVE FOR CHANNEL ‘master1’;

# 验证复制状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master1’\G | grep -E ‘Slave_IO_Running|Slave_SQL_Running’;

# 部署步骤
# 步骤1：配置从库
# vi /mysql/data/my.cnf
[mysqld]
server-id = 100
log_bin = /mysql/data/binlog
gtid_mode = ON
enforce_gtid_consistency = ON
relay_log_recovery = ON
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 8

# 步骤2：重启从库
systemctl restart mysqld

# 步骤3：在主库上创建复制用户
# 在主库1上创建复制用户
mysql> CREATE USER ‘repl’@’192.168.1.100’ IDENTIFIED BY ‘ReplPassword123!’;
mysql> GRANT REPLICATION SLAVE ON *.* TO ‘repl’@’192.168.1.100’;
mysql> FLUSH PRIVILEGES;

# 在主库2上创建复制用户
mysql> CREATE USER ‘repl’@’192.168.1.100’ IDENTIFIED BY ‘ReplPassword123!’;
mysql> GRANT REPLICATION SLAVE ON *.* TO ‘repl’@’192.168.1.100′;
mysql> FLUSH PRIVILEGES;

# 步骤4：在从库上创建复制通道
# 创建通道1：连接到主库1
mysql> CHANGE MASTER TO
-> MASTER_HOST=’192.168.1.101′,
-> MASTER_USER=’repl’,
-> MASTER_PASSWORD=’ReplPassword123!’,
-> MASTER_AUTO_POSITION=1
-> FOR CHANNEL ‘master1′;

# 创建通道2：连接到主库2
mysql> CHANGE MASTER TO
-> MASTER_HOST=’192.168.1.102′,
-> MASTER_USER=’repl’,
-> MASTER_PASSWORD=’ReplPassword123!’,
-> MASTER_AUTO_POSITION=1
-> FOR CHANNEL ‘master2’;

# 步骤5：启动复制
# 启动通道1的复制
mysql> START SLAVE FOR CHANNEL ‘master1’;

# 启动通道2的复制
mysql> START SLAVE FOR CHANNEL ‘master2’;

# 步骤6：验证多源复制状态
# 检查通道1的状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master1’\G;
+—————————-+—————————————-+
| Slave_IO_Running | Yes |
| Slave_SQL_Running | Yes |
| Retrieved_Gtid_Set | 12345678-1234-1234-1234-1234567890ab:1 |
| Executed_Gtid_Set | 12345678-1234-1234-1234-1234567890ab:1 |
+—————————-+—————————————-+

# 检查通道2的状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master2’\G;
+—————————-+—————————————-+
| Slave_IO_Running | Yes |
| Slave_SQL_Running | Yes |
| Retrieved_Gtid_Set | 87654321-4321-4321-4321-ba0987654321:1 |
| Executed_Gtid_Set | 87654321-4321-4321-4321-ba0987654321:1 |
+—————————-+—————————————-+

# 部署效果
# 多源复制成功部署
# 两个复制通道状态正常
# 数据从两个主库成功复制到从库

# 监控步骤
# 步骤1：安装MySQL Exporter
# 在从库上安装MySQL Exporter
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.14.0/mysqld_exporter-0.14.0.linux-amd64.tar.gz
tar -xzf mysqld_exporter-0.14.0.linux-amd64.tar.gz
mv mysqld_exporter-0.14.0.linux-amd64 /usr/local/mysqld_exporter

# 创建监控用户
mysql> CREATE USER ‘exporter’@’localhost’ IDENTIFIED BY ‘ExporterPassword123!’;
mysql> GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO ‘exporter’@’localhost’;
mysql> FLUSH PRIVILEGES;

# 创建配置文件
# vi /etc/.mysqld_exporter.cnf
[client]
user=exporter
password=ExporterPassword123!

# 启动MySQL Exporter
nohup /usr/local/mysqld_exporter/mysqld_exporter –config.my-cnf=/etc/.mysqld_exporter.cnf &

# 步骤2：配置Prometheus
# vi /usr/local/prometheus/prometheus.yml
global:
scrape_interval: 15s
evaluation_interval: 15s

scrape_configs:
– job_name: ‘mysql’
static_configs:
– targets: [‘192.168.1.100:9104’, ‘192.168.1.101:9104’, ‘192.168.1.102:9104’]

# 步骤3：配置Grafana
# 登录Grafana，添加Prometheus数据源
# 导入MySQL监控面板
# 配置多源复制监控面板

# 步骤4：配置告警
# 在Grafana中配置多源复制告警规则
# 配置邮件告警

# 步骤5：验证监控效果
# 访问Grafana面板
# 查看多源复制状态
# 查看复制延迟

# 监控指标
# 复制线程状态：Slave_IO_Running, Slave_SQL_Running
# 复制延迟：Seconds_Behind_Master
# GTID执行状态：Gtid_executed
# 复制错误：Last_SQL_Error
# 从库性能：CPU、内存、磁盘IO

# 告警规则
# 复制线程停止：当某个通道的Slave_IO_Running或Slave_SQL_Running为No时，发送紧急告警
# 复制延迟：当某个通道的Seconds_Behind_Master超过阈值时，发送告警
# 复制错误：当某个通道的Last_SQL_Error不为空时，发送告警
# 从库性能：当从库的CPU、内存或磁盘IO超过阈值时，发送告警

# 监控效果
# 实时监控多源复制状态
# 及时发现和处理多源复制问题
# 提高系统的可靠性和稳定性

# 故障场景：主库1故障
# 故障现象
# 主库1服务器崩溃，无法正常运行
# 通道1的复制停止

# 故障分析
1. 主库1无法正常运行，导致通道1的复制停止
2. 通道2的复制不受影响，仍然正常运行

# 故障处理
## 步骤1：检查主库1状态
$ systemctl status mysqld
# 输出：Active: failed

## 步骤2：修复主库1故障
# 例如，修复硬件故障
# 更换故障的硬盘

## 步骤3：重启主库1
systemctl restart mysqld

## 步骤4：重启通道1的复制
mysql> START SLAVE FOR CHANNEL ‘master1’;

## 步骤5：验证复制状态
# 检查通道1的状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master1’\G | grep -E ‘Slave_IO_Running|Slave_SQL_Running’;

# 检查通道2的状态
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master2’\G | grep -E ‘Slave_IO_Running|Slave_SQL_Running’;

# 故障处理效果
# 主库1故障得到修复
# 通道1的复制恢复正常
# 通道2的复制一直正常运行
# 数据一致性得到保障

# 备选方案：如果主库1无法修复
# 步骤1：停止通道1的复制
mysql> STOP SLAVE FOR CHANNEL ‘master1’;

# 步骤2：清理通道1的配置
mysql> RESET SLAVE FOR CHANNEL ‘master1’;

# 步骤3：记录主库1的数据状态
# 以便在主库1恢复后重新配置复制

# 问题描述
# 多源复制导致从库复制延迟增加，影响数据汇总的实时性

# 故障分析
1. 从库需要同时处理来自两个主库的数据，CPU和IO压力大
2. 并行复制配置不合理，导致从库SQL线程执行缓慢
3. 从库的内存和磁盘IO不足，影响数据处理速度

# 优化方案
## 步骤1：优化从库硬件
# 升级从库的硬件配置
# CPU：8核 → 16核
# 内存：16G → 32G
# 存储：SSD → NVMe SSD

## 步骤2：优化从库配置
# 优化从库配置
# vi /mysql/data/my.cnf
[mysqld]
innodb_buffer_pool_size = 24G
innodb_log_file_size = 4G
innodb_flush_log_at_trx_commit = 2
innodb_file_per_table = ON
innodb_io_capacity = 4000
innodb_io_capacity_max = 8000
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 16

## 步骤3：优化复制通道参数
# 为每个通道配置合适的参数
# 例如，为写入量大的主库配置更多的并行工作线程

## 步骤4：优化网络参数
# 优化网络参数
# vi /etc/sysctl.conf
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 15

# 应用网络参数
sysctl -p

## 步骤5：验证优化效果
# 检查复制延迟
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master1’\G | grep Seconds_Behind_Master;
mysql> SHOW SLAVE STATUS FOR CHANNEL ‘master2’\G | grep Seconds_Behind_Master;

# 检查从库性能
mysql> SHOW GLOBAL STATUS LIKE ‘Slave_%’;

# 优化效果
# 从库复制延迟从300秒减少到0秒
# 从库SQL线程执行速度提升4倍
# 数据汇总的实时性得到保障

# 优化前后对比
# 优化前：从库复制延迟300秒，CPU使用率80%
# 优化后：从库复制延迟0秒，CPU使用率40%