Redis教程FG026-Redis Cluster扩缩容实战

本文档风哥主要介绍Redis Cluster扩缩容实战，包括扩缩容概念、扩缩容原理、扩缩容优势、扩缩容规划、硬件要求、网络要求、扩缩容操作、Slot迁移、扩缩容监控、扩缩容故障排查以及实战案例等内容，风哥教程参考Redis官方文档Cluster等内容编写，适合DBA人员和开发人员在生产环境中使用。

Part01-基础概念与理论知识

1.1 扩缩容概念

Redis Cluster扩缩容是指通过添加或删除节点来调整集群的规模，以适应业务需求的变化。扩缩容的核心概念：

扩容：向集群中添加新节点，增加集群的容量和性能
缩容：从集群中删除节点，减少集群的规模
Slot迁移：在扩缩容过程中，Slot在节点之间的移动
负载均衡：扩缩容后，重新分配Slot，确保负载均衡

1.2 扩缩容原理

Redis Cluster扩缩容的原理：

扩容原理：添加新节点后，将部分Slot从现有节点迁移到新节点，实现负载均衡
缩容原理：将待删除节点的Slot迁移到其他节点，然后删除该节点
Slot迁移：Slot迁移是一个在线过程，不会影响集群的正常运行
数据一致性：在Slot迁移过程中，Redis会确保数据的一致性

1.3 扩缩容优势

Redis Cluster扩缩容的优势：

弹性伸缩：根据业务需求动态调整集群规模
负载均衡：扩缩容后，重新分配Slot，确保负载均衡
高可用性：扩缩容过程中，集群仍能正常运行
性能提升：通过扩容，提高集群的处理能力
成本优化：通过缩容，减少资源浪费

更多视频教程www.fgedu.net.cn

Part02-生产环境规划与建议

2.1 扩缩容规划

生产环境扩缩容规划：

扩容规划：根据业务增长趋势，提前规划扩容方案
缩容规划：根据业务需求减少，合理规划缩容方案
时间选择：选择业务低峰期进行扩缩容操作
测试验证：在测试环境中验证扩缩容方案
回滚方案：准备扩缩容失败的回滚方案

2.2 硬件要求

硬件要求：

CPU：新节点需要足够的CPU处理请求，建议至少2核
内存：新节点的内存应根据数据量和业务负载进行配置，建议至少4GB
磁盘：新节点需要足够的磁盘空间存储持久化文件，建议至少50GB
网络：节点之间需要稳定的网络连接，建议使用千兆网卡

2.3 网络要求

# 网络要求

## 1. 网络延迟
– 节点之间的网络延迟应尽可能低，建议不超过10ms
– 网络延迟过高会影响Slot迁移的速度和集群的稳定性

## 2. 网络带宽
– 节点之间需要足够的网络带宽，特别是在Slot迁移时
– 建议使用千兆或万兆网络

## 3. 网络稳定性
– 确保节点之间的网络连接稳定，避免频繁中断
– 网络中断会导致Slot迁移失败

## 4. 网络安全
– 配置防火墙规则，只允许节点之间的通信
– 考虑使用专线或VPN连接

学习交流加群风哥QQ113257174

Part03-生产环境项目实施方案

3.1 扩缩容操作

# 扩缩容操作

## 1. 扩容操作
### 1.1 添加主节点
$ /redis/app/bin/redis-cli –cluster add-node : : -a

### 1.2 添加从节点
$ /redis/app/bin/redis-cli –cluster add-node : : –cluster-slave –cluster-master-id -a

### 1.3 重新分片
$ /redis/app/bin/redis-cli –cluster reshard : -a

## 2. 缩容操作
### 2.1 重新分片（将待删除节点的Slot迁移到其他节点）
$ /redis/app/bin/redis-cli –cluster reshard : -a

### 2.2 删除节点
$ /redis/app/bin/redis-cli –cluster del-node : -a

## 3. 平衡Slot
$ /redis/app/bin/redis-cli –cluster rebalance : -a

3.2 Slot迁移

# Slot迁移

## 1. 查看Slot分配
$ /redis/app/bin/redis-cli -h -p -a cluster slots

## 2. 计算键的Slot
$ /redis/app/bin/redis-cli -h -p -a cluster keyslot

## 3. 手动迁移Slot
$ /redis/app/bin/redis-cli –cluster setslot importing$ /redis/app/bin/redis-cli –cluster setslot migrating
$ /redis/app/bin/redis-cli –cluster setslot node

## 4. 监控Slot迁移
$ /redis/app/bin/redis-cli -h -p -a cluster slots

## 5. 验证Slot迁移
$ /redis/app/bin/redis-cli -h -p -a cluster info

3.3 扩缩容监控

# 扩缩容监控

## 1. 监控集群状态
$ /redis/app/bin/redis-cli -h -p -a cluster info

## 2. 监控节点状态
$ /redis/app/bin/redis-cli -h -p -a cluster nodes

## 3. 监控Slot状态
$ /redis/app/bin/redis-cli -h -p -a cluster slots

## 4. 监控Slot迁移进度
$ /redis/app/bin/redis-cli -h -p -a cluster info | grep cluster_

## 5. 监控系统资源
$ top
$ iostat -x
$ vmstat

3.4 扩缩容故障排查

# 扩缩容故障排查

## 1. 检查网络连接
$ ping
$ telnet

## 2. 检查节点状态
$ /redis/app/bin/redis-cli -h -p -a ping
$ /redis/app/bin/redis-cli -h -p -a info server

## 3. 检查集群状态
$ /redis/app/bin/redis-cli -h -p -a cluster info

## 4. 检查Slot状态
$ /redis/app/bin/redis-cli -h -p -a cluster slots

## 5. 查看日志
$ tail -f /redis/cluster//redis.log

## 6. 常见故障及解决
– 网络连接问题：检查网络配置和防火墙规则
– 节点状态异常：检查节点日志，重启节点
– Slot迁移失败：检查网络连接，重新执行迁移操作
– 集群状态异常：使用redis-cli –cluster fix命令修复集群

风哥提示：Redis接口限流是保护系统的重要机制，合理的限流策略可以防止系统过载，确保系统的稳定性和可用性。在实际应用中，需要根据具体业务场景和数据特点，选择合适的限流算法和策略。

Part04-生产案例与实战讲解

4.1 扩容实战

# 扩容实战

## 1. 环境准备
# 现有集群：
# 节点1：192.168.1.100:7000（主节点）
# 节点2：192.168.1.101:7000（主节点）
# 节点3：192.168.1.102:7000（主节点）
# 节点4：192.168.1.100:7001（从节点）
# 节点5：192.168.1.101:7001（从节点）
# 节点6：192.168.1.102:7001（从节点）

# 新节点：
# 节点7：192.168.1.103:7000（主节点）
# 节点8：192.168.1.103:7001（从节点）

## 2. 配置新节点
# 配置节点7
$ mkdir -p /redis/cluster/7000
$ vi /redis/cluster/7000/redis.conf

bind 192.168.1.103
port 7000
dir /redis/cluster/7000
cluster-enabled yes
cluster-config-file nodes-7000.conf
cluster-node-timeout 15000
appendonly yes
requirepass fgedu@2026
masterauth fgedu@2026

# 配置节点8
$ mkdir -p /redis/cluster/7001
$ vi /redis/cluster/7001/redis.conf

bind 192.168.1.103
port 7001
dir /redis/cluster/7001
cluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 15000
appendonly yes
requirepass fgedu@2026
masterauth fgedu@2026

## 3. 启动新节点
$ /redis/app/bin/redis-server /redis/cluster/7000/redis.conf # 节点7
$ /redis/app/bin/redis-server /redis/cluster/7001/redis.conf # 节点8

## 4. 添加主节点
$ /redis/app/bin/redis-cli –cluster add-node 192.168.1.103:7000 192.168.1.100:7000 -a fgedu@2026

## 5. 添加从节点
$ /redis/app/bin/redis-cli –cluster add-node 192.168.1.103:7001 192.168.1.100:7000 –cluster-slave –cluster-master-id -a fgedu@2026

## 6. 重新分片
$ /redis/app/bin/redis-cli –cluster reshard 192.168.1.100:7000 -a fgedu@2026

# 按照提示输入：
# 1. 要移动的Slot数量：4096
# 2. 目标节点ID：输入节点7的ID
# 3. 源节点ID：输入all
# 4. 确认：yes

## 7. 验证扩容结果
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster info
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster nodes

## 8. 测试集群功能
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 set test:scale-out “scale-out success”
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 get test:scale-out

# 输出示例
OK
“scale-out success”

4.2 缩容实战

# 缩容实战

## 1. 环境准备
# 现有集群：
# 节点1：192.168.1.100:7000（主节点）
# 节点2：192.168.1.101:7000（主节点）
# 节点3：192.168.1.102:7000（主节点）
# 节点4：192.168.1.103:7000（主节点）
# 节点5：192.168.1.100:7001（从节点）
# 节点6：192.168.1.101:7001（从节点）
# 节点7：192.168.1.102:7001（从节点）
# 节点8：192.168.1.103:7001（从节点）

# 要删除的节点：
# 节点4：192.168.1.103:7000（主节点）
# 节点8：192.168.1.103:7001（从节点）

## 2. 查看节点信息
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster nodes

## 3. 重新分片（将节点4的Slot迁移到其他节点）
$ /redis/app/bin/redis-cli –cluster reshard 192.168.1.100:7000 -a fgedu@2026

# 按照提示输入：
# 1. 要移动的Slot数量：4096
# 2. 目标节点ID：输入节点1的ID
# 3. 源节点ID：输入节点4的ID
# 4. 确认：yes

## 4. 验证Slot迁移
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster slots

## 5. 删除从节点
$ /redis/app/bin/redis-cli –cluster del-node 192.168.1.100:7000 -a fgedu@2026

## 6. 删除主节点
$ /redis/app/bin/redis-cli –cluster del-node 192.168.1.100:7000 -a fgedu@2026

## 7. 验证缩容结果
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster info
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster nodes

## 8. 测试集群功能
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 set test:scale-in “scale-in success”
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 get test:scale-in

# 输出示例
OK
“scale-in success”

4.3 Slot重平衡

# Slot重平衡

## 1. 查看当前Slot分配
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster slots

## 2. 执行Slot重平衡
$ /redis/app/bin/redis-cli –cluster rebalance 192.168.1.100:7000 -a fgedu@2026

## 3. 验证重平衡结果
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster slots

## 4. 检查集群状态
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 cluster info

## 5. 测试集群功能
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 set test:rebalance “rebalance success”
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 get test:rebalance

# 输出示例
OK
“rebalance success”

4.4 扩缩容测试

# 扩缩容测试

## 1. 性能测试
# 使用redis-benchmark工具测试扩缩容前后的性能
$ /redis/app/bin/redis-benchmark -h 192.168.1.100 -p 7000 -a fgedu@2026 -c 100 -n 100000 set test:key

## 2. 可用性测试
# 在扩缩容过程中，持续向集群发送请求，确保服务不中断
$ while true; do /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 set test:availability “available” && echo “Success” || echo “Failed”; sleep 1; done

## 3. 数据一致性测试
# 扩缩容前后，检查数据是否一致
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 set test:consistency “consistent”
# 扩缩容后
$ /redis/app/bin/redis-cli -h 192.168.1.100 -p 7000 -a fgedu@2026 get test:consistency

# 输出示例
“consistent”

## 4. 故障转移测试
# 扩缩容后，测试故障转移功能
$ pkill -f “redis-server.*7000” # 停止一个主节点
$ /redis/app/bin/redis-cli -h 192.168.1.101 -p 7000 -a fgedu@2026 cluster info
$ /redis/app/bin/redis-cli -h 192.168.1.101 -p 7000 -a fgedu@2026 set test:failover “failover success”
$ /redis/app/bin/redis-cli -h 192.168.1.101 -p 7000 -a fgedu@2026 get test:failover

# 输出示例
OK
“failover success”

更多学习教程公众号风哥教程itpux_com

Part05-风哥经验总结与分享

5.1 最佳实践

Redis Cluster扩缩容实战最佳实践：

规划先行：在进行扩缩容操作前，做好充分的规划和准备，学习交流加群风哥微信: itpux-com
时间选择：选择业务低峰期进行扩缩容操作，减少对业务的影响
测试验证：在测试环境中验证扩缩容方案，确保方案的可行性
监控到位：在扩缩容过程中，密切监控集群状态和Slot迁移进度
回滚方案：准备扩缩容失败的回滚方案，确保在出现问题时能够快速恢复
文档记录：详细记录扩缩容过程，包括操作步骤、命令和结果
后续验证：扩缩容后，验证集群的性能、可用性和数据一致性

5.2 常见问题

常见问题及解决：

Slot迁移失败：检查网络连接，重新执行迁移操作
集群状态异常：使用redis-cli –cluster fix命令修复集群
节点添加失败：检查节点配置和网络连接
节点删除失败：确保节点没有Slot，且从节点已删除
性能下降：检查Slot分配是否均衡，优化硬件配置
数据不一致：检查主从复制状态，确保数据同步

5.3 优化技巧

风哥提示：Redis Cluster扩缩容是一项复杂的操作，需要谨慎规划和执行。在实际应用中，需要根据业务需求和集群状态，选择合适的扩缩容策略，确保操作的顺利进行。

# 优化技巧

## 1. 扩缩容策略优化
– 小批量迁移：每次迁移少量Slot，避免影响集群性能
– 并行迁移：使用多个线程同时迁移Slot，提高迁移速度
– 负载均衡：扩缩容后，使用rebalance命令平衡Slot分配
– 渐进式扩容：根据业务增长趋势，逐步添加节点

## 2. 网络优化
– 确保节点之间的网络延迟低
– 确保网络带宽足够，特别是在Slot迁移时
– 配置防火墙规则，只允许节点之间的通信
– 考虑使用专线或VPN连接

## 3. 性能优化
– 优化硬件配置，提高节点性能
– 使用SSD存储，提高持久化性能
– 合理设置maxmemory和maxmemory-policy，优化内存使用
– 监控系统资源使用情况，避免资源不足

## 4. 监控优化
– 监控集群状态，及时发现问题
– 监控Slot迁移进度，确保迁移顺利完成
– 设置合理的告警机制，当集群状态发生变化时及时通知
– 定期检查集群日志，找出潜在问题

## 5. 操作优化
– 使用自动化脚本执行扩缩容操作，减少人为错误
– 详细记录扩缩容过程，便于后续分析和排查
– 建立扩缩容操作规范，确保操作的一致性和可重复性
– 定期进行扩缩容演练，提高操作熟练度

通过本文档的学习，您应该掌握了Redis Cluster扩缩容实战，能够在生产环境中合理进行扩缩容操作，调整集群规模以适应业务需求的变化。在实际应用中，需要根据具体业务场景和集群状态，选择合适的扩缩容策略，确保操作的顺利进行和集群的稳定性。

from Redis视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html