目录大纲
1.1 双写机制概述
1.2 双写架构设计
1.3 双写实现方式
2.1 双写环境准备
2.2 性能影响评估
2.3 监控与告警
3.1 双写架构部署
3.2 数据同步策略
3.3 故障处理机制
4.1 HDFS双写实战
4.2 HBase双写实战
4.3 Kafka双写实战
5.1 双写常见问题
5.2 双写最佳实践
5.3 双写性能优化
Part01-基础概念与理论知识
1.1 双写机制概述
双写机制是指在数据写入过程中，同时将数据写入到两个不同的存储系统或集群中。在Hadoop集群迁移场景中，双写机制的核心目标是：
- 确保数据一致性：保证新旧集群数据同步
- 实现平滑迁移：在不中断业务的情况下完成迁移
- 提供容错能力：当一个集群故障时，另一个集群可以继续提供服务
- 降低迁移风险：确保数据不丢失
更多视频教程www.fgedu.net.cn
1.2 双写架构设计
双写架构的设计要点：
- 数据写入层：负责同时向两个集群写入数据
- 数据同步层：负责同步历史数据和增量数据
- 数据校验层：负责验证数据一致性
- 故障处理层：负责处理双写过程中的故障
- 流量切换层：负责平滑切换业务流量
学习交流加群风哥微信: itpux-com
1.3 双写实现方式
常见的双写实现方式：
- 应用层双写：在应用代码中实现同时向两个集群写入
- 中间件双写：使用消息队列等中间件实现双写
- 存储层双写：利用存储系统的复制功能实现双写
- 代理层双写：在代理层实现请求分发和双写
学习交流加群风哥QQ113257174
Part02-生产环境规划与建议
2.1 双写环境准备
风哥提示：双写环境准备需要考虑网络、存储、计算资源等多个方面
双写环境准备：
- 网络环境：确保集群间网络互通，带宽足够
- 存储资源：确保目标集群有足够的存储空间
- 计算资源：确保双写过程不会影响现有业务性能
- 安全配置：确保数据传输安全
- 监控系统：部署完善的监控体系
更多学习教程公众号风哥教程itpux_com
2.2 性能影响评估
性能影响评估：
- 写入延迟：双写会增加写入延迟，需要评估对业务的影响
- 网络带宽：双写会增加网络流量，需要确保网络带宽足够
- 存储IO：双写会增加存储IO压力，需要评估存储系统的承受能力
- 计算资源：双写会增加计算资源消耗，需要评估集群的承载能力
from bigdata视频:www.itpux.com
2.3 监控与告警
监控与告警重点：
- 双写状态：监控双写是否正常
- 数据一致性：监控数据同步状态
- 性能指标：监控系统性能
- 故障告警：及时发现和处理故障
- 流量监控：监控业务流量
Part03-生产环境项目实施方案
3.1 双写架构部署
# 部署双写架构脚本
[root@fgedu.net.cn ~]# cat > dual_write_deploy.sh << 'EOF' #!/bin/bash # dual_write_deploy.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 步骤1：准备目标集群 echo "准备目标集群..." /bigdata/app/hadoop/bin/start-all.sh /bigdata/app/hbase/bin/start-hbase.sh /bigdata/app/kafka/bin/kafka-server-start.sh -daemon /bigdata/app/kafka/config/server.properties # 步骤2：部署双写中间件 echo "部署双写中间件..." # 部署Kafka或其他消息队列 # 步骤3：配置双写规则 echo "配置双写规则..." # 配置应用的双写逻辑 EOF [root@fgedu.net.cn ~]# chmod +x dual_write_deploy.sh
[root@fgedu.net.cn ~]# cat > dual_write_deploy.sh << 'EOF' #!/bin/bash # dual_write_deploy.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 步骤1：准备目标集群 echo "准备目标集群..." /bigdata/app/hadoop/bin/start-all.sh /bigdata/app/hbase/bin/start-hbase.sh /bigdata/app/kafka/bin/kafka-server-start.sh -daemon /bigdata/app/kafka/config/server.properties # 步骤2：部署双写中间件 echo "部署双写中间件..." # 部署Kafka或其他消息队列 # 步骤3：配置双写规则 echo "配置双写规则..." # 配置应用的双写逻辑 EOF [root@fgedu.net.cn ~]# chmod +x dual_write_deploy.sh
3.2 数据同步策略
数据同步策略：
- 全量同步：使用DistCp等工具同步历史数据
- 增量同步：使用Kafka等工具同步增量数据
- 实时同步：确保数据实时同步
- 定期校验：定期验证数据一致性
3.3 故障处理机制
# 故障处理脚本
[root@fgedu.net.cn ~]# cat > dual_write_fault.sh << 'EOF' #!/bin/bash # dual_write_fault.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 检查双写状态 check_dual_write() { echo "检查双写状态..." # 检查双写是否正常 } # 处理单集群故障 handle_single_fault() { echo "处理单集群故障..." # 切换到正常集群 } # 恢复双写 recover_dual_write() { echo "恢复双写..." # 恢复故障集群，重新启动双写 } # 主函数 main() { check_dual_write if [ $? -ne 0 ]; then handle_single_fault fi } main EOF [root@fgedu.net.cn ~]# chmod +x dual_write_fault.sh
[root@fgedu.net.cn ~]# cat > dual_write_fault.sh << 'EOF' #!/bin/bash # dual_write_fault.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 检查双写状态 check_dual_write() { echo "检查双写状态..." # 检查双写是否正常 } # 处理单集群故障 handle_single_fault() { echo "处理单集群故障..." # 切换到正常集群 } # 恢复双写 recover_dual_write() { echo "恢复双写..." # 恢复故障集群，重新启动双写 } # 主函数 main() { check_dual_write if [ $? -ne 0 ]; then handle_single_fault fi } main EOF [root@fgedu.net.cn ~]# chmod +x dual_write_fault.sh
Part04-生产案例与实战讲解
4.1 HDFS双写实战
# HDFS双写脚本
[root@fgedu.net.cn ~]# cat > hdfs_dual_write.sh << 'EOF' #!/bin/bash # hdfs_dual_write.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 源集群和目标集群配置 SOURCE_NN="hdfs://source:8020" TARGET_NN="hdfs://target:8020" # 要写入的数据 DATA_DIR="/user/fgedu/data" FILE="test.txt" # 同时向两个集群写入数据 echo "Writing to source cluster..." echo "test data" > $FILE
hdfs dfs -put $FILE $SOURCE_NN$DATA_DIR/
[root@fgedu.net.cn ~]# cat > hdfs_dual_write.sh << 'EOF' #!/bin/bash # hdfs_dual_write.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 源集群和目标集群配置 SOURCE_NN="hdfs://source:8020" TARGET_NN="hdfs://target:8020" # 要写入的数据 DATA_DIR="/user/fgedu/data" FILE="test.txt" # 同时向两个集群写入数据 echo "Writing to source cluster..." echo "test data" > $FILE
hdfs dfs -put $FILE $SOURCE_NN$DATA_DIR/
echo “Writing to target cluster…”
hdfs dfs -put $FILE $TARGET_NN$DATA_DIR/
# 验证写入结果
echo “Verifying source cluster…”
hdfs dfs -ls $SOURCE_NN$DATA_DIR/
echo “Verifying target cluster…”
hdfs dfs -ls $TARGET_NN$DATA_DIR/
EOF
[root@fgedu.net.cn ~]# chmod +x hdfs_dual_write.sh
# 执行HDFS双写
[root@fgedu.net.cn ~]# ./hdfs_dual_write.sh
# 输出日志
Writing to source cluster…
Writing to target cluster…
Verifying source cluster…
Found 1 items
-rw-r–r– 3 fgedu supergroup 9 2026-04-07 18:00 hdfs://source:8020/user/fgedu/data/test.txt
Verifying target cluster…
Found 1 items
-rw-r–r– 3 fgedu supergroup 9 2026-04-07 18:00 hdfs://target:8020/user/fgedu/data/test.txt
[root@fgedu.net.cn ~]# ./hdfs_dual_write.sh
# 输出日志
Writing to source cluster…
Writing to target cluster…
Verifying source cluster…
Found 1 items
-rw-r–r– 3 fgedu supergroup 9 2026-04-07 18:00 hdfs://source:8020/user/fgedu/data/test.txt
Verifying target cluster…
Found 1 items
-rw-r–r– 3 fgedu supergroup 9 2026-04-07 18:00 hdfs://target:8020/user/fgedu/data/test.txt
4.2 HBase双写实战
# HBase双写脚本
[root@fgedu.net.cn ~]# cat > hbase_dual_write.sh << 'EOF' #!/bin/bash # hbase_dual_write.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 源集群和目标集群配置 SOURCE_ZK="source:2181" TARGET_ZK="target:2181" # 表名 TABLE="fgedu_table" # 写入数据 echo "Writing to source cluster..." /bigdata/app/hbase/bin/hbase shell << EOF1 put '$TABLE', 'row1', 'cf:col1', 'value1' EOF1 echo "Writing to target cluster..." /bigdata/app/hbase/bin/hbase shell -D hbase.zookeeper.quorum=$TARGET_ZK << EOF2 put '$TABLE', 'row1', 'cf:col1', 'value1' EOF2 # 验证写入结果 echo "Verifying source cluster..." /bigdata/app/hbase/bin/hbase shell << EOF3 get '$TABLE', 'row1' EOF3 echo "Verifying target cluster..." /bigdata/app/hbase/bin/hbase shell -D hbase.zookeeper.quorum=$TARGET_ZK << EOF4 get '$TABLE', 'row1' EOF4 EOF [root@fgedu.net.cn ~]# chmod +x hbase_dual_write.sh
[root@fgedu.net.cn ~]# cat > hbase_dual_write.sh << 'EOF' #!/bin/bash # hbase_dual_write.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 源集群和目标集群配置 SOURCE_ZK="source:2181" TARGET_ZK="target:2181" # 表名 TABLE="fgedu_table" # 写入数据 echo "Writing to source cluster..." /bigdata/app/hbase/bin/hbase shell << EOF1 put '$TABLE', 'row1', 'cf:col1', 'value1' EOF1 echo "Writing to target cluster..." /bigdata/app/hbase/bin/hbase shell -D hbase.zookeeper.quorum=$TARGET_ZK << EOF2 put '$TABLE', 'row1', 'cf:col1', 'value1' EOF2 # 验证写入结果 echo "Verifying source cluster..." /bigdata/app/hbase/bin/hbase shell << EOF3 get '$TABLE', 'row1' EOF3 echo "Verifying target cluster..." /bigdata/app/hbase/bin/hbase shell -D hbase.zookeeper.quorum=$TARGET_ZK << EOF4 get '$TABLE', 'row1' EOF4 EOF [root@fgedu.net.cn ~]# chmod +x hbase_dual_write.sh
# 执行HBase双写
[root@fgedu.net.cn ~]# ./hbase_dual_write.sh
# 输出日志
Writing to source cluster…
0 row(s) in 0.123 seconds
Writing to target cluster…
0 row(s) in 0.456 seconds
Verifying source cluster…
COLUMN CELL
cf:col1 timestamp=1712492400000, value=value1
1 row(s) in 0.789 seconds
Verifying target cluster…
COLUMN CELL
cf:col1 timestamp=1712492400000, value=value1
1 row(s) in 0.321 seconds
[root@fgedu.net.cn ~]# ./hbase_dual_write.sh
# 输出日志
Writing to source cluster…
0 row(s) in 0.123 seconds
Writing to target cluster…
0 row(s) in 0.456 seconds
Verifying source cluster…
COLUMN CELL
cf:col1 timestamp=1712492400000, value=value1
1 row(s) in 0.789 seconds
Verifying target cluster…
COLUMN CELL
cf:col1 timestamp=1712492400000, value=value1
1 row(s) in 0.321 seconds
4.3 Kafka双写实战
# Kafka双写脚本
[root@fgedu.net.cn ~]# cat > kafka_dual_write.sh << 'EOF' #!/bin/bash # kafka_dual_write.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 源集群和目标集群配置 SOURCE_BROKERS="source:9092" TARGET_BROKERS="target:9092" # 主题名 TOPIC="fgedu_topic" # 写入数据 echo "Writing to source cluster..." echo "test message" | /bigdata/app/kafka/bin/kafka-console-producer.sh --broker-list $SOURCE_BROKERS --topic $TOPIC echo "Writing to target cluster..." echo "test message" | /bigdata/app/kafka/bin/kafka-console-producer.sh --broker-list $TARGET_BROKERS --topic $TOPIC # 验证写入结果 echo "Verifying source cluster..." /bigdata/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server $SOURCE_BROKERS --topic $TOPIC --from-beginning --max-messages 1 echo "Verifying target cluster..." /bigdata/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server $TARGET_BROKERS --topic $TOPIC --from-beginning --max-messages 1 EOF [root@fgedu.net.cn ~]# chmod +x kafka_dual_write.sh
[root@fgedu.net.cn ~]# cat > kafka_dual_write.sh << 'EOF' #!/bin/bash # kafka_dual_write.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: `http://www.fgedu.net.cn` # 源集群和目标集群配置 SOURCE_BROKERS="source:9092" TARGET_BROKERS="target:9092" # 主题名 TOPIC="fgedu_topic" # 写入数据 echo "Writing to source cluster..." echo "test message" | /bigdata/app/kafka/bin/kafka-console-producer.sh --broker-list $SOURCE_BROKERS --topic $TOPIC echo "Writing to target cluster..." echo "test message" | /bigdata/app/kafka/bin/kafka-console-producer.sh --broker-list $TARGET_BROKERS --topic $TOPIC # 验证写入结果 echo "Verifying source cluster..." /bigdata/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server $SOURCE_BROKERS --topic $TOPIC --from-beginning --max-messages 1 echo "Verifying target cluster..." /bigdata/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server $TARGET_BROKERS --topic $TOPIC --from-beginning --max-messages 1 EOF [root@fgedu.net.cn ~]# chmod +x kafka_dual_write.sh
# 执行Kafka双写
[root@fgedu.net.cn ~]# ./kafka_dual_write.sh
# 输出日志
Writing to source cluster…
>
Writing to target cluster…
>
Verifying source cluster…
test message
Processed a total of 1 messages
Verifying target cluster…
test message
Processed a total of 1 messages
[root@fgedu.net.cn ~]# ./kafka_dual_write.sh
# 输出日志
Writing to source cluster…
>
Writing to target cluster…
>
Verifying source cluster…
test message
Processed a total of 1 messages
Verifying target cluster…
test message
Processed a total of 1 messages
Part05-风哥经验总结与分享
5.1 双写常见问题
常见问题及解决方法：
- 写入延迟增加：优化网络和存储性能
- 数据不一致：加强数据校验和监控
- 故障处理复杂：建立完善的故障处理机制
- 资源消耗增加：合理分配资源
- 维护成本高：自动化运维和监控
更多视频教程www.fgedu.net.cn
5.2 双写最佳实践
风哥提示：双写机制需要精心设计和实施，确保数据一致性和系统稳定性
- 选择合适的双写实现方式
- 建立完善的监控和告警机制
- 定期进行数据一致性校验
- 制定详细的故障处理预案
- 逐步切换业务流量
学习交流加群风哥微信: itpux-com
5.3 双写性能优化
- 使用异步双写：减少对主业务的影响
- 批量写入：提高写入效率
- 压缩数据：减少网络传输量
- 优化网络：使用高速网络
- 合理配置资源：确保系统性能
学习交流加群风哥QQ113257174
本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html
联系我们
在线咨询：
微信号：itpux-com
工作日：9:30-18:30，节假日休息