备份目录：
– 格式：/bigdata/fgdata/backup/迁移日期
– 示例：/bigdata/fgdata/backup/20240408

# 操作规范
操作前：
– 备份数据
– 备份元数据
– 检查环境
– 通知相关人员

操作中：
– 记录操作日志
– 监控进度
– 及时处理异常

操作后：
– 数据校验
– 功能验证
– 性能验证
– 文档更新

# 2. 带宽限制
hadoop distcp -bandwidth 100 hdfs://old-cluster:8020/bigdata/fgdata hdfs://new-cluster:8020/bigdata/

# 3. 并发数调整
hadoop distcp -m 100 hdfs://old-cluster:8020/bigdata/fgdata hdfs://new-cluster:8020/bigdata/

# 4. 增量迁移
hadoop distcp -update hdfs://old-cluster:8020/bigdata/fgdata hdfs://new-cluster:8020/bigdata/

# 5. 覆盖已存在
hadoop distcp -overwrite hdfs://old-cluster:8020/bigdata/fgdata hdfs://new-cluster:8020/bigdata/

# 6. 跳过检查
hadoop distcp -skipcrccheck hdfs://old-cluster:8020/bigdata/fgdata hdfs://new-cluster:8020/bigdata/

# 7. 指定文件列表
hadoop distcp -f filelist.txt hdfs://new-cluster:8020/bigdata/

# 8. 完整迁移脚本
#!/bin/bash
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

OLD_CLUSTER=”hdfs://old-cluster:8020″
NEW_CLUSTER=”hdfs://new-cluster:8020″
SRC_PATH=”/bigdata/fgdata”
DST_PATH=”/bigdata/fgdata”
LOG_FILE=”/bigdata/fgdata/logs/distcp_$(date +%Y%m%d_%H%M%S).log”

echo “开始迁移…” | tee -a $LOG_FILE
echo “源路径: $OLD_CLUSTER$SRC_PATH” | tee -a $LOG_FILE
echo “目标路径: $NEW_CLUSTER$DST_PATH” | tee -a $LOG_FILE

hadoop distcp \
-bandwidth 100 \
-m 200 \
-update \
-skipcrccheck \
$OLD_CLUSTER$SRC_PATH \
$NEW_CLUSTER$DST_PATH \
2>&1 | tee -a $LOG_FILE

if [ $? -eq 0 ]; then
echo “迁移成功！” | tee -a $LOG_FILE
else
echo “迁移失败！” | tee -a $LOG_FILE
exit 1
fi

# 9. 数据校验
hadoop distcp -diff hdfs://old-cluster:8020/bigdata/fgdata hdfs://new-cluster:8020/bigdata/fgdata

# 10. 对比文件数和大小
hdfs dfs -count hdfs://old-cluster:8020/bigdata/fgdata
hdfs dfs -count hdfs://new-cluster:8020/bigdata/fgdata

hdfs dfs -du -s hdfs://old-cluster:8020/bigdata/fgdata
hdfs dfs -du -s hdfs://new-cluster:8020/bigdata/fgdata

— 新集群导入
IMPORT TABLE fgedu_db.fgedu_user FROM ‘hdfs://old-cluster:8020/bigdata/fgdata/export/fgedu_user’;

— 2. DistCp + 元数据迁移
— 旧集群：导出表数据
hadoop distcp hdfs://old-cluster:8020/bigdata/fgdata/hive/warehouse/fgedu_db.db/fgedu_user \
hdfs://new-cluster:8020/bigdata/fgdata/hive/warehouse/fgedu_db.db/

— 旧集群：导出建表语句
hive -e “SHOW CREATE TABLE fgedu_db.fgedu_user” > create_table.sql

— 新集群：创建数据库
hive -e “CREATE DATABASE IF NOT EXISTS fgedu_db”

— 新集群：创建表
hive -f create_table.sql

— 新集群：修复表
hive -e “MSCK REPAIR TABLE fgedu_db.fgedu_user”

— 3. 迁移整个数据库脚本
#!/bin/bash
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

OLD_CLUSTER=”hdfs://old-cluster:8020″
NEW_CLUSTER=”hdfs://new-cluster:8020″
DB_NAME=”fgedu_db”
EXPORT_PATH=”/bigdata/fgdata/export”

# 获取所有表
TABLES=$(hive -e “USE $DB_NAME; SHOW TABLES;”)

for TABLE in $TABLES; do
echo “正在迁移表: $TABLE”

# 导出表
hive -e “USE $DB_NAME; EXPORT TABLE $TABLE TO ‘$OLD_CLUSTER$EXPORT_PATH/$DB_NAME/$TABLE’;”

# 传输数据
hadoop distcp $OLD_CLUSTER$EXPORT_PATH/$DB_NAME/$TABLE $NEW_CLUSTER$EXPORT_PATH/$DB_NAME/

# 新集群导入
hive -e “USE $DB_NAME; IMPORT TABLE $TABLE FROM ‘$NEW_CLUSTER$EXPORT_PATH/$DB_NAME/$TABLE’;”

echo “表 $TABLE 迁移完成”
done

echo “数据库 $DB_NAME 迁移完成！”

— 4. 数据校验
— 对比行数
hive -e “SELECT COUNT(*) FROM fgedu_db.fgedu_user”
hive –database fgedu_db -e “SELECT COUNT(*) FROM fgedu_user”

— 对比数据量
hdfs dfs -du -s hdfs://old-cluster:8020/bigdata/fgdata/hive/warehouse/fgedu_db.db/fgedu_user
hdfs dfs -du -s hdfs://new-cluster:8020/bigdata/fgdata/hive/warehouse/fgedu_db.db/fgedu_user

— 5. 元数据迁移
— 导出旧集群元数据
mysqldump -h old-mysql -u hive -p hive > hive_metadata.sql

— 导入新集群元数据
mysql -h new-mysql -u hive -p hive < hive_metadata.sql

— 6. 更新HDFS路径
— 如果HDFS路径改变，需要更新元数据
UPDATE DBS SET DB_LOCATION_URI = REPLACE(DB_LOCATION_URI, ‘old-cluster:8020’, ‘new-cluster:8020’);
UPDATE SDS SET LOCATION = REPLACE(LOCATION, ‘old-cluster:8020’, ‘new-cluster:8020’);

# 传输数据
hadoop distcp \
hdfs://old-cluster:8020/bigdata/fgdata/export/hbase/fgedu_user \
hdfs://new-cluster:8020/bigdata/fgdata/export/hbase/

# 新集群导入
hbase org.apache.hadoop.hbase.mapreduce.Import \
fgedu_user \
hdfs://new-cluster:8020/bigdata/fgdata/export/hbase/fgedu_user

# 2. CopyTable
# 直接从旧集群复制到新集群
hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
–peer.adr=new-cluster:2181:/hbase \
fgedu_user

# 3. CopyTable指定时间范围
hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
–peer.adr=new-cluster:2181:/hbase \
–starttime=1704067200000 \
–endtime=1712486400000 \
fgedu_user

# 4. Snapshot迁移
# 旧集群创建Snapshot
hbase shell
snapshot ‘fgedu_user’, ‘fgedu_user_snapshot_20240408’

# 导出Snapshot
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot fgedu_user_snapshot_20240408 \
-copy-to hdfs://new-cluster:8020/bigdata/fgdata/hbase/snapshots \
-mappers 20 \
-bandwidth 100

# 新集群恢复Snapshot
hbase shell
restore_snapshot ‘fgedu_user_snapshot_20240408’

# 5. 完整迁移脚本
#!/bin/bash
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

OLD_CLUSTER=”hdfs://old-cluster:8020″
NEW_CLUSTER=”hdfs://new-cluster:8020″
TABLES=(“fgedu_user” “fgedu_order” “fgedu_product”)

for TABLE in “${TABLES[@]}”; do
echo “正在迁移表: $TABLE”

# 创建Snapshot
echo “create_snapshot ‘$TABLE’, ‘${TABLE}_snapshot_$(date +%Y%m%d)'” | hbase shell

# 导出Snapshot
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot “${TABLE}_snapshot_$(date +%Y%m%d)” \
-copy-to $NEW_CLUSTER/bigdata/fgdata/hbase/snapshots \
-mappers 20 \
-bandwidth 100

echo “表 $TABLE 迁移完成”
done

echo “所有表迁移完成！”

# 6. 数据校验
# 对比行数
echo “count ‘fgedu_user'” | hbase shell
echo “count ‘fgedu_user'” | hbase shell –zkquorum new-cluster

# 对比Region数
echo “list_regions ‘fgedu_user'” | hbase shell
echo “list_regions ‘fgedu_user'” | hbase shell –zkquorum new-cluster