目录大纲

• Part01-基础概念与理论知识
  • 1.1 故障分级与定义
  • 1.2 应急响应原则
  • 1.3 故障处理流程
• Part02-生产环境规划与建议
  • 2.1 应急响应团队
  • 2.2 应急预案制定
  • 2.3 应急工具准备
• Part03-生产环境项目实施方案
  • 3.1 HDFS紧急故障处理
  • 3.2 YARN紧急故障处理
  • 3.3 Hive紧急故障处理
• Part04-生产案例与实战讲解
  • 4.1 NameNode故障处理案例
  • 4.2 DataNode故障处理案例
  • 4.3 ResourceManager故障处理案例
• Part05-风哥经验总结与分享
  • 5.1 故障处理常见问题
  • 5.2 故障处理最佳实践
  • 5.3 故障复盘与改进

Part01-基础概念与理论知识

1.1 故障分级与定义

故障分级与定义：

更多视频教程www.fgedu.net.cn

1.2 应急响应原则

应急响应原则：

• 快速响应：故障发生后快速响应，及时处理
• 优先恢复：优先恢复服务，再分析原因
• 信息同步：及时同步故障信息，保持沟通
• 记录完整：完整记录故障处理过程
• 持续改进：故障处理后复盘，持续改进

1.3 故障处理流程

故障处理流程：

1. 故障发现：监控系统发现故障，触发告警
2. 故障确认：确认故障级别和影响范围
3. 故障响应：启动应急响应，通知相关人员
4. 故障定位：定位故障原因，制定恢复方案
5. 故障恢复：执行恢复方案，恢复服务
6. 故障验证：验证服务恢复，确认故障解决
7. 故障复盘：复盘故障原因，制定改进措施

风哥提示：故障处理流程需要标准化，确保每次故障都能按照统一流程处理，提高故障处理效率。

Part02-生产环境规划与建议

2.1 应急响应团队

应急响应团队组成：

• 应急指挥：负责应急响应的总体指挥和决策
• 技术专家：负责故障定位和技术支持
• 运维工程师：负责故障处理和恢复
• 业务负责人：负责业务影响评估和决策
• 沟通协调：负责内外部沟通协调

应急响应职责：

• 应急指挥：统筹协调，决策指挥
• 技术专家：技术支持，方案制定
• 运维工程师：故障处理，服务恢复
• 业务负责人：业务评估，决策支持
• 沟通协调：信息同步，沟通协调

更多视频教程www.fgedu.net.cn

2.2 应急预案制定

应急预案制定要点：

• 故障场景：列出常见故障场景
• 处理流程：制定详细的处理流程
• 责任人：明确每个环节的责任人
• 联系方式：提供应急联系方式
• 恢复方案：提供详细的恢复方案

应急预案内容：

• 故障分级：明确故障分级标准
• 响应流程：明确应急响应流程
• 处理步骤：提供详细的处理步骤
• 联系方式：提供应急联系方式
• 恢复方案：提供详细的恢复方案

2.3 应急工具准备

应急工具准备：

• 监控工具：Prometheus、Grafana等
• 日志工具：ELK Stack、Splunk等
• 诊断工具：系统诊断工具、网络诊断工具等
• 恢复工具：备份恢复工具、数据恢复工具等
• 沟通工具：钉钉、企业微信等

更多视频教程www.fgedu.net.cn

Part03-生产环境项目实施方案

3.1 HDFS紧急故障处理

HDFS紧急故障处理流程：

#!/bin/bash
# HDFS紧急故障处理脚本
# 整理发布：风哥
# 日期：2024-01-15

# 配置参数
HADOOP_HOME=/opt/hadoop
HDFS_USER=hdfs
LOG_DIR=/data/emergency/logs
DATE=$(date +%Y%m%d_%H%M%S)
LOG_FILE=$LOG_DIR/hdfs_emergency_$DATE.log

# 创建日志目录
mkdir -p $LOG_DIR

# 开始故障处理
echo "========================================" >> $LOG_FILE
echo "HDFS紧急故障处理开始" >> $LOG_FILE
echo "时间：$(date)" >> $LOG_FILE
echo "========================================" >> $LOG_FILE

# 1. 故障确认
echo "1. 故障确认" >> $LOG_FILE
echo "检查HDFS集群状态" >> $LOG_FILE
$HADOOP_HOME/bin/hdfs dfsadmin -report >> $LOG_FILE 2>&1
HDFS_STATUS=$($HADOOP_HOME/bin/hdfs dfsadmin -report 2>/dev/null | grep -c "Live datanodes")
if [ $HDFS_STATUS -eq 0 ]; then
    echo "HDFS集群不可用，确认故障" >> $LOG_FILE
    FAULT_LEVEL="P0"
else
    echo "HDFS集群部分可用，确认故障级别" >> $LOG_FILE
    FAULT_LEVEL="P1"
fi
echo "故障级别：$FAULT_LEVEL" >> $LOG_FILE

# 2. 故障定位
echo "2. 故障定位" >> $LOG_FILE
echo "检查NameNode状态" >> $LOG_FILE
NAMENODE_PID=$(jps | grep NameNode | awk '{print $1}')
if [ -z "$NAMENODE_PID" ]; then
    echo "NameNode进程不存在" >> $LOG_FILE
    FAULT_TYPE="NameNode进程异常"
else
    echo "NameNode进程存在，PID：$NAMENODE_PID" >> $LOG_FILE
    echo "检查NameNode日志" >> $LOG_FILE
    tail -100 $HADOOP_HOME/logs/hadoop-*-namenode-*.log | grep -i error >> $LOG_FILE
    FAULT_TYPE="NameNode日志异常"
fi

# 3. 故障恢复
echo "3. 故障恢复" >> $LOG_FILE
case $FAULT_TYPE in
    "NameNode进程异常")
        echo "尝试重启NameNode" >> $LOG_FILE
        sudo -u $HDFS_USER $HADOOP_HOME/bin/hdfs --daemon stop namenode >> $LOG_FILE 2>&1
        sleep 10
        sudo -u $HDFS_USER $HADOOP_HOME/bin/hdfs --daemon start namenode >> $LOG_FILE 2>&1
        sleep 30
        ;;
    "NameNode日志异常")
        echo "检查NameNode资源" >> $LOG_FILE
        NAMENODE_MEM=$(ps -p $NAMENODE_PID -o rss= | awk '{print $1/1024}')
        echo "NameNode内存使用：${NAMENODE_MEM}MB" >> $LOG_FILE
        if [ $NAMENODE_MEM -gt 10240 ]; then
            echo "NameNode内存使用过高，尝试重启" >> $LOG_FILE
            sudo -u $HDFS_USER $HADOOP_HOME/bin/hdfs --daemon stop namenode >> $LOG_FILE 2>&1
            sleep 10
            sudo -u $HDFS_USER $HADOOP_HOME/bin/hdfs --daemon start namenode >> $LOG_FILE 2>&1
            sleep 30
        fi
        ;;
esac

# 4. 故障验证
echo "4. 故障验证" >> $LOG_FILE
echo "验证HDFS集群状态" >> $LOG_FILE
$HADOOP_HOME/bin/hdfs dfsadmin -report >> $LOG_FILE 2>&1
HDFS_STATUS=$($HADOOP_HOME/bin/hdfs dfsadmin -report 2>/dev/null | grep -c "Live datanodes")
if [ $HDFS_STATUS -gt 0 ]; then
    echo "HDFS集群已恢复" >> $LOG_FILE
    RECOVERY_STATUS="成功"
else
    echo "HDFS集群未恢复" >> $LOG_FILE
    RECOVERY_STATUS="失败"
fi

# 5. 故障记录
echo "5. 故障记录" >> $LOG_FILE
echo "故障级别：$FAULT_LEVEL" >> $LOG_FILE
echo "故障类型：$FAULT_TYPE" >> $LOG_FILE
echo "恢复状态：$RECOVERY_STATUS" >> $LOG_FILE

# 结束故障处理
echo "========================================" >> $LOG_FILE
echo "HDFS紧急故障处理完成" >> $LOG_FILE
echo "时间：$(date)" >> $LOG_FILE
echo "========================================" >> $LOG_FILE

# 发送告警
if [ "$RECOVERY_STATUS" = "失败" ]; then
    echo "发送告警：HDFS故障恢复失败" >> $LOG_FILE
    # 这里可以集成告警系统，发送钉钉、企业微信等告警
fi

echo "HDFS紧急故障处理日志：$LOG_FILE"

更多视频教程www.fgedu.net.cn

3.2 YARN紧急故障处理

YARN紧急故障处理流程：

#!/bin/bash
# YARN紧急故障处理脚本
# 整理发布：风哥
# 日期：2024-01-15

# 配置参数
HADOOP_HOME=/opt/hadoop
YARN_USER=yarn
LOG_DIR=/data/emergency/logs
DATE=$(date +%Y%m%d_%H%M%S)
LOG_FILE=$LOG_DIR/yarn_emergency_$DATE.log

# 创建日志目录
mkdir -p $LOG_DIR

# 开始故障处理
echo "========================================" >> $LOG_FILE
echo "YARN紧急故障处理开始" >> $LOG_FILE
echo "时间：$(date)" >> $LOG_FILE
echo "========================================" >> $LOG_FILE

# 1. 故障确认
echo "1. 故障确认" >> $LOG_FILE
echo "检查YARN集群状态" >> $LOG_FILE
$HADOOP_HOME/bin/yarn node -list >> $LOG_FILE 2>&1
YARN_STATUS=$($HADOOP_HOME/bin/yarn rmadmin -getServiceState rm1 2>/dev/null)
if [ "$YARN_STATUS" != "active" ]; then
    echo "YARN集群不可用，确认故障" >> $LOG_FILE
    FAULT_LEVEL="P0"
else
    echo "YARN集群部分可用，确认故障级别" >> $LOG_FILE
    FAULT_LEVEL="P1"
fi
echo "故障级别：$FAULT_LEVEL" >> $LOG_FILE

# 2. 故障定位
echo "2. 故障定位" >> $LOG_FILE
echo "检查ResourceManager状态" >> $LOG_FILE
RM_PID=$(jps | grep ResourceManager | awk '{print $1}')
if [ -z "$RM_PID" ]; then
    echo "ResourceManager进程不存在" >> $LOG_FILE
    FAULT_TYPE="ResourceManager进程异常"
else
    echo "ResourceManager进程存在，PID：$RM_PID" >> $LOG_FILE
    echo "检查ResourceManager日志" >> $LOG_FILE
    tail -100 $HADOOP_HOME/logs/yarn-*-resourcemanager-*.log | grep -i error >> $LOG_FILE
    FAULT_TYPE="ResourceManager日志异常"
fi

# 3. 故障恢复
echo "3. 故障恢复" >> $LOG_FILE
case $FAULT_TYPE in
    "ResourceManager进程异常")
        echo "尝试重启ResourceManager" >> $LOG_FILE
        sudo -u $YARN_USER $HADOOP_HOME/bin/yarn --daemon stop resourcemanager >> $LOG_FILE 2>&1
        sleep 10
        sudo -u $YARN_USER $HADOOP_HOME/bin/yarn --daemon start resourcemanager >> $LOG_FILE 2>&1
        sleep 30
        ;;
    "ResourceManager日志异常")
        echo "检查ResourceManager资源" >> $LOG_FILE
        RM_MEM=$(ps -p $RM_PID -o rss= | awk '{print $1/1024}')
        echo "ResourceManager内存使用：${RM_MEM}MB" >> $LOG_FILE
        if [ $RM_MEM -gt 8192 ]; then
            echo "ResourceManager内存使用过高，尝试重启" >> $LOG_FILE
            sudo -u $YARN_USER $HADOOP_HOME/bin/yarn --daemon stop resourcemanager >> $LOG_FILE 2>&1
            sleep 10
            sudo -u $YARN_USER $HADOOP_HOME/bin/yarn --daemon start resourcemanager >> $LOG_FILE 2>&1
            sleep 30
        fi
        ;;
esac

# 4. 故障验证
echo "4. 故障验证" >> $LOG_FILE
echo "验证YARN集群状态" >> $LOG_FILE
$HADOOP_HOME/bin/yarn rmadmin -getServiceState rm1 >> $LOG_FILE 2>&1
YARN_STATUS=$($HADOOP_HOME/bin/yarn rmadmin -getServiceState rm1 2>/dev/null)
if [ "$YARN_STATUS" = "active" ]; then
    echo "YARN集群已恢复" >> $LOG_FILE
    RECOVERY_STATUS="成功"
else
    echo "YARN集群未恢复" >> $LOG_FILE
    RECOVERY_STATUS="失败"
fi

# 5. 故障记录
echo "5. 故障记录" >> $LOG_FILE
echo "故障级别：$FAULT_LEVEL" >> $LOG_FILE
echo "故障类型：$FAULT_TYPE" >> $LOG_FILE
echo "恢复状态：$RECOVERY_STATUS" >> $LOG_FILE

# 结束故障处理
echo "========================================" >> $LOG_FILE
echo "YARN紧急故障处理完成" >> $LOG_FILE
echo "时间：$(date)" >> $LOG_FILE
echo "========================================" >> $LOG_FILE

# 发送告警
if [ "$RECOVERY_STATUS" = "失败" ]; then
    echo "发送告警：YARN故障恢复失败" >> $LOG_FILE
    # 这里可以集成告警系统，发送钉钉、企业微信等告警
fi

echo "YARN紧急故障处理日志：$LOG_FILE"

风哥提示：YARN故障处理需要重点关注ResourceManager状态，及时重启ResourceManager可以快速恢复服务。

3.3 Hive紧急故障处理

Hive紧急故障处理流程：

#!/bin/bash
# Hive紧急故障处理脚本
# 整理发布：风哥
# 日期：2024-01-15

# 配置参数
HIVE_HOME=/opt/hive
HIVE_USER=hive
LOG_DIR=/data/emergency/logs
DATE=$(date +%Y%m%d_%H%M%S)
LOG_FILE=$LOG_DIR/hive_emergency_$DATE.log

# 创建日志目录
mkdir -p $LOG_DIR

# 开始故障处理
echo "========================================" >> $LOG_FILE
echo "Hive紧急故障处理开始" >> $LOG_FILE
echo "时间：$(date)" >> $LOG_FILE
echo "========================================" >> $LOG_FILE

# 1. 故障确认
echo "1. 故障确认" >> $LOG_FILE
echo "检查Hive服务状态" >> $LOG_FILE
HS2_PID=$(jps | grep HiveServer2 | awk '{print $1}')
if [ -z "$HS2_PID" ]; then
    echo "HiveServer2进程不存在，确认故障" >> $LOG_FILE
    FAULT_LEVEL="P0"
else
    echo "HiveServer2进程存在，检查连接" >> $LOG_FILE
    HS2_CONNECTION=$(beeline -u jdbc:hive2://localhost:10000 -e "SELECT 1;" 2>/dev/null | grep -c "1")
    if [ $HS2_CONNECTION -eq 0 ]; then
        echo "HiveServer2连接失败，确认故障" >> $LOG_FILE
        FAULT_LEVEL="P0"
    else
        echo "HiveServer2连接正常，确认故障级别" >> $LOG_FILE
        FAULT_LEVEL="P1"
    fi
fi
echo "故障级别：$FAULT_LEVEL" >> $LOG_FILE

# 2. 故障定位
echo "2. 故障定位" >> $LOG_FILE
echo "检查HiveServer2状态" >> $LOG_FILE
if [ -z "$HS2_PID" ]; then
    echo "HiveServer2进程不存在" >> $LOG_FILE
    FAULT_TYPE="HiveServer2进程异常"
else
    echo "HiveServer2进程存在，PID：$HS2_PID" >> $LOG_FILE
    echo "检查HiveServer2日志" >> $LOG_FILE
    tail -100 $HIVE_HOME/logs/hiveserver2.log | grep -i error >> $LOG_FILE
    FAULT_TYPE="HiveServer2日志异常"
fi

# 3. 故障恢复
echo "3. 故障恢复" >> $LOG_FILE
case $FAULT_TYPE in
    "HiveServer2进程异常")
        echo "尝试重启HiveServer2" >> $LOG_FILE
        sudo -u $HIVE_USER $HIVE_HOME/bin/hive --service hiveserver2 stop >> $LOG_FILE 2>&1
        sleep 10
        sudo -u $HIVE_USER $HIVE_HOME/bin/hive --service hiveserver2 start >> $LOG_FILE 2>&1
        sleep 30
        ;;
    "HiveServer2日志异常")
        echo "检查HiveServer2资源" >> $LOG_FILE
        HS2_MEM=$(ps -p $HS2_PID -o rss= | awk '{print $1/1024}')
        echo "HiveServer2内存使用：${HS2_MEM}MB" >> $LOG_FILE
        if [ $HS2_MEM -gt 6144 ]; then
            echo "HiveServer2内存使用过高，尝试重启" >> $LOG_FILE
            sudo -u $HIVE_USER $HIVE_HOME/bin/hive --service hiveserver2 stop >> $LOG_FILE 2>&1
            sleep 10
            sudo -u $HIVE_USER $HIVE_HOME/bin/hive --service hiveserver2 start >> $LOG_FILE 2>&1
            sleep 30
        fi
        ;;
esac

# 4. 故障验证
echo "4. 故障验证" >> $LOG_FILE
echo "验证Hive服务状态" >> $LOG_FILE
HS2_CONNECTION=$(beeline -u jdbc:hive2://localhost:10000 -e "SELECT 1;" 2>/dev/null | grep -c "1")
if [ $HS2_CONNECTION -gt 0 ]; then
    echo "Hive服务已恢复" >> $LOG_FILE
    RECOVERY_STATUS="成功"
else
    echo "Hive服务未恢复" >> $LOG_FILE
    RECOVERY_STATUS="失败"
fi

# 5. 故障记录
echo "5. 故障记录" >> $LOG_FILE
echo "故障级别：$FAULT_LEVEL" >> $LOG_FILE
echo "故障类型：$FAULT_TYPE" >> $LOG_FILE
echo "恢复状态：$RECOVERY_STATUS" >> $LOG_FILE

# 结束故障处理
echo "========================================" >> $LOG_FILE
echo "Hive紧急故障处理完成" >> $LOG_FILE
echo "时间：$(date)" >> $LOG_FILE
echo "========================================" >> $LOG_FILE

# 发送告警
if [ "$RECOVERY_STATUS" = "失败" ]; then
    echo "发送告警：Hive故障恢复失败" >> $LOG_FILE
    # 这里可以集成告警系统，发送钉钉、企业微信等告警
fi

echo "Hive紧急故障处理日志：$LOG_FILE"

更多视频教程www.fgedu.net.cn

Part04-生产案例与实战讲解

4.1 NameNode故障处理案例

故障现象：NameNode突然不可用，HDFS集群无法提供服务

故障级别：P0（严重故障）

故障处理：

1. 故障发现：监控系统发现NameNode不可用，触发P0告警
2. 故障确认：确认NameNode进程不存在，HDFS集群不可用
3. 故障定位：检查NameNode日志，发现内存溢出错误
4. 故障恢复：重启NameNode，恢复服务
5. 故障验证：验证HDFS集群已恢复

故障恢复时间：15分钟

改进措施：

• 增加NameNode内存，避免内存溢出
• 优化NameNode配置，提高稳定性
• 完善监控告警，提前发现异常

NameNode故障是HDFS最严重的故障之一，需要快速响应，及时恢复服务。

4.2 DataNode故障处理案例

故障现象：多个DataNode同时下线，HDFS数据块副本不足

故障级别：P1（重要故障）

故障处理：

1. 故障发现：监控系统发现多个DataNode下线，触发P1告警
2. 故障确认：确认DataNode进程不存在，数据块副本不足
3. 故障定位：检查DataNode日志，发现磁盘故障
4. 故障恢复：更换故障磁盘，重启DataNode
5. 故障验证：验证DataNode已恢复，数据块副本充足

故障恢复时间：2小时

改进措施：

• 增加磁盘冗余，避免单点故障
• 优化DataNode配置，提高稳定性
• 完善监控告警，提前发现磁盘问题

更多视频教程www.fgedu.net.cn

4.3 ResourceManager故障处理案例

故障现象：ResourceManager突然不可用，YARN集群无法提交任务

故障级别：P0（严重故障）

故障处理：

1. 故障发现：监控系统发现ResourceManager不可用，触发P0告警
2. 故障确认：确认ResourceManager进程不存在，YARN集群不可用
3. 故障定位：检查ResourceManager日志，发现ZooKeeper连接失败
4. 故障恢复：修复ZooKeeper连接，重启ResourceManager
5. 故障验证：验证YARN集群已恢复，任务可以正常提交

故障恢复时间：20分钟

改进措施：

• 优化ZooKeeper配置，提高稳定性
• 增加ResourceManager高可用，避免单点故障
• 完善监控告警，提前发现ZooKeeper问题

风哥提示：ResourceManager故障会影响整个YARN集群，需要快速响应，及时恢复服务。

Part05-风哥经验总结与分享

5.1 故障处理常见问题

故障处理常见问题：

• 响应不及时：故障发生后响应不及时，导致故障扩大
• 定位不准确：故障定位不准确，导致处理时间过长
• 恢复不彻底：故障恢复不彻底，导致故障反复
• 记录不完整：故障记录不完整，无法追溯故障历史
• 复盘不深入：故障复盘不深入，无法找出根本原因

更多视频教程www.fgedu.net.cn

5.2 故障处理最佳实践

故障处理最佳实践：

• 快速响应：故障发生后快速响应，及时处理
• 准确定位：准确故障定位，制定合理的恢复方案
• 彻底恢复：彻底恢复服务，避免故障反复
• 完整记录：完整记录故障处理过程，便于分析
• 深入复盘：深入复盘故障原因，制定改进措施

5.3 故障复盘与改进

故障复盘与改进：

• 故障复盘：定期复盘故障，找出根本原因
• 制定措施：根据故障原因制定改进措施
• 落实改进：落实改进措施，避免故障重复
• 持续优化：持续优化系统，提高稳定性
• 提升能力：通过培训和演练，提升故障处理能力

风哥提示：故障处理是运维工作的重要组成部分，需要建立标准化的故障处理流程，快速响应，准确定位，彻底恢复，深入复盘，持续改进。

更多视频教程www.fgedu.net.cn