# 导出环境变量
export HADOOP_HOME=/bigdata/app/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

# 巡检日期
INSPECTION_DATE=$(date +%Y%m%d)

# 巡检日志目录
LOG_DIR=”/bigdata/logs/inspection”
mkdir -p $LOG_DIR
LOG_FILE=”$LOG_DIR/inspection_$INSPECTION_DATE.log”

# 开始巡检
echo “开始巡检：$(date)” >> $LOG_FILE

# 1. 系统层面检查
echo “=== 系统层面检查 ===” >> $LOG_FILE
echo “CPU使用情况：” >> $LOG_FILE
top -b -n 1 | head -n 10 >> $LOG_FILE

echo “内存使用情况：” >> $LOG_FILE
free -h >> $LOG_FILE

echo “磁盘使用情况：” >> $LOG_FILE
df -h >> $LOG_FILE

echo “网络状态：” >> $LOG_FILE
netstat -tuln >> $LOG_FILE

# 2. Hadoop服务检查
echo “=== Hadoop服务检查 ===” >> $LOG_FILE
echo “HDFS状态：” >> $LOG_FILE
hdfs dfsadmin -report >> $LOG_FILE

echo “YARN状态：” >> $LOG_FILE
yarn node -list >> $LOG_FILE

echo “MapReduce作业：” >> $LOG_FILE
mapred job -list >> $LOG_FILE

# 3. 数据层面检查
echo “=== 数据层面检查 ===” >> $LOG_FILE
echo “HDFS文件系统检查：” >> $LOG_FILE
hdfs fsck / >> $LOG_FILE

echo “数据备份状态：” >> $LOG_FILE
hdfs dfs -ls hdfs://backup-cluster/user/fgedu/backup/ >> $LOG_FILE

# 结束巡检
echo “巡检结束：$(date)” >> $LOG_FILE

# 发送巡检报告
mail -s “Hadoop集群巡检报告 $INSPECTION_DATE” ops@fgedu.net.cn < $LOG_FILE

# 导出环境变量
export HADOOP_HOME=/bigdata/app/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

# 巡检日志目录
LOG_DIR=”/bigdata/logs/inspection”

# 分析最近7天的巡检结果
echo “分析最近7天的巡检结果…”
for i in $(seq 7); do
LOG_FILE=”$LOG_DIR/inspection_$(date -d “$i days ago” +%Y%m%d).log”
if [ -f $LOG_FILE ]; then
echo “=== 分析 $LOG_FILE ===”
# 检查CPU使用率
CPU_USAGE=$(grep “%Cpu(s):” $LOG_FILE | awk ‘{print $2}’)
if (( $(echo “$CPU_USAGE > 80” | bc -l) )); then
echo “警告：CPU使用率过高：$CPU_USAGE%”
fi

# 检查内存使用率
MEM_USAGE=$(grep “Mem :” $LOG_FILE | awk ‘{print $3/$2*100}’)
if (( $(echo “$MEM_USAGE > 80” | bc -l) )); then
echo “警告：内存使用率过高：$MEM_USAGE%”
fi

# 检查磁盘使用率
DISK_USAGE=$(grep “bigdata” $LOG_FILE | awk ‘{print $5}’ | sed ‘s/%//’)
if (( $DISK_USAGE > 80 )); then
echo “警告：磁盘使用率过高：$DISK_USAGE%”
fi

# 检查HDFS状态
if grep “HEALTHY” $LOG_FILE; then
echo “HDFS状态：健康”
else
echo “警告：HDFS状态异常”
fi
fi
done

通过Hadoop集群日常巡检与健康检查的实施，可以及时发现和解决潜在问题，确保集群的稳定运行，提高系统的可靠性和可用性。日常巡检是运维工作的重要组成部分，需要定期进行，不断优化。学习交流加群风哥QQ1132571