# 自动化运维规划
# 1. 目标设定：明确自动化运维的目标和范围
# 2. 工具选型：选择合适的自动化运维工具
# 3. 流程设计：设计自动化运维流程
# 4. 脚本开发：开发自动化运维脚本
# 5. 测试验证：在测试环境验证自动化运维流程

# 流程设计
# 1. 日常检查流程：定期检查集群状态、服务状态、数据状态等
# 2. 定期维护流程：定期清理垃圾、备份数据、更新系统等
# 3. 故障处理流程：自动发现故障、分析故障、处理故障、验证故障修复
# 4. 性能优化流程：定期分析性能数据、优化配置、验证优化效果

# 自动化脚本编写
# 1. 编写日常检查脚本
[root@fgedu.net.cn ~]# vi daily_check.sh
#!/bin/bash
# daily_check.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`

# 导出环境变量
export HADOOP_HOME=/bigdata/app/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 检查日期
CHECK_DATE=$(date +%Y%m%d)

# 检查日志目录
LOG_DIR=”/bigdata/logs/operation”
mkdir -p $LOG_DIR
LOG_FILE=”$LOG_DIR/daily_check_$CHECK_DATE.log”

# 开始检查
echo “开始日常检查：$(date)” >> $LOG_FILE

# 1. 系统状态检查
echo “=== 系统状态检查 ===” >> $LOG_FILE
echo “CPU使用情况：” >> $LOG_FILE
top -b -n 1 | head -n 10 >> $LOG_FILE

echo “内存使用情况：” >> $LOG_FILE
free -h >> $LOG_FILE

echo “磁盘使用情况：” >> $LOG_FILE
df -h >> $LOG_FILE

# 2. 服务状态检查
echo “=== 服务状态检查 ===” >> $LOG_FILE
echo “HDFS状态：” >> $LOG_FILE
hdfs dfsadmin -report >> $LOG_FILE

echo “YARN状态：” >> $LOG_FILE
yarn node -list >> $LOG_FILE

# 3. 数据状态检查
echo “=== 数据状态检查 ===” >> $LOG_FILE
echo “HDFS文件系统检查：” >> $LOG_FILE
hdfs fsck / >> $LOG_FILE

# 结束检查
echo “日常检查结束：$(date)” >> $LOG_FILE

# 发送检查报告
mail -s “Hadoop集群日常检查报告 $CHECK_DATE” ops@fgedu.net.cn < $LOG_FILE
# 2. 编写定期维护脚本
[root@fgedu.net.cn ~]# vi periodic_maintenance.sh
#!/bin/bash
# periodic_maintenance.sh

# 导出环境变量
export HADOOP_HOME=/bigdata/app/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 维护日期
MAINTENANCE_DATE=$(date +%Y%m%d)

# 维护日志目录
LOG_DIR=”/bigdata/logs/operation”
mkdir -p $LOG_DIR
LOG_FILE=”$LOG_DIR/periodic_maintenance_$MAINTENANCE_DATE.log”

# 开始维护
echo “开始定期维护：$(date)” >> $LOG_FILE

# 1. 清理垃圾
echo “=== 清理垃圾 ===” >> $LOG_FILE
hdfs dfs -expunge >> $LOG_FILE
rm -f /bigdata/app/hadoop/logs/* >> $LOG_FILE

# 2. 备份数据
echo “=== 备份数据 ===” >> $LOG_FILE
hdfs dfs -cp /user/fgedu/data hdfs://backup-cluster/user/fgedu/backup/$MAINTENANCE_DATE >> $LOG_FILE
cp -r /bigdata/app/hadoop/etc/hadoop /bigdata/backup/config/$MAINTENANCE_DATE >> $LOG_FILE

# 3. 系统更新
echo “=== 系统更新 ===” >> $LOG_FILE
yum update -y >> $LOG_FILE

# 结束维护
echo “定期维护结束：$(date)” >> $LOG_FILE

# 发送维护报告
mail -s “Hadoop集群定期维护报告 $MAINTENANCE_DATE” ops@fgedu.net.cn < $LOG_FILE

# 任务调度配置
# 1. 使用Oozie调度任务
[root@fgedu.net.cn ~]# vi /bigdata/app/oozie/workflows/operation_workflow.xml




${jobTracker}
${nameNode}
/bigdata/scripts/daily_check.sh






${jobTracker}
${nameNode}
/bigdata/scripts/periodic_maintenance.sh





Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]





# 2. 使用Airflow调度任务
[root@fgedu.net.cn ~]# vi /bigdata/app/airflow/dags/operation_dag.py
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

default_args = {
‘owner’: ‘fgedu’,
‘depends_on_past’: False,
‘start_date’: datetime(2023, 4, 8),
’email’: [‘ops@fgedu.net.cn’],
’email_on_failure’: True,
’email_on_retry’: False,
‘retries’: 1,
‘retry_delay’: timedelta(minutes=5),
}

dag = DAG(
‘hadoop_operation’,
default_args=default_args,
description=’Hadoop集群自动化运维’,
schedule_interval=timedelta(days=1),
)

daily_check = BashOperator(
task_id=’daily_check’,
bash_command=’/bigdata/scripts/daily_check.sh’,
dag=dag,
)

periodic_maintenance = BashOperator(
task_id=’periodic_maintenance’,
bash_command=’/bigdata/scripts/periodic_maintenance.sh’,
dag=dag,
)

daily_check >> periodic_maintenance

# 监控与告警集成
# 1. 配置Prometheus监控
[root@fgedu.net.cn ~]# vi /bigdata/app/prometheus/prometheus.yml
global:
scrape_interval: 15s

scrape_configs:
– job_name: ‘hadoop’
static_configs:
– targets: [‘localhost:9100’, ‘localhost:8088’, ‘localhost:50070’]

# 2. 配置Grafana告警
# 访问 http://localhost:3000，进入Dashboard，添加告警规则

# 3. 配置告警处理脚本
[root@fgedu.net.cn ~]# vi alert_handler.sh
#!/bin/bash
# alert_handler.sh

# 告警信息
ALERT_MESSAGE=$1

# 处理告警
echo “处理告警：$ALERT_MESSAGE” >> /bigdata/logs/alert/alert_handler.log

# 根据告警类型执行不同的处理逻辑
if [[ $ALERT_MESSAGE == *”High CPU Usage”* ]]; then
echo “处理CPU使用率过高告警” >> /bigdata/logs/alert/alert_handler.log
# 执行CPU优化脚本
/bigdata/scripts/cpu_optimize.sh
elif [[ $ALERT_MESSAGE == *”HDFS Missing Blocks”* ]]; then
echo “处理HDFS丢失块告警” >> /bigdata/logs/alert/alert_handler.log
# 执行HDFS修复脚本
/bigdata/scripts/hdfs_repair.sh
fi