1. 配置管理
措施 内容
──────────────────────────────────────────────────────
配置备份 定期备份配置文件
变更管理 严格的变更审批流程
配置审计 定期审计配置正确性
版本控制 配置文件版本管理

2. 监控预警
措施 内容
──────────────────────────────────────────────────────
实时监控 监控关键指标
告警通知 及时告警通知
趋势分析 分析性能趋势
容量预警 容量不足预警

3. 定期巡检
巡检项 频率 内容
──────────────────────────────────────────────────────
日志检查 每天 检查错误日志
性能检查 每天 检查性能指标
安全检查 每周 检查安全配置
配置检查 每月 检查配置正确性

# 预防性维护脚本

#!/bin/bash
# preventive_maintenance.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

echo “=== 预防性维护 ===”

# 1. 检查磁盘空间
echo “1. 磁盘空间检查：”
df -h | grep -E “^/|使用”

# 2. 检查日志大小
echo “”
echo “2. 日志大小检查：”
du -sh /WebSphere/app/profiles/*/logs

# 3. 检查进程状态
echo “”
echo “3. 进程状态检查：”
ps -ef | grep java | grep WebSphere

# 4. 检查端口状态
echo “”
echo “4. 端口状态检查：”
netstat -tlnp | grep java

# 5. 检查错误日志
echo “”
echo “5. 错误日志检查：”
grep -i “error\|exception” /WebSphere/app/profiles/*/logs/*/SystemErr.log | tail -10

echo “”
echo “=== 维护完成 ===”

1. 监控指标
指标 监控方式 告警阈值
──────────────────────────────────────────────────────
服务器状态 PMI 停止
应用状态 运行时查询 停止
CPU使用率 PMI > 80%
内存使用率 PMI > 80%
响应时间 监控脚本 > 2秒
错误率 日志分析 > 1%

2. 监控脚本
#!/bin/bash
# fault_monitor.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

LOG_FILE=/WebSphere/logs/fault_monitor.log

while true; do
# 检查服务器状态
STATUS=$(/WebSphere/app/profiles/Dmgr01/bin/serverStatus.sh dmgr 2>&1)

if echo “$STATUS” | grep -q “ADMU0503I”; then
STATE=”RUNNING”
else
STATE=”STOPPED”
echo “$(date): 告警 – 服务器状态异常” >> $LOG_FILE
fi

# 检查应用状态
APPS=$(/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123 \
-c “print AdminApp.list()” 2>/dev/null)

# 检查错误日志
ERRORS=$(grep -c “Error\|Exception” /WebSphere/app/profiles/*/logs/*/SystemErr.log 2>/dev/null)

# 记录状态
echo “$(date): 服务器=$STATE, 应用数=$(echo $APPS | wc -w), 错误数=$ERRORS” >> $LOG_FILE

sleep 60
done

3. 监控架构
┌─────────────────────────────────────────────────────────┐
│ 监控架构 │
├─────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ 监控采集层 │ │
│ │ PMI | 日志 | 自定义脚本 │ │
│ └─────────────────────────────────────────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ 监控存储层 │ │
│ │ Prometheus | InfluxDB | Elasticsearch │ │
│ └─────────────────────────────────────────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ 监控展示层 │ │
│ │ Grafana | Kibana | 控制台 │ │
│ └─────────────────────────────────────────────────┘ │
│ ↓ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ 告警通知层 │ │
│ │ 邮件 | 短信 | 钉钉 | 企业微信 │ │
│ └─────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────┘

1. 告警规则
告警类型 条件 级别
──────────────────────────────────────────────────────
服务器停止 状态非running P1
应用停止 应用状态非running P1
CPU高 CPU > 80% 持续5分钟 P2
内存高 内存 > 80% 持续5分钟 P2
响应慢 响应时间 > 2秒 P2
错误多 错误率 > 1% P3

2. 告警通知
级别 通知方式 通知对象
──────────────────────────────────────────────────────
P1 电话+短信+邮件 值班人员+领导
P2 短信+邮件 值班人员
P3 邮件 值班人员
P4 邮件 值班人员

3. 告警脚本
#!/bin/bash
# alert.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

ALERT_LEVEL=$1
ALERT_MSG=$2

case $ALERT_LEVEL in
“P1”)
# 电话通知
echo “电话通知: $ALERT_MSG”
# 短信通知
echo “短信通知: $ALERT_MSG”
# 邮件通知
echo “$ALERT_MSG” | mail -s “P1告警” admin@fgedu.net.cn
;;
“P2”)
# 短信通知
echo “短信通知: $ALERT_MSG”
# 邮件通知
echo “$ALERT_MSG” | mail -s “P2告警” admin@fgedu.net.cn
;;
“P3”)
# 邮件通知
echo “$ALERT_MSG” | mail -s “P3告警” admin@fgedu.net.cn
;;
esac

1. 恢复预案
故障类型 恢复方案 恢复时间
──────────────────────────────────────────────────────
服务器停止 重启服务器 5分钟
应用停止 重启应用 2分钟
配置损坏 恢复配置备份 15分钟
数据损坏 恢复数据备份 30分钟

2. 恢复脚本
#!/bin/bash
# recovery.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

FAULT_TYPE=$1

case $FAULT_TYPE in
“server_down”)
echo “执行服务器恢复…”
/WebSphere/app/profiles/Dmgr01/bin/startManager.sh
;;
“app_down”)
echo “执行应用恢复…”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123 \
-c “AdminControl.invoke(AdminControl.queryNames(‘type=ApplicationManager,process=server1,*’), ‘startApplication’, ‘fgedu-app’)”
;;
“config_corrupt”)
echo “执行配置恢复…”
/WebSphere/app/profiles/Dmgr01/bin/restoreConfig.sh /backup/was/config_latest.zip
;;
esac

3. 恢复验证
验证项 验证内容 通过标准
──────────────────────────────────────────────────────
服务状态 服务是否正常 状态为running
应用状态 应用是否正常 应用正常运行
功能测试 功能是否正常 功能测试通过
性能测试 性能是否达标 性能指标达标

1. 端口冲突
症状：
ADMU0014E: 端口 9080 已被使用

诊断：
# 检查端口占用
netstat -tlnp | grep 9080

tcp6 0 0 :::9080 :::* LISTEN 12345/java

# 检查进程
ps -ef | grep 12345

fgedu 12345 1 5 10:00 ? 00:00:30 /WebSphere/app/java/bin/java …

解决：
# 方案1：停止占用端口的进程
kill -9 12345

# 方案2：修改WebSphere端口
管理控制台 > 服务器 > WebSphere应用服务器 > server1 > 端口

2. 配置文件损坏
症状：
ADMU0005E: 无法读取配置文件

诊断：
# 检查配置文件
cat /WebSphere/app/profiles/Dmgr01/config/cells/fgeduCell01/cell.xml

# 文件内容为空或损坏

解决：
# 恢复配置
/WebSphere/app/profiles/Dmgr01/bin/restoreConfig.sh /backup/was/config_latest.zip

执行结果：
ADMU0004I: 备份文件已成功恢复

3. 权限问题
症状：
ADMU0006E: 权限被拒绝

诊断：
# 检查文件权限
ls -la /WebSphere/app/profiles/Dmgr01/

drwxr-xr-x 5 root root 4096 4月10日 10:00 profiles

# 权限属于root，但用fgedu用户启动

解决：
# 修改权限
chown -R fgedu:fsgroup /WebSphere/app

# 重新启动
/WebSphere/app/profiles/Dmgr01/bin/startManager.sh

4. 内存不足
症状：
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

诊断：
# 检查系统内存
free -m

total used free
Mem: 2048 1800 248

# 内存不足

解决：
# 方案1：增加系统内存
# 方案2：减少JVM堆内存

# 修改JVM参数
AdminConfig.modify(jvm, ‘[[initialHeapSize 512] [maximumHeapSize 1024]]’)

1. 应用部署失败
症状：
ADMA0085E: 应用程序部署失败

诊断：
# 查看部署日志
cat /WebSphere/app/profiles/Dmgr01/logs/dmgr/SystemErr.log

[4/10/26 10:00:00] ADMA0085E: 应用程序部署失败
原因：EAR文件格式不正确

解决：
# 验证EAR文件
/WebSphere/app/bin/earvalidator /apps/fgedu-app.ear

# 重新打包EAR
jar -cvf fgedu-app.ear -C build/ .

# 重新部署
AdminApp.install(‘/apps/fgedu-app.ear’, ‘[-appname fgedu-app]’)

2. 应用启动失败
症状：
应用状态为”已停止”，无法启动

诊断：
# 查看应用日志
cat /WebSphere/app/profiles/AppSrv01/logs/server1/SystemErr.log

[4/10/26 10:00:00] SRVE0169I: 正在加载 Web 模块
[4/10/26 10:00:01] SRVE0014E: 无法加载 Servlet: MainServlet
java.lang.ClassNotFoundException: com.fgedu.servlet.MainServlet

解决：
# 检查类路径
# 确认类文件存在
jar -tf fgedu-app.war | grep MainServlet

WEB-INF/classes/com/fgedu/servlet/MainServlet.class

# 检查类加载器配置
管理控制台 > 应用程序 > 类加载器

3. 应用运行异常
症状：
应用运行中出现异常

诊断：
# 查看异常堆栈
grep -A 20 “Exception” /WebSphere/app/profiles/AppSrv01/logs/server1/SystemErr.log

java.lang.NullPointerException
at com.fgedu.service.UserService.getUser(UserService.java:50)
at com.fgedu.controller.UserController.getUser(UserController.java:30)

解决：
# 分析代码
# 定位到UserService.java第50行
# 修复空指针问题

4. 应用崩溃
症状：
应用突然停止，无响应

诊断：
# 检查崩溃日志
ls -la /WebSphere/app/profiles/AppSrv01/

javacore.20260410.100000.12345.txt
heapdump.20260410.100000.12345.phd

# 分析javacore
grep “OutOfMemory” javacore.*.txt

1XHSTACKFULL OutOfMemoryError

解决：
# 增加堆内存
AdminConfig.modify(jvm, ‘[[maximumHeapSize 4096]]’)

# 分析内存泄漏
# 使用HeapAnalyzer分析heapdump

1. 响应慢
症状：
请求响应时间过长

诊断：
# 检查响应时间
curl -w “响应时间: %{time_total}s\n” -o /dev/null -s http://localhost:9080/fgedu-app/

响应时间: 5.234s

# 检查系统资源
top

# 检查线程状态
jstack | grep -A 5 “BLOCKED”

解决：
# 优化数据库查询
# 增加缓存
# 优化代码

2. CPU高
症状：
CPU使用率持续高位

诊断：
# 查看CPU使用
top

# 找出高CPU线程
top -H -p

# 线程转储
jstack > thread_dump.txt

# 分析线程
grep “nid=0x” thread_dump.txt

解决：
# 分析线程堆栈
# 找出CPU消耗高的代码
# 优化代码

3. 内存溢出
症状：
OutOfMemoryError

诊断：
# 查看内存使用
jstat -gc

# 生成堆转储
jmap -dump:format=b,file=heap.hprof

# 分析堆转储
# 使用MAT或HeapAnalyzer

解决：
# 增加堆内存
# 修复内存泄漏
# 优化对象创建

4. 连接池耗尽
症状：
无法获取数据库连接

诊断：
# 查看连接池状态
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “ds=AdminControl.queryNames(‘type=DataSource,name=fgedudb,*’); print AdminControl.getAttribute(ds, ‘stats’)”

{
“activeConnections”: 100,
“freeConnections”: 0,
“waitingThreads”: 20
}

解决：
# 增加连接池大小
# 检查连接泄漏
# 优化数据库查询

1. 节点无法加入集群
症状：
节点无法加入Cell

诊断：
# 查看节点日志
cat /WebSphere/app/profiles/AppSrv01/logs/nodeagent/SystemErr.log

[4/10/26 10:00:00] ADMU0003E: 无法连接到 Deployment Manager

# 检查网络
ping fgedu.net.cn

# 检查端口
telnet fgedu.net.cn 8879

解决：
# 检查Dmgr状态
/WebSphere/app/profiles/Dmgr01/bin/serverStatus.sh dmgr

# 检查防火墙
iptables -L

# 重新添加节点
/WebSphere/app/profiles/AppSrv01/bin/addNode.sh fgedu.net.cn 8879

2. 配置同步失败
症状：
节点配置不同步

诊断：
# 检查同步状态
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “print AdminNodeManagement.syncNode(‘fgeduNode01’, ‘true’)”

解决：
# 强制同步
AdminNodeManagement.syncNode(‘fgeduNode01’, ‘true’)

# 重启节点
/WebSphere/app/profiles/AppSrv01/bin/stopNode.sh
/WebSphere/app/profiles/AppSrv01/bin/startNode.sh

3. 会话复制失败
症状：
会话无法在节点间复制

诊断：
# 检查会话配置
管理控制台 > 服务器 > 会话管理

# 检查网络
# 检查内存到内存复制配置

解决：
# 检查会话配置
# 确保所有节点配置一致
# 检查网络连接

4. 负载均衡异常
症状：
请求分发不均匀

诊断：
# 检查负载均衡配置
# 检查权重配置
# 检查健康检查

解决：
# 调整权重
# 检查健康检查URL
# 重启负载均衡器