1. 可用性目标
– 99.9%：基本高可用
– 99.99%：标准高可用
– 99.999%：极高可用

2. 故障容忍
– 单点故障：至少2个实例
– 双点故障：至少3个实例
– 多点故障：5个以上实例

3. 数据中心
– 单机房：机架冗余
– 双机房：机房冗余
– 多机房：地域冗余

4. 恢复时间目标
– RTO（恢复时间目标）：服务恢复时间
– RPO（恢复点目标）：数据丢失量

# 高可用规划模板

可用性目标：99.99%
集群成员：5个
数据中心：2个（主备）
RTO：5分钟
RPO：0（会话复制）
故障容忍：2个节点

# 不同规模高可用配置

小型（99.9%）：
– 集群成员：2个
– 数据中心：1个
– 会话复制：单点
– Web服务器：2个

中型（99.99%）：
– 集群成员：3-5个
– 数据中心：2个
– 会话复制：双点
– Web服务器：3个

大型（99.999%）：
– 集群成员：5个以上
– 数据中心：3个
– 会话复制：全复制
– Web服务器：5个以上

方案1：共享存储方案
– 主备DMgr共享配置目录
– 使用共享文件系统（NFS/GPFS）
– 主DMgr故障时备DMgr接管

架构：
┌─────────────────────────────────────────┐
│ 共享存储（NFS/GPFS） │
│ /shared/was/config │
└─────────────────────────────────────────┘
↑ ↑
│ │
┌─────┴─────┐ ┌─────┴─────┐
│ DMgr(主) │ │ DMgr(备) │
│ Active │ │ Standby │
└───────────┘ └───────────┘

方案2：数据库方案
– 配置存储在数据库
– 主备DMgr共享数据库
– 自动故障切换

方案3：虚拟IP方案
– 主DMgr绑定VIP
– 故障时VIP漂移到备DMgr
– 客户端无感知切换

# DMgr高可用配置

1. 准备共享存储
# 创建共享目录
mkdir -p /shared/was/config
chown -R websphere:websphere /shared/was

# NFS挂载
mount -t nfs nas.fgedu.net.cn:/was_share /shared/was

2. 配置主DMgr
# 使用共享目录创建Profile
/WebSphere/app/bin/manageprofiles.sh -create \
-templatePath /WebSphere/app/profileTemplates/management \
-profileName Dmgr01 \
-profilePath /WebSphere/app/profiles/Dmgr01 \
-cellName fgeduCell01 \
-nodeName fgeduCellManager01 \
-dmgrProfileRoot /shared/was/config

3. 配置备DMgr
# 在备节点创建相同配置
# 使用相同的共享目录

4. 配置自动切换
# 使用Pacemaker/Keepalived
# 监控DMgr进程
# 自动启动备DMgr

1. 集群成员分布
– 不同物理服务器
– 不同机架
– 不同机房

2. 会话复制配置
– 启用内存到内存复制
– 配置复制域
– 设置备份数量

3. 健康策略配置
– 内存监控
– CPU监控
– 响应时间监控
– 自动重启

# 集群成员分布示例

集群：fgeduCluster（5成员）

机房A（主）：
– server1：物理服务器1
– server2：物理服务器2
– server3：物理服务器3

机房B（备）：
– server4：物理服务器4
– server5：物理服务器5

# 会话复制配置

复制域：fgeduReplicationDomain
复制模式：双点复制
备份数量：2

成员配置：
– server1 -> 复制到 server2, server4
– server2 -> 复制到 server3, server5
– server3 -> 复制到 server1, server4
– server4 -> 复制到 server5, server1
– server5 -> 复制到 server4, server2

# 健康策略配置

策略名称：fgeduHealthPolicy

条件：
– 内存使用率 > 90%
– CPU使用率 > 95%
– 响应时间 > 5000ms

动作：
– 重启服务器
– 发送告警通知

1. 同城双活
– 两个数据中心同时运行
– 数据实时同步
– 负载分担

架构：
┌─────────────────────────────────────────────────────────┐
│ 全局负载均衡 │
└─────────────────────────────────────────────────────────┘
│ │
┌────┴────┐ ┌────┴────┐
│ 数据中心A│ │ 数据中心B│
│ (主) │ │ (备) │
│ 50%流量 │ │ 50%流量 │
└─────────┘ └─────────┘

2. 异地容灾
– 主数据中心运行
– 备数据中心待命
– 故障时切换

架构：
┌─────────────────────────────────────────────────────────┐
│ DNS切换/全局负载均衡 │
└─────────────────────────────────────────────────────────┘
│ │
┌────┴────┐ ┌────┴────┐
│ 北京机房 │ │ 上海机房 │
│ (主) │ │ (备) │
│ 100%流量│ │ 待命 │
└─────────┘ └─────────┘

3. 两地三中心
– 生产中心 + 本地灾备 + 异地灾备
– 最高级别容灾

架构：
┌─────────────────────────────────────────────────────────┐
│ 全局负载均衡 │
└─────────────────────────────────────────────────────────┘
│ │ │
┌────┴────┐ ┌────┴────┐ ┌────┴────┐
│ 生产中心 │ │ 本地灾备 │ │ 异地灾备 │
│ 北京 │ │ 北京 │ │ 上海 │
│ 100%流量│ │ 同步复制 │ │ 异步复制 │
└─────────┘ └─────────┘ └─────────┘

# 容灾切换流程

1. 检测故障
2. 确认需要切换
3. 启动备中心服务
4. 更新DNS/负载均衡
5. 验证服务可用
6. 通知相关人员

# 容灾演练

演练频率：每季度一次
演练内容：
– 模拟主中心故障
– 执行切换流程
– 验证服务恢复
– 记录演练结果
– 改进容灾方案

1. 创建集群
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123

# 创建集群
AdminClusterManagement.createCluster(‘[-clusterName fgeduHACluster]’)

# 添加成员（分布在多个节点）
AdminClusterManagement.createClusterMember(‘[-clusterName fgeduHACluster -memberNode fgeduNode01 -memberName server1]’)
AdminClusterManagement.createClusterMember(‘[-clusterName fgeduHACluster -memberNode fgeduNode02 -memberName server2]’)
AdminClusterManagement.createClusterMember(‘[-clusterName fgeduHACluster -memberNode fgeduNode03 -memberName server3]’)

# 保存配置
AdminConfig.save()

2. 创建复制域
# 创建复制域
AdminConfig.create(‘ReplicationDomain’, AdminConfig.getid(‘/Cell:fgeduCell01/’),
‘[[name fgeduHAReplicationDomain] [replicatorEntry []]]’)

# 配置复制域属性
domain = AdminConfig.getid(‘/ReplicationDomain:fgeduHAReplicationDomain/’)
AdminConfig.modify(domain, ‘[[numberOfReplicas 2]]’)

# 保存配置
AdminConfig.save()

3. 启用集群高可用
# 获取集群配置
cluster = AdminConfig.getid(‘/ServerCluster:fgeduHACluster/’)

# 启用高可用
AdminConfig.modify(cluster, ‘[[enableHA true]]’)

# 配置复制域
stateMgr = AdminConfig.list(‘StateManagerProvider’, cluster)
AdminConfig.modify(stateMgr, ‘[[replicationDomain fgeduHAReplicationDomain]]’)

# 保存配置
AdminConfig.save()

# 同步节点
AdminNodeManagement.syncActiveNodes()

# 启动集群
AdminClusterManagement.startCluster(‘fgeduHACluster’)

# 验证配置
print AdminConfig.showAttribute(cluster, ‘enableHA’)

true

# 完整配置脚本
#!/bin/bash
# create_ha_cluster.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

echo “创建高可用集群…”

/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123 << 'EOF' # 创建集群 print "1. 创建集群..." AdminClusterManagement.createCluster('[-clusterName fgeduHACluster]') # 添加成员 print "2. 添加集群成员..." AdminClusterManagement.createClusterMember('[-clusterName fgeduHACluster -memberNode fgeduNode01 -memberName server1]') AdminClusterManagement.createClusterMember('[-clusterName fgeduHACluster -memberNode fgeduNode02 -memberName server2]') AdminClusterManagement.createClusterMember('[-clusterName fgeduHACluster -memberNode fgeduNode03 -memberName server3]') # 创建复制域 print "3. 创建复制域..." AdminConfig.create('ReplicationDomain', AdminConfig.getid('/Cell:fgeduCell01/'), '[[name fgeduHAReplicationDomain] [replicatorEntry []]]') # 启用高可用 print "4. 启用高可用..." cluster = AdminConfig.getid('/ServerCluster:fgeduHACluster/') AdminConfig.modify(cluster, '[[enableHA true]]') stateMgr = AdminConfig.list('StateManagerProvider', cluster) AdminConfig.modify(stateMgr, '[[replicationDomain fgeduHAReplicationDomain]]') # 保存配置 print "5. 保存配置..." AdminConfig.save() # 同步节点 print "6. 同步节点..." AdminNodeManagement.syncActiveNodes() # 启动集群 print "7. 启动集群..." AdminClusterManagement.startCluster('fgeduHACluster') print "高可用集群创建完成" EOF echo "完成"

1. 配置Web容器会话管理
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123

# 获取集群Web容器配置
cluster = AdminConfig.getid(‘/ServerCluster:fgeduHACluster/’)
webContainer = AdminConfig.list(‘WebContainer’, cluster)

# 配置会话管理
sessionMgr = AdminConfig.list(‘SessionManager’, webContainer)
AdminConfig.modify(sessionMgr, ”’
[[enable true]
[sessionTimeout 30]
[enableUrlRewriting false]
[enableCookies true]
[cookieName JSESSIONID]
[cookieSecure true]]
”’)

# 配置会话复制
tuningParams = AdminConfig.list(‘TuningParams’, sessionMgr)
AdminConfig.modify(tuningParams, ”’
[[maxInMemorySessionCount 1000]
[allowOverflow true]
[scheduleInvalidation false]]
”’)

# 配置复制设置
replication = AdminConfig.list(‘SessionDatabasePersistence’, sessionMgr)
AdminConfig.modify(replication, ”’
[[enable true]
[usePersistence false]]
”’)

# 保存配置
AdminConfig.save()

2. 配置会话复制属性
# 设置复制属性
sessionProps = AdminConfig.list(‘SessionManager’, webContainer)

# 配置内存到内存复制
AdminConfig.create(‘MemoryToMemorySessionReplication’, sessionProps, ”’
[[replicationType BOTH]]
”’)

# 保存配置
AdminConfig.save()

# 同步节点
AdminNodeManagement.syncActiveNodes()

# 重启集群
AdminClusterManagement.restartCluster(‘fgeduHACluster’)

3. 验证会话复制
# 创建测试应用
cat > /tmp/test_session.jsp << 'EOF' <%@ page import="java.util.*" %>
<% String sessionId = session.getId(); Integer count = (Integer) session.getAttribute("count"); if (count == null) count = 0; count++; session.setAttribute("count", count); %>
Session ID: <%= sessionId %>
Count: <%= count %>
Server: <%= java.net.InetAddress.getLocalHost().getHostName() %>
EOF

# 部署测试应用
# 访问测试页面
# 停止一个服务器
# 再次访问，验证会话保持

# 会话复制验证脚本
#!/bin/bash
# test_session_replication.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

echo “测试会话复制…”

# 获取会话ID
SESSION_ID=$(curl -s -c /tmp/cookie.txt http://localhost:9080/fgeduapp/test_session.jsp | grep “Session ID” | awk ‘{print $3}’)

echo “会话ID: $SESSION_ID”

# 多次请求
for i in {1..5}; do
echo “请求 $i:”
curl -s -b /tmp/cookie.txt http://localhost:9080/fgeduapp/test_session.jsp
echo “”
sleep 1
done

# 停止一个服务器
echo “停止server1…”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “AdminControl.invoke(AdminControl.queryNames(‘type=Server,name=server1,*’), ‘stop’)”

# 再次请求
echo “故障切换后请求:”
curl -s -b /tmp/cookie.txt http://localhost:9080/fgeduapp/test_session.jsp

echo “测试完成”

1. 测试应用服务器故障切换
# 查看当前集群状态
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123 \
-c “print AdminClusterManagement.getClusterState(‘fgeduHACluster’)”

websphere.cluster.running

# 查看成员状态
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123 << 'EOF' members = AdminClusterManagement.listClusterMembers('fgeduHACluster').split('\n') for member in members: if member: state = AdminControl.getAttribute(AdminControl.queryNames('type=ClusterMember,name=' + member + ',*'), 'state') print member + ': ' + state EOF server1: STARTED server2: STARTED server3: STARTED # 模拟服务器故障 # 停止server1 kill -9 $(ps -ef | grep server1 | grep java | awk '{print $2}') # 等待故障检测 sleep 10 # 检查集群状态 /WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \ -username fgeduadmin -password fgedu123 << 'EOF' members = AdminClusterManagement.listClusterMembers('fgeduHACluster').split('\n') for member in members: if member: try: state = AdminControl.getAttribute(AdminControl.queryNames('type=ClusterMember,name=' + member + ',*'), 'state') print member + ': ' + state except: print member + ': STOPPED' EOF server1: STOPPED server2: STARTED server3: STARTED # 测试应用访问 curl -s http://localhost:9080/fgeduapp/test.jsp # 应该正常返回 # 恢复server1 /WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \ -c "AdminControl.invoke(AdminControl.queryNames('type=Server,name=server1,*'), 'start')" 2. 测试会话故障切换 # 创建测试会话 curl -s -c /tmp/session.txt http://localhost:9080/fgeduapp/test_session.jsp Session ID: abc123 Count: 1 Server: server1 # 停止server1 /WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \ -c "AdminControl.invoke(AdminControl.queryNames('type=Server,name=server1,*'), 'stop')" # 使用相同会话访问 curl -s -b /tmp/session.txt http://localhost:9080/fgeduapp/test_session.jsp Session ID: abc123 Count: 2 Server: server2 # 会话保持，计数增加 3. 故障切换测试脚本 #!/bin/bash # failover_test.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn CLUSTER=fgeduHACluster APP_URL=http://localhost:9080/fgeduapp/test.jsp echo "=== 故障切换测试 ===" # 初始状态 echo "1. 初始状态：" /WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \ -c "print AdminClusterManagement.getClusterState('$CLUSTER')" 2>/dev/null

# 测试应用访问
echo “”
echo “2. 测试应用访问：”
curl -s $APP_URL

# 模拟故障
echo “”
echo “3. 模拟server1故障…”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “AdminControl.invoke(AdminControl.queryNames(‘type=Server,name=server1,*’), ‘stop’)” 2>/dev/null

sleep 5

# 检查状态
echo “”
echo “4. 故障后状态：”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “print AdminClusterManagement.getClusterState(‘$CLUSTER’)” 2>/dev/null

# 测试应用访问
echo “”
echo “5. 故障后应用访问：”
curl -s $APP_URL

# 恢复
echo “”
echo “6. 恢复server1…”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “AdminControl.invoke(AdminControl.queryNames(‘type=Server,name=server1,*’), ‘start’)” 2>/dev/null

sleep 10

# 最终状态
echo “”
echo “7. 最终状态：”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “print AdminClusterManagement.getClusterState(‘$CLUSTER’)” 2>/dev/null

echo “”
echo “=== 测试完成 ===”

1. 配置健康策略
# 通过管理控制台
故障诊断 > 健康策略 > 新建

策略名称：fgeduMemoryPolicy
条件：内存使用率 > 90%
动作：重启服务器

策略名称：fgeduCPUPolicy
条件：CPU使用率 > 95%
动作：重启服务器

# 通过wsadmin配置
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123

# 创建健康策略
healthPolicy = AdminConfig.create(‘HealthPolicy’, AdminConfig.getid(‘/Cell:fgeduCell01/’),
‘[[name fgeduMemoryPolicy] [description “Memory usage policy”]’)

# 添加条件
AdminConfig.create(‘HealthCondition’, healthPolicy,
‘[[conditionType memory] [threshold 90]]’)

# 添加动作
AdminConfig.create(‘HealthAction’, healthPolicy,
‘[[actionType RESTART_SERVER]]’)

# 保存配置
AdminConfig.save()

2. 监控脚本
#!/bin/bash
# ha_monitor.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: http://www.fgedu.net.cn

CLUSTER=fgeduHACluster
ALERT_EMAIL=admin@fgedu.net.cn

echo “=== 高可用监控 ===”

# 集群状态
CLUSTER_STATE=$(/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “print AdminClusterManagement.getClusterState(‘$CLUSTER’)” 2>/dev/null)

echo “集群状态: $CLUSTER_STATE”

# 成员状态
echo “”
echo “成员状态：”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-username fgeduadmin -password fgedu123 << 'EOF' 2>/dev/null

members = AdminClusterManagement.listClusterMembers(‘fgeduHACluster’).split(‘\n’)
active_count = 0
for member in members:
if member:
try:
state = AdminControl.getAttribute(AdminControl.queryNames(‘type=ClusterMember,name=’ + member + ‘,*’), ‘state’)
print member + ‘: ‘ + state
if state == ‘STARTED’:
active_count += 1
except:
print member + ‘: STOPPED’

print “活动成员数: ” + str(active_count)

EOF

# 会话复制状态
echo “”
echo “会话复制状态：”
/WebSphere/app/profiles/Dmgr01/bin/wsadmin.sh -lang jython \
-c “print AdminConfig.showAttribute(AdminConfig.getid(‘/ServerCluster:fgeduHACluster/’), ‘enableHA’)” 2>/dev/null

echo “=== 监控完成 ===”

3. 告警配置
# 配置SNMP告警
# 配置邮件告警
# 配置短信告警

# 告警脚本
#!/bin/bash
# send_alert.sh

SUBJECT=$1
MESSAGE=$2

echo “$MESSAGE” | mail -s “$SUBJECT” $ALERT_EMAIL

echo “告警已发送: $SUBJECT”