更多视频教程www.fgedu.net.cn

1.2 SLI与SLO的关系

SLI（Service Level Indicator）是服务级别指标，用于衡量服务的性能、可用性等。SLO是基于SLI设定的目标值。

常见SLI指标：

• 可用性：服务正常可用的时间比例
• 延迟：请求响应时间
• 吞吐量：单位时间处理的请求数
• 错误率：错误请求占总请求的比例
• 数据一致性：数据一致性的保证程度

SLO示例：

• 可用性：99.9%（每月停机时间<43.2分钟）
• P99延迟：<500ms
• 错误率：<0.1%
• 吞吐量：>10000 TPS

1.3 错误预算与风险控制

错误预算（Error Budget）是指允许的SLO未达标的时间或请求次数。错误预算的计算公式：

错误预算 = (1 - SLO目标值) × 总时间/总请求数

例如，如果SLO目标是99.9%可用性，那么错误预算就是0.1%，即每月允许停机43.2分钟。

错误预算的使用：

• 变更控制：错误预算充足时可以大胆变更，不足时需要谨慎
• 优先级决策：根据错误预算决定新功能开发的优先级
• 资源分配：根据错误预算分配稳定性改进资源

风哥提示：错误预算是平衡创新与稳定性的重要工具，合理使用错误预算可以帮助团队在保证稳定性的同时持续创新。

Part02-生产环境规划与建议

2.1 SLO指标体系设计

Hadoop集群SLO指标体系设计：

更多视频教程www.fgedu.net.cn

2.2 监控告警体系建设

监控告警体系建设要点：

• 分层监控：基础设施、服务、应用三层监控
• 多维度指标：CPU、内存、磁盘、网络、应用指标
• 告警分级：P0、P1、P2、P3四级告警
• 告警收敛：避免告警风暴，合理设置告警阈值
• 告警路由：根据告警级别路由到不同人员

告警级别定义：

• P0：服务完全不可用，需要立即处理
• P1：服务部分不可用，需要尽快处理
• P2：服务性能下降，需要在工作时间内处理
• P3：服务轻微异常，可以安排在合适时间处理

2.3 容量规划与资源管理

容量规划要点：

• 需求预测：根据历史数据和业务增长预测未来需求
• 资源评估：评估现有资源是否满足需求
• 扩容计划：制定扩容计划，确保资源充足
• 资源调度：合理调度资源，提高资源利用率

资源管理策略：

• 资源隔离：不同业务使用不同资源池
• 资源配额：为不同业务设置资源配额
• 资源监控：持续监控资源使用情况
• 资源优化：优化资源使用，提高资源利用率

更多视频教程www.fgedu.net.cn

Part03-生产环境项目实施方案

3.1 HDFS稳定性保障实施

HDFS稳定性保障配置示例：

// HDFS稳定性保障配置
<configuration>
    <!-- NameNode高可用配置 -->
    <property>
        <name>dfs.nameservices</name>
        <value>fgedu-cluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.fgedu-cluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.fgedu-cluster.nn1</name>
        <value>namenode1.fgedu.net.cn:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.fgedu-cluster.nn2</name>
        <value>namenode2.fgedu.net.cn:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.fgedu-cluster.nn1</name>
        <value>namenode1.fgedu.net.cn:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.fgedu-cluster.nn2</name>
        <value>namenode2.fgedu.net.cn:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://journalnode1.fgedu.net.cn:8485;journalnode2.fgedu.net.cn:8485;journalnode3.fgedu.net.cn:8485/fgedu-cluster</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.fgedu-cluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/hadoop/journal</value>
    </property>

    <!-- 数据副本配置 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.replication.max</name>
        <value>5</value>
    </property>

    <!-- 心跳配置 -->
    <property>
        <name>dfs.heartbeat.interval</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.heartbeat.recheck.interval</name>
        <value>300000</value>
    </property>

    <!-- 块配置 -->
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
    <property>
        <name>dfs.namenode.fs-limits.min-block-size</name>
        <value>1048576</value>
    </property>

    <!-- 安全模式配置 -->
    <property>
        <name>dfs.namenode.safemode.threshold-pct</name>
        <value>0.999f</value>
    </property>
    <property>
        <name>dfs.namenode.safemode.min.datanodes</name>
        <value>10</value>
    </property>

    <!-- 权限配置 -->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.permissions.superusergroup</name>
        <value>hadoop</value>
    </property>

    <!-- 审计日志配置 -->
    <property>
        <name>dfs.audit.log.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.audit.log.async</name>
        <value>true</value>
    </property>
</configuration>

更多视频教程www.fgedu.net.cn

3.2 YARN稳定性保障实施

YARN稳定性保障配置示例：

// YARN稳定性保障配置
<configuration>
    <!-- ResourceManager高可用配置 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>fgedu-cluster</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>resourcemanager1.fgedu.net.cn</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>resourcemanager2.fgedu.net.cn</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>resourcemanager1.fgedu.net.cn:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>resourcemanager2.fgedu.net.cn:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zk1.fgedu.net.cn:2181,zk2.fgedu.net.cn:2181,zk3.fgedu.net.cn:2181</value>
    </property>

    <!-- 资源配置 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>65536</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>24</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>32768</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>12</value>
    </property>

    <!-- NodeManager健康检查 -->
    <property>
        <name>yarn.nodemanager.health-checker.interval-ms</name>
        <value>60000</value>
    </property>
    <property>
        <name>yarn.nodemanager.health-checker.script.timeout-ms</name>
        <value>120000</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>

    <!-- 容器回收配置 -->
    <property>
        <name>yarn.nodemanager.container-monitor.interval-ms</name>
        <value>3000</value>
    </property>
    <property>
        <name>yarn.nodemanager.container-monitor.resource-enforcement</name>
        <value>true</value>
    </property>

    <!-- 日志聚合配置 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/hadoop/logs</value>
    </property>

    <!-- 应用程序监控 -->
    <property>
        <name>yarn.resourcemanager.am.max-attempts</name>
        <value>2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>10000</value>
    </property>
</configuration>

风哥提示：YARN的资源隔离和健康检查是保障稳定性的关键，需要合理配置资源限制和健康检查策略，避免单个任务影响整个集群。

3.3 Hive稳定性保障实施

Hive稳定性保障配置示例：

// Hive稳定性保障配置
<configuration>
    <!-- HiveServer2高可用配置 -->
    <property>
        <name>hive.server2.support.dynamic.service.discovery</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.zookeeper.namespace</name>
        <value>hiveserver2</value>
    </property>
    <property>
        <name>hive.zookeeper.quorum</name>
        <value>zk1.fgedu.net.cn:2181,zk2.fgedu.net.cn:2181,zk3.fgedu.net.cn:2181</value>
    </property>
    <property>
        <name>hive.zookeeper.client.port</name>
        <value>2181</value>
    </property>

    <!-- 连接池配置 -->
    <property>
        <name>hive.server2.thrift.max.worker.threads</name>
        <value>500</value>
    </property>
    <property>
        <name>hive.server2.thrift.min.worker.threads</name>
        <value>50</value>
    </property>
    <property>
        <name>hive.server2.thrift.max.message.size</name>
        <value>104857600</value>
    </property>

    <!-- 查询超时配置 -->
    <property>
        <name>hive.server2.long.polling.timeout</name>
        <value>60000</value>
    </property>
    <property>
        <name>hive.server2.thrift.client.connection.timeout</name>
        <value>30000</value>
    </property>
    <property>
        <name>hive.server2.thrift.client.read.timeout</name>
        <value>120000</value>
    </property>

    <!-- 查询限制配置 -->
    <property>
        <name>hive.query.timeout</name>
        <value>3600</value>
    </property>
    <property>
        <name>hive.exec.max.dynamic.partitions</name>
        <value>10000</value>
    </property>
    <property>
        <name>hive.exec.max.dynamic.partitions.pernode</name>
        <value>1000</value>
    </property>

    <!-- 并发控制配置 -->
    <property>
        <name>hive.server2.enable.doAs</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.concurrent.connections</name>
        <value>1000</value>
    </property>

    <!-- 内存配置 -->
    <property>
        <name>hive.server2.heapsize</name>
        <value>8192</value>
    </property>
    <property>
        <name>hive.metastore.heapsize</name>
        <value>4096</value>
    </property>

    <!-- Metastore高可用配置 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://metastore1.fgedu.net.cn:9083,thrift://metastore2.fgedu.net.cn:9083</value>
    </property>
    <property>
        <name>hive.metastore.client.socket.timeout</name>
        <value>60000</value>
    </property>

    <!-- 审计日志配置 -->
    <property>
        <name>hive.server2.logging.operation.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/data/hive/logs/operation.log</value>
    </property>
</configuration>

更多视频教程www.fgedu.net.cn

Part04-生产案例与实战讲解

4.1 核心服务SLO保障案例

某互联网公司Hadoop集群核心服务SLO保障案例：

背景：集群承载核心业务，要求99.9%可用性，P99延迟<100ms

挑战：业务增长快，数据量大，集群负载高

解决方案：

• 高可用架构：部署NameNode HA、ResourceManager HA、HiveServer2 HA
• 监控告警：部署Prometheus + Grafana监控，设置多级告警
• 容量规划：根据业务增长预测，提前扩容
• 故障演练：定期进行故障演练，验证高可用架构
• 应急预案：制定详细的应急预案，确保故障快速恢复

效果：集群可用性达到99.95%，P99延迟<80ms，超出预期

SLO保障需要长期投入，不能一蹴而就，需要持续监控、持续优化。

4.2 数据平台稳定性案例

某金融公司数据平台稳定性保障案例：

背景：数据平台承载全公司数据分析，要求99.5%可用性，任务成功率99%

挑战：任务复杂度高，数据量大，依赖关系复杂

解决方案：

• 任务优化：优化SQL查询，提高任务执行效率
• 资源隔离：不同业务使用不同资源池，避免相互影响
• 依赖管理：使用Airflow管理任务依赖，确保任务按时执行
• 重试机制：设置任务重试策略，提高任务成功率
• 监控告警：监控任务执行情况，及时发现异常

效果：平台可用性达到99.8%，任务成功率99.5%，满足业务需求

更多视频教程www.fgedu.net.cn

4.3 故障应急响应案例

某电商公司Hadoop集群故障应急响应案例：

故障现象：NameNode突然不可用，集群无法提供服务

影响范围：影响全公司数据分析业务

应急响应：

1. 故障发现：监控系统发现NameNode不可用，触发P0告警
2. 故障定位：检查NameNode日志，发现磁盘故障导致NameNode崩溃
3. 故障处理：启动备用NameNode，切换到备用NameNode
4. 服务恢复：集群恢复正常服务
5. 故障复盘：分析故障原因，制定改进措施

故障恢复时间：15分钟

改进措施：

• 增加NameNode磁盘冗余，避免单点故障
• 优化NameNode监控，提前发现磁盘问题
• 完善应急预案，提高故障处理效率

风哥提示：故障应急响应的关键是快速发现、快速定位、快速处理，需要建立完善的监控告警体系和应急预案。

Part05-风哥经验总结与分享

5.1 SLO实施常见问题

SLO实施常见问题：

• SLO目标不合理：SLO目标过高或过低，无法指导实际工作
• 监控指标不全面：监控指标覆盖不全，无法全面评估服务质量
• 告警设置不合理：告警阈值设置不合理，导致误报或漏报
• 错误预算使用不当：错误预算使用不当，导致变更风险过高或过低
• 缺乏持续改进：没有持续改进机制，SLO无法持续优化

更多视频教程www.fgedu.net.cn

5.2 稳定性保障最佳实践

稳定性保障最佳实践：

• 建立SLO体系：建立完善的SLO体系，明确服务质量目标
• 完善监控告警：建立完善的监控告警体系，及时发现异常
• 制定应急预案：制定详细的应急预案，确保故障快速恢复
• 定期故障演练：定期进行故障演练，验证应急预案
• 持续优化改进：持续优化系统，提高稳定性

5.3 持续改进策略

持续改进策略：

• 定期评估SLO：定期评估SLO达成情况，找出改进空间
• 分析故障原因：深入分析故障原因，制定改进措施
• 优化系统架构：根据故障分析结果，优化系统架构
• 提升团队能力：通过培训和演练，提升团队故障处理能力
• 引入新技术：引入新技术，提高系统稳定性

风哥提示：稳定性保障是一个持续改进的过程，需要建立完善的SLO体系、监控告警体系和应急预案，持续优化系统，不断提高稳定性。

更多视频教程www.fgedu.net.cn