2. 首页 > KubeSphere教程 > 正文

KubeSphere教程FG015-KubeSphere可观测性平台部署与监控实战

教程整理：风哥教程  |  更新时间：2026-03-13  |  教程分类：KubeSphere教程  |  文档学习：37

内容简介

本文档详细介绍KubeSphere可观测性平台的部署与监控实战，包括可观测性的核心概念、KubeSphere可观测性平台的组件、监控系统的配置与部署、告警机制的设置等内容。风哥教程参考KubeSphere官方文档可观测性相关章节，将官方内容转化为生产实用指南。

通过本文的学习，读者将掌握如何在KubeSphere中部署和配置可观测性平台，实现对集群和应用的全面监控，及时发现和解决问题，提高系统的可靠性和稳定性。

目录大纲

Part01-基础概念与理论知识

1.1 可观测性核心概念

可观测性是指通过收集和分析系统产生的数据，了解系统内部状态和行为的能力，核心概念包括：

  • 指标（Metrics）：数值型数据，用于衡量系统的各种状态，如CPU使用率、内存使用量等
  • 日志（Logs）：文本型数据，记录系统和应用的事件和行为
  • 追踪（Traces）：分布式系统中请求的执行路径，用于分析请求的处理过程
  • 告警（Alerts）：当指标或日志达到阈值时触发的通知
  • 仪表盘（Dashboards）：可视化展示监控数据的界面

1.2 KubeSphere可观测性平台架构

KubeSphere可观测性平台架构包括以下组件：

  • Prometheus：开源的监控系统，用于收集和存储指标数据
  • Grafana：开源的数据可视化平台，用于展示监控数据
  • Elasticsearch：开源的搜索引擎，用于存储和分析日志
  • Fluent Bit：轻量级的日志收集器，用于收集容器日志
  • Jaeger：开源的分布式追踪系统，用于追踪请求的执行路径
  • KubeSphere监控组件：提供统一的监控管理界面

1.3 监控指标与日志分析

监控指标与日志分析是可观测性平台的核心功能： 风哥提示：

  • 监控指标：
    • 集群指标：节点CPU、内存、磁盘、网络等
    • Pod指标：CPU使用率、内存使用量、网络流量等
    • 应用指标：请求数、响应时间、错误率等
    • 自定义指标：根据应用特性定义的业务指标
  • 日志分析：
    • 容器日志：应用运行产生的日志
    • 系统日志：操作系统和Kubernetes组件产生的日志
    • 审计日志：记录系统操作的日志
    • 日志查询：根据关键词、时间范围等条件查询日志
    • 日志可视化：通过图表展示日志数据

Part02-生产环境规划与建议

2.1 可观测性平台架构规划

可观测性平台架构规划需要考虑以下因素：

  • 组件部署方式：
    • 单节点部署：适合小型环境，部署简单
    • 高可用部署：适合生产环境，提供冗余和负载均衡
  • 存储方案：
    • Prometheus存储：使用本地存储或远程存储（如Thanos、Cortex）
    • Elasticsearch存储：使用本地存储或云存储
  • 数据保留策略：
    • 短期数据：保留7-14天，用于日常监控
    • 长期数据：保留30-90天，用于趋势分析
    • 归档数据：保留更长时间，用于审计和合规

2.2 资源配置规划

资源配置规划需要考虑以下因素：

  • Prometheus资源：
    • CPU：根据监控的指标数量，建议2-8核
    • 内存：根据监控的数据量，建议4-16GB
    • 存储：根据数据保留策略，建议50-200GB
  • Elasticsearch资源：
    • CPU：根据日志量，建议4-16核
    • 内存：根据索引大小，建议8-32GB
    • 存储：根据日志量和保留策略，建议100-500GB
  • Grafana资源：
    • CPU：建议1-2核
    • 内存：建议1-4GB
    • 存储：建议10-50GB

2.3 监控策略设计

监控策略设计需要考虑以下因素： 学习交流加群风哥微信: itpux-com

  • 监控范围：
    • 基础设施监控：节点、存储、网络等
    • Kubernetes集群监控：API Server、etcd、Scheduler等
    • 应用监控：业务应用、中间件等
  • 告警策略：
    • 告警级别：信息、警告、严重、紧急
    • 告警触发条件：基于阈值、趋势、模式等
    • 告警通知：邮件、短信、即时通讯工具等
    • 告警抑制：避免告警风暴
  • 监控频率：
    • 基础设施：15-60秒
    • 应用：30-120秒
    • 业务指标：1-5分钟

Part03-生产环境项目实施方案

3.1 可观测性平台部署

可观测性平台部署的步骤如下：

# 步骤1：登录KubeSphere控制台
# 步骤2：进入集群管理页面
# 步骤3：选择可观测性选项卡
# 步骤4：点击启用可观测性
kubectl get pods -n kubesphere-monitoring-system
NAME READY STATUS RESTARTS AGE
prometheus-k8s-0 2/2 Running 0 10m
prometheus-k8s-1 2/2 Running 0 10m
grafana-7f89b7c6d5-xyz 1/1 Running 0 10m
alertmanager-main-0 2/2 Running 0 10m
alertmanager-main-1 2/2 Running 0 10m

3.2 监控配置与管理

监控配置与管理的步骤如下：

# 步骤1：进入KubeSphere控制台
# 步骤2：进入项目
# 步骤3：选择监控与告警
# 步骤4：配置监控目标
# 示例：配置Pod监控
# 选择命名空间：fgedu-project
# 选择Pod：fgedu-app
# 点击保存

3.3 告警机制配置

告警机制配置的步骤如下：

# 步骤1：进入KubeSphere控制台
# 步骤2：进入项目
# 步骤3：选择监控与告警 -> 告警策略
# 步骤4：点击创建
# 示例：创建CPU使用率告警
# 告警名称：CPU使用率告警
# 监控目标：Pod
# 指标：CPU使用率
# 阈值：> 80%
# 持续时间：5分钟
# 通知方式：邮件、钉钉
# 点击确定

Part04-生产案例与实战讲解

4.1 Prometheus监控部署实战

Prometheus监控部署的实战案例： 学习交流加群风哥QQ113257174

# 1. 部署Prometheus Operator
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
“prometheus-community” has been added to your repositories

helm install prometheus-operator prometheus-community/kube-prometheus-stack -n monitoring –create-namespace
NAME: prometheus-operator
LAST DEPLOYED: 2024-01-01 10:00:00.000000000 +0000 UTC
NAMESPACE: monitoring
STATUS: deployed
REVISION: 1
NOTES:
kube-prometheus-stack has been installed. Check its status by running:
kubectl –namespace monitoring get pods -l “release=prometheus-operator”

# 2. 验证Prometheus部署
kubectl get pods -n monitoring
NAME READY STATUS RESTARTS AGE
prometheus-operator-grafana-7f89b7c6d5-xyz 1/1 Running 0 10m
prometheus-operator-kube-state-metrics-xyz 1/1 Running 0 10m
prometheus-operator-prometheus-node-exporter-xyz 1/1 Running 0 10m
prometheus-prometheus-operator-prometheus-0 2/2 Running 0 10m
alertmanager-prometheus-operator-alertmanager-0 2/2 Running 0 10m

# 3. 访问Prometheus UI
kubectl port-forward svc/prometheus-operator-prometheus -n monitoring 9090:9090
Forwarding from 127.0.0.1:9090 -> 9090
Forwarding from [::1]:9090 -> 9090

4.2 Grafana面板配置实战

Grafana面板配置的实战案例：

# 1. 访问Grafana UI
kubectl port-forward svc/prometheus-operator-grafana -n monitoring 3000:80
Forwarding from 127.0.0.1:3000 -> 3000
Forwarding from [::1]:3000 -> 3000

# 2. 登录Grafana
# 用户名：admin
# 密码：prom-operator

# 3. 导入面板
# 点击左侧菜单 -> Dashboards -> Import
# 输入面板ID：1860（Node Exporter Full）
# 选择数据源：Prometheus
# 点击Import

# 4. 创建自定义面板
# 点击左侧菜单 -> Dashboards -> New Dashboard
# 点击Add new panel
# 配置查询：sum(rate(container_cpu_usage_seconds_total{namespace=”fgedu-project”}[5m])) by (pod)
# 点击Apply

4.3 日志收集与分析实战

日志收集与分析的实战案例： 更多视频教程www.fgedu.net.cn

# 1. 部署Elasticsearch和Kibana
helm repo add elastic https://helm.elastic.co
“elastic” has been added to your repositories

helm install elasticsearch elastic/elasticsearch -n logging –create-namespace –set replicas=3
NAME: elasticsearch
LAST DEPLOYED: 2024-01-01 10:00:00.000000000 +0000 UTC
NAMESPACE: logging
STATUS: deployed
REVISION: 1

helm install kibana elastic/kibana -n logging
NAME: kibana
LAST DEPLOYED: 2024-01-01 10:00:00.000000000 +0000 UTC
NAMESPACE: logging
STATUS: deployed
REVISION: 1

# 2. 部署Fluent Bit
helm install fluent-bit fluent/fluent-bit -n logging –set backend.type=es –set backend.es.host=elasticsearch-master.logging.svc.cluster.local
NAME: fluent-bit
LAST DEPLOYED: 2024-01-01 10:00:00.000000000 +0000 UTC
NAMESPACE: logging
STATUS: deployed
REVISION: 1

# 3. 访问Kibana
kubectl port-forward svc/kibana-kibana -n logging 5601:5601
Forwarding from 127.0.0.1:5601 -> 5601
Forwarding from [::1]:5601 -> 5601

4.4 KubeSphere数据库监控实战案例

KubeSphere数据库监控的实战案例： 更多学习教程公众号风哥教程itpux_com

# 1. 部署MySQL Exporter
cat > mysql-exporter.yaml << EOF
apiVersion: apps/v1
kind: Deployment
metadata:
name: mysql-exporter
namespace: fgedu-db
spec:
replicas: 1
selector:
matchLabels:
app: mysql-exporter
template:
metadata:
labels:
app: mysql-exporter
annotations:
prometheus.io/scrape: “true”
prometheus.io/port: “9104”
spec:
containers:
– name: mysql-exporter
image: prom/mysqld_exporter:v0.14.0
ports:
– containerPort: 9104
env:
– name: DATA_SOURCE_NAME
value: “exporter:exporter123@(fgedu-db:3306)/”
—
apiVersion: v1
kind: Service
metadata:
name: mysql-exporter
namespace: fgedu-db
spec:
selector:
app: mysql-exporter
ports:
– port: 9104
targetPort: 9104
EOF

kubectl apply -f mysql-exporter.yaml
deployment.apps/mysql-exporter created
service/mysql-exporter created

# 2. 创建数据库监控面板
# 登录Grafana -> Dashboards -> Import
# 输入面板ID：7362（MySQL Overview）
# 选择数据源：Prometheus
# 点击Import

# 3. 配置数据库告警
cat > mysql-alert.yaml << EOF
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: mysql-alerts
namespace: monitoring
spec:
groups:
– name: mysql
rules:
– alert: MySQLDown
expr: mysql_up == 0
for: 5m
labels:
severity: critical
annotations:
summary: MySQL down
description: MySQL instance {{ $labels.instance }} is down
– alert: MySQLHighConnections
expr: mysql_global_status_threads_connected / mysql_global_variables_max_connections * 100 > 80
for: 5m
labels:
severity: warning
annotations:
summary: MySQL high connections
description: MySQL instance {{ $labels.instance }} has high connections ({{ $value }}%)
EOF

kubectl apply -f mysql-alert.yaml
prometheusrule.monitoring.coreos.com/mysql-alerts created

Part05-风哥经验总结与分享

5.1 可观测性平台最佳实践

在部署可观测性平台时，应根据实际需求选择合适的组件和配置，避免过度监控导致资源浪费。 from K8S+DB视频:www.itpux.com

  • 根据监控需求选择合适的组件：Prometheus、Grafana、Elasticsearch等
  • 合理配置数据保留策略，平衡存储成本和历史数据需求
  • 使用自动化工具部署和管理可观测性平台
  • 定期备份监控数据，确保数据安全
  • 建立监控数据的访问控制，保护敏感信息
  • 定期检查和优化监控配置，确保监控效果

5.2 监控与告警最佳实践

  • 监控策略：
    • 建立分层监控体系：基础设施、集群、应用、业务
    • 设置合理的监控指标和阈值
    • 定期 review 监控配置，确保监控覆盖全面
  • 告警管理：
    • 设置合理的告警级别，避免告警风暴
    • 配置多渠道告警通知，确保告警及时送达
    • 建立告警响应流程，确保告警得到及时处理
    • 定期分析告警数据，优化告警策略
  • 可视化：
    • 创建清晰、直观的监控面板
    • 根据不同角色创建不同的监控视图
    • 定期更新监控面板，反映系统变化

5.3 常见问题与解决方案

在可观测性平台的部署和使用过程中，常见的问题包括资源不足、数据丢失、告警风暴等，需要根据具体情况进行排查和解决。

  • 问题：Prometheus内存使用过高
    • 解决方案：调整Prometheus配置，减少抓取频率；增加内存资源；使用远程存储
  • 问题：Elasticsearch存储不足
    • 解决方案：调整索引生命周期策略；增加存储容量；清理过期数据
  • 问题：告警风暴
    • 解决方案：调整告警阈值；配置告警抑制；优化监控策略
  • 问题：监控数据丢失
    • 解决方案：配置数据备份；使用高可用部署；检查网络连接

，可观测性平台的部署和管理需要专业知识，建议在生产环境部署前进行充分的测试和评估，确保平台的稳定性和可靠性。

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息