# 监控规划示例
– 监控对象：控制平面组件、节点、Pod、服务、存储
– 监控指标：CPU、内存、磁盘、网络、应用性能
– 监控频率：核心指标15秒，非核心指标1分钟
– 数据保留：短期数据7天，长期数据30天
– 监控工具：Prometheus + Grafana + Alertmanager
– 告警级别：紧急、重要、警告、信息
# 监控指标规划
– 控制平面：API服务器响应时间、etcd健康状态、调度器性能
– 节点：CPU使用率、内存使用率、磁盘使用率、网络流量
– Pod：CPU使用率、内存使用率、网络流量、重启次数
– 服务：请求率、错误率、响应时间
– 存储：存储使用率、IOPS、延迟
# 监控覆盖范围
– 基础设施层：服务器、网络、存储
– 平台层：Kubernetes集群、容器运行时
– 应用层：应用服务、数据库、中间件

# 告警策略示例
– 紧急（Critical）：系统不可用，需要立即处理
– 重要（Major）：系统性能严重下降，需要尽快处理
– 警告（Warning）：系统出现异常，需要关注
– 信息（Info）：系统状态变更，仅供参考
# 告警触发条件
– 节点CPU使用率 > 85% 持续5分钟
– 节点内存使用率 > 90% 持续5分钟
– 节点磁盘使用率 > 80% 持续10分钟
– Pod重启次数 > 3次 持续10分钟
– 服务错误率 > 5% 持续5分钟
– 服务响应时间 > 1秒 持续5分钟
# 告警通知方式
– 邮件：常规告警通知
– 短信：重要告警通知
– 电话：紧急告警通知
– 即时通讯：Slack、微信、钉钉等

# 监控架构示例
– 数据采集层：Node-exporter、Kube-state-metrics、应用指标
– 数据存储层：Prometheus、Loki
– 数据可视化层：Grafana
– 告警处理层：Alertmanager
– 通知层：邮件、短信、电话、即时通讯
# 高可用架构
– Prometheus：使用StatefulSet部署，配置持久化存储
– Grafana：使用Deployment部署，配置持久化存储
– Alertmanager：使用Deployment部署，配置多个实例
– 数据采集：确保所有节点都有Node-exporter运行
# 监控网络
– 监控组件之间使用内部网络通信
– 外部访问通过Ingress或NodePort
– 配置网络策略，限制监控组件的访问

# 使用Helm部署Prometheus
$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
$ helm install prometheus prometheus-community/kube-prometheus-stack
# 查看Prometheus部署状态
$ kubectl get pods -n monitoring
NAME READY STATUS RESTARTS AGE
alertmanager-prometheus-kube-prometheus-alertmanager-0 2/2 Running 0 10m
prometheus-kube-prometheus-operator-5f47f6b6f9-7f5f8 1/1 Running 0 10m
prometheus-kube-state-metrics-6d4b75cb6d-7f5f8 1/1 Running 0 10m
prometheus-prometheus-kube-prometheus-prometheus-0 2/2 Running 0 10m
prometheus-prometheus-node-exporter-4q7k8 1/1 Running 0 10m
prometheus-prometheus-node-exporter-7c9x6 1/1 Running 0 10m
prometheus-prometheus-node-exporter-8d2k3 1/1 Running 0 10m
prometheus-prometheus-node-exporter-9f5g7 1/1 Running 0 10m
prometheus-prometheus-node-exporter-b7c4d 1/1 Running 0 10m
# 配置Prometheus持久化存储
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: prometheus-storage
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp2
reclaimPolicy: Retain
allowVolumeExpansion: true
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: prometheus-pvc
namespace: monitoring
spec:
storageClassName: prometheus-storage
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 50Gi，学习交流加群风哥QQ113257174。

# 查看Grafana部署状态
$ kubectl get pods -n monitoring | grep grafana
prometheus-grafana-6d4b75cb6d-7f5f8 1/1 Running 0 10m
# 访问Grafana
$ kubectl port-forward svc/prometheus-grafana 3000:80 -n monitoring
# 配置Grafana数据源
– 登录Grafana（默认用户名：admin，密码：prom-operator）
– 点击左侧菜单的”Configuration” -> “Data sources”
– 点击”Add data source”
– 选择”Prometheus”
– 输入Prometheus的URL（例如：http://prometheus-kube-prometheus-prometheus.monitoring:9090）
– 点击”Save & Test”
# 导入Grafana仪表盘
– 点击左侧菜单的”Dashboards” -> “Import”
– 输入仪表盘ID（例如：15761 for Kubernetes Cluster）
– 选择Prometheus数据源
– 点击”Import”

# 查看Alertmanager部署状态
$ kubectl get pods -n monitoring | grep alertmanager
alertmanager-prometheus-kube-prometheus-alertmanager-0 2/2 Running 0 10m
# 配置Alertmanager告警规则
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: kubernetes-rules
namespace: monitoring
spec:
groups:
– name: kubernetes
rules:
– alert: NodeHighCPU
expr: (sum by(instance) (rate(node_cpu_seconds_total{mode!=”idle”}[5m])) / (sum by(instance) (rate(node_cpu_seconds_total[5m]))) * 100 > 85
for: 5m
labels:
severity: critical
annotations:
summary: “Node CPU Usage High”
description: “Node {{ $labels.instance }} CPU usage is {{ $value }}%”
– alert: NodeHighMemory
expr: (node_memory_MemTotal_bytes – node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100 > 90
for: 5m
labels:
severity: critical
annotations:
summary: “Node Memory Usage High”
description: “Node {{ $labels.instance }} memory usage is {{ $value }}%”
# 配置Alertmanager通知
apiVersion: v1
kind: Secret
metadata:，更多视频教程www.fgedu.net.cn。
name: alertmanager-prometheus-kube-prometheus-alertmanager
namespace: monitoring
type: Opaque
data:
alertmanager.yaml: |
global:
resolve_timeout: 5m
route:
group_by: [‘alertname’]
group_wait: 30s
group_interval: 5m
repeat_interval: 1h
receiver: ’email’
receivers:
– name: ’email’
email_configs:
– to: ‘admin@example.com’
from: ‘alertmanager@example.com’
smarthost: ‘smtp.example.com:587’
auth_username: ‘alertmanager’
auth_password: ‘password’
require_tls: true
send_resolved: true

# 查看Prometheus指标
$ kubectl port-forward svc/prometheus-kube-prometheus-prometheus 9090:9090 -n monitoring
# 访问Prometheus UI
http://localhost:9090
# 查看节点CPU使用率
sum by(instance) (rate(node_cpu_seconds_total{mode!=”idle”}[5m])) / sum by(instance) (rate(node_cpu_seconds_total[5m])) * 100
# 查看节点内存使用率
(node_memory_MemTotal_bytes – node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100
# 查看Pod CPU使用率
sum by(pod) (rate(container_cpu_usage_seconds_total{container!=””}[5m]))
# 查看Pod内存使用率
sum by(pod) (container_memory_usage_bytes{container!=””})
# 查看服务请求率
sum by(service) (rate(container_http_requests_total[5m]))
# 查看服务错误率
sum by(service) (rate(container_http_errors_total[5m])) / sum by(service) (rate(container_http_requests_total[5m])) * 100

# 查看Grafana仪表盘
$ kubectl port-forward svc/prometheus-grafana 3000:80 -n monitoring
# 访问Grafana UI
http://localhost:3000
# 常用仪表盘
– Kubernetes Cluster (ID: 15761)
– Node Exporter Full (ID: 1860)
– Prometheus 2.0 Overview (ID: 3662)，更多学习教程公众号风哥教程itpux_com。
– Kubernetes Pods (ID: 6417)
– Kubernetes Persistent Volumes (ID: 14207)
# 创建自定义仪表盘
– 点击左侧菜单的”Dashboards” -> “New dashboard”
– 点击”Add new panel”
– 选择Prometheus数据源
– 输入查询语句
– 配置面板标题、单位、阈值等
– 点击”Apply”
– 点击”Save dashboard”

# 查看告警状态
$ kubectl get prometheusrules -n monitoring
$ kubectl get alerts -n monitoring
# 查看Alertmanager状态
$ kubectl port-forward svc/alertmanager-prometheus-kube-prometheus-alertmanager 9093:9093 -n monitoring
# 访问Alertmanager UI
http://localhost:9093
# 测试告警
apiVersion: apps/v1
kind: Deployment
metadata:
name: test-app
namespace: default
spec:
replicas: 1
selector:
matchLabels:
app: test-app
template:
metadata:
labels:
app: test-app
spec:
containers:
– name: test-app
image: nginx
resources:
limits:
cpu: “100m”
memory: “128Mi”
requests:
cpu: “100m”
memory: “128Mi”
ports:
– containerPort: 80
# 生成高CPU负载
$ kubectl exec -it $(kubectl get pods -l app=test-app -o jsonpath='{.items[0].metadata.name}’) — stress –cpu 1 –timeout 60s
# 查看告警
$ kubectl get alerts -n monitoring

# 常见问题及解决方案。
## 1. 监控数据丢失
– 原因：Prometheus存储空间不足，数据采集失败
– 解决方案：增加存储空间，检查数据采集配置
## 2. 告警误报
– 原因：告警阈值设置不合理，监控数据波动
– 解决方案：调整告警阈值，增加告警持续时间
## 3. 监控系统性能问题
– 原因：监控数据量过大，Prometheus配置不当
– 解决方案：优化Prometheus配置，增加资源配额
## 4. 监控盲区
– 原因：部分组件未被监控，监控覆盖不全
– 解决方案：检查监控配置，确保所有组件都被监控
## 5. 告警通知延迟
– 原因：Alertmanager配置不当，通知渠道故障
– 解决方案：检查Alertmanager配置，确保通知渠道正常