2. 首页 > 国产数据库教程 > TiDB教程 > 正文

tidb教程FG123-TiDB监控和告警最佳实践生产实战

教程整理：风哥教程  |  更新时间：2026-04-04  |  教程分类：TiDB教程  |  文档学习：0
fgedu.net.cn

目录

一、基础概念

1.1 监控系统组成

TiDB监控系统由以下组件组成：

  • Prometheus：负责数据采集和存储
  • Grafana：负责数据可视化
  • AlertManager：负责告警管理
  • Node Exporter：收集主机指标
  • Blackbox Exporter：监控网络连通性

1.2 监控指标分类

  • TiDB指标：SQL执行、连接数、事务等
  • PD指标：集群状态、调度等
  • TiKV指标：存储、raft、rocksdb等
  • 主机指标：CPU、内存、磁盘、网络等
  • Kubernetes指标：Pod状态、资源使用等

1.3 告警级别

  • critical：严重告警，需要立即处理
  • warning：警告告警，需要关注
  • info：信息告警，用于通知

二、规划建议

2.1 监控系统规划

  • 高可用设计：监控系统本身需要高可用
  • 存储规划：根据监控数据量规划存储
  • 网络规划：确保监控组件之间网络连通
  • 权限规划：设置合理的访问权限
  • 备份策略：定期备份监控配置和数据

2.2 告警策略规划

  • 告警分级：根据影响范围和严重程度分级
  • 告警路由：根据告警类型和级别路由到不同的接收人
  • 告警抑制：避免告警风暴
  • 告警恢复：确保告警能够自动恢复
  • 告警测试：定期测试告警机制

2.3 监控指标选择

  • 核心指标：CPU、内存、磁盘、网络等基础指标
  • 业务指标：QPS、响应时间、错误率等
  • 数据库指标：连接数、事务数、慢查询等
  • 存储指标：磁盘使用率、I/O性能等
  • 集群指标：节点状态、副本状态等

三、实施方案

3.1 监控系统部署

使用TiUP部署监控组件

tiup cluster deploy fgedudb v7.5.0 topology.yaml --user root -p

# topology.yaml示例
global:
  user: tidb
  ssh_port: 22
  deploy_dir: /tidb-deploy
  data_dir: /tidb-data

monitored:
  node_exporter_port: 9100
  blackbox_exporter_port: 9115

prometheus:
  host: 192.168.1.10
  port: 9090
  data_dir: /tidb-data/prometheus
风哥提示：
grafana:
  host: 192.168.1.10
  port: 3000

alertmanager:
  host: 192.168.1.10
  port: 9093

配置Prometheus

# prometheus.yml配置示例
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'tidb'
    static_configs:
      - targets: ['192.168.1.13:10080']

  - job_name: 'pd'
    static_configs:
      - targets: ['192.168.1.10:2379']

  - job_name: 'tikv'
    static_configs:
      - targets: ['192.168.1.11:20180', '192.168.1.12:20180', '192.168.1.13:20180']

  - job_name: 'node'
    static_configs:
      - targets: ['192.168.1.10:9100', '192.168.1.11:9100', '192.168.1.12:9100', '192.168.1.13:9100']

3.2 告警配置

配置AlertManager

# alertmanager.yml配置示例
global:
  resolve_timeout: 5m
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alertmanager@example.com'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'

route:
  group_by: ['alertname', 'cluster', 'service']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 1h
  receiver: 'email'
  routes:
  - match:
      severity: critical
    receiver: 'sms'

receivers:
- name: 'email'
  email_configs:
  - to: 'admin@example.com'

- name: 'sms'
  webhook_configs:
  - url: 'http://sms-service:8080/send'

配置告警规则

# tidb-alerts.yml配置示例
groups:
- name: tidb-alerts
  rules:
  - alert: TiDBServerDown
    expr: up{job="tidb"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "TiDB服务器宕机"
      description: "TiDB服务器 {{ $labels.instance }} 已宕机超过5分钟"

  - alert: TiDBHighConnectionCount
    expr: tidb_server_connections > 500
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "TiDB连接数过高"
      description: "TiDB服务器 {{ $labels.instance }} 连接数超过500"

  - alert: TiKVDiskUsageHigh
    expr: (tikv_store_size / tikv_store_capacity) > 0.8
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "TiKV磁盘使用率过高"
      description: "TiKV节点 {{ $labels.instance }} 磁盘使用率超过80%"

  - alert: PDServerDown学习交流加群风哥QQ113257174
    expr: up{job="pd"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "PD服务器宕机"
      description: "PD服务器 {{ $labels.instance }} 已宕机超过5分钟"

3.3 监控面板配置

导入Grafana面板

# 导入TiDB官方Grafana面板
1. 登录Grafana：http://192.168.1.10:3000
2. 点击左侧菜单的"+" -> "Import"
3. 输入面板ID：12906（TiDB Overview）
4. 选择Prometheus数据源
5. 点击"Import"按钮

自定义监控面板

# 创建业务监控面板
1. 登录Grafana：http://192.168.1.10:3000
2. 点击左侧菜单的"+" -> "Dashboard"
3. 点击"Add new panel"
4. 配置查询语句，例如：
   sum(rate(tidb_server_query_total{sql_type="Select"}[5m])) by (instance)
5. 配置面板标题、单位等
6. 点击"Apply"按钮

四、实战案例

4.1 企业级监控系统部署

场景：企业生产环境部署TiDB监控系统，需要实现全面的监控和告警。

步骤1：部署监控组件

# 使用TiUP部署监控组件
tiup cluster deploy fgedudb v7.5.0 topology.yaml --user root -p

# 启动集群
tiup cluster start fgedudb
Starting cluster...
+ [Serial] - SSHKeySet: private key file=/root/.tiup/storage/cluster/clusters/fgedudb/ssh/id_rsa, public key file=/root/.tiup/storage/cluster/clusters/fgedudb/ssh/id_rsa.pub
+ [Parallel] - UserAdd: user=tidb, host=192.168.1.10
+ [Parallel] - UserAdd: user=tidb, host=192.168.1.11
+ [Parallel] - UserAdd: user=tidb, host=192.168.1.12
+ [Parallel] - UserAdd: user=tidb, host=192.168.1.13
+ [Parallel] - DirPrepare: host=192.168.1.10, deploy_dir=/tidb-deploy, data_dir=/tidb-data
+ [Parallel] - DirPrepare: host=192.168.1.11, deploy_dir=/tidb-deploy, data_dir=/tidb-data
+ [Parallel] - DirPrepare: host=192.168.1.12, deploy_dir=/tidb-deploy, data_dir=/tidb-data
+ [Parallel] - DirPrepare: host=192.168.1.13, deploy_dir=/tidb-deploy, data_dir=/tidb-data
+ [Parallel] - NodeExporter: host=192.168.1.10, port=9100
+ [Parallel] - NodeExporter: host=192.168.1.11, port=9100
+ [Parallel] - NodeExporter: host=192.168.1.12, port=9100
+ [Parallel] - NodeExporter: host=192.168.1.13, port=9100
+ [Parallel] - BlackboxExporter: host=192.168.1.10, port=9115
+ [Parallel] - BlackboxExporter: host=192.168.1.11, port=9115
+ [Parallel] - BlackboxExporter: host=192.168.1.12, port=9115
+ [Parallel] - BlackboxExporter: host=192.168.1.13, port=9115
+ [Parallel] - PD: host=192.168.1.10, port=2379
+ [Parallel] - TiKV: host=192.168.1.11, port=20160
+ [Parallel] - TiKV: host=192.168.1.12, port=20160
+ [Parallel] - TiKV: host=192.168.1.13, port=20160
+ [Parallel] - TiDB: host=192.168.1.13, port=4000
+ [Parallel] - Prometheus: host=192.168.1.10, port=9090
+ [Parallel] - Grafana: host=192.168.1.10, port=3000
+ [Parallel] - AlertManager: host=192.168.1.10, port=9093
Started cluster `fgedudb` successfully

步骤2：配置告警规则

# 编辑告警规则文件
vim /tidb-deploy/prometheus-9090/conf/rules/tidb-alerts.yml

# 重启Prometheus
tiup cluster restart fgedudb -R prometheus

步骤3：配置Grafana面板

# 登录Grafana
# 导入TiDB官方面板
# 创建自定义业务面板

步骤4：测试监控系统

# 查看Prometheus状态
curl http://192.168.1.10:9090/metrics

# 查看Grafana
# 访问 http://192.168.1.10:3000

# 测试告警
# 模拟TiDB服务器宕机
systemctl stop tidb

4.2 告警策略优化

场景：优化告警策略，减少误报和漏报，提高告警的准确性和有效性。

步骤1：分析现有告警

# 查看告警历史
curl http://192.168.1.10:9093/api/v2/alerts

# 分析告警触发情况
# 识别频繁触发的告警
# 识别误报的告警

步骤2：优化告警规则

# 修改告警规则，增加持续时间
- alert: TiDBHighConnectionCount
  expr: tidb_server_connections > 500
  for: 10m  # 从5分钟改为10分钟
  labels:
    severity: warning
  annotations:
    summary: "TiDB连接数过高"
    description: "TiDB服务器 {{ $labels.instance }} 连接数超过500，持续10分钟"

# 修改告警阈值
- alert: TiKVDiskUsageHigh
  expr: (tikv_store_size / tikv_store_capacity) > 0.85  # 从80%改为85%
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "TiKV磁盘使用率过高"
    description: "TiKV节点 {{ $labels.instance }} 磁盘使用率超过85%"

步骤3：配置告警抑制

# 修改alertmanager.yml，添加告警抑制规则
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'cluster', 'service']

  - source_match:
      alertname: 'NodeDown'
    target_match:
      severity: 'warning'
    equal: ['instance']

步骤4：测试优化效果

# 重启AlertManager
tiup cluster restart fgedudb -R alertmanager

# 监控告警触发情况
# 分析优化效果

五、经验总结

5.1 监控系统最佳实践

  • 监控系统高可用：部署多个Prometheus实例，使用联邦集群
  • 合理设置采集间隔：根据指标重要性设置不同的采集间隔
  • 定期清理数据：配置Prometheus数据 retention，避免磁盘空间不足
  • 备份配置：定期备份监控配置和告警规则
  • 集成多种监控：结合应用监控和基础设施监控

5.2 告警管理最佳实践

  • 告警分级：根据影响范围和严重程度分级
  • 告警路由：根据告警类型和级别路由到不同的接收人
  • 告警抑制：避免告警风暴
  • 告警恢复：确保告警能够自动恢复
  • 告警测试：定期测试告警机制
  • 告警统计：分析告警触发情况，优化告警规则

5.3 监控指标最佳实践

  • 选择关键指标：只监控对业务有影响的指标
  • 设置合理阈值：根据业务特点设置合理的告警阈值
  • 关注趋势变化：不仅关注绝对值，还关注趋势变化
  • 结合业务指标：将技术指标与业务指标结合分析
  • 定期review：定期review监控指标，确保监控的有效性

5.4 常见问题与解决方案

问题 原因 解决方案
告警风暴 多个相关告警同时触发 配置告警抑制规则
误报 告警阈值设置不合理 调整告警阈值和持续时间
漏报 监控指标覆盖不全 增加监控指标，完善告警规则
监控数据丢失 Prometheus存储不足 增加存储容量，配置合理的数据 retention
监控系统性能问题 采集频率过高或指标过多 调整采集频率，减少监控指标

5.5 监控系统维护建议

  • 定期检查：定期检查监控系统运行状态
  • 更新配置：根据业务变化更新监控配置
  • 优化性能：定期优化监控系统性能
  • 培训团队：培训团队成员使用监控系统
  • 建立流程：建立监控告警处理流程

更多视频教程www.fgedu.net.cn

© 2024 TiDB数据库培训文档

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息