2. 首页 > 国产数据库教程 > TiDB教程 > 正文

tidb教程FG149-TiDB监控与告警最佳实践

教程整理：风哥教程  |  更新时间：2026-04-04  |  教程分类：TiDB教程  |  文档学习：112
fgedu.net.cn

目录

一、基础概念

1.1 监控定义

监控是指对系统的运行状态、性能指标等进行实时采集、存储和分析，以便及时发现和解决问题。TiDB的监控包括系统监控、性能监控、业务监控等。

1.2 告警定义

告警是指当系统出现异常或达到预设阈值时，向相关人员发送通知，以便及时处理问题。TiDB的告警包括系统告警、性能告警、业务告警等。

1.3 监控工具

  • Prometheus：开源的监控系统，用于采集和存储指标数据。
  • Grafana：开源的数据可视化工具，用于展示监控数据。
  • AlertManager：开源的告警管理工具，用于处理和发送告警。
  • TiDB Dashboard：TiDB的可视化管理工具，提供监控和诊断功能。

1.4 监控指标

  • 系统指标：CPU、内存、磁盘、网络等系统资源的使用情况。
  • TiDB指标：TiDB服务器的运行状态、查询性能等。
  • TiKV指标：TiKV节点的运行状态、存储性能等。
  • PD指标：PD节点的运行状态、调度性能等。
  • 业务指标：QPS、响应时间、错误率等业务相关指标。

二、规划建议

2.1 监控架构规划

  • 监控层次：分为系统层、数据库层、业务层三个层次。
  • 监控范围：覆盖所有TiDB集群节点，包括TiDB、TiKV、PD节点。
  • 数据存储：选择合适的存储介质，确保监控数据的安全和可靠。
  • 数据保留期：根据业务需求，确定监控数据的保留期。

2.2 告警策略规划

  • 告警级别：根据问题的严重程度，设置不同的告警级别。
  • 告警规则：根据监控指标，设置合理的告警规则。
  • 告警通知：选择合适的告警通知方式，如邮件、短信、企业微信等。
  • 告警处理流程：制定告警处理流程，确保告警能够及时得到处理。

2.3 监控指标规划

  • 系统指标：CPU使用率、内存使用率、磁盘使用率、网络带宽等。
  • TiDB指标：QPS、响应时间、连接数、慢查询数等。
  • TiKV指标：写入速度、读取速度、Compaction次数、Leader数量等。
  • PD指标：调度次数、Region数量、Leader分布等。
  • 业务指标：订单量、用户数、交易量等。

2.4 监控部署规划

  • 部署方式：选择合适的部署方式，如物理机部署、容器部署等。
  • 高可用性：配置监控系统的高可用性，确保监控系统的稳定运行。
  • 网络配置：确保监控系统与被监控系统之间的网络连通性。
  • 安全配置：配置监控系统的安全措施，防止未授权访问。

三、实施方案

3.1 监控系统部署

部署Prometheus

# 下载Prometheus
wget https://github.com/prometheus/prometheus/releases/download/v2.45.0/prometheus-2.45.0.linux-amd64.tar.gz

# 解压Prometheus
tar -zxvf prometheus-2.45.0.linux-amd64.tar.gz
cd prometheus-2.45.0.linux-amd64

# 配置Prometheus
cat > prometheus.yml << EOF
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'tidb'风哥提示：
    static_configs:
      - targets: ['192.168.1.13:10080']

  - job_name: 'tikv'
    static_configs:
      - targets: ['192.168.1.14:20180', '192.168.1.15:20180', '192.168.1.16:20180']

  - job_name: 'pd'
    static_configs:
      - targets: ['192.168.1.10:2379', '192.168.1.11:2379', '192.168.1.12:2379']

  - job_name: 'node'
    static_configs:
      - targets: ['192.168.1.10:9100', '192.168.1.11:9100', '192.168.1.12:9100', '192.168.1.13:9100', '192.168.1.14:9100', '192.168.1.15:9100', '192.168.1.16:9100']
EOF

# 启动Prometheus
./prometheus --config.file=prometheus.yml

# 访问Prometheus
# 地址：http://localhost:9090

部署Grafana

# 下载Grafana
wget https://dl.grafana.com/oss/release/grafana-10.0.3.linux-amd64.tar.gz

# 解压Grafana
tar -zxvf grafana-10.0.3.linux-amd64.tar.gz
cd grafana-10.0.3

# 启动Grafana
./bin/grafana-server

# 访问Grafana
# 地址：http://localhost:3000
# 默认用户名/密码：admin/admin

部署Node Exporter

# 下载Node Exporter
wget https://github.com/prometheus/node_exporter/releases/download/v1.6.0/node_exporter-1.6.0.linux-amd64.tar.gz

# 解压Node Exporter
tar -zxvf node_exporter-1.6.0.linux-amd64.tar.gz
cd node_exporter-1.6.0.linux-amd64

# 启动Node Exporter
./node_exporter

# 查看Node Exporter指标
# 地址：http://localhost:9100/metrics

3.2 监控配置

配置Grafana数据源

# 登录Grafana
# 地址：http://localhost:3000
# 用户名/密码：admin/admin

# 添加Prometheus数据源
# 配置 > 数据源 > 添加数据源 > Prometheus
# URL：http://localhost:9090
# 保存并测试

导入TiDB监控仪表板

# 导入TiDB Overview仪表板
# 仪表板 > 导入 > 输入仪表板ID：12906
# 选择Prometheus数据源
# 导入

# 导入TiKV仪表板
# 仪表板 > 导入 > 输入仪表板ID：12907
# 选择Prometheus数据源
# 导入

# 导入PD仪表板
# 仪表板 > 导入 > 输入仪表板ID：12908
# 选择Prometheus数据源
# 导入

# 导入Node Exporter仪表板
# 仪表板 > 导入 > 输入仪表板ID：1860
# 选择Prometheus数据源
# 导入

3.3 告警配置

配置AlertManager

学习交流加群风哥QQ113257174

# 下载AlertManager
wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz

# 解压AlertManager
tar -zxvf alertmanager-0.25.0.linux-amd64.tar.gz
cd alertmanager-0.25.0.linux-amd64

# 配置AlertManager
cat > alertmanager.yml << EOF
global:
  resolve_timeout: 5m
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alertmanager@example.com'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'

route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 1h
  receiver: 'email'

receivers:
- name: 'email'
  email_configs:
  - to: 'admin@example.com'
    send_resolved: true
EOF

# 启动AlertManager
./alertmanager --config.file=alertmanager.yml

# 访问AlertManager
# 地址：http://localhost:9093

配置Prometheus告警规则

# 编辑Prometheus配置文件
vi prometheus.yml

# 添加告警规则配置
rule_files:
  - "alert.rules.yml"

# 编辑告警规则文件
cat > alert.rules.yml << EOF
groups:
- name: tidb-alerts
  rules:
  - alert: TiDBServerDown
    expr: up{job="tidb"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "TiDB Server Down"
      description: "TiDB server {{ $labels.instance }} is down for more than 5 minutes"

  - alert: TiKVServerDown
    expr: up{job="tikv"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "TiKV Server Down"
      description: "TiKV server {{ $labels.instance }} is down for more than 5 minutes"

  - alert: PDServerDown
    expr: up{job="pd"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "PD Server Down"
      description: "PD server {{ $labels.instance }} is down for more than 5 minutes"

  - alert: HighCPUUsage
    expr: (100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High CPU Usage"
      description: "CPU usage on {{ $labels.instance }} is above 80% for more than 5 minutes"

  - alert: HighMemoryUsage
    expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High Memory Usage"
      description: "Memory usage on {{ $labels.instance }} is above 80% for more than 5 minutes"

  - alert: HighDiskUsage
    expr: (node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High Disk Usage"
      description: "Disk usage on {{ $labels.instance }} is above 80% for more than 5 minutes"

  - alert: SlowQueries
    expr: rate(tidb_server_slow_query_total[5m]) > 10
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "Slow Queries"
      description: "Number of slow queries on {{ $labels.instance }} is above 10 per minute for more than 5 minutes"
EOF

# 重启Prometheus
./prometheus --config.file=prometheus.yml

3.4 监控与告警验证

查看监控数据

# 访问Grafana
# 地址：http://localhost:3000

# 查看TiDB Overview仪表板
# 仪表板 > TiDB Overview

# 查看TiKV仪表板
# 仪表板 > TiKV

# 查看PD仪表板
# 仪表板 > PD

# 查看Node Exporter仪表板
# 仪表板 > Node Exporter

测试告警

# 模拟TiDB服务故障
# 停止TiDB服务
tiup cluster stop tidb-cluster -R tidb

# 查看AlertManager
# 地址：http://localhost:9093

# 查看告警状态
# 在AlertManager中查看告警

# 恢复TiDB服务
tiup cluster start tidb-cluster -R tidb

# 查看告警恢复
# 在AlertManager中查看告警状态

四、实战案例

4.1 生产环境监控与告警

场景：企业需要为TiDB生产环境配置监控与告警系统，确保系统的稳定运行。

步骤1：部署监控系统

# 部署Prometheus
# 下载并解压Prometheus
wget https://github.com/prometheus/prometheus/releases/download/v2.45.0/prometheus-2.45.0.linux-amd64.tar.gz
tar -zxvf prometheus-2.45.0.linux-amd64.tar.gz

# 配置Prometheus
cat > prometheus.yml << EOF
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'tidb'
    static_configs:
      - targets: ['192.168.1.13:10080']

  - job_name: 'tikv'
    static_configs:
      - targets: ['192.168.1.14:20180', '192.168.1.15:20180', '192.168.1.16:20180']

  - job_name: 'pd'
    static_configs:
      - targets: ['192.168.1.10:2379', '192.168.1.11:2379', '192.168.1.12:2379']

  - job_name: 'node'
    static_configs:
      - targets: ['192.168.1.10:9100', '192.168.1.11:9100', '192.168.1.12:9100', '192.168.1.13:9100', '192.168.1.14:9100', '192.168.1.15:9100', '192.168.1.16:9100']

rule_files:
  - "alert.rules.yml"

alerting:
  alertmanagers:
  - static_configs:
    - targets: ['localhost:9093']
EOF

# 部署Grafana
# 下载并解压Grafana
wget https://dl.grafana.com/oss/release/grafana-10.0.3.linux-amd64.tar.gz
tar -zxvf grafana-10.0.3.linux-amd64.tar.gz

# 部署Node Exporter
# 在所有节点上部署Node Exporter
wget https://github.com/prometheus/node_exporter/releases/download/v1.6.0/node_exporter-1.6.0.linux-amd64.tar.gz
tar -zxvf node_exporter-1.6.0.linux-amd64.tar.gz
./node_exporter

# 部署AlertManager
# 下载并解压AlertManager
wget https://github.com/prometheus/alertmanager/releases/download/v0.25.0/alertmanager-0.25.0.linux-amd64.tar.gz
tar -zxvf alertmanager-0.25.0.linux-amd64.tar.gz

# 配置AlertManager
cat > alertmanager.yml << EOF
global:
  resolve_timeout: 5m
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alertmanager@example.com'
  smtp_auth_username: 'alertmanager'
  smtp_auth_password: 'password'

route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 1h
  receiver: 'email'

receivers:
- name: 'email'
  email_configs:
  - to: 'admin@example.com'
    send_resolved: true
EOF

步骤2：配置告警规则

# 编辑告警规则文件
cat > alert.rules.yml << EOF
groups:
- name: tidb-alerts
  rules:
  - alert: TiDBServerDown
    expr: up{job="tidb"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "TiDB Server Down"
      description: "TiDB server {{ $labels.instance }} is down for more than 5 minutes"

  - alert: TiKVServerDown
    expr: up{job="tikv"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "TiKV Server Down"
      description: "TiKV server {{ $labels.instance }} is down for more than 5 minutes"

  - alert: PDServerDown
    expr: up{job="pd"} == 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "PD Server Down"
      description: "PD server {{ $labels.instance }} is down for more than 5 minutes"

  - alert: HighCPUUsage
    expr: (100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High CPU Usage"
      description: "CPU usage on {{ $labels.instance }} is above 80% for more than 5 minutes"

  - alert: HighMemoryUsage
    expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High Memory Usage"
      description: "Memory usage on {{ $labels.instance }} is above 80% for more than 5 minutes"

  - alert: HighDiskUsage
    expr: (node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High Disk Usage"
      description: "Disk usage on {{ $labels.instance }} is above 80% for more than 5 minutes"

  - alert: SlowQueries
    expr: rate(tidb_server_slow_query_total[5m]) > 10
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "Slow Queries"
      description: "Number of slow queries on {{ $labels.instance }} is above 10 per minute for more than 5 minutes"
EOF

步骤3：导入Grafana仪表板

# 登录Grafana
# 地址：http://localhost:3000
# 用户名/密码：admin/admin

# 添加Prometheus数据源
# 配置 > 数据源 > 添加数据源 > Prometheus
# URL：http://localhost:9090
# 保存并测试

# 导入TiDB Overview仪表板
# 仪表板 > 导入 > 输入仪表板ID：12906
# 选择Prometheus数据源
# 导入

# 导入TiKV仪表板
# 仪表板 > 导入 > 输入仪表板ID：12907
# 选择Prometheus数据源
# 导入

# 导入PD仪表板
# 仪表板 > 导入 > 输入仪表板ID：12908
# 选择Prometheus数据源
# 导入

# 导入Node Exporter仪表板
# 仪表板 > 导入 > 输入仪表板ID：1860
# 选择Prometheus数据源
# 导入

步骤4：验证监控与告警

# 查看监控数据
# 访问Grafana，查看各仪表板的监控数据

# 测试告警
# 模拟TiDB服务故障
# 停止TiDB服务
tiup cluster stop tidb-cluster -R tidb

# 查看AlertManager
# 地址：http://localhost:9093

# 查看告警状态
# 在AlertManager中查看告警

# 恢复TiDB服务
tiup cluster start tidb-cluster -R tidb

# 查看告警恢复
# 在AlertManager中查看告警状态

五、经验总结

5.1 监控与告警最佳实践

  • 全面监控：覆盖系统、数据库、业务等各个层面的监控。
  • 合理告警：设置合理的告警规则，避免告警风暴。
  • 及时处理：及时处理告警，避免问题扩大。
  • 定期分析：定期分析监控数据，发现潜在问题。
  • 持续优化：持续优化监控和告警策略，提高系统的稳定性。
  • 备份监控：备份监控系统的配置和数据，确保监控系统的可靠性。
  • 文档记录：记录监控和告警的配置和处理流程，便于操作和培训。
  • 团队协作：建立监控和告警的团队协作机制，确保问题能够及时得到处理。

5.2 常见问题与解决方案

问题 原因 解决方案
监控数据丢失 Prometheus存储不足，网络问题 增加Prometheus存储，检查网络连接
告警风暴 告警规则设置不合理，系统故障 优化告警规则，设置告警抑制
告警延迟 网络延迟，AlertManager配置不当 检查网络连接，优化AlertManager配置
监控数据不准确 指标采集配置不当，系统负载过高 优化指标采集配置，增加系统资源
监控系统不可用 监控系统故障，网络问题 配置监控系统的高可用性，检查网络连接

5.3 监控与告警检查清单

检查项 配置要求 状态
监控系统部署 部署Prometheus、Grafana、AlertManager等监控工具 □
监控指标配置 配置系统、数据库、业务等层面的监控指标 □
告警规则配置 设置合理的告警规则 □
告警通知配置 配置合适的告警通知方式 □
监控数据存储 配置合理的监控数据存储策略 □
监控系统高可用性 配置监控系统的高可用性 □
监控与告警测试 定期测试监控与告警系统 □
监控与告警文档 记录监控与告警的配置和处理流程 □

更多视频教程www.fgedu.net.cn

© 2024 TiDB数据库培训文档

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息