# 步骤2：查看关键指标
– QPS：每秒查询数
– 延迟：查询延迟
– 错误率：错误查询占比
– 连接数：当前连接数
– 资源使用：CPU、内存、磁盘使用情况

# 步骤3：分析趋势
– 观察指标随时间的变化趋势
– 识别异常波动
– 与历史数据对比

# 步骤4：定位问题
– 根据异常指标定位问题组件
– 查看详细面板获取更多信息
– 结合日志分析问题原因

# 步骤2：查看TiKV指标
– 存储使用：总存储、可用存储
– 读写延迟：读延迟、写延迟
– 并发请求：当前并发请求数
– RocksDB指标：压缩、读写放大
– 调度指标：leader数量、region数量

# 步骤3：分析热点问题
– 查看热点region分布
– 分析热点原因
– 采取相应的优化措施

# 步骤4：优化TiKV性能
– 根据指标调整TiKV参数
– 优化存储配置
– 调整调度策略

# 步骤2：查看PD指标
– 集群状态：健康状态、节点状态
– 调度指标：调度次数、调度延迟
– 存储容量：总容量、可用容量
– 性能指标：API延迟、QPS

# 步骤3：分析调度情况
– 查看调度策略执行情况
– 分析调度瓶颈
– 调整调度参数

# 步骤4：监控PD高可用
– 查看PD节点状态
– 确保PD集群正常运行
– 做好PD节点故障预案

# 排查步骤：
1. 检查Prometheus数据源配置
– 点击左侧菜单”Configuration” -> “Data sources”
– 选择Prometheus数据源
– 点击”Save & Test”按钮

2. 检查Prometheus采集配置
– 登录Prometheus服务器
– 访问http://localhost:9090/targets
– 确认所有目标状态为UP

3. 检查监控指标是否存在
– 访问http://localhost:9090/graph
– 输入监控指标名称，查看是否有数据

4. 检查网络连接
– 确保Grafana可以访问Prometheus
– 确保Prometheus可以访问TiDB组件

5. 检查时间范围
– 确保时间范围设置正确
– 尝试调整时间范围

# 解决方案：
– 修复数据源配置
– 修复Prometheus采集配置
– 检查网络连接
– 调整时间范围

# 排查步骤：
1. 检查Grafana资源使用
– 登录Grafana服务器
– 执行top命令查看CPU和内存使用

2. 检查Prometheus性能
– 登录Prometheus服务器
– 执行top命令查看CPU和内存使用
– 访问http://localhost:9090/status查看Prometheus状态

3. 检查网络连接
– 测试Grafana到Prometheus的网络延迟
– 测试Prometheus到TiDB组件的网络延迟

4. 检查面板复杂度
– 查看面板中的图表数量
– 查看图表查询语句的复杂度

# 解决方案：
– 增加Grafana和Prometheus的资源配置
– 优化网络连接
– 简化面板，减少图表数量
– 优化查询语句，减少数据量
– 使用变量和模板，减少重复查询

# 步骤2：编辑图表
1. 选择要配置告警的图表
2. 点击图表标题，选择”Edit”
3. 点击”Alert”选项卡
4. 点击”Create Alert”

# 步骤3：配置告警规则
1. 设置告警名称
2. 设置评估周期
3. 设置告警条件
4. 设置告警标签
5. 设置告警注释
6. 点击”Save”按钮保存

# 步骤4：配置告警渠道
1. 点击左侧菜单”Alerting” -> “Notification channels”
2. 点击”Add channel”按钮
3. 配置渠道名称、类型、接收方等
4. 点击”Test”按钮测试
5. 点击”Save”按钮保存

# 步骤5：验证告警
1. 触发告警条件
2. 查看告警状态
3. 确认告警通知已发送

## TiDB实例宕机
– 指标：up{job=”tidb”} == 0
– 条件：for 5m
– 级别：critical
– 描述：TiDB实例{{ $labels.instance }}宕机

## TiDB高QPS
– 指标：sum(rate(tidb_server_qps[5m])) by (instance) > 10000
– 条件：for 5m
– 级别：warning
– 描述：TiDB实例{{ $labels.instance }}QPS过高: {{ $value }}

## TiDB高错误率
– 指标：sum(rate(tidb_server_errors_total[5m])) by (instance) / sum(rate(tidb_server_qps[5m])) by (instance) > 0.01
– 条件：for 5m
– 级别：warning
– 描述：TiDB实例{{ $labels.instance }}错误率过高: {{ $value }}

# TiKV相关告警

## TiKV实例宕机
– 指标：up{job=”tikv”} == 0
– 条件：for 5m
– 级别：critical
– 描述：TiKV实例{{ $labels.instance }}宕机

## TiKV高延迟
– 指标：histogram_quantile(0.99, sum(rate(tikv_server_request_duration_seconds_bucket[5m])) by (instance, le)) > 0.1
– 条件：for 5m
– 级别：warning
– 描述：TiKV实例{{ $labels.instance }}请求延迟过高: {{ $value }}s

## TiKV存储不足
– 指标：(1 – tikv_store_available_size / tikv_store_capacity) > 0.8
– 条件：for 5m
– 级别：warning
– 描述：TiKV实例{{ $labels.instance }}存储使用率过高: {{ $value }}