## 1. 配置TiDB日志
$ tiup cluster edit-config fgedu-tidb-cluster
tidb_servers:
– host: 192.168.1.100
config:
log:
level: “info”
file:
filename: “/tidb/app/tidb-deploy/tidb-4000/log/tidb.log”
max-size: 1024MB
max-days: 7
max-backups: 10

## 2. 配置TiKV日志
$ tiup cluster edit-config fgedu-tidb-cluster
tikv_servers:
– host: 192.168.1.101
config:
log:
level: “info”
file:
filename: “/tidb/app/tidb-deploy/tikv-20160/log/tikv.log”
max-size: 1024MB
max-days: 7
max-backups: 10

## 3. 配置PD日志
$ tiup cluster edit-config fgedu-tidb-cluster
pd_servers:
– host: 192.168.1.100
config:
log:
level: “info”
file:
filename: “/tidb/app/tidb-deploy/pd-2379/log/pd.log”
max-size: 1024MB
max-days: 7
max-backups: 10

## 4. 部署ELK Stack
$ cat > docker-compose.yml << EOF version: '3' services: elasticsearch: image: elasticsearch:7.17.0 ports: - "9200:9200" environment: - discovery.type=single-node - ES_JAVA_OPTS=-Xms1g -Xmx1g volumes: - es_data:/usr/share/elasticsearch/data logstash: image: logstash:7.17.0 ports: - "5044:5044" volumes: - ./logstash/pipeline:/usr/share/logstash/pipeline kibana: image: kibana:7.17.0 ports: - "5601:5601" environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 volumes: es_data: EOF ## 5. 配置Logstash $ mkdir -p logstash/pipeline $ cat > logstash/pipeline/logstash.conf << EOF input { file { path => “/tidb/app/tidb-deploy/tidb-4000/log/tidb.log”
start_position => “beginning”
sincedb_path => “/dev/null”
type => “tidb”
}
file {
path => “/tidb/app/tidb-deploy/tikv-20160/log/tikv.log”
start_position => “beginning”
sincedb_path => “/dev/null”
type => “tikv”
}
file {
path => “/tidb/app/tidb-deploy/pd-2379/log/pd.log”
start_position => “beginning”
sincedb_path => “/dev/null”
type => “pd”
}
}

filter {
grok {
match => { “message” => “%{TIMESTAMP_ISO8601:timestamp} \[%{DATA:level}\] \[%{DATA:component}\] \[%{DATA:file}\:%{NUMBER:line}\] %{GREEDYDATA:message}” }
}
date {
match => [ “timestamp”, “yyyy-MM-dd HH:mm:ss.SSS” ]
target => “@timestamp”
}
mutate {
add_field => { “cluster” => “fgedu-tidb-cluster” }
}
}

output {
elasticsearch {
hosts => [“elasticsearch:9200”]
index => “tidb-logs-%{type}-%{+YYYY.MM.dd}”
}
}
EOF

## 6. 启动ELK Stack
$ docker-compose up -d

## 7. 访问Kibana
# 访问 http://192.168.1.100:5601
# 创建索引模式 tidb-logs-*，查看日志

## 1. 配置Kibana仪表板
# 访问 http://192.168.1.100:5601
# 创建新的仪表板，添加面板，选择Elasticsearch数据源，输入查询语句

## 2. 配置日志告警
$ cat > log_alert.sh << EOF #!/bin/bash # log_alert.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn # 检查错误日志 ERROR_COUNT=$(curl -s "http://192.168.1.100:9200/tidb-logs-*/_search?q=level:ERROR&size=0" | jq '.hits.total.value') if [ "$ERROR_COUNT" -gt 0 ]; then echo "发现 $ERROR_COUNT 条错误日志" # 发送告警 curl -X POST -H "Content-Type: application/json" -d '{"alerts":[{"status":"firing","labels":{"alertname":"LogError","severity":"warning"},"annotations":{"summary":"TiDB Error Logs","description":"发现 '$ERROR_COUNT' 条错误日志"},"generatorURL":"http://192.168.1.100:5601"}]}' http://192.168.1.100:9093/api/v2/alerts fi EOF ## 3. 定时执行日志告警 $ chmod +x log_alert.sh $ crontab -e */5 * * * * /tidb/scripts/log_alert.sh ## 4. 日志分析脚本 $ cat > analyze_logs.py << EOF #!/usr/bin/env python3 # analyze_logs.py # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn import requests import json # 分析错误日志 def analyze_error_logs(): url = "http://192.168.1.100:9200/tidb-logs-*/_search" query = { "query": { "match": { "level": "ERROR" } }, "size": 10 } response = requests.get(url, json=query) data = response.json() print("最近10条错误日志：") for hit in data.get("hits", {}).get("hits", []): source = hit.get("_source", {}) print(f"{source.get('timestamp')} [{source.get('level')}] [{source.get('component')}] {source.get('message')}") # 分析性能日志 def analyze_performance_logs(): url = "http://192.168.1.100:9200/tidb-logs-*/_search" query = { "query": { "match": { "message": "slow query" } }, "size": 10 } response = requests.get(url, json=query) data = response.json() print("最近10条慢查询日志：") for hit in data.get("hits", {}).get("hits", []): source = hit.get("_source", {}) print(f"{source.get('timestamp')} [{source.get('level')}] [{source.get('component')}] {source.get('message')}") if __name__ == "__main__": print("分析错误日志：") analyze_error_logs() print("\n分析性能日志：") analyze_performance_logs() EOF ## 5. 执行日志分析 $ python3 analyze_logs.py ## 6. 输出示例 分析错误日志： 2024-01-01 00:00:00.000 [ERROR] [server] [server.go:123] failed to connect to PD: context deadline exceeded 2024-01-01 00:01:00.000 [ERROR] [tikv] [server.go:456] failed to heartbeat to PD: network error 分析性能日志： 2024-01-01 00:02:00.000 [INFO] [server] [server.go:789] slow query: SELECT * FROM fgedu_users WHERE name = 'test' (time: 1.23s) 2024-01-01 00:03:00.000 [INFO] [server] [server.go:789] slow query: SELECT * FROM fgedu_orders WHERE user_id = 123 (time: 0.89s)

## 1. 问题识别
– 确认故障现象：系统无响应、性能下降、错误日志等
– 确定影响范围：单个组件、整个集群、业务系统等
– 评估故障级别：根据影响范围和严重程度确定

## 2. 信息收集
– 收集日志：TiDB、TiKV、PD等组件的日志
– 收集监控数据：Prometheus、Grafana等监控数据
– 收集系统信息：CPU、内存、磁盘、网络等系统信息
– 收集配置信息：集群配置、参数设置等

## 3. 分析定位
– 分析日志：查找错误信息、警告信息、异常行为
– 分析监控数据：查找性能瓶颈、资源使用异常
– 分析系统信息：查找系统资源问题
– 分析配置信息：查找配置错误

## 4. 解决方案
– 制定解决方案：根据分析结果制定解决方案
– 实施解决方案：执行解决方案
– 验证解决方案：验证故障是否解决
– 记录解决方案：记录解决方案和执行过程

## 5. 故障恢复
– 恢复系统：确保系统恢复正常运行
– 验证业务：确保业务系统正常运行
– 监控系统：监控系统状态，确保故障不再复发

## 6. 总结报告
– 记录故障原因：详细记录故障的根本原因
– 记录解决方案：记录解决方案和执行过程
– 记录预防措施：记录防止故障再次发生的措施
– 分享经验：分享故障排查经验和教训

## 1. TiDB连接失败
– 现象：应用无法连接到TiDB
– 排查步骤：
1. 检查TiDB服务是否运行：systemctl status tidb
2. 检查TiDB端口是否开放：netstat -tlnp | grep 4000
3. 检查网络连接：ping 192.168.1.100
4. 检查防火墙规则：firewall-cmd –list-ports
5. 检查TiDB日志：grep “error” /tidb/app/tidb-deploy/tidb-4000/log/tidb.log

## 2. TiKV存储故障
– 现象：TiKV节点故障，数据无法访问
– 排查步骤：
1. 检查TiKV服务是否运行：systemctl status tikv
2. 检查TiKV日志：grep “error” /tidb/app/tidb-deploy/tikv-20160/log/tikv.log
3. 检查磁盘空间：df -h
4. 检查磁盘I/O：iostat -x 1
5. 检查网络连接：ping 192.168.1.101

## 3. PD调度异常
– 现象：集群数据分布不均，性能下降
– 排查步骤：
1. 检查PD服务是否运行：systemctl status pd
2. 检查PD日志：grep “error” /tidb/app/tidb-deploy/pd-2379/log/pd.log
3. 检查集群状态：tiup cluster display fgedu-tidb-cluster
4. 检查数据分布：tiup ctl pd -u http://192.168.1.100:2379 store
5. 检查调度状态：tiup ctl pd -u http://192.168.1.100:2379 scheduler show

## 4. 性能下降
– 现象：SQL查询速度慢，系统响应时间长
– 排查步骤：
1. 检查慢查询日志：grep “slow query” /tidb/app/tidb-deploy/tidb-4000/log/tidb.log
2. 检查TiDB Dashboard：http://192.168.1.100:10080/dashboard
3. 检查监控数据：http://192.168.1.100:3000
4. 分析执行计划：EXPLAIN SELECT * FROM fgedu_users WHERE name = ‘test’;
5. 检查系统资源：top, free, df -h

## 5. 数据不一致
– 现象：数据查询结果不一致，事务失败
– 排查步骤：
1. 检查TiKV日志：grep “error” /tidb/app/tidb-deploy/tikv-20160/log/tikv.log
2. 检查PD日志：grep “error” /tidb/app/tidb-deploy/pd-2379/log/pd.log
3. 检查集群状态：tiup cluster display fgedu-tidb-cluster
4. 检查数据一致性：tiup ctl tikv -u http://192.168.1.101:20160 status
5. 检查事务日志：grep “transaction” /tidb/app/tidb-deploy/tidb-4000/log/tidb.log

## 1. ELK Stack
– 组成：Elasticsearch（存储）、Logstash（收集）、Kibana（展示）
– 功能：集中收集、存储、分析和展示日志
– 安装：docker-compose up -d
– 使用：http://localhost:5601

## 2. Loki
– 功能：轻量级日志聚合系统
– 特点：基于标签的日志索引，存储效率高
– 安装：docker run -d -p 3100:3100 grafana/loki:latest
– 使用：http://localhost:3100

## 3. Promtail
– 功能：日志收集器，专为Loki设计
– 特点：轻量级，支持多种日志源
– 安装：docker run -d -v /var/log:/var/log grafana/promtail:latest
– 配置：promtail.yml

## 4. Fluentd
– 功能：日志收集和转发工具
– 特点：插件丰富，支持多种数据源和目标
– 安装：gem install fluentd
– 配置：fluentd.conf

## 5. Graylog
– 功能：日志管理和分析平台
– 特点：支持告警，集成Elasticsearch
– 安装：docker-compose up -d
– 使用：http://localhost:9000

## 6. Splunk
– 功能：日志管理和分析平台
– 特点：功能强大，支持机器学习
– 安装：docker run -d -p 8000:8000 splunk/splunk:latest
– 使用：http://localhost:8000

## 7. Logwatch
– 功能：日志分析和报告工具
– 特点：轻量级，适合小型系统
– 安装：yum install logwatch
– 使用：logwatch –detail high

## 8. MultiTail
– 功能：实时监控多个日志文件
– 特点：支持颜色高亮，适合实时监控
– 安装：yum install multitail
– 使用：multitail /var/log/messages /var/log/secure

## 9. lnav
– 功能：高级日志文件查看器
– 特点：支持语法高亮，自动合并日志
– 安装：yum install lnav
– 使用：lnav /var/log/*.log

## 10. grep/sed/awk
– 功能：命令行日志分析工具
– 特点：灵活，适合简单的日志分析
– 安装：系统自带
– 使用：grep “error” /var/log/messages

## 1. 日志标准化
– 统一日志格式：使用标准化的日志格式
– 统一时间戳：使用统一的时间戳格式
– 统一字段命名：使用统一的字段命名规范
– 统一日志级别：使用统一的日志级别定义

## 2. 日志集中管理
– 集中收集：使用日志收集系统集中收集日志
– 统一存储：使用统一的存储系统存储日志
– 统一分析：使用统一的分析工具分析日志
– 统一展示：使用统一的展示工具展示日志

## 3. 日志分析方法
– 关键词搜索：使用关键词搜索定位问题
– 时间范围过滤：根据时间范围过滤日志
– 多维度分析：从多个维度分析日志
– 关联分析：关联不同组件的日志

## 4. 日志告警
– 基于阈值：设置基于阈值的告警
– 基于模式：设置基于模式的告警
– 基于趋势：设置基于趋势的告警
– 多渠道通知：使用多渠道发送告警

## 5. 日志存储
– 分层存储：热数据和冷数据分开存储
– 数据压缩：压缩存储日志数据
– 数据归档：定期归档旧日志
– 数据备份：备份重要的日志数据

## 6. 日志安全
– 访问控制：控制日志的访问权限
– 数据加密：加密存储敏感日志
– 审计日志：记录日志的访问和操作
– 合规性：确保日志管理符合合规要求

## 7. 性能优化
– 收集优化：只收集必要的日志
– 存储优化：使用高效的存储格式
– 分析优化：使用高效的分析工具
– 展示优化：使用高效的展示工具

## 8. 自动化分析
– 自动分析：使用工具自动分析日志
– 智能告警：使用机器学习进行智能告警
– 自动报告：自动生成日志分析报告
– 自动修复：根据日志分析结果自动修复问题