2. 首页 > Kubernetes教程 > 正文

Kubernetes教程FG009-Kubernetes日志与追踪实现实战解析

教程整理：风哥教程  |  更新时间：2026-03-11  |  教程分类：Kubernetes教程  |  文档学习：0

本文档风哥主要介绍Kubernetes的日志与追踪实现，包括日志概念、追踪概念、日志与追踪工具、日志规划、追踪规划、日志与追踪架构、Loki部署、Promtail配置、Jaeger部署等内容，风哥教程参考Kubernetes官方文档Logging和Tracing指南，适合DevOps工程师和系统管理员在学习和测试中使用，如果要应用于生产环境则需要自行确认。

Part01-基础概念与理论知识

1.1 日志概述

Kubernetes的日志系统负责收集、存储和分析容器、Pod、节点和集群的运行日志，帮助运维人员了解系统运行状态，排查问题。

1.2 追踪概述

Kubernetes的追踪系统负责跟踪请求在分布式系统中的流转过程，帮助开发人员了解请求的执行路径，识别性能瓶颈。

1.3 日志与追踪工具

Kubernetes的日志与追踪工具：

  • 日志工具：
    • Loki：开源的日志聚合系统，由Grafana Labs开发
    • Elasticsearch：开源的搜索引擎，用于存储和分析日志
    • Fluentd：开源的日志收集和转发工具
    • Filebeat：轻量级的日志收集工具
    • Logstash：开源的日志处理管道
  • 追踪工具：
    • Jaeger：开源的分布式追踪系统，由Uber开发
    • Zipkin：开源的分布式追踪系统，由Twitter开发
    • OpenTelemetry：开源的可观测性框架
    • Prometheus：开源的监控系统，也可用于追踪

      • ，风哥提示：。

Part02-生产环境规划与建议

2.1 日志规划

生产环境Kubernetes集群的日志规划：

# 日志规划示例
– 日志源：容器日志、Pod日志、节点日志、集群组件日志
– 日志级别：DEBUG、INFO、WARN、ERROR、FATAL
– 日志格式：JSON格式，包含时间戳、日志级别、组件名称、消息内容
– 日志存储：Loki + 对象存储（S3、GCS等）
– 日志保留：短期日志7天，长期日志30天
– 日志查询：使用Grafana查询和可视化
– 日志告警：基于日志内容的告警
# 日志收集策略
– 容器日志：使用Promtail收集容器标准输出和标准错误
– 节点日志：使用Node-exporter收集节点系统日志
– 集群组件日志：使用Promtail收集集群组件日志
– 应用日志：使用应用集成的日志库，如log4j、winston等
# 日志安全
– 加密日志传输：使用TLS加密日志传输
– 访问控制：限制日志访问权限
– 敏感信息过滤：过滤日志中的敏感信息
– 审计日志：记录日志系统的访问和操作

2.2 追踪规划

生产环境Kubernetes集群的追踪规划：

# 追踪规划示例
– 追踪范围：API请求、服务调用、数据库操作、外部服务调用
– 追踪级别：全链路追踪，每个请求都生成追踪信息
– 追踪格式：OpenTelemetry格式
– 追踪存储：Jaeger + 持久化存储
– 追踪保留：短期追踪7天，长期追踪30天
– 追踪查询：使用Jaeger UI查询和可视化
– 追踪告警：基于追踪数据的告警
# 追踪采样策略
– 采样率：默认100%，高流量服务可降低至10%
– 采样类型：概率采样、速率限制采样、基于请求内容的采样
– 采样配置：根据服务重要性和流量调整采样率
# 追踪安全
– 加密追踪数据：使用TLS加密追踪数据传输
– 访问控制：限制追踪数据访问权限
– 敏感信息过滤：过滤追踪数据中的敏感信息
– 审计追踪：记录追踪系统的访问和操作

2.3 日志与追踪架构

生产环境Kubernetes集群的日志与追踪架构：

# 日志架构示例
– 数据采集层：Promtail、Fluentd、Filebeat
– 数据存储层：Loki、Elasticsearch
– 数据可视化层：Grafana
– 告警处理层：Alertmanager
– 通知层：邮件、短信、即时通讯
# 追踪架构示例
– 数据采集层：OpenTelemetry SDK、Jaeger Client，学习交流加群风哥微信: itpux-com。
– 数据存储层：Jaeger、Zipkin
– 数据可视化层：Jaeger UI、Grafana
– 告警处理层：Alertmanager
– 通知层：邮件、短信、即时通讯
# 高可用架构
– 日志系统：多副本部署Loki和Promtail
– 追踪系统：多副本部署Jaeger
– 存储：使用持久化存储，确保数据安全
– 网络：使用内部网络通信，外部访问通过Ingress

Part03-生产环境项目实施方案

3.1 Loki部署

生产环境Kubernetes集群的Loki部署。，风哥提示：。

# 使用Helm部署Loki
$ helm repo add grafana https://grafana.github.io/helm-charts
$ helm install loki grafana/loki-stack
# 查看Loki部署状态
$ kubectl get pods -n default | grep loki
loki-0 1/1 Running 0 10m
loki-promtail-4q7k8 1/1 Running 0 10m
loki-promtail-7c9x6 1/1 Running 0 10m
loki-promtail-8d2k3 1/1 Running 0 10m
loki-promtail-9f5g7 1/1 Running 0 10m
loki-promtail-b7c4d 1/1 Running 0 10m
# 配置Loki持久化存储
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: loki-storage
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp2
reclaimPolicy: Retain
allowVolumeExpansion: true
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: loki-pvc
namespace: default
spec:
storageClassName: loki-storage
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 100Gi

3.2 Promtail配置

生产环境Kubernetes集群的Promtail配置：

# 查看Promtail配置
$ kubectl get configmap loki-promtail -o yaml
# 配置Promtail收集容器日志
apiVersion: v1
kind: ConfigMap
metadata:
name: promtail-config
namespace: default
data:，学习交流加群风哥QQ113257174。
promtail.yaml: |
server:
http_listen_port: 9080
grpc_listen_port: 0
clients:
– url: http://loki:3100/loki/api/v1/push
scrape_configs:
– job_name: kubernetes-pods
kubernetes_sd_configs:
– role: pod
relabel_configs:
– source_labels: [__meta_kubernetes_pod_node_name]
target_label: node_name
– source_labels: [__meta_kubernetes_namespace]
target_label: namespace
– source_labels: [__meta_kubernetes_pod_name]
target_label: pod
– source_labels: [__meta_kubernetes_pod_container_name]
target_label: container
# 应用Promtail配置
$ kubectl apply -f promtail-config.yaml
$ kubectl rollout restart daemonset loki-promtail

3.3 Jaeger部署

生产环境Kubernetes集群的Jaeger部署。

# 使用Helm部署Jaeger
$ helm repo add jaegertracing https://jaegertracing.github.io/helm-charts
$ helm install jaeger jaegertracing/jaeger
# 查看Jaeger部署状态
$ kubectl get pods -n default | grep jaeger
jaeger-query-6d4b75cb6d-7f5f8 1/1 Running 0 10m
jaeger-collector-6d4b75cb6d-7f5f8 1/1 Running 0 10m
jaeger-ingester-6d4b75cb6d-7f5f8 1/1 Running 0 10m
jaeger-agent-4q7k8 1/1 Running 0 10m
jaeger-agent-7c9x6 1/1 Running 0 10m
jaeger-agent-8d2k3 1/1 Running 0 10m
jaeger-agent-9f5g7 1/1 Running 0 10m
jaeger-agent-b7c4d 1/1 Running 0 10m
# 配置Jaeger持久化存储
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: jaeger-storage
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp2
reclaimPolicy: Retain
allowVolumeExpansion: true
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: jaeger-pvc
namespace: default
spec:
storageClassName: jaeger-storage
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 50Gi

Part04-生产案例与实战讲解

，更多视频教程www.fgedu.net.cn。

4.1 Loki日志收集

生产环境Kubernetes集群的Loki日志收集。

# 访问Loki
$ kubectl port-forward svc/loki 3100:3100
# 访问Grafana
$ kubectl port-forward svc/loki-grafana 3000:80
# 查询容器日志
– 登录Grafana
– 点击左侧菜单的”Explore”
– 选择Loki数据源
– 输入查询语句：{namespace=”default”, pod=”nginx-6d6f58987b-7f5f8″} |~ “error”
– 点击”Run Query”
# 查看日志仪表盘
– 点击左侧菜单的”Dashboards”
– 选择”Manage”
– 点击”New Dashboard”
– 点击”Add new panel”
– 选择Loki数据源
– 输入查询语句
– 配置面板标题、单位等
– 点击”Apply”
– 点击”Save dashboard”
# 查看节点日志
$ kubectl exec -it loki-promtail-4q7k8 — tail -f /var/log/syslog

4.2 Jaeger追踪实现

生产环境Kubernetes集群的Jaeger追踪实现。

# 访问Jaeger UI
$ kubectl port-forward svc/jaeger-query 16686:16686
# 访问Jaeger UI
http://localhost:16686
# 部署带有追踪的应用
apiVersion: apps/v1
kind: Deployment
metadata:
name: demo-app
namespace: default
spec:
replicas: 1
selector:
matchLabels:
app: demo-app
template:
metadata:
labels:
app: demo-app
spec:
containers:
– name: demo-app
image: jaegertracing/example-hotrod:latest
ports:
– containerPort: 8080
env:
– name: JAEGER_AGENT_HOST
value: “jaeger-agent.default.svc.cluster.local”
– name: JAEGER_AGENT_PORT
value: “6831”
# 访问demo应用，更多学习教程公众号风哥教程itpux_com。
$ kubectl port-forward svc/demo-app 8080:8080
# 生成追踪数据
– 访问http://localhost:8080
– 点击”Dispatch a request”
– 查看Jaeger UI中的追踪数据
# 查看追踪数据
– 登录Jaeger UI
– 选择服务名：frontend
– 点击”Find Traces”
– 查看追踪详情

4.3 日志与追踪集成

生产环境Kubernetes集群的日志与追踪集成。

# 配置日志与追踪关联
– 在应用日志中包含trace_id
– 在Jaeger中查看日志
– 在Grafana中集成日志和追踪
# 示例应用配置
apiVersion: apps/v1
kind: Deployment
metadata:
name: integrated-app
namespace: default
spec:
replicas: 1
selector:
matchLabels:
app: integrated-app
template:
metadata:
labels:
app: integrated-app
spec:
containers:
– name: integrated-app
image: your-app:latest
ports:
– containerPort: 8080
env:
– name: JAEGER_AGENT_HOST
value: “jaeger-agent.default.svc.cluster.local”
– name: JAEGER_AGENT_PORT
value: “6831”
– name: LOG_FORMAT
value: “json”
– name: LOG_LEVEL
value: “info”
# 查看集成数据
– 登录Grafana
– 点击左侧菜单的”Explore”
– 选择Loki数据源
– 输入查询语句：{namespace=”default”, pod=”integrated-app-6d4b75cb6d-7f5f8″} |~ “trace_id”
– 点击”Run Query”
– 复制trace_id
– 登录Jaeger UI
– 输入trace_id
– 点击”Find Traces”

Part05-风哥经验总结与分享

5.1 日志与追踪最佳实践

，from K8S+DB视频:www.itpux.com。

Kubernetes日志与追踪的最佳实践：

  • 统一日志格式：使用JSON格式，包含时间戳、日志级别、组件名称、消息内容
  • 合理设置日志级别：生产环境使用INFO及以上级别，避免过多DEBUG日志
  • 包含上下文信息：日志中包含请求ID、用户ID、trace_id等上下文信息
  • 采样策略：高流量服务使用合理的采样率，避免过多追踪数据
  • 数据保留：根据业务需求设置合理的数据保留时间
  • 安全处理：过滤日志和追踪数据中的敏感信息
  • 监控日志系统：监控日志系统的健康状态，确保其正常运行
  • 集成告警：基于日志和追踪数据设置告警，及时发现问题

5.2 常见日志与追踪问题

Kubernetes日志与追踪的常见问题。

。

# 常见问题及解决方案
## 1. 日志丢失
– 原因：日志收集配置错误，存储不足，网络问题
– 解决方案：检查日志收集配置，增加存储空间，检查网络连接
## 2. 追踪数据不完整
– 原因：采样率过低，追踪上下文传递错误，服务未集成追踪
– 解决方案：调整采样率，检查追踪上下文传递，确保所有服务集成追踪
## 3. 查询性能问题
– 原因：数据量过大，查询语句复杂，存储性能不足
– 解决方案：优化查询语句，增加存储性能，使用索引
## 4. 系统资源占用过高
– 原因：日志收集频率过高，追踪数据量过大，配置不当
– 解决方案：调整收集频率，优化采样率，调整配置参数
## 5. 集成问题
– 原因：日志与追踪系统版本不兼容，配置错误
– 解决方案：使用兼容版本，检查配置

5.3 日志与追踪优化建议

Kubernetes日志与追踪的优化建议：

  1. 架构优化：采用分层架构，将日志和追踪数据按重要性分级存储
  2. 存储优化：使用对象存储存储长期数据，使用本地存储存储短期数据
  3. 查询优化：使用索引，优化查询语句，减少查询时间
  4. 采集优化：调整采集频率，对不同服务采用不同的采集策略
  5. 集成优化：使用OpenTelemetry统一日志和追踪数据格式
  6. 监控优化：监控日志和追踪系统的性能，及时发现问题
  7. 自动化优化：实现日志和追踪配置的自动化管理，减少人工干预
  8. 灾备优化：配置日志和追踪系统的灾备方案，确保数据安全
持续优化：Kubernetes的日志与追踪系统是一个持续优化的过程，随着集群规模和应用需求的变化，需要不断调整和优化配置，确保系统的有效性和可靠性。

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息