Kubernetes教程FG047-Kubernetes Job与CronJob实战
本文档风哥主要介绍Kubernetes Job与CronJob实战，包括Job概述、CronJob概述、使用场景、Job规划、CronJob规划、最佳实践规划、Job实现、CronJob实现、管理实现、Job案例、CronJob案例、集成案例等内容，风哥教程参考Kubernetes官方文档和任务调度相关文档，适合想使用和理解Kubernetes任务调度的开发人员和运维人员。
Part01-基础概念与理论知识
1.1 Job概述
Job是Kubernetes中用于管理一次性任务的API对象，它确保指定数量的Pod成功完成任务。
Job的主要特性包括：
- 一次性任务：任务完成后Pod会被终止
- 并行执行：支持多个Pod并行执行任务
- 失败重试：支持失败后自动重试
- 完成跟踪：跟踪任务的完成状态
1.2 CronJob概述
CronJob是Kubernetes中用于管理定时任务的API对象，它基于Cron表达式定期创建Job。
CronJob的主要特性包括：
- 定时执行：基于Cron表达式定时创建Job
- 并发控制：支持控制并发执行的Job数量
- 历史记录：保留一定数量的历史Job记录
- 失败处理：支持失败后的处理策略
1.3 使用场景
Job和CronJob的使用场景包括：
- 数据处理：如数据备份、数据迁移、数据清洗等
- 批量任务：如批量处理文件、批量发送邮件等
- 定时任务：如定时备份、定时清理、定时报告生成等
- 初始化任务：如应用初始化、数据库初始化等
- 测试任务：如集成测试、性能测试等
Part02-生产环境规划与建议
2.1 Job规划
Kubernetes Job的规划：
# Job规划
– 目标：
– 实现一次性任务的可靠执行
– 确保任务的成功完成
– 优化任务执行效率
– 简化任务管理
– 范围：
– 任务需求分析
– Job配置设计
– 资源分配
– 失败处理策略
– 监控和告警
– 工具选择：
– kubectl：用于创建和管理Job
– Helm：用于部署Job
– 监控工具：如Prometheus、Grafana
– 日志工具：如ELK、Loki
– 流程设计：
– 任务需求分析：分析任务的执行时间、资源需求和失败处理策略
– Job配置设计：设计Job的配置和参数
– 资源分配：配置Job的CPU、内存等资源
– 部署测试：部署Job并测试执行结果
– 监控管理：配置监控和告警
– 资源分配：
– 人力资源：任务设计人员、运维人员
– 时间资源：设计时间、部署时间、测试时间
– 基础设施：计算资源、存储资源、网络资源
– 目标：
– 实现一次性任务的可靠执行
– 确保任务的成功完成
– 优化任务执行效率
– 简化任务管理
– 范围：
– 任务需求分析
– Job配置设计
– 资源分配
– 失败处理策略
– 监控和告警
– 工具选择：
– kubectl：用于创建和管理Job
– Helm：用于部署Job
– 监控工具：如Prometheus、Grafana
– 日志工具：如ELK、Loki
– 流程设计：
– 任务需求分析：分析任务的执行时间、资源需求和失败处理策略
– Job配置设计：设计Job的配置和参数
– 资源分配：配置Job的CPU、内存等资源
– 部署测试：部署Job并测试执行结果
– 监控管理：配置监控和告警
– 资源分配：
– 人力资源：任务设计人员、运维人员
– 时间资源：设计时间、部署时间、测试时间
– 基础设施：计算资源、存储资源、网络资源
2.2 CronJob规划
Kubernetes CronJob的规划：
# CronJob规划
– 目标：
– 实现定时任务的可靠执行
– 确保任务的定时性和准确性
– 优化任务执行效率
– 简化任务管理
– 范围：
– 任务需求分析
– Cron表达式设计
– Job配置设计
– 并发控制
– 历史记录管理
– 监控和告警
– 工具选择：
– kubectl：用于创建和管理CronJob
– Helm：用于部署CronJob
– 监控工具：如Prometheus、Grafana
– 日志工具：如ELK、Loki
– 流程设计：
– 任务需求分析：分析任务的执行时间、频率和资源需求
– Cron表达式设计：设计符合需求的Cron表达式
– Job配置设计：设计CronJob生成的Job配置
– 部署测试：部署CronJob并测试执行结果
– 监控管理：配置监控和告警
– 资源分配：
– 人力资源：任务设计人员、运维人员
– 时间资源：设计时间、部署时间、测试时间
– 基础设施：计算资源、存储资源、网络资源
– 目标：
– 实现定时任务的可靠执行
– 确保任务的定时性和准确性
– 优化任务执行效率
– 简化任务管理
– 范围：
– 任务需求分析
– Cron表达式设计
– Job配置设计
– 并发控制
– 历史记录管理
– 监控和告警
– 工具选择：
– kubectl：用于创建和管理CronJob
– Helm：用于部署CronJob
– 监控工具：如Prometheus、Grafana
– 日志工具：如ELK、Loki
– 流程设计：
– 任务需求分析：分析任务的执行时间、频率和资源需求
– Cron表达式设计：设计符合需求的Cron表达式
– Job配置设计：设计CronJob生成的Job配置
– 部署测试：部署CronJob并测试执行结果
– 监控管理：配置监控和告警
– 资源分配：
– 人力资源：任务设计人员、运维人员
– 时间资源：设计时间、部署时间、测试时间
– 基础设施：计算资源、存储资源、网络资源
2.3 最佳实践规划
Kubernetes Job和CronJob的最佳实践规划：
# 最佳实践规划
– Job最佳实践：
– 合理设置并行度：根据任务特性设置合适的并行度
– 配置失败重试策略：根据任务重要性设置合适的失败重试策略
– 合理设置资源限制：为Job配置合理的CPU和内存限制
– 使用标签和注解：为Job添加标签和注解，便于管理和监控
– 配置PodDisruptionBudget：确保任务执行过程中不被中断
– CronJob最佳实践：
– 合理设计Cron表达式：确保任务在合适的时间执行
– 配置并发控制：根据任务特性设置合适的并发控制策略
– 管理历史记录：合理设置历史Job的保留数量
– 配置失败处理策略：根据任务重要性设置合适的失败处理策略
– 监控任务执行：配置监控和告警，及时发现任务执行问题
– 安全最佳实践：
– 使用最小权限：为Job和CronJob配置最小必要的权限
– 加密敏感信息：使用Secret管理敏感信息
– 限制资源使用：配置资源限制，防止资源滥用
– 监控安全事件：监控任务执行过程中的安全事件
– 性能最佳实践：
– 优化任务执行时间：减少任务执行时间，提高效率
– 合理使用资源：根据任务需求合理分配资源
– 避免任务堆积：确保任务执行速度大于任务创建速度
– 监控性能指标：监控任务执行的性能指标，及时发现性能问题
– Job最佳实践：
– 合理设置并行度：根据任务特性设置合适的并行度
– 配置失败重试策略：根据任务重要性设置合适的失败重试策略
– 合理设置资源限制：为Job配置合理的CPU和内存限制
– 使用标签和注解：为Job添加标签和注解，便于管理和监控
– 配置PodDisruptionBudget：确保任务执行过程中不被中断
– CronJob最佳实践：
– 合理设计Cron表达式：确保任务在合适的时间执行
– 配置并发控制：根据任务特性设置合适的并发控制策略
– 管理历史记录：合理设置历史Job的保留数量
– 配置失败处理策略：根据任务重要性设置合适的失败处理策略
– 监控任务执行：配置监控和告警，及时发现任务执行问题
– 安全最佳实践：
– 使用最小权限：为Job和CronJob配置最小必要的权限
– 加密敏感信息：使用Secret管理敏感信息
– 限制资源使用：配置资源限制，防止资源滥用
– 监控安全事件：监控任务执行过程中的安全事件
– 性能最佳实践：
– 优化任务执行时间：减少任务执行时间，提高效率
– 合理使用资源：根据任务需求合理分配资源
– 避免任务堆积：确保任务执行速度大于任务创建速度
– 监控性能指标：监控任务执行的性能指标，及时发现性能问题
Part03-生产环境项目实施方案
3.1 Job实现
Job实现的具体步骤：
# Job实现
1. 创建Job：
# 创建Job
$ cat > job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: pi spec: template:，风哥提示：。 spec: containers: - name: pi image: perl:5.34.0 command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"] restartPolicy: Never backoffLimit: 4 EOF $ kubectl apply -f job.yaml 2. 查看Job： # 查看Job $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE pi 0/1 10s 10s # 查看Pod $ kubectl get pods # 输出 NAME READY STATUS RESTARTS AGE pi-12345 1/1 Running 0 10s 3. 查看Job执行结果： # 查看Job状态 $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE pi 1/1 30s 40s # 查看Pod状态 $ kubectl get pods # 输出 NAME READY STATUS RESTARTS AGE pi-12345 0/1 Completed 0 40s # 查看Pod日志 $ kubectl logs pi-12345 # 输出 3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491298336733624406566430860213949463952247371907021798609437027705392171762931767523846748184676694051320005681271452635608277857713427577896091736371787214684409012249534301465495853710507922796892589235420199561121290219608640344181598136297747713099605187072113499999983729780499510597317328160963185950244594553469083026425223082533446850352619311881710100031378387528865875332083814206171776691473035982534904287554687311595628638823537875937519577818577805321712268066130019278766111959092160809986280348253421170679 4. 清理Job： # 清理Job $ kubectl delete job pi # 查看Job $ kubectl get jobs # 输出 No resources found in default namespace. 5. 创建并行Job： # 创建并行Job $ cat > parallel-job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: parallel-job spec: parallelism: 3 completions: 6 template: spec: containers: - name: busybox image: busybox:latest command: ["sh", "-c", "echo Hello from $(hostname) && sleep 10"] restartPolicy: Never backoffLimit: 4 EOF $ kubectl apply -f parallel-job.yaml # 查看Job $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE parallel-job 0/6 10s 10s # 查看Pod $ kubectl get pods # 输出 NAME READY STATUS RESTARTS AGE parallel-job-12345 1/1 Running 0 10s parallel-job-67890 1/1 Running 0 10s parallel-job-abcde 1/1 Running 0 10s # 等待任务完成 $ kubectl wait --for=condition=complete job/parallel-job # 查看Job状态 $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE parallel-job 6/6 30s 40s
1. 创建Job：
# 创建Job
$ cat > job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: pi spec: template:，风哥提示：。 spec: containers: - name: pi image: perl:5.34.0 command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"] restartPolicy: Never backoffLimit: 4 EOF $ kubectl apply -f job.yaml 2. 查看Job： # 查看Job $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE pi 0/1 10s 10s # 查看Pod $ kubectl get pods # 输出 NAME READY STATUS RESTARTS AGE pi-12345 1/1 Running 0 10s 3. 查看Job执行结果： # 查看Job状态 $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE pi 1/1 30s 40s # 查看Pod状态 $ kubectl get pods # 输出 NAME READY STATUS RESTARTS AGE pi-12345 0/1 Completed 0 40s # 查看Pod日志 $ kubectl logs pi-12345 # 输出 3.1415926535897932384626433832795028841971693993751058209749445923078164062862089986280348253421170679821480865132823066470938446095505822317253594081284811174502841027019385211055596446229489549303819644288109756659334461284756482337867831652712019091456485669234603486104543266482133936072602491412737245870066063155881748815209209628292540917153643678925903600113305305488204665213841469519415116094330572703657595919530921861173819326117931051185480744623799627495673518857527248912279381830119491298336733624406566430860213949463952247371907021798609437027705392171762931767523846748184676694051320005681271452635608277857713427577896091736371787214684409012249534301465495853710507922796892589235420199561121290219608640344181598136297747713099605187072113499999983729780499510597317328160963185950244594553469083026425223082533446850352619311881710100031378387528865875332083814206171776691473035982534904287554687311595628638823537875937519577818577805321712268066130019278766111959092160809986280348253421170679 4. 清理Job： # 清理Job $ kubectl delete job pi # 查看Job $ kubectl get jobs # 输出 No resources found in default namespace. 5. 创建并行Job： # 创建并行Job $ cat > parallel-job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: parallel-job spec: parallelism: 3 completions: 6 template: spec: containers: - name: busybox image: busybox:latest command: ["sh", "-c", "echo Hello from $(hostname) && sleep 10"] restartPolicy: Never backoffLimit: 4 EOF $ kubectl apply -f parallel-job.yaml # 查看Job $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE parallel-job 0/6 10s 10s # 查看Pod $ kubectl get pods # 输出 NAME READY STATUS RESTARTS AGE parallel-job-12345 1/1 Running 0 10s parallel-job-67890 1/1 Running 0 10s parallel-job-abcde 1/1 Running 0 10s # 等待任务完成 $ kubectl wait --for=condition=complete job/parallel-job # 查看Job状态 $ kubectl get jobs # 输出 NAME COMPLETIONS DURATION AGE parallel-job 6/6 30s 40s
3.2 CronJob实现
CronJob实现的具体步骤。，风哥提示：。
# CronJob实现
1. 创建CronJob：
# 创建CronJob
$ cat > cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: hello spec: schedule: "*/1 * * * *" jobTemplate: spec: template: spec: containers: - name: hello image: busybox:latest command: - /bin/sh - -c - date; echo Hello from the Kubernetes cluster restartPolicy: OnFailure concurrencyPolicy: Allow startingDeadlineSeconds: 100 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1，学习交流加群风哥微信: itpux-com。 EOF $ kubectl apply -f cronjob.yaml 2. 查看CronJob： # 查看CronJob $ kubectl get cronjobs # 输出 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE hello */1 * * * * False 0 10s
3. 查看CronJob生成的Job：
# 等待CronJob生成Job
$ sleep 60
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
hello-1234567890 1/1 5s 30s
# 查看Pod
$ kubectl get pods
# 输出
NAME READY STATUS RESTARTS AGE
hello-1234567890-abcde 0/1 Completed 0 30s
# 查看Pod日志
$ kubectl logs hello-1234567890-abcde
# 输出
Fri Jan 1 00:00:00 UTC 2024
Hello from the Kubernetes cluster
4. 查看CronJob历史记录：
# 查看CronJob
$ kubectl get cronjobs
# 输出
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
hello */1 * * * * False 0 1m 2m
# 查看历史Job
$ kubectl get jobs –selector=job-name=hello
# 输出
NAME COMPLETIONS DURATION AGE
hello-1234567890 1/1 5s 1m
hello-0987654321 1/1 5s 2m
5. 暂停CronJob：
# 暂停CronJob
$ kubectl patch cronjob hello -p ‘{“spec”:{“suspend”:true}}’
# 查看CronJob
$ kubectl get cronjobs
# 输出
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
hello */1 * * * * True 0 3m 4m
6. 清理CronJob：
# 清理CronJob
$ kubectl delete cronjob hello
# 查看CronJob
$ kubectl get cronjobs
# 输出
No resources found in default namespace.
1. 创建CronJob：
# 创建CronJob
$ cat > cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: hello spec: schedule: "*/1 * * * *" jobTemplate: spec: template: spec: containers: - name: hello image: busybox:latest command: - /bin/sh - -c - date; echo Hello from the Kubernetes cluster restartPolicy: OnFailure concurrencyPolicy: Allow startingDeadlineSeconds: 100 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1，学习交流加群风哥微信: itpux-com。 EOF $ kubectl apply -f cronjob.yaml 2. 查看CronJob： # 查看CronJob $ kubectl get cronjobs # 输出 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE hello */1 * * * * False 0
3. 查看CronJob生成的Job：
# 等待CronJob生成Job
$ sleep 60
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
hello-1234567890 1/1 5s 30s
# 查看Pod
$ kubectl get pods
# 输出
NAME READY STATUS RESTARTS AGE
hello-1234567890-abcde 0/1 Completed 0 30s
# 查看Pod日志
$ kubectl logs hello-1234567890-abcde
# 输出
Fri Jan 1 00:00:00 UTC 2024
Hello from the Kubernetes cluster
4. 查看CronJob历史记录：
# 查看CronJob
$ kubectl get cronjobs
# 输出
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
hello */1 * * * * False 0 1m 2m
# 查看历史Job
$ kubectl get jobs –selector=job-name=hello
# 输出
NAME COMPLETIONS DURATION AGE
hello-1234567890 1/1 5s 1m
hello-0987654321 1/1 5s 2m
5. 暂停CronJob：
# 暂停CronJob
$ kubectl patch cronjob hello -p ‘{“spec”:{“suspend”:true}}’
# 查看CronJob
$ kubectl get cronjobs
# 输出
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
hello */1 * * * * True 0 3m 4m
6. 清理CronJob：
# 清理CronJob
$ kubectl delete cronjob hello
# 查看CronJob
$ kubectl get cronjobs
# 输出
No resources found in default namespace.
3.3 管理实现
Job和CronJob管理的具体步骤。
# 管理实现
1. 监控Job和CronJob：
# 安装Prometheus和Grafana
$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
$ helm repo update
$ helm install prometheus prometheus-community/kube-prometheus-stack
# 查看监控面板
$ kubectl port-forward deployment/prometheus-grafana 3000:3000
# 打开浏览器访问 http://localhost:3000
2. 配置告警：
# 创建告警规则
$ cat > job-alert.yaml << 'EOF' apiVersion: monitoring.coreos.com/v1 kind: PrometheusRule metadata: name: job-alerts spec: groups: - name: job rules: - alert: JobFailed expr: kube_job_status_failed > 0
for: 5m
labels:
severity: critical
annotations:
summary: “Job failed”
description: “Job {{ $labels.job_name }} has failed”
– alert: CronJobNotScheduled
expr: time() – kube_cronjob_next_schedule_time > 3600
for: 5m
labels:
severity: warning
annotations:
summary: “CronJob not scheduled”
description: “CronJob {{ $labels.cronjob }} has not been scheduled for more than 1 hour”
EOF
$ kubectl apply -f job-alert.yaml
3. 日志管理：
# 安装Loki和Promtail
$ helm repo add grafana https://grafana.github.io/helm-charts
$ helm repo update
$ helm install loki grafana/loki-stack
# 查看日志
$ kubectl port-forward deployment/loki-grafana 3000:3000
# 打开浏览器访问 http://localhost:3000
4. 批量管理Job：
# 列出所有Job
$ kubectl get jobs –all-namespaces
# 删除所有完成的Job
$ kubectl delete jobs –field-selector status.successful=1
# 删除所有失败的Job
$ kubectl delete jobs –field-selector status.failed=1
5. 批量管理CronJob：
# 列出所有CronJob，学习交流加群风哥QQ113257174。
$ kubectl get cronjobs –all-namespaces
# 暂停所有CronJob
$ kubectl patch cronjobs –all -p ‘{“spec”:{“suspend”:true}}’
# 恢复所有CronJob
$ kubectl patch cronjobs –all -p ‘{“spec”:{“suspend”:false}}’
1. 监控Job和CronJob：
# 安装Prometheus和Grafana
$ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
$ helm repo update
$ helm install prometheus prometheus-community/kube-prometheus-stack
# 查看监控面板
$ kubectl port-forward deployment/prometheus-grafana 3000:3000
# 打开浏览器访问 http://localhost:3000
2. 配置告警：
# 创建告警规则
$ cat > job-alert.yaml << 'EOF' apiVersion: monitoring.coreos.com/v1 kind: PrometheusRule metadata: name: job-alerts spec: groups: - name: job rules: - alert: JobFailed expr: kube_job_status_failed > 0
for: 5m
labels:
severity: critical
annotations:
summary: “Job failed”
description: “Job {{ $labels.job_name }} has failed”
– alert: CronJobNotScheduled
expr: time() – kube_cronjob_next_schedule_time > 3600
for: 5m
labels:
severity: warning
annotations:
summary: “CronJob not scheduled”
description: “CronJob {{ $labels.cronjob }} has not been scheduled for more than 1 hour”
EOF
$ kubectl apply -f job-alert.yaml
3. 日志管理：
# 安装Loki和Promtail
$ helm repo add grafana https://grafana.github.io/helm-charts
$ helm repo update
$ helm install loki grafana/loki-stack
# 查看日志
$ kubectl port-forward deployment/loki-grafana 3000:3000
# 打开浏览器访问 http://localhost:3000
4. 批量管理Job：
# 列出所有Job
$ kubectl get jobs –all-namespaces
# 删除所有完成的Job
$ kubectl delete jobs –field-selector status.successful=1
# 删除所有失败的Job
$ kubectl delete jobs –field-selector status.failed=1
5. 批量管理CronJob：
# 列出所有CronJob，学习交流加群风哥QQ113257174。
$ kubectl get cronjobs –all-namespaces
# 暂停所有CronJob
$ kubectl patch cronjobs –all -p ‘{“spec”:{“suspend”:true}}’
# 恢复所有CronJob
$ kubectl patch cronjobs –all -p ‘{“spec”:{“suspend”:false}}’
Part04-生产案例与实战讲解
4.1 Job案例
Job的实战案例：
# 案例：使用Job执行数据库备份
# 场景：使用Job定期执行数据库备份任务
# 问题：
– 需要定期备份数据库
– 备份任务需要可靠执行
– 备份结果需要保存到持久化存储
– 需要监控备份任务的执行状态
# 解决方案：
1. 创建持久化存储：
# 创建PersistentVolumeClaim
$ cat > backup-pvc.yaml << 'EOF' apiVersion: v1 kind: PersistentVolumeClaim metadata: name: backup-pvc spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 100Gi EOF $ kubectl apply -f backup-pvc.yaml 2. 创建数据库备份Job： # 创建Job $ cat > backup-job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: db-backup spec: template: spec: containers: - name: backup image: mysql:8.0 command: - /bin/sh - -c - | mysqldump -h mysql-0.mysql-headless.default.svc.cluster.local -u fgedu -ppassword fgedudb > /backup/fgedudb-$(date +%Y%m%d%H%M%S).sql
echo “Backup completed at $(date)”
volumeMounts:
– name: backup-volume
mountPath: /backup
volumes:
– name: backup-volume
persistentVolumeClaim:
claimName: backup-pvc
restartPolicy: OnFailure
backoffLimit: 3
EOF
$ kubectl apply -f backup-job.yaml
3. 查看Job执行状态：
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
db-backup 0/1 10s 10s
# 查看Pod
$ kubectl get pods
# 输出
NAME READY STATUS RESTARTS AGE
db-backup-12345 1/1 Running 0 10s
# 查看Pod日志
$ kubectl logs db-backup-12345
# 输出
mysqldump: [Warning] Using a password on the command line interface can be insecure.
Backup completed at Fri Jan 1 00:00:00 UTC 2024
# 查看Job状态
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
db-backup 1/1 30s 40s
4. 验证备份文件：
# 进入Pod查看备份文件
$ kubectl exec -it db-backup-12345 — ls -la /backup
# 输出
total 10240
drwxrwxrwx 2 root root 4096 Jan 1 00:00 .
drwxr-xr-x 1 root root 4096 Jan 1 00:00 ..
-rw-r–r– 1 root root 10485760 Jan 1 00:00 fgedudb-20240101000000.sql
5. 清理Job：
# 清理Job
$ kubectl delete job db-backup
# 输出结果：
# 数据库备份Job执行成功
# 备份文件生成成功
# 备份文件保存到持久化存储
# Job执行状态监控正常
# 场景：使用Job定期执行数据库备份任务
# 问题：
– 需要定期备份数据库
– 备份任务需要可靠执行
– 备份结果需要保存到持久化存储
– 需要监控备份任务的执行状态
# 解决方案：
1. 创建持久化存储：
# 创建PersistentVolumeClaim
$ cat > backup-pvc.yaml << 'EOF' apiVersion: v1 kind: PersistentVolumeClaim metadata: name: backup-pvc spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 100Gi EOF $ kubectl apply -f backup-pvc.yaml 2. 创建数据库备份Job： # 创建Job $ cat > backup-job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: db-backup spec: template: spec: containers: - name: backup image: mysql:8.0 command: - /bin/sh - -c - | mysqldump -h mysql-0.mysql-headless.default.svc.cluster.local -u fgedu -ppassword fgedudb > /backup/fgedudb-$(date +%Y%m%d%H%M%S).sql
echo “Backup completed at $(date)”
volumeMounts:
– name: backup-volume
mountPath: /backup
volumes:
– name: backup-volume
persistentVolumeClaim:
claimName: backup-pvc
restartPolicy: OnFailure
backoffLimit: 3
EOF
$ kubectl apply -f backup-job.yaml
3. 查看Job执行状态：
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
db-backup 0/1 10s 10s
# 查看Pod
$ kubectl get pods
# 输出
NAME READY STATUS RESTARTS AGE
db-backup-12345 1/1 Running 0 10s
# 查看Pod日志
$ kubectl logs db-backup-12345
# 输出
mysqldump: [Warning] Using a password on the command line interface can be insecure.
Backup completed at Fri Jan 1 00:00:00 UTC 2024
# 查看Job状态
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
db-backup 1/1 30s 40s
4. 验证备份文件：
# 进入Pod查看备份文件
$ kubectl exec -it db-backup-12345 — ls -la /backup
# 输出
total 10240
drwxrwxrwx 2 root root 4096 Jan 1 00:00 .
drwxr-xr-x 1 root root 4096 Jan 1 00:00 ..
-rw-r–r– 1 root root 10485760 Jan 1 00:00 fgedudb-20240101000000.sql
5. 清理Job：
# 清理Job
$ kubectl delete job db-backup
# 输出结果：
# 数据库备份Job执行成功
# 备份文件生成成功
# 备份文件保存到持久化存储
# Job执行状态监控正常
4.2 CronJob案例
CronJob的实战案例。。
# 案例：使用CronJob执行定时清理任务
# 场景：使用CronJob定期清理系统垃圾文件
# 问题：
– 需要定期清理系统垃圾文件
– 清理任务需要在非业务高峰期执行，更多视频教程www.fgedu.net.cn。
– 清理结果需要记录日志
– 需要监控清理任务的执行状态
# 解决方案：
1. 创建CronJob：
# 创建CronJob
$ cat > cleanup-cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: cleanup spec: schedule: "0 3 * * *" jobTemplate: spec: template: spec: containers: - name: cleanup image: busybox:latest command: - /bin/sh - -c - | echo "Starting cleanup at $(date)" # 清理临时文件 rm -rf /tmp/* # 清理日志文件 find /var/log -name "*.log" -mtime +7 -delete echo "Cleanup completed at $(date)" restartPolicy: OnFailure concurrencyPolicy: Forbid startingDeadlineSeconds: 1800 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1 EOF $ kubectl apply -f cleanup-cronjob.yaml 2. 查看CronJob： # 查看CronJob $ kubectl get cronjobs # 输出 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE cleanup 0 3 * * * False 0 10s
3. 手动触发CronJob（用于测试）：
# 手动创建Job
$ kubectl create job –from=cronjob/cleanup cleanup-test
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
cleanup-test 0/1 10s 10s
# 查看Pod
$ kubectl get pods
# 输出
NAME READY STATUS RESTARTS AGE
cleanup-test-12345 1/1 Running 0 10s
# 查看Pod日志
$ kubectl logs cleanup-test-12345
# 输出
Starting cleanup at Fri Jan 1 00:00:00 UTC 2024
Cleanup completed at Fri Jan 1 00:00:01 UTC 2024
# 查看Job状态
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
cleanup-test 1/1 5s 15s
4. 查看CronJob历史记录：
# 查看CronJob
$ kubectl get cronjobs
# 输出
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
cleanup 0 3 * * * False 0 1m
# 查看历史Job
$ kubectl get jobs –selector=job-name=cleanup
# 输出
NAME COMPLETIONS DURATION AGE
cleanup-test 1/1 5s 1m
5. 清理CronJob：
# 清理CronJob
$ kubectl delete cronjob cleanup
# 输出结果：
# 清理CronJob创建成功
# 手动触发测试成功
# 清理任务执行成功
# 日志记录正常
# 场景：使用CronJob定期清理系统垃圾文件
# 问题：
– 需要定期清理系统垃圾文件
– 清理任务需要在非业务高峰期执行，更多视频教程www.fgedu.net.cn。
– 清理结果需要记录日志
– 需要监控清理任务的执行状态
# 解决方案：
1. 创建CronJob：
# 创建CronJob
$ cat > cleanup-cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: cleanup spec: schedule: "0 3 * * *" jobTemplate: spec: template: spec: containers: - name: cleanup image: busybox:latest command: - /bin/sh - -c - | echo "Starting cleanup at $(date)" # 清理临时文件 rm -rf /tmp/* # 清理日志文件 find /var/log -name "*.log" -mtime +7 -delete echo "Cleanup completed at $(date)" restartPolicy: OnFailure concurrencyPolicy: Forbid startingDeadlineSeconds: 1800 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1 EOF $ kubectl apply -f cleanup-cronjob.yaml 2. 查看CronJob： # 查看CronJob $ kubectl get cronjobs # 输出 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE cleanup 0 3 * * * False 0
3. 手动触发CronJob（用于测试）：
# 手动创建Job
$ kubectl create job –from=cronjob/cleanup cleanup-test
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
cleanup-test 0/1 10s 10s
# 查看Pod
$ kubectl get pods
# 输出
NAME READY STATUS RESTARTS AGE
cleanup-test-12345 1/1 Running 0 10s
# 查看Pod日志
$ kubectl logs cleanup-test-12345
# 输出
Starting cleanup at Fri Jan 1 00:00:00 UTC 2024
Cleanup completed at Fri Jan 1 00:00:01 UTC 2024
# 查看Job状态
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
cleanup-test 1/1 5s 15s
4. 查看CronJob历史记录：
# 查看CronJob
$ kubectl get cronjobs
# 输出
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE
cleanup 0 3 * * * False 0
# 查看历史Job
$ kubectl get jobs –selector=job-name=cleanup
# 输出
NAME COMPLETIONS DURATION AGE
cleanup-test 1/1 5s 1m
5. 清理CronJob：
# 清理CronJob
$ kubectl delete cronjob cleanup
# 输出结果：
# 清理CronJob创建成功
# 手动触发测试成功
# 清理任务执行成功
# 日志记录正常
4.3 集成案例
Job和CronJob的集成案例。
# 案例：使用Job和CronJob实现完整的数据处理流程
# 场景：使用Job和CronJob实现数据采集、处理和分析的完整流程
# 问题：
– 需要定期采集数据
– 需要处理采集的数据
– 需要分析处理后的数据
– 需要存储分析结果
# 解决方案：
1. 创建持久化存储：
# 创建PersistentVolumeClaim
$ cat > data-pvc.yaml << 'EOF' apiVersion: v1 kind: PersistentVolumeClaim metadata: name: data-pvc spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 200Gi EOF $ kubectl apply -f data-pvc.yaml 2. 创建数据采集CronJob： # 创建CronJob，更多学习教程公众号风哥教程itpux_com。 $ cat > data-collection-cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: data-collection spec: schedule: "*/5 * * * *" jobTemplate: spec: template: spec: containers: - name: data-collection image: curl:latest command: - /bin/sh - -c - | echo "Starting data collection at $(date)" mkdir -p /data/raw curl -o /data/raw/data-$(date +%Y%m%d%H%M%S).json https://api.example.com/data echo "Data collection completed at $(date)" volumeMounts: - name: data-volume mountPath: /data volumes: - name: data-volume persistentVolumeClaim: claimName: data-pvc restartPolicy: OnFailure concurrencyPolicy: Forbid startingDeadlineSeconds: 600 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1 EOF $ kubectl apply -f data-collection-cronjob.yaml 3. 创建数据处理Job： # 创建Job $ cat > data-processing-job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: data-processing spec: template: spec: containers: - name: data-processing image: python:3.9 command: - /bin/sh - -c - | echo "Starting data processing at $(date)" mkdir -p /data/processed for file in /data/raw/*.json; do python3 -c "import json; data = json.load(open('$file')); processed = [item for item in data if item['value'] > 0]; json.dump(processed, open(‘/data/processed/$(basename $file)’, ‘w’))”
done
echo “Data processing completed at $(date)”
volumeMounts:
– name: data-volume
mountPath: /data
volumes:
– name: data-volume
persistentVolumeClaim:
claimName: data-pvc
restartPolicy: OnFailure
backoffLimit: 3
EOF
$ kubectl apply -f data-processing-job.yaml
4. 创建数据分析CronJob：
# 创建CronJob
$ cat > data-analysis-cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: data-analysis spec: schedule: "0 * * * *" jobTemplate: spec: template: spec: containers: - name: data-analysis image: python:3.9 command: - /bin/sh - -c - | echo "Starting data analysis at $(date)" mkdir -p /data/analysis python3 -c "import json; import glob; data = []; for file in glob.glob('/data/processed/*.json'): data.extend(json.load(open(file))); avg = sum(item['value'] for item in data) / len(data); max_val = max(item['value'] for item in data); min_val = min(item['value'] for item in data); result = {'average': avg, 'max': max_val, 'min': min_val, 'count': len(data), 'timestamp': '$(date)'}; json.dump(result, open('/data/analysis/analysis-$(date +%Y%m%d%H%M%S).json', 'w'))" echo "Data analysis completed at $(date)" volumeMounts: - name: data-volume mountPath: /data volumes: - name: data-volume persistentVolumeClaim: claimName: data-pvc restartPolicy: OnFailure concurrencyPolicy: Forbid startingDeadlineSeconds: 1800 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1 EOF $ kubectl apply -f data-analysis-cronjob.yaml 5. 测试数据处理流程： # 查看所有CronJob $ kubectl get cronjobs # 输出 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE，from K8S+DB视频:www.itpux.com。 data-collection */5 * * * * False 0 10s
data-analysis 0 * * * * False 0 5s
# 手动触发数据采集CronJob
$ kubectl create job –from=cronjob/data-collection data-collection-test
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
data-collection-test 0/1 10s 10s
data-processing 0/1 5s 5s
# 等待任务完成
$ kubectl wait –for=condition=complete job/data-collection-test。
$ kubectl wait –for=condition=complete job/data-processing
# 手动触发数据分析CronJob
$ kubectl create job –from=cronjob/data-analysis data-analysis-test
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
data-collection-test 1/1 15s 25s
data-processing 1/1 10s 20s
data-analysis-test 0/1 5s 5s
# 等待任务完成
$ kubectl wait –for=condition=complete job/data-analysis-test
6. 验证数据处理结果：
# 进入Pod查看数据
$ kubectl exec -it data-analysis-test-12345 — ls -la /data
# 输出
total 20
drwxr-xr-x 4 root root 4096 Jan 1 00:00 .
drwxr-xr-x 1 root root 4096 Jan 1 00:00 ..
drwxr-xr-x 2 root root 4096 Jan 1 00:00 analysis
drwxr-xr-x 2 root root 4096 Jan 1 00:00 processed
drwxr-xr-x 2 root root 4096 Jan 1 00:00 raw
# 查看分析结果
$ kubectl exec -it data-analysis-test-12345 — cat /data/analysis/analysis-*.json
# 输出
{“average”: 50.5, “max”: 100, “min”: 1, “count”: 100, “timestamp”: “Fri Jan 1 00:00:00 UTC 2024”}
7. 清理资源：
# 清理CronJob
$ kubectl delete cronjob data-collection data-analysis
# 清理Job
$ kubectl delete job data-processing data-collection-test data-analysis-test
# 输出结果：
# 数据处理流程部署成功
# 数据采集任务执行成功
# 数据处理任务执行成功
# 数据分析任务执行成功
# 分析结果生成成功
# 场景：使用Job和CronJob实现数据采集、处理和分析的完整流程
# 问题：
– 需要定期采集数据
– 需要处理采集的数据
– 需要分析处理后的数据
– 需要存储分析结果
# 解决方案：
1. 创建持久化存储：
# 创建PersistentVolumeClaim
$ cat > data-pvc.yaml << 'EOF' apiVersion: v1 kind: PersistentVolumeClaim metadata: name: data-pvc spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 200Gi EOF $ kubectl apply -f data-pvc.yaml 2. 创建数据采集CronJob： # 创建CronJob，更多学习教程公众号风哥教程itpux_com。 $ cat > data-collection-cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: data-collection spec: schedule: "*/5 * * * *" jobTemplate: spec: template: spec: containers: - name: data-collection image: curl:latest command: - /bin/sh - -c - | echo "Starting data collection at $(date)" mkdir -p /data/raw curl -o /data/raw/data-$(date +%Y%m%d%H%M%S).json https://api.example.com/data echo "Data collection completed at $(date)" volumeMounts: - name: data-volume mountPath: /data volumes: - name: data-volume persistentVolumeClaim: claimName: data-pvc restartPolicy: OnFailure concurrencyPolicy: Forbid startingDeadlineSeconds: 600 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1 EOF $ kubectl apply -f data-collection-cronjob.yaml 3. 创建数据处理Job： # 创建Job $ cat > data-processing-job.yaml << 'EOF' apiVersion: batch/v1 kind: Job metadata: name: data-processing spec: template: spec: containers: - name: data-processing image: python:3.9 command: - /bin/sh - -c - | echo "Starting data processing at $(date)" mkdir -p /data/processed for file in /data/raw/*.json; do python3 -c "import json; data = json.load(open('$file')); processed = [item for item in data if item['value'] > 0]; json.dump(processed, open(‘/data/processed/$(basename $file)’, ‘w’))”
done
echo “Data processing completed at $(date)”
volumeMounts:
– name: data-volume
mountPath: /data
volumes:
– name: data-volume
persistentVolumeClaim:
claimName: data-pvc
restartPolicy: OnFailure
backoffLimit: 3
EOF
$ kubectl apply -f data-processing-job.yaml
4. 创建数据分析CronJob：
# 创建CronJob
$ cat > data-analysis-cronjob.yaml << 'EOF' apiVersion: batch/v1 kind: CronJob metadata: name: data-analysis spec: schedule: "0 * * * *" jobTemplate: spec: template: spec: containers: - name: data-analysis image: python:3.9 command: - /bin/sh - -c - | echo "Starting data analysis at $(date)" mkdir -p /data/analysis python3 -c "import json; import glob; data = []; for file in glob.glob('/data/processed/*.json'): data.extend(json.load(open(file))); avg = sum(item['value'] for item in data) / len(data); max_val = max(item['value'] for item in data); min_val = min(item['value'] for item in data); result = {'average': avg, 'max': max_val, 'min': min_val, 'count': len(data), 'timestamp': '$(date)'}; json.dump(result, open('/data/analysis/analysis-$(date +%Y%m%d%H%M%S).json', 'w'))" echo "Data analysis completed at $(date)" volumeMounts: - name: data-volume mountPath: /data volumes: - name: data-volume persistentVolumeClaim: claimName: data-pvc restartPolicy: OnFailure concurrencyPolicy: Forbid startingDeadlineSeconds: 1800 successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 1 EOF $ kubectl apply -f data-analysis-cronjob.yaml 5. 测试数据处理流程： # 查看所有CronJob $ kubectl get cronjobs # 输出 NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE，from K8S+DB视频:www.itpux.com。 data-collection */5 * * * * False 0
data-analysis 0 * * * * False 0
# 手动触发数据采集CronJob
$ kubectl create job –from=cronjob/data-collection data-collection-test
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
data-collection-test 0/1 10s 10s
data-processing 0/1 5s 5s
# 等待任务完成
$ kubectl wait –for=condition=complete job/data-collection-test。
$ kubectl wait –for=condition=complete job/data-processing
# 手动触发数据分析CronJob
$ kubectl create job –from=cronjob/data-analysis data-analysis-test
# 查看Job
$ kubectl get jobs
# 输出
NAME COMPLETIONS DURATION AGE
data-collection-test 1/1 15s 25s
data-processing 1/1 10s 20s
data-analysis-test 0/1 5s 5s
# 等待任务完成
$ kubectl wait –for=condition=complete job/data-analysis-test
6. 验证数据处理结果：
# 进入Pod查看数据
$ kubectl exec -it data-analysis-test-12345 — ls -la /data
# 输出
total 20
drwxr-xr-x 4 root root 4096 Jan 1 00:00 .
drwxr-xr-x 1 root root 4096 Jan 1 00:00 ..
drwxr-xr-x 2 root root 4096 Jan 1 00:00 analysis
drwxr-xr-x 2 root root 4096 Jan 1 00:00 processed
drwxr-xr-x 2 root root 4096 Jan 1 00:00 raw
# 查看分析结果
$ kubectl exec -it data-analysis-test-12345 — cat /data/analysis/analysis-*.json
# 输出
{“average”: 50.5, “max”: 100, “min”: 1, “count”: 100, “timestamp”: “Fri Jan 1 00:00:00 UTC 2024”}
7. 清理资源：
# 清理CronJob
$ kubectl delete cronjob data-collection data-analysis
# 清理Job
$ kubectl delete job data-processing data-collection-test data-analysis-test
# 输出结果：
# 数据处理流程部署成功
# 数据采集任务执行成功
# 数据处理任务执行成功
# 数据分析任务执行成功
# 分析结果生成成功
Part05-风哥经验总结与分享
5.1 Job使用技巧
Kubernetes Job使用的技巧。
- 合理设置并行度：根据任务特性和集群资源设置合适的并行度，提高任务执行效率
- 配置失败重试策略：根据任务重要性设置合适的失败重试策略，确保任务成功完成
- 合理设置资源限制：为Job配置合理的CPU和内存限制，避免资源竞争
- 使用标签和注解：为Job添加标签和注解，便于管理和监控
- 配置PodDisruptionBudget：确保任务执行过程中不被中断
- 监控Job执行状态：定期监控Job的执行状态，及时发现问题
- 清理完成的Job：定期清理已完成的Job，避免资源浪费
- 使用持久化存储：对于需要保存结果的任务，使用持久化存储保存结果
5.2 CronJob使用技巧
Kubernetes CronJob使用的技巧：
- 合理设计Cron表达式：根据任务需求设计合适的Cron表达式，确保任务在合适的时间执行
- 配置并发控制：根据任务特性设置合适的并发控制策略，避免任务冲突
- 管理历史记录：合理设置历史Job的保留数量，避免资源浪费
- 配置失败处理策略：根据任务重要性设置合适的失败处理策略，确保任务成功执行
- 监控任务执行：配置监控和告警，及时发现任务执行问题
- 测试CronJob：在部署前测试CronJob的执行效果，确保任务正常执行
- 使用最小权限：为CronJob配置最小必要的权限，提高安全性
- 避免任务堆积：确保任务执行速度大于任务创建速度，避免任务堆积
5.3 未来趋势
Kubernetes任务调度的未来趋势：
- Job增强：Kubernetes将不断增强Job的功能，提供更强大的任务管理能力
- CronJob增强：CronJob将支持更复杂的调度策略和更灵活的配置选项
- 工作流集成：任务调度将与工作流引擎更紧密集成，支持更复杂的任务编排
- 智能化调度：使用AI技术实现智能化任务调度，自动优化任务执行策略
- 边缘计算支持：任务调度将延伸到边缘节点，支持边缘计算场景
- 多集群调度：支持跨集群的任务调度，实现资源的统一管理和调度
- 安全增强：任务调度的安全性将进一步增强，提供更全面的安全保障
- 性能优化：任务调度的性能将进一步优化，支持更大规模的任务执行
本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html
