风哥提示：监控对于AI/机器学习工作负载至关重要，可以帮助发现性能瓶颈和资源使用问题，提高工作效率。

Part04-生产案例与实战讲解

4.1 大规模训练工作负载管理案例

案例背景：某企业需要训练一个大型深度学习模型，需要管理大规模的训练工作负载。

实施步骤：

1. 准备集群：部署包含多个GPU节点的Kubernetes集群
2. 配置存储：创建高性能存储，用于存储训练数据和模型
3. 部署分布式训练框架：使用Horovod或TensorFlow Distributed等框架进行分布式训练
4. 提交训练任务：

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: fgedu-distributed-training
     namespace: default
   spec:
     parallelism: 4
     completions: 4
     template:
       metadata:
         labels:
           app: fgedu-distributed-training
       spec:
         restartPolicy: Never
         containers:
         - name: fgedu-distributed-training
           image: fgedu/horovod:0.25.0
           resources:
             requests:
               cpu: "4"
               memory: "16Gi"
               nvidia.com/gpu: 1
             limits:
               cpu: "8"
               memory: "32Gi"
               nvidia.com/gpu: 1
           volumeMounts:
           - name: data-volume
             mountPath: /data
           - name: model-volume
             mountPath: /model
           env:
           - name: HOROVOD_TF_ALLREDUCE_MODE
             value: "NCCL"
           - name: HOROVOD_GPU_ALLREDUCE
             value: "1"
           command:
           - bash
           - -c
           - |
             horovodrun -np 4 -H localhost:1,worker1:1,worker2:1,worker3:1 python /app/train.py
         volumes:
         - name: data-volume
           persistentVolumeClaim:
             claimName: fgedu-data-pvc
         - name: model-volume
           persistentVolumeClaim:
             claimName: fgedu-model-pvc
                   

   $ kubectl apply -f distributed-training.yaml

   job.batch/fgedu-distributed-training created
5. 监控训练过程：使用Grafana监控训练进度和资源使用情况

4.2 大规模推理工作负载管理案例

案例背景：某企业需要部署大规模的推理服务，处理来自多个客户端的请求。

实施步骤：

1. 准备集群：部署包含GPU节点的Kubernetes集群
2. 部署推理服务：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: fgedu-inference-service
     namespace: default
   spec:
     replicas: 3
     selector:
       matchLabels:
         app: fgedu-inference-service
     template:
       metadata:
         labels:
           app: fgedu-inference-service
       spec:
         containers:
         - name: fgedu-inference-service
           image: fgedu/tensorflow-serving:2.9.0-gpu
           resources:
             requests:
               cpu: "2"
               memory: "4Gi"
               nvidia.com/gpu: 1
             limits:
               cpu: "4"
               memory: "8Gi"
               nvidia.com/gpu: 1
           ports:
           - containerPort: 8500
           - containerPort: 8501
           volumeMounts:
           - name: model-volume
             mountPath: /models
           env:
           - name: MODEL_NAME
             value: "fgedu-model"
         volumes:
         - name: model-volume
           persistentVolumeClaim:
             claimName: fgedu-model-pvc
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: fgedu-inference-service
     namespace: default
   spec:
     selector:
       app: fgedu-inference-service
     ports:
     - port: 8500
       targetPort: 8500
       name: grpc
     - port: 8501
       targetPort: 8501
       name: http
     type: LoadBalancer
                   

   $ kubectl apply -f inference-service.yaml

   deployment.apps/fgedu-inference-service created
   service/fgedu-inference-service created
3. 配置自动扩缩容：

   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
     name: fgedu-inference-service-hpa
     namespace: default
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: fgedu-inference-service
     minReplicas: 3
     maxReplicas: 10
     metrics:
     - type: Resource
       resource:
         name: cpu
         target:
           type: Utilization
           averageUtilization: 70
     - type: Resource
       resource:
         name: memory
         target:
           type: Utilization
           averageUtilization: 80
                   

   $ kubectl apply -f inference-service-hpa.yaml

   horizontalpodautoscaler.autoscaling/fgedu-inference-service-hpa created
4. 测试推理服务：
   $ curl -d ‘{“instances”: [[1.0, 2.0, 3.0, 4.0]]}’ -X POST http://$(kubectl get svc fgedu-inference-service -o jsonpath='{.status.loadBalancer.ingress[0].ip}’):8501/v1/models/fgedu-model:predict

   {“predictions”: [[0.1, 0.9]]}

4.3 混合工作负载管理案例

案例背景：某企业需要在同一个集群中管理训练和推理工作负载，实现资源的高效利用。

实施步骤：

1. 准备集群：部署包含多种节点类型的Kubernetes集群
2. 配置资源配额：为训练和推理工作负载设置不同的资源配额
3. 部署训练工作负载：使用Job资源部署训练任务
4. 部署推理工作负载：使用Deployment资源部署推理服务
5. 配置优先级：为推理服务设置更高的优先级，确保服务可用性

4.4 AI平台管理案例

案例背景：某企业需要构建一个完整的AI平台，支持模型训练、推理、管理等功能。

实施步骤：

1. 部署Kubernetes集群：部署一个高性能的Kubernetes集群
2. 部署AI平台组件：部署JupyterHub、MLflow、Kubeflow等组件
3. 配置存储：部署分布式存储，用于存储数据和模型
4. 配置监控：部署Prometheus、Grafana等监控工具
5. 配置用户认证：设置用户认证和授权
6. 部署示例应用：部署示例模型训练和推理应用

部署Kubeflow的示例命令：