Linux教程FG581-大规模K8s存储资源调度与优化

Part01-基础概念与理论知识

1.1 存储资源调度基础

存储资源调度是指Kubernetes根据Pod的存储需求，将Pod调度到具有合适存储资源的节点上，主要包括：

存储类（StorageClass）：定义存储类型和参数
持久卷（PersistentVolume）：集群级别的存储资源
持久卷声明（PersistentVolumeClaim）：Pod对存储资源的请求
卷快照（VolumeSnapshot）：存储卷的快照
存储调度策略：影响Pod调度的存储相关规则

1.2 存储类型与特点

Kubernetes支持多种存储类型，常见的包括：

from PG视频:www.itpux.com

本地存储（Local Volume）：节点本地的存储，性能高但不具备高可用性
网络存储（Network Volume）：如NFS、iSCSI、Ceph等，具备高可用性但性能相对较低
云存储（Cloud Volume）：如AWS EBS、GCP PD、Azure Disk等，与云服务集成
分布式存储（Distributed Storage）：如Ceph、GlusterFS等，提供高可用和高性能

1.3 存储优化策略

存储优化策略包括：

存储类型选择：根据应用的性能和可用性需求选择合适的存储类型
存储参数调优：调整存储相关参数，如IOPS、吞吐量等
存储调度优化：优化Pod的存储调度策略，提高存储利用率
存储监控与预警：监控存储使用情况，及时预警和处理存储问题
存储备份与恢复：定期备份存储数据，确保数据安全

Part02-生产环境规划与建议

2.1 存储资源规划

存储资源规划应考虑以下因素：

存储容量：根据应用的数据量和增长趋势，规划存储容量
存储性能：根据应用的IO需求，规划存储性能（IOPS、吞吐量）
存储类型：根据应用的特点，选择合适的存储类型
存储架构：设计合理的存储架构，确保高可用性和可扩展性
存储成本：平衡存储性能和成本，选择性价比高的存储方案

风哥提示：在大规模集群中，建议使用分布式存储系统，如Ceph，提供高可用和高性能的存储服务。

2.2 存储性能要求

不同应用对存储性能的要求不同：

数据库应用：需要高IOPS和低延迟，适合使用SSD存储
大数据应用：需要高吞吐量，适合使用大容量HDD存储
Web应用：需要平衡IOPS和吞吐量，适合使用混合存储
缓存应用：需要极高的IOPS和极低的延迟，适合使用内存存储

2.3 高可用与灾备规划

存储高可用与灾备规划包括：

存储冗余：使用RAID、多副本等技术，确保存储数据的冗余
存储集群：部署存储集群，确保存储服务的高可用性
数据备份：定期备份存储数据，确保数据安全
灾难恢复：制定灾难恢复计划，确保在灾难发生时能够快速恢复数据
跨区域复制：在不同区域部署存储，实现跨区域灾备

from Linux:www.itpux.com

Part03-生产环境项目实施方案

3.1 存储资源配置

配置存储资源：

3.1.1 配置存储类

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: fgedu-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp3
iopsPerGB: “10000”
throughput: “250”
reclaimPolicy: Retain
allowVolumeExpansion: true
volumeBindingMode: WaitForFirstConsumer

3.1.2 配置持久卷声明

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: fgedu-db-pvc
spec:
storageClassName: fgedu-ssd
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 100Gi

3.2 存储调度策略

配置存储调度策略：

3.2.1 配置存储亲和性

apiVersion: apps/v1
kind: Deployment
metadata:
name: fgedu-db
spec:
template:
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
– matchExpressions:
– key: storage-type
operator: In
values:
– ssd
containers:
– name: db
image: mysql:8.0
volumeMounts:
– name: db-data
mountPath: /var/lib/mysql
volumes:
– name: db-data
persistentVolumeClaim:
claimName: fgedu-db-pvc

3.2.2 配置存储拓扑感知调度

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: fgedu-topology-aware
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp3
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
– matchLabelExpressions:
– key: topology.kubernetes.io/zone
values:
– us-west-2a
– us-west-2b

3.3 存储监控与管理

监控和管理存储资源：

3.3.1 监控存储使用情况

# 查看持久卷使用情况
$ kubectl get pv

# 查看持久卷声明使用情况
$ kubectl get pvc

# 查看存储类
$ kubectl get storageclass

3.3.2 管理存储资源

# 扩展持久卷声明
$ kubectl patch pvc fgedu-db-pvc -p ‘{“spec”:{“resources”:{“requests”:{“storage”:”200Gi”}}}}’

# 删除持久卷声明
$ kubectl delete pvc fgedu-db-pvc

# 创建卷快照
$ kubectl apply -f volume-snapshot.yaml

Part04-生产案例与实战讲解

4.1 大规模集群存储调度实更多学习教程公众号风哥教程itpux_com施

大规模集群存储调度实施案例：

4.1.1 架构设计

使用Ceph作为分布式存储系统
配置多个存储类，满足不同应用的存储需求
使用存储拓扑感知调度，优化存储访问性能
监控存储使用情况，及时扩容和优化

4.1.2 实施步骤

# 安装Ceph集群
$ ceph-deploy new node1 node2 node3
$ ceph-deploy install node1 node2 node3
$ ceph-deploy mon create-initial
$ ceph-deploy mgr create node1
$ ceph-deploy osd create –data /dev/sdb node1
$ ceph-deploy osd create –data /dev/sdb node2
$ ceph-deploy osd create –data /dev/sdb node3

# 配置Ceph存储类
$ kubectl apply -f ceph-storageclass.yaml

# 部署应用
$ kubectl apply -f fgedu-app.yaml

4.1.3 验证存储调度

# 查看Pod调度情况
$ kubectl get pods -o wide

# 查看存储使用情况
$ kubectl get pvc

# 查看Ceph集群状态
$ ceph status

4.2 存储性能优化案例

存储性能优化案例：

4.2.1 架构设计

使用SSD存储作为数据库的主存储
配置合理的存储参数，如IOPS、吞吐量等
使用存储缓存，提高存储访问性能
优化存储调度策略，减少存储访问延迟

4.2.2 实施步骤

# 配置高性能存储类
$ kubectl apply -f high-performance-storageclass.yaml

# 部署数据库应用
$ kubectl apply -f fgedu-db-deployment.yaml

# 监控存储性能
$ kubectl apply -f storage-monitoring.yaml

4.2.3 验证存储性能

# 测试存储IOPS
$ kubectl exec -it fgedu-db-0 — fio –name=test –ioengine=libaio –rw=randread –bs=4k –size=10G –numjobs=4 –runtime=60 –group_reporting

# 测试存储吞吐量
$ kubectl exec -it fgedu-db-0 — fio –name=test –ioengine=libaio –rw=read –bs=1M –size=10G –numjobs=4 –runtime=60 –group_reporting

# 查看存储监控
$ kubectl port-forward svc/prometheus-grafana 3000:80 -n monitoring

4.3 存储高可用配置

存储高可用配置案例：

4.3.1 架构设计

使用Ceph存储集群，提供高可用存储服务
配置多副本存储，确保数据冗余
实现跨区域存储复制，提供灾备能力
监控存储集群状态，及时处理存储故障

4.3.2 实施步骤

# 配置Ceph多副本
$ ceph osd pool set default size 3

# 配置跨区域复制
$ rbd mirror pool enable fgedu-pool pool
$ rbd mirror pool peer add fgedu-pool client.admin@remote

# 部署高可用应用
$ kubectl apply -f fgedu-ha-app.yaml

4.3.3 验证存储高可用