Kubernetes教程FG005-Kubernetes存储配置与管理实战解析
本文档风哥主要介绍Kubernetes的存储配置与管理，包括存储概念、存储类型、持久化卷配置、存储动态供应、存储安全等内容，风哥教程参考Kubernetes官方文档Storage指南，适合DevOps工程师和系统管理员在学习和测试中使用，如果要应用于生产环境则需要自行确认。
Part01-基础概念与理论知识
1.1 存储概述
Kubernetes的存储系统用于为Pod提供持久化存储，确保应用数据在Pod重启或迁移后仍然保持。Kubernetes支持多种存储类型，包括本地存储、网络存储等。
1.2 存储概念
Kubernetes的存储概念：
- Volume：Pod中的存储卷，用于存储数据
- PersistentVolume (PV)：集群级别的存储资源
- PersistentVolumeClaim (PVC)：用户对存储资源的请求
- StorageClass：存储类，用于动态创建PV
- VolumeSnapshot：卷快照，用于数据备份和恢复
- VolumeSnapshotClass：卷快照类，用于动态创建卷快照
，风哥提示：。
1.3 存储类型
Kubernetes支持的存储类型：
- 本地存储：hostPath、emptyDir
- 网络存储：NFS、iSCSI、FC
- 云存储：Amazon EBS、Google Persistent Disk、Azure Disk
- 分布式存储：Ceph、GlusterFS、Longhorn
- 临时存储：tmpfs
Part02-生产环境规划与建议
2.1 存储规划
生产环境Kubernetes集群的存储规划：
# 存储规划示例
– 控制平面节点存储：200GB SSD
– 工作节点存储：500GB SSD
– etcd数据存储：单独的100GB SSD
– 应用数据存储：根据应用需求选择存储类型
# 存储容量规划
– 数据库应用：500GB-1TB
– 日志存储：1TB-2TB
– 静态文件：200GB-500GB
– 备份存储：2TB-5TB
# 存储性能规划
– 数据库应用：IOPS ≥ 1000，延迟 ≤ 1ms
– 日志存储：IOPS ≥ 500，延迟 ≤ 5ms
– 静态文件：IOPS ≥ 100，延迟 ≤ 10ms
– 控制平面节点存储：200GB SSD
– 工作节点存储：500GB SSD
– etcd数据存储：单独的100GB SSD
– 应用数据存储：根据应用需求选择存储类型
# 存储容量规划
– 数据库应用：500GB-1TB
– 日志存储：1TB-2TB
– 静态文件：200GB-500GB
– 备份存储：2TB-5TB
# 存储性能规划
– 数据库应用：IOPS ≥ 1000，延迟 ≤ 1ms
– 日志存储：IOPS ≥ 500，延迟 ≤ 5ms
– 静态文件：IOPS ≥ 100，延迟 ≤ 10ms
2.2 存储类配置
生产环境Kubernetes集群的存储类配置：
# 创建StorageClass
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: standard
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp2
reclaimPolicy: Retain
allowVolumeExpansion: true
volumeBindingMode: Immediate
# 创建高性能StorageClass
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: high-performance
provisioner: kubernetes.io/aws-ebs
parameters:，学习交流加群风哥微信: itpux-com。
type: io1
iopsPerGB: “10”
reclaimPolicy: Retain
allowVolumeExpansion: true
volumeBindingMode: Immediate
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: standard
provisioner: kubernetes.io/aws-ebs
parameters:
type: gp2
reclaimPolicy: Retain
allowVolumeExpansion: true
volumeBindingMode: Immediate
# 创建高性能StorageClass
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: high-performance
provisioner: kubernetes.io/aws-ebs
parameters:，学习交流加群风哥微信: itpux-com。
type: io1
iopsPerGB: “10”
reclaimPolicy: Retain
allowVolumeExpansion: true
volumeBindingMode: Immediate
2.3 卷管理
生产环境Kubernetes集群的卷管理：
# 卷管理策略
– 为Pod设置合适的卷类型
– 使用PersistentVolumeClaim管理存储
– 配置StorageClass实现动态存储供应
– 定期备份卷数据
– 监控卷使用情况
# 卷生命周期管理
– 创建：通过PVC请求存储
– 使用：Pod挂载卷
– 扩容：修改PVC容量
– 备份：创建卷快照
– 删除：删除PVC释放存储
– 为Pod设置合适的卷类型
– 使用PersistentVolumeClaim管理存储
– 配置StorageClass实现动态存储供应
– 定期备份卷数据
– 监控卷使用情况
# 卷生命周期管理
– 创建：通过PVC请求存储
– 使用：Pod挂载卷
– 扩容：修改PVC容量
– 备份：创建卷快照
– 删除：删除PVC释放存储
Part03-生产环境项目实施方案
3.1 持久化卷配置
生产环境Kubernetes集群的持久化卷配置。，风哥提示：。
# 创建PersistentVolume
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-nfs
spec:
capacity:
storage: 10Gi
accessModes:
– ReadWriteMany
nfs:
server: 192.168.1.10
path: /data
persistentVolumeReclaimPolicy: Retain
# 创建PersistentVolumeClaim
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-nfs
spec:
accessModes:
– ReadWriteMany
resources:
requests:
storage: 5Gi
storageClassName: “”
# 查看PV和PVC状态
$ kubectl get pv，学习交流加群风哥QQ113257174。
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pv-nfs 10Gi RWX Retain Available 5m
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-nfs Bound pv-nfs 10Gi RWX 5m
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-nfs
spec:
capacity:
storage: 10Gi
accessModes:
– ReadWriteMany
nfs:
server: 192.168.1.10
path: /data
persistentVolumeReclaimPolicy: Retain
# 创建PersistentVolumeClaim
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-nfs
spec:
accessModes:
– ReadWriteMany
resources:
requests:
storage: 5Gi
storageClassName: “”
# 查看PV和PVC状态
$ kubectl get pv，学习交流加群风哥QQ113257174。
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pv-nfs 10Gi RWX Retain Available 5m
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-nfs Bound pv-nfs 10Gi RWX 5m
3.2 存储动态供应
生产环境Kubernetes集群的存储动态供应。
# 创建StorageClass
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
archiveOnDelete: “false”
reclaimPolicy: Delete
allowVolumeExpansion: true
volumeBindingMode: Immediate
# 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-dynamic
spec:
accessModes:
– ReadWriteMany
resources:
requests:
storage: 5Gi
storageClassName: nfs-storage
# 查看动态创建的PV
$ kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-12345678-1234-1234-1234-1234567890ab 5Gi RWX Delete Bound default/pvc-dynamic nfs-storage 5m
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
archiveOnDelete: “false”
reclaimPolicy: Delete
allowVolumeExpansion: true
volumeBindingMode: Immediate
# 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-dynamic
spec:
accessModes:
– ReadWriteMany
resources:
requests:
storage: 5Gi
storageClassName: nfs-storage
# 查看动态创建的PV
$ kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-12345678-1234-1234-1234-1234567890ab 5Gi RWX Delete Bound default/pvc-dynamic nfs-storage 5m
3.3 存储安全
生产环境Kubernetes集群的存储安全：
# 存储安全配置
– 使用RBAC控制存储资源访问
– 配置Pod安全策略限制卷挂载
– 使用Secret存储存储凭证
– 加密存储数据
– 定期备份存储数据
# 存储访问控制
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: storage-admin
rules:
– apiGroups: [“storage.k8s.io”]
resources: [“storageclasses”, “persistentvolumes”, “persistentvolumeclaims”]
verbs: [“get”, “list”, “create”, “update”, “delete”]，更多视频教程www.fgedu.net.cn。
– 使用RBAC控制存储资源访问
– 配置Pod安全策略限制卷挂载
– 使用Secret存储存储凭证
– 加密存储数据
– 定期备份存储数据
# 存储访问控制
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: storage-admin
rules:
– apiGroups: [“storage.k8s.io”]
resources: [“storageclasses”, “persistentvolumes”, “persistentvolumeclaims”]
verbs: [“get”, “list”, “create”, “update”, “delete”]，更多视频教程www.fgedu.net.cn。
Part04-生产案例与实战讲解
4.1 NFS存储配置
生产环境Kubernetes集群的NFS存储配置。
# 安装NFS服务器
$ yum install -y nfs-utils
$ mkdir -p /data/nfs
$ chmod -R 755 /data/nfs
$ echo “/data/nfs 192.168.1.0/24(rw,sync,no_root_squash)” >> /etc/exports
$ systemctl start nfs-server
$ systemctl enable nfs-server
# 安装NFS客户端
$ yum install -y nfs-utils
$ showmount -e 192.168.1.10
Export list for 192.168.1.10:
/data/nfs 192.168.1.0/24
# 部署NFS provisioner
$ helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
$ helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
–set nfs.server=192.168.1.10 \
–set nfs.path=/data/nfs
# 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-nfs
spec:
accessModes:
– ReadWriteMany
resources:
requests:
storage: 5Gi
storageClassName: nfs-client
# 查看PVC状态
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-nfs Bound pvc-12345678-1234-1234-1234-1234567890ab 5Gi RWX nfs-client 5m
$ yum install -y nfs-utils
$ mkdir -p /data/nfs
$ chmod -R 755 /data/nfs
$ echo “/data/nfs 192.168.1.0/24(rw,sync,no_root_squash)” >> /etc/exports
$ systemctl start nfs-server
$ systemctl enable nfs-server
# 安装NFS客户端
$ yum install -y nfs-utils
$ showmount -e 192.168.1.10
Export list for 192.168.1.10:
/data/nfs 192.168.1.0/24
# 部署NFS provisioner
$ helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
$ helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
–set nfs.server=192.168.1.10 \
–set nfs.path=/data/nfs
# 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-nfs
spec:
accessModes:
– ReadWriteMany
resources:
requests:
storage: 5Gi
storageClassName: nfs-client
# 查看PVC状态
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-nfs Bound pvc-12345678-1234-1234-1234-1234567890ab 5Gi RWX nfs-client 5m
4.2 Ceph存储配置
生产环境Kubernetes集群的Ceph存储配置。
# 安装Ceph客户端
$ yum install -y ceph-common
# 创建Ceph Secret
$ kubectl create secret generic ceph-secret \
–from-literal=key=AQB1234567890ABCDEF1234567890ABCDEF==
# 创建StorageClass
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ceph-rbd
provisioner: kubernetes.io/rbd
parameters:，更多学习教程公众号风哥教程itpux_com。
monitors: 192.168.1.11:6789,192.168.1.12:6789,192.168.1.13:6789
adminId: admin
adminSecretName: ceph-secret
adminSecretNamespace: default
pool: kubernetes
userId: kubernetes
userSecretName: ceph-secret
userSecretNamespace: default
imageFormat: “2”
imageFeatures: layering
reclaimPolicy: Delete
allowVolumeExpansion: true
volumeBindingMode: Immediate
# 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-ceph
spec:
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: ceph-rbd
# 查看PVC状态
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-ceph Bound pvc-12345678-1234-1234-1234-1234567890ab 10Gi RWO ceph-rbd 5m
$ yum install -y ceph-common
# 创建Ceph Secret
$ kubectl create secret generic ceph-secret \
–from-literal=key=AQB1234567890ABCDEF1234567890ABCDEF==
# 创建StorageClass
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ceph-rbd
provisioner: kubernetes.io/rbd
parameters:，更多学习教程公众号风哥教程itpux_com。
monitors: 192.168.1.11:6789,192.168.1.12:6789,192.168.1.13:6789
adminId: admin
adminSecretName: ceph-secret
adminSecretNamespace: default
pool: kubernetes
userId: kubernetes
userSecretName: ceph-secret
userSecretNamespace: default
imageFormat: “2”
imageFeatures: layering
reclaimPolicy: Delete
allowVolumeExpansion: true
volumeBindingMode: Immediate
# 创建PVC
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-ceph
spec:
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: ceph-rbd
# 查看PVC状态
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-ceph Bound pvc-12345678-1234-1234-1234-1234567890ab 10Gi RWO ceph-rbd 5m
4.3 存储故障排查
生产环境Kubernetes集群的存储故障排查。
# 查看PV和PVC状态
$ kubectl get pv
$ kubectl get pvc
$ kubectl describe pv
$ kubectl describe pvc
# 查看Pod存储挂载情况
$ kubectl describe pod
$ kubectl exec -it pod — df -h
# 检查存储服务器状态
$ showmount -e nfs-server
$ ceph status
# 查看存储相关事件
$ kubectl get events | grep storage
# 检查存储类配置
$ kubectl get storageclass
$ kubectl describe storageclass
$ kubectl get pv
$ kubectl get pvc
$ kubectl describe pv
$ kubectl describe pvc
# 查看Pod存储挂载情况
$ kubectl describe pod
$ kubectl exec -it pod — df -h
# 检查存储服务器状态
$ showmount -e nfs-server
$ ceph status
# 查看存储相关事件
$ kubectl get events | grep storage
# 检查存储类配置
$ kubectl get storageclass
$ kubectl describe storageclass
Part05-风哥经验总结与分享
5.1 存储最佳实践
Kubernetes存储管理的最佳实践：
- 选择合适的存储类型：根据应用需求选择合适的存储类型
- 使用StorageClass：配置StorageClass实现动态存储供应
- 设置合理的资源请求：为PVC设置合理的存储容量
- 配置存储安全：使用RBAC控制存储资源访问，加密存储数据
- 定期备份：定期备份存储数据，制定灾难恢复计划
- 监控存储使用：监控存储使用情况，及时扩容
- 优化存储性能：根据应用需求优化存储性能
，from K8S+DB视频:www.itpux.com。
5.2 常见存储问题
Kubernetes存储管理的常见问题。
# 常见问题及解决方案
## 1. PVC处于Pending状态
– 原因：没有可用的PV，StorageClass配置错误。
– 解决方案：检查PV状态，检查StorageClass配置
## 2. Pod无法挂载卷
– 原因：存储服务器不可达，权限问题，网络问题
– 解决方案：检查存储服务器状态，检查权限配置，检查网络连接
## 3. 存储性能问题
– 原因：存储类型不匹配，存储容量不足，I/O瓶颈
– 解决方案：选择合适的存储类型，扩容存储，优化I/O操作
## 4. 存储数据丢失
– 原因：存储服务器故障，备份不及时，数据 corruption
– 解决方案：定期备份数据，使用RAID，实施灾难恢复计划
## 5. 存储扩容失败
– 原因：存储类型不支持扩容，StorageClass配置错误
– 解决方案：使用支持扩容的存储类型，检查StorageClass配置
## 1. PVC处于Pending状态
– 原因：没有可用的PV，StorageClass配置错误。
– 解决方案：检查PV状态，检查StorageClass配置
## 2. Pod无法挂载卷
– 原因：存储服务器不可达，权限问题，网络问题
– 解决方案：检查存储服务器状态，检查权限配置，检查网络连接
## 3. 存储性能问题
– 原因：存储类型不匹配，存储容量不足，I/O瓶颈
– 解决方案：选择合适的存储类型，扩容存储，优化I/O操作
## 4. 存储数据丢失
– 原因：存储服务器故障，备份不及时，数据 corruption
– 解决方案：定期备份数据，使用RAID，实施灾难恢复计划
## 5. 存储扩容失败
– 原因：存储类型不支持扩容，StorageClass配置错误
– 解决方案：使用支持扩容的存储类型，检查StorageClass配置
5.3 存储优化建议
Kubernetes存储管理的优化建议：
- 存储类型选择：根据应用需求选择合适的存储类型，如数据库应用使用高性能存储
- 存储容量规划：根据应用数据增长趋势，合理规划存储容量
- 存储性能优化：配置合适的I/O调度策略，使用SSD存储
- 存储安全：加密存储数据，实施访问控制，定期备份
- 存储监控：监控存储使用情况，设置告警阈值
- 存储自动化：使用StorageClass实现动态存储供应，简化存储管理
- 存储灾备：实施跨区域备份，制定灾难恢复计划
- 存储成本优化：根据数据重要性选择不同等级的存储，定期清理无用数据
持续优化：Kubernetes的存储管理是一个持续优化的过程，随着应用需求的变化，需要不断调整和优化存储配置，确保存储系统的稳定性和性能。
本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html
