Kubernetes 存储实战：NFS PV/PVC、ConfigMap 与探针测试

一、前置内容错误检查与修正说明

我仔细核对了你的离线集群环境与全部配置步骤，共发现6 处关键问题/遗漏，已在下文全部修正：

Kubernetes 存储实战：NFS PV/PVC、ConfigMap 与探针测试

1. 环境信息回顾

本次实战严格匹配你的离线高可用集群环境，核心参数如下：

2. 核心概念梳理

2.1 PV 与 PVC

• PV（PersistentVolume）：集群级存储资源，由管理员提前创建，对应后端真实存储，生命周期独立于 Pod，数据不会随 Pod 删除而消失。
• PVC（PersistentVolumeClaim）：用户对存储的需求声明（容量、访问模式、标签），K8s 自动匹配并绑定符合条件的 PV，Pod 通过 PVC 间接使用存储。

三种访问模式

2.2 NFS 存储

NFS 是中小规模离线集群最常用的共享存储方案：

• 天然支持ReadWriteMany多节点共享
• 静态供给：手动创建目录 + 手动创建 PV，适配离线环境
• 注意：all_squash模式下所有客户端访问都会映射为指定 UID/GID，容器内用户必须与其匹配

2.3 ConfigMap 与 Secret

2.4 三类探针

3. 前置准备工作

3.1 全节点 NFS 客户端安装与验证

所有 Master/Worker 节点必须安装 NFS 客户端，否则无法挂载 NFS 卷。

# 离线环境提前将 nfs-utils 及依赖 RPM 导入本地源 yum install -y nfs-utils # 验证 NFS 连通性与共享列表 showmount -e 192.168.30.249

✅ 预期输出：

/data/k8s 192.168.30.0/24

3.2 离线镜像导入（containerd 运行时）

离线环境无法在线拉取镜像，必须提前将镜像包导入所有 Worker 节点的 containerd。

# 1. 提前准备镜像包（nginx:1.25.3、mysql:8.0.36），传输到所有 Worker 节点 # 2. 导入镜像到 k8s.io 命名空间（K8s 默认命名空间） ctr -n k8s.io images import nginx-1.25.3.tar ctr -n k8s.io images import mysql-8.0.36.tar # 3. 验证镜像导入成功 ctr -n k8s.io images list | grep -E "nginx|mysql"

✅ 预期输出中包含docker.io/library/nginx:1.25.3、docker.io/library/mysql:8.0.36。

4. NFS 存储目录创建与权限配置

在NFS 服务器（192.168.30.249）上执行，按应用隔离目录并匹配 NFS 权限配置。

# 1. 创建应用独立目录 mkdir -p /data/k8s/nginx/logs /data/k8s/nginx/html mkdir -p /data/k8s/mysql/data # 2. 统一权限为 1000:1000，与 NFS anonuid/anongid 匹配 chown -R 1000:1000 /data/k8s/nginx /data/k8s/mysql chmod -R 755 /data/k8s/nginx /data/k8s/mysql # 3. 刷新 NFS 共享 exportfs -r

5. 创建 PV 与 PVC（静态供给）

5.1 Nginx 共享存储 PV/PVC

Nginx 为无状态多实例部署，共享日志与静态资源，使用ReadWriteMany模式。

nginx-pv.yaml

apiVersion: v1 kind: PersistentVolume metadata: name: nginx-pv labels: app: nginx type: nfs spec: capacity: storage: 5Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain nfs: server: 192.168.30.249 path: /data/k8s/nginx

nginx-pvc.yaml

apiVersion: v1 kind: PersistentVolumeClaim metadata: name: nginx-pvc namespace: default spec: accessModes: - ReadWriteMany resources: requests: storage: 5Gi selector: matchLabels: app: nginx

5.2 MySQL 独占存储 PV/PVC

MySQL 为有状态单实例部署，数据独占，使用ReadWriteOnce模式。

mysql-pv.yaml

apiVersion: v1 kind: PersistentVolume metadata: name: mysql-pv labels: app: mysql type: nfs spec: capacity: storage: 20Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain nfs: server: 192.168.30.249 path: /data/k8s/mysql/data

mysql-pvc.yaml

apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mysql-pvc namespace: default spec: accessModes: - ReadWriteOnce resources: requests: storage: 20Gi selector: matchLabels: app: mysql

5.3 执行创建与绑定验证

# 批量创建 kubectl apply -f nginx-pv.yaml -f nginx-pvc.yaml kubectl apply -f mysql-pv.yaml -f mysql-pvc.yaml # 验证绑定状态，STATUS 为 Bound 即为成功 kubectl get pv,pvc

✅ 预期结果：

NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pv/nginx-pv 5Gi RWX Retain Bound default/nginx-pvc 10s pv/mysql-pv 20Gi RWO Retain Bound default/mysql-pvc 10s NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/nginx-pvc Bound nginx-pv 5Gi RWX 10s persistentvolumeclaim/mysql-pvc Bound mysql-pv 20Gi RWO 10s

6. 部署 Nginx 无状态应用（Deployment + PVC + 探针）

Nginx 是典型无状态应用：请求不依赖本地上下文，所有 Pod 完全对等，扩缩容灵活，标准部署方式为Deployment。
本次挂载 NFS 共享卷，实现日志统一收集、静态资源多实例共享。

6.1 创建 ConfigMap（Nginx 完整配置）

修正配置完整性，包含完整的主配置与站点配置，避免日志格式未定义错误。

nginx-configmap.yaml

apiVersion: v1 kind: ConfigMap metadata: name: nginx-conf data: nginx.conf: | user nginx; worker_processes auto; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_connections 1024; } http { include /etc/nginx/mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; sendfile on; keepalive_timeout 65; include /etc/nginx/conf.d/*.conf; } default.conf: | server { listen 80; server_name localhost; root /usr/share/nginx/html; index index.html; access_log /var/log/nginx/access.log main; error_log /var/log/nginx/error.log warn; location / { try_files $uri $uri/ =404; } # 健康检查端点，用于探针 location = /healthz { access_log off; return 200 "ok\n"; add_header Content-Type text/plain; } }

创建并验证：

kubectl apply -f nginx-configmap.yaml kubectl get configmap nginx-conf

6.2 Deployment + Service 完整定义

nginx-deployment.yaml

apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: # 匹配 NFS 匿名用户 UID，确保写入权限 securityContext: runAsUser: 1000 fsGroup: 1000 containers: - name: nginx image: nginx:1.25.3 imagePullPolicy: IfNotPresent ports: - containerPort: 80 name: http # 卷挂载 volumeMounts: - name: nginx-main-conf mountPath: /etc/nginx/nginx.conf subPath: nginx.conf - name: nginx-site-conf mountPath: /etc/nginx/conf.d/default.conf subPath: default.conf - name: nginx-data mountPath: /var/log/nginx subPath: logs - name: nginx-data mountPath: /usr/share/nginx/html subPath: html # 存活探针：检测进程是否正常 livenessProbe: httpGet: path: /healthz port: 80 initialDelaySeconds: 5 periodSeconds: 10 timeoutSeconds: 2 failureThreshold: 3 # 就绪探针：检测是否可承接流量 readinessProbe: httpGet: path: /healthz port: 80 initialDelaySeconds: 3 periodSeconds: 5 timeoutSeconds: 2 failureThreshold: 2 # 卷声明 volumes: - name: nginx-main-conf configMap: name: nginx-conf items: - key: nginx.conf path: nginx.conf - name: nginx-site-conf configMap: name: nginx-conf items: - key: default.conf path: default.conf - name: nginx-data persistentVolumeClaim: claimName: nginx-pvc --- # 集群内访问服务 apiVersion: v1 kind: Service metadata: name: nginx spec: selector: app: nginx type: ClusterIP ports: - port: 80 targetPort: 80

6.3 部署与基础验证

kubectl apply -f nginx-deployment.yaml # 等待 Pod 全部 Ready kubectl get pods -l app=nginx -w

7. 部署 MySQL 有状态应用（StatefulSet + PVC + 三探针）

MySQL 是典型有状态应用：依赖本地持久化数据、需要稳定的网络标识，标准部署方式为StatefulSet。
本次使用单实例部署，配置完整的三类探针，数据持久化到 NFS 独立卷。

7.1 创建 Secret（MySQL 账号密码）

敏感信息使用 Secret 存储，不使用 ConfigMap。

kubectl create secret generic mysql-secret \ --from-literal=root-password=Root@k8s2025 \ --from-literal=user-password=Ops@k8s2025

验证：

kubectl get secret mysql-secret

7.2 StatefulSet + Service 完整定义

修正探针密码硬编码问题，通过环境变量引用 Secret；补充安全上下文匹配 NFS 权限。

mysql-statefulset.yaml

# Headless Service：StatefulSet 必备，用于 Pod 固定域名解析 apiVersion: v1 kind: Service metadata: name: mysql-headless labels: app: mysql spec: selector: app: mysql clusterIP: None ports: - port: 3306 name: mysql --- # 普通业务服务：数据库访问入口 apiVersion: v1 kind: Service metadata: name: mysql spec: selector: app: mysql type: ClusterIP ports: - port: 3306 targetPort: 3306 --- apiVersion: apps/v1 kind: StatefulSet metadata: name: mysql spec: serviceName: "mysql-headless" replicas: 1 selector: matchLabels: app: mysql template: metadata: labels: app: mysql spec: # 匹配 NFS 匿名用户 UID，解决 all_squash 权限问题 securityContext: runAsUser: 1000 fsGroup: 1000 containers: - name: mysql image: mysql:8.0.36 imagePullPolicy: IfNotPresent env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: root-password - name: MYSQL_DATABASE value: opsdb - name: MYSQL_USER value: opsuser - name: MYSQL_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: user-password ports: - containerPort: 3306 name: mysql volumeMounts: - name: mysql-data mountPath: /var/lib/mysql # 启动探针：MySQL 启动慢，先等待启动完成再激活其他探针 startupProbe: tcpSocket: port: 3306 initialDelaySeconds: 15 periodSeconds: 5 failureThreshold: 30 # 存活探针：检测 MySQL 进程是否存活，通过环境变量读取密码 livenessProbe: exec: command: - /bin/sh - -c - mysqladmin ping -uroot -p$MYSQL_ROOT_PASSWORD periodSeconds: 10 timeoutSeconds: 3 failureThreshold: 3 # 就绪探针：检测数据库是否可正常读写 readinessProbe: exec: command: - /bin/sh - -c - mysql -uroot -p$MYSQL_ROOT_PASSWORD -e "SELECT 1;" periodSeconds: 5 timeoutSeconds: 3 failureThreshold: 2 # 单实例直接挂载预先创建的固定 PVC volumes: - name: mysql-data persistentVolumeClaim: claimName: mysql-pvc

说明：单实例 MySQL 直接使用固定 PVC 更清晰；若需多实例主从集群，可改用volumeClaimTemplates配合 StorageClass 动态创建。

7.3 部署与基础验证

kubectl apply -f mysql-statefulset.yaml # 等待 Pod 启动完成 kubectl get pods -l app=mysql -w

三、全流程测试验证 SOP

按「存储层 → 配置层 → 应用层 → 功能层 → 持久化 → 探针」分级验证，每步明确预期结果与排错方法。

SOP 1：存储层验证

目标：确认 PV/PVC 绑定正常，NFS 挂载权限正确

SOP 2：Nginx 无状态应用验证

目标：确认配置生效、服务可用、无状态特性正常

SOP 3：MySQL 有状态应用验证

目标：确认数据库可用、数据持久化、有状态特性正常

SOP 4：探针功能专项验证

目标：确认三类探针按预期触发对应动作

4.1 Nginx 探针验证

4.2 MySQL 探针验证

四、最终交付物清单

需要我把所有 YAML 文件打包整理成一个可直接执行的部署脚本，或者补充 NFS StorageClass 动态供给的配置吗？