微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

kubernetes -- 存储抽象

架构图:

文件系统:

  1. glusterfs
  2. NFS
  3. CephFS

这里选用 NFS 文件系统

工作流程:

  1. pod 挂载统一的node文件目录
  2. 当pod重启后,还是会重新挂载相同的node文件目录

 

文件系统架构:

 主节点文件目录共享给node1 和node2, 当主节点文件修改, node1 和node2 也会被修改

 

安装:

安装NFS文件系统

#所有机器安装
yum install -y nfs-utils

主节点

#nfs主节点
echo "/nfs/data/ *(insecure,rw,sync,no_root_squash)" > /etc/exports

# 暴露目录
mkdir -p /nfs/data
systemctl enable rpcbind --Now
systemctl enable nfs-server --Now

#配置生效
exportfs -r

# 确认/nfs/data 成功暴露
exportfs

从节点

# 确认主节点暴露目录
showmount -e 172.31.0.4 【主节点私网IP】

#执行以下命令挂载 nfs 服务器上的共享目录到本机路径 /root/nfsmount
mkdir -p /nfs/data

# 与主节点暴露目录同步
mount -t nfs 172.31.0.4:/nfs/data【主节点暴露目录】 /nfs/data【从节点目录】

# 验证写入一个测试文件, 其他节点查看
echo "hello nfs server" > /nfs/data/test.txt

从此主从节点/nfs/data/目录实现了同步

 

原生方式数据挂载

  • 首先在主节点创建 /nfs/data/Nginx-pv 挂载目录
apiVersion: apps/v1
kind: Deployment
Metadata:
  labels:
    app: Nginx-pv-demo
  name: Nginx-pv-demo
spec:
  replicas: 2
  selector:
    matchLabels:
      app: Nginx-pv-demo
  template:
    Metadata:
      labels:
        app: Nginx-pv-demo
    spec:
      containers:
      - image: Nginx
        name: Nginx
        volumeMounts:
        - name: html
          mountPath: /usr/share/Nginx/html
      volumes:
        - name: html
          nfs:
            server: 172.31.0.4
            path: /nfs/data/Nginx-pv

 注意:

 spec: 
     containers:
      - image: Nginx      # 使用的镜像
        name: Nginx
        volumeMounts:   # 挂载点
        - name: html      # 名称
          mountPath: /usr/share/Nginx/html    容器中的挂载目录
      volumes:              # 挂载
        - name: html      # 挂载名称
          nfs:                  # 文件系统
            server: 172.31.0.4      # 本地主机IP
            path: /nfs/data/Nginx-pv      # 本地主机挂载目录

注意: 和docker一样, 挂载成功之后, 本地目录会直接覆盖容器目录

 原生挂载的问题:

  • 本地挂载目录必须手动创建
  • 如果pod 删除后, 本地挂载的目录数据会依旧保留

 

PV&PVC

PV:持久卷(Persistent Volume),将应用需要持久化的数据保存到指定位置
PVC:持久卷申明(Persistent Volume Claim),申明需要使用的持久卷规格

 

 

测试:(以下是静态供应演示)

 

创建pv.yaml
server更改成你的主节点IP

apiVersion: v1
kind: PersistentVolume
Metadata:
  name: pv01-10m
spec:
  capacity:
    storage: 10M
  accessModes:
    - ReadWriteMany
  storageClassName: nfs
  nfs:
    path: /nfs/data/01
    server: 172.31.0.4
---
apiVersion: v1
kind: PersistentVolume
Metadata:
  name: pv02-1gi
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteMany
  storageClassName: nfs
  nfs:
    path: /nfs/data/02
    server: 172.31.0.4
---
apiVersion: v1
kind: PersistentVolume
Metadata:
  name: pv03-3gi
spec:
  capacity:
    storage: 3Gi
  accessModes:
    - ReadWriteMany
  storageClassName: nfs
  nfs:
    path: /nfs/data/03
    server: 172.31.0.4

查看:

kubectl get persistentvolume
# 简写
kubectl get pv

 

创建Pod绑定PVC

apiVersion: apps/v1
kind: Deployment
Metadata:
  labels:
    app: Nginx-deploy-pvc
  name: Nginx-deploy-pvc
spec:
  replicas: 2
  selector:
    matchLabels:
      app: Nginx-deploy-pvc
  template:
    Metadata:
      labels:
        app: Nginx-deploy-pvc
    spec:
      containers:
      - image: Nginx
        name: Nginx
        volumeMounts:
        - name: html
          mountPath: /usr/share/Nginx/html
      volumes:
        - name: html
          persistentVolumeClaim:
            claimName: Nginx-pvc

验证:

  • 修改主节点目录下的内容, 在从节点pod里的容器中查看

 

ConfigMap

抽取应用配置,并且可以自动更新

创建方式:

# 创建配置,redis保存到k8s的etcd;
kubectl create cm redis-conf --from-file=redis.conf

# 查看
kubectl get cm

# 修改, configmap具有热更新能力, 更改后一段时间内同步到pod的容器上
kubectl edit cm 【redis-conf】
# 查看cm 中内容, 其余的都用
apiVersion: v1
data:    #data是所有真正的数据,key:认是文件名   value:配置文件内容
  redis.conf: |
    appendonly yes
kind: ConfigMap
Metadata:
  name: redis-conf
  namespace: default

 

测试创建pod

apiVersion: v1
kind: Pod
Metadata:
  name: redis
spec:
  containers:
  - name: redis
    image: redis
    command:
      - redis-server
      - "/redis-master/redis.conf"  #指的是redis容器内部的位置
    ports:
    - containerPort: 6379
    volumeMounts:
    - mountPath: /data
      name: data
    - mountPath: /redis-master
      name: config
  volumes:
    - name: data
      emptyDir: {}
    - name: config
      configMap:
        name: redis-conf
        items:
        - key: redis.conf
          path: redis.conf

引用关系

 

 

  1.  从图得知data下的数据是以key:value保存, key【redis.conf】 是我们定义是的redis配置文件名称, value 是文件内容
  2. Metadata:
    1. name 声明使用哪个cm 的配置集 (配置集名称可以通过kubectl get cm 查看)
    2. volumeMounts 数据挂载点有两个:
      1. 容器数据data 挂载到/data 目录下
      2. 配置挂载到/redis-master 目录下
    3. volumes:
      1. name:data 声明是data配置; emptyDir: {}  表示由K8s 随便创建个临时目录进行挂载
      2. name:config 声明上面配置;  
        1. name 指定使用cm 配置集
        2. itmes: 获取配置集内容
          1. key 指定配置集中的key(由redis配置文件名称就是key)
          2. path 获取内容存放在 容器中/redis-master目录下的redis.conf 中  
检查配置是否更新
kubectl exec -it redis -- redis-cli

127.0.0.1:6379> CONfig GET maxmemory
127.0.0.1:6379> CONfig GET maxmemory-policy

检查指定文件内容是否已经更新

修改了CM。Pod里面的配置文件会跟着变

PS:

配置值未更改,因为需要重新启动 Pod 才能从关联的 ConfigMap 中获取更新的值。 
原因:我们的Pod部署的中间件自己本身没有热更新能力

 

总结

1、挂载目录使用 pvc

2、挂载配置文件使用configMap

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐