华子目录
- volumes
- k8s支持的卷的类型
- `emptyDir`卷
- 功能
- `emptyDir`的使用场景
- 示例
- `hostPath`卷
- 功能
- 用法
- 安全隐患
- 示例
- `nfs`卷
- 功能
- 应用
- 示例:部署一台`nfs服务器`并在所有`k8s节点`中安装`nfs-utils`
volumes
容器中文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题- 当
容器崩溃时,kubelet将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建 - 当在一个
Pod中同时运行多个容器时,常常需要在这些容器之间共享文件
- 当
Kubernetes数据卷具有明确的生命周期与使用它的Pod具有相同的生命周期Kubernetes数据卷比Pod中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留- 当一个
Pod不再存在时,Kubernetes数据卷也将不再存在 Kubernetes可以支持许多类型的卷,Pod也能同时使用任意数量的卷Kubernetes数据卷不能挂载到其他Kubernetes卷,也不能与其他卷有硬链接。Pod中的每个容器必须单独地指定每个卷的挂载位置
k8s支持的卷的类型
官网:https://kubernetes.io/zh/docs/concepts/storage/volumes/
k8s支持的卷的类型如下:
awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csidownwardAPI、emptyDir、fc (fibre channel)、flexVolume、flockergcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、localnfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbdscaleIO、secret、storageos、vsphereVolume
emptyDir卷
功能
- 当
Pod指定到某个node节点上时,首先创建的是一个emptyDir卷 - 并且只要
Pod在该节点上运行,卷就一直存在。 卷最初是空的。- 尽管
Pod中的容器挂载emptyDir卷的路径可能相同也可能不同,但是这些容器都可以读写emptyDir卷中相同的文件。 - 当
Pod因为某些原因被从节点上删除时,emptyDir卷中的数据也会永久删除
emptyDir的使用场景
缓存空间,例如基于磁盘的归并排序耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行- 在
Web服务器容器服务数据时,保存内容管理器容器获取的文件
[root@k8s-master ~]# mkdir volume
[root@k8s-master ~]# cd volume/
示例
- 创建一个名为
testpod的自主式pod,pod中运行一个busyboxplus和一个nginx,两个容器共用同一个卷
#创建一个名为testpod的自主式pod,pod中运行一个busyboxplus和一个nginx,两个容器共用同一个卷
[root@k8s-master volume]# vim pod1.yml
[root@k8s-master volume]# cat pod1.yml
apiVersion: v1
kind: Pod
metadata:labels:run: testpodname: testpod
spec:containers:- image: busyboxplusname: busyboxpluscommand: ["/bin/sh","-c","sleep 10000"]volumeMounts: #声明容器的挂载点- name: vol1 #将k8s中名为vol1的卷挂载到容器中/volume1位置mountPath: /volume1- image: nginxname: nginxvolumeMounts: #声明容器的挂载点- name: vol1 #将k8s中名为vol1的卷挂载到容器中/usr/share/nginx/html位置mountPath: /usr/share/nginx/htmlvolumes: #定义Pod中可以使用的所有卷- name: vol1 #为卷指定了一个名称vol1,这个名称将在Pod的volumeMounts部分被引用,以便容器可以挂载这个卷。emptyDir: #表明这个卷是一个emptyDir卷,主要用于临时数据的存储medium: Memory #指定了emptyDir卷的存储介质为内存,这意味着卷的内容将存储在节点的RAM中,而不是磁盘上。使用内存作为存储介质可以提供更快的读写速度,但数据不是持久的,一旦Pod被删除或节点发生故障,数据就会丢失。sizeLimit: 100Mi #为emptyDir卷设置了100MiB的大小限制。当卷中的数据量达到这个限制时,写入操作可能会被阻止
[root@k8s-master volume]# kubectl apply -f pod1.yml
pod/testpod created
[root@k8s-master volume]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
testpod 2/2 Running 0 30s 10.244.2.33 k8s-node2.org <none> <none>
#查看testpod的详细信息
[root@k8s-master volume]# kubectl describe pods testpod


#发现了了busyboxplus中的挂载目录/volume1
[root@k8s-master volume]# kubectl exec -it pods/testpod -c busyboxplus -- /bin/sh
/ # ls
bin etc lib linuxrc mnt proc run sys usr volume1
dev home lib64 media opt root sbin tmp var
/ # cd volume1/ #因为volume1和nginx中的/usr/share/nginx/html是共用的同一个名为vol1的卷,所以数据都是共享的
/volume1 # ls
/volume1 # echo hello world > index.html #我们在busyboxplus中的volume1挂载目录中创建一个index.html文件,这个index.html文件就自动同步到nginx中的/usr/share/nginx/html目录下
/volume1 # ls
index.html
/volume1 # curl localhost #因为pod中所有容器都是共享同一个pod中的所有资源,所以在busyboxplus中是可以访问到nginx的
hello world#这条命令的作用是使用/dev/zero作为输入源,创建一个名为bigfile的文件,该文件的大小为99MB
/volume1 # dd if=/dev/zero of=bigfile bs=1M count=99
99+0 records in
99+0 records out
/volume1 # dd if=/dev/zero of=bigfile bs=1M count=100
100+0 records in
99+1 records out
/volume1 # dd if=/dev/zero of=bigfile bs=1M count=101 #因为我们对emptyDir卷设置的最大空间是100M,这个101M超出了,所以会报错
dd: writing 'bigfile': No space left on device
101+0 records in
99+1 records out
dd: 这是一个在Unix和类Unix系统中用于转换和复制文件的命令。它可以用来创建文件的副本,同时对其进行各种转换。if=/dev/zero:if代表输入文件(input_file)。/dev/zero是一个特殊的设备文件,读取它会产生无限的零(0x00字节)。使用/dev/zero作为输入源意味着你正在创建一个全部由零字节组成的文件。of=bigfile:of代表输出文件(output_file)。这里指定输出文件的名称为bigfilebs=1M:bs代表块大小(block_size)。这里设置为1M,意味着每次读取或写入操作处理的数据块大小为1MB(兆字节)count=99:count代表要复制的块的数量。这里设置为99,意味着从输入文件读取99个块并写入到输出文件。由于每个块的大小是1MB,所以最终生成的文件大小将是99MB
#回收
[root@k8s-master volume]# kubectl delete -f pod1.yml
pod "testpod" deleted
hostPath卷
功能
hostPath卷能将node主机节点文件系统上的文件或目录挂载到Pod中,不会因为pod关闭而被删除hostPath想当于docker -v操作hostPath卷会创建在被调度的node主机上
用法
运行一个需要访问Docker引擎内部机制的pod中的容器,挂载/var/lib/docker路径- 在
容器中运行cAdvisor(监控) 时,以hostPath方式挂载/sys - 允许
Pod指定给定的hostPath在运行Pod之前是否应该存在,是否应该创建以及应该以什么方式存在
安全隐患
- 具有
相同配置(例如从podTemplate创建)的多个Pod会由于node节点上文件不同而在不同节点上有不同的行为 - 当
Kubernetes按照计划添加资源感知的调度时,这类调度机制将无法考虑由hostPath使用的资源 - 基础主机上
创建的文件或目录只能由root用户写入。需要在特权容器中以root身份运行进程,或者修改主机上的文件权限以便容器能够写入hostPath卷
示例
- 创建一个名为
testpod的自主式pod,运行一个名为nginx的容器,再声明一个hostPath类型的卷
#创建一个名为testpod的自主式pod,运行一个名为nginx的容器,在声明一个hostPath类型的卷
[root@k8s-master volume]# vim pod2.yml
[root@k8s-master volume]# cat pod2.yml
apiVersion: v1
kind: Pod
metadata:labels:run: testpodname: testpod
spec:containers:- image: nginxname: nginxvolumeMounts: #容器挂载点声明- name: vol2 #将k8s中名为vol2的卷挂载到容器中的/usr/share/nginx/html位置mountPath: /usr/share/nginx/html #挂载点目录volumes: #pod中的卷- name: vol2 #指定一个名为vol2的卷hostPath: #这个卷的类型是hostPath类型path: /huazi #在被调度的node节点上创建huazi这个目录type: DirectoryOrCreate #当/huazi目录不存在时自动建立
[root@k8s-master volume]# kubectl apply -f pod2.yml
pod/testpod created
[root@k8s-master volume]# kubectl describe pods testpod

#我们发现调度到了node2主机上
[root@k8s-master volume]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
testpod 1/1 Running 0 17s 10.244.2.34 k8s-node2.org <none> <none>
#我们发现在node2节点上创建了/huazi/这个目录
[root@k8s-node2 ~]# ls /
afs boot etc home lib media opt root sbin sys usr
bin dev guangpan huazi lib64 mnt proc run srv tmp var

#当我们第一次访问的时候是403,因为nginx中/usr/share/nginx/html目录下没有index.html文件
[root@k8s-master volume]# curl 10.244.2.34
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.27.1</center>
</body>
</html>
#在node2上,进入/huazi目录中,创建index.html文件
[root@k8s-node2 ~]# cd /huazi/
[root@k8s-node2 huazi]# echo hello world > index.html
#这时再访问,就有效果了
[root@k8s-master volume]# curl 10.244.2.34
hello world
#回收
[root@k8s-master volume]# kubectl delete -f pod2.yml
pod "testpod" deleted
nfs卷
功能
nfs卷允许将一个现有的nfs服务器上的目录挂载到Kubernetes中的Pod中。这对于在多个Pod之间共享数据或持久化存储数据非常有用
应用
例如,如果有多个容器需要访问相同的数据集,或者需要将容器中的数据持久保存到外部存储,nfs卷可以提供一种方便的解决方案
示例:部署一台nfs服务器并在所有k8s节点中安装nfs-utils
这里,我就在harbor主机上部署nfs服务器
- 部署
nfs服务端
[root@harbor ~]# yum install nfs-utils -y
- 部署
nfs客户端
[root@k8s-master ~]# yum install nfs-utils -y
[root@k8s-node1 ~]# yum install nfs-utils -y
[root@k8s-node2 ~]# yum install nfs-utils -y
- 启动服务端
[root@harbor ~]# systemctl enable --now nfs-server
服务端创建nfs共享目录
[root@harbor ~]# mkdir /nfsdata
- 编辑
服务端的/etc/exports文件
[root@harbor ~]# vim /etc/exports
[root@harbor ~]# cat /etc/exports
/nfsdata *(rw,sync,no_root_squash)
[root@harbor ~]# exportfs -rv
exporting *:/nfsdata
- 客户端连接服务端
#172.25.254.250是nfs服务端的ip
[root@k8s-master ~]# showmount -e 172.25.254.250
Export list for 172.25.254.250:
/nfsdata *
[root@k8s-node1 ~]# showmount -e 172.25.254.250
Export list for 172.25.254.250:
/nfsdata *
[root@k8s-node2 ~]# showmount -e 172.25.254.250
Export list for 172.25.254.250:
/nfsdata *
- 创建一个名为
testpod的自主式pod,运行一个nginx容器,容器中挂载名为vol3的卷,vol3卷的类型为nfs
#创建一个名为testpod的自主式pod,运行一个nginx容器,容器中挂载名为vol3的卷,vol3卷的类型为nfs
[root@k8s-master volume]# vim pod3.yml
[root@k8s-master volume]# cat pod3.yml
apiVersion: v1
kind: Pod
metadata:labels:run: testpodname: testpod
spec:containers:- image: nginxname: nginxvolumeMounts:- name: vol3 #将名字为vol3的卷,挂载到nginx容器中的/usr/share/nginx/html位置mountPath: /usr/share/nginx/htmlvolumes: #pod存储卷定义的开始- name: vol3 #pod存储卷的名称nfs: #pod存储卷的类型是NFSserver: 172.25.254.250 #NFS服务器的IP地址path: /nfsdata #nfs服务器上的共享目录
[root@k8s-master volume]# kubectl apply -f pod3.yml
pod/testpod created
[root@k8s-master volume]# kubectl describe pods testpod

[root@k8s-master volume]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
testpod 1/1 Running 0 97s 10.244.2.35 k8s-node2.org <none> <none>
#当我们第一次访问的时候是403,因为nginx中/usr/share/nginx/html目录下没有index.html文件
[root@k8s-master volume]# curl 10.244.2.35
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.27.1</center>
</body>
</html>
#在nfs服务器上,进入/nfsdata共享目录中,创建index.html文件
[root@harbor ~]# cd /nfsdata/
[root@harbor nfsdata]# echo hello world > index.html
#再次访问,就看到效果了
[root@k8s-master volume]# curl 10.244.2.35
hello world