1.概念：
-
CNFS （Cluster Network File System）是 GPFS 中的一种模式，用于配置和管理多台服务器（节点）之间的文件共享和数据访问
-
它允许多个节点同时访问和共享文件系统的数据，以实现高性能、高可用性的存储解决方案
2.创建CNFS文件系统：
-
将原本的GPFS文件系统修改为cnfs文件系统：
[root@node1 ~]# mmchfs gpfs1 -o syncnfs mmchfs: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process. -
修改配置文件/etc/exports（这是nfs服务器的配置文件），
#| 共享目录 | 主机名 （权限）| /usr/qv123/nfsdata 192.168.73.0/24(rw)man exports # 查看所有参数权限参数值 说明 rw/ro rw：可读写，ro：只读，还是与文件系统的rwx有关 sync/async sync：数据会同步写入到内存与硬盘中，async：则代表数据会先暂存于内存当中 no_root_squash/root_squash no_root_squash表示就显示root用户和root组；root_squash表示将root用户和组映射为匿名用户和组（默认设置）。 all_squash/no_all_squash allsquash:客户端所有用户创建文件时，客户端会将文件的用户和组映射为匿名用户和组no_all_squash:客户端普通用户创建的文件的UID和GID是多少，服务端就显示为多少（默认设置） anonuid=anongid= 将文件的用户和组映射为指定的UID和GID，若不指定默认为65534（nfsnobody） [root@node1 ~]# cat << eof > /etc/exports /gpfs1/nfs 192.168.10.0/24(rw,fsid=11) eof [root@node2 ~]# cat << eof > /etc/exports /gpfs1/nfs 192.168.10.0/24(rw,fsid=11) eof -
使配置生效
[root@node1 ~]# exportfs -r [root@node1 ~]# exportfs -r -
在每个服务端上面设置nfsd自动启动
[root@node1 ~]# systemctl enable nfs-server Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service. [root@node2 ~]# systemctl enable nfs-server Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service. -
指定 CNFS 服务器的共享根目录，最好是一个单独小的文件系统且不被NFS共享出去
[root@node1 ~]# mmchconfig cnfsSharedRoot=/gpfs1/cnfs mmchconfig: Command successfully completed mmchconfig: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process. -
指定 CNFS（Cluster Network File System）服务器节点上用于 CNFS 服务的网络接口
ip_address_list为上面配置的专用于NFS的ip，node为这个节点在GPFS里面的主机名；CNFS 允许多个 Spectrum Scale 节点通过 RDMA（远程直接内存访问）协议来访问共享数据。
[root@node1 ~]# mmchnode --cnfs-interface=192.168.10.151 -N node1 Wed Sep 27 05:24:58 EDT 2023: mmchnode: Processing node node1 mmnfsinstall: CNFS has modified configuration file /etc/sysconfig/network-scripts/ifcfg-ens38. Restarting monitor mmchnode: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process. [root@node2 ~]# mmchnode --cnfs-interface=192.168.10.152 -N node2 Wed Sep 27 05:33:53 EDT 2023: mmchnode: Processing node node2 mmnfsinstall: CNFS has modified configuration file /etc/sysconfig/network-scripts/ifcfg-ens38. Restarting monitor mmchnode: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process. -
指定 CNFS服务器上的
mountd服务监听的端口号[root@node1 ~]# mmchconfig cnfsMountdPort=3000 -N node1 mmchconfig: Command successfully completed mmchconfig: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process. [root@node2 ~]# mmchconfig cnfsMountdPort=3000 -N node2 mmchconfig: Command successfully completed mmchconfig: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process. -
查看集群里的CNFS节点：
[root@node1 ~]# mmlscluster --cnfs GPFS cluster information ========================GPFS cluster name: gpfs.node1GPFS cluster id: 1484988891362745278 Cluster NFS global parameters -----------------------------Shared root directory: /gpfs1/cnfsrpc.mountd port number: 3000nfsd threads: 32Reboot on failure enabled: yesCNFS monitor enabled: yes Node Daemon node name IP address CNFS state group CNFS IP address list -------------------------------------------------------------------------------------------1 node1 192.168.10.101 enabled 0 192.168.10.1512 node2 192.168.10.102 enabled 0 192.168.10.152 -
测试是否存在共享目录：
[root@node1 ~]# showmount -e 192.168.10.151 Export list for 192.168.10.151: /gpfs1/nfs 192.168.10.0/24
3.客户端挂载：
-
方式一：临时挂载
-
安装nfs-utils
[root@gpfs-client ~]# yum install -y nfs-utils -
查看是否可以连接上共享目录：
[root@gpfs-client ~]# showmount -e 192.168.10.151 Export list for 192.168.10.151: /gpfs1/nfs 192.168.10.0/24 [root@gpfs-client ~]# showmount -e 192.168.10.152 Export list for 192.168.10.152: /gpfs1/nfs 192.168.10.0/24 -
创建挂载目录，挂载目录或解挂载目录
[root@gpfs-client ~]# mount -o sync,hard,intr 192.168.10.151:/gpfs1/nfs /mnt/nfs -
查看挂载：
[root@gpfs-client ~]# df -h | grep nfs 192.168.10.151:/gpfs1/nfs 20G 3.7G 17G 19% /mnt/nfs
-
-
方式二：自动挂载
-
安装autofs：
yum install -y autofs -
配置文件：
autofs.conf：针对服务autofs的配置 timeout = 300, # dismount_interval = 300 # 挂载超时时间auto.master：是针对目录对应的挂载配置文件 /misc这个目录自动挂载的信息autofs在 /etc/auto.misc中 配置语法： 目录 自动挂载配置文件的目录auto.xxx：具体的挂载的信息 cd -fstype=iso9660,ro,nosuid,nodev :/dev/cdrom 挂载的目录 挂载的选项 :要挂载的设备 boot -fstype=ext2 :/dev/hda1 -
修改配置文件：
cat << eof > /etc/auto.master /mnt /etc/auto.nfs eofcat << eof > /etc/auto.nfs # 添加内容 #本地端子目录 -挂载参数 服务器所提供的目录 nfs 192.168.10.151:/gpfs1/nfs eof参数 参数功能 fgbg 当执行挂载时，该挂载行为会在前台（fg）还是后台（bg）执行，若在前台执行，则mount会持续尝试挂载，直到成功或time out为止；若为后台执行，则mount会在后台持续多次进行mount，而不会影响到前台的程序运行。 softhard hard表示当两者之间的任何一台主机脱机，则RPC会持续地呼叫，直到对方恢复连接为止。如果是soft的话，那RPC会在time out后重复呼叫，而非持续呼叫 intr 当使用上面提到的hard方式挂载时，若加上intr这个参数，则当RPC持续呼叫时，该次的呼叫是可以被中断的 rsizewsize 读出（rsize）与写入（wsize）的区块大小。这个设置值可以影响客户端与服务器端传输数据的缓冲记忆容量 -
重启autofs服务
systemctl restart autofs -
查看挂载信息：
mount | grep /nfs -
触发自动挂载，进入到子目录中触发，退出挂载目录一定时间后触发解挂载：
cd /mnt/nfs
-
3.删除cnfs节点：
mmchnode --cnfs-interface=DELETE -N "node1,node2"
