1.查看系统版本，架构等情况便于后续采用对应的安装包以及命令
查看系统版本
uname -a查看系统命令集
uname -m这是我系统配置情况
| 名称 | IP | 配置 | 系统 |
|---|---|---|---|
| 主-服务 | 192.168.23.171 | 4Cpu8G | Ubuntu 20.04.6 |
| 副主-服务 | 192.168.23.103 | 4Cpu8G | Ubuntu 20.04.6 |
| 代理-服务 | 192.168.23.248 | 4Cpu8G | Ubuntu 20.04.6 |
| 外置均衡代理 | 192.168.23.205 | 4Cpu8G | Ubuntu 20.04.6 |
2.配置服务器
2.1服务器源配置
修改/etc/apt/sources.list文件
2.2服务器host配置
修改主机服务名称，最好与下面的hosts中的名称相同
vi /etc/hostname修改host文件，写主机映射的域名，每个服务器都要进行设定
vi /etc/hosts#主服务器
192.168.23.171 k3s-master-server
#副主服务
192.168.23.103 k3s-server
#代理
192.168.23.248 k3s-agent2.3服务器时间配置
保持服务器主机时间一致，可以开启同步
2.4处理磁盘挂载
2.4.1磁盘挂载
参考文章
这里注意要关闭 swap，在 /etc/fstab文件中的swap前添加#号
2.4.2创建与k3s和rancher相关的目录，独立存储
mkdir /data
mkdir /data/k3s
mkdir /data/k3s/k3s
mkdir /data/k3s/kubelet
mkdir /data/k3s/rancher2.4.3建立软链接
ln -s /data/k3s/k3s /run/k3s
ln -s /data/k3s/kubelet /var/lib/kubelet
ln -s /data/k3s/rancher /var/lib/rancher2.5其他内容安装
添加iscsi命令支持
apt-get install open-iscsi调整忘了配置
vi /etc/sysctl.confnet.ipv4.ip_forward=l
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_timestamps=1使配置生效
/sbin/sysctl -p调整dns
避免网络的问题，适当调整dns
vim /etc/resolv.confnameserver 8.8.8.8
nameserver 114.114.114.1142.安装nginx配置,tcp转接，实现负载均衡
外置均衡代理服务器主要安装nginx，用于TCP转接实现负载均衡处理。并用于部分静态文件存储配置nginx.conf文件如下：psstjz.com
stream {upstream k3s_servers {server 192.168.23.248:6443;server 192.168.23.103:6443;server 192.168.23.171:6443;}server {listen 6443;proxy_pass k3s_servers;}
}3.添加镜像仓库
4.离线安装k3s
4.1拷贝离线文件
拷贝离线k3s执行文件、k3s-airgap-images-amd64.tar到数据存储目录
创建镜像文件对应目录，并拷贝离线文件
mkdir -p /var/lib/rancher/k3s/agent/images/
cp ./k3s-airgap-images-amd64.tar /var/lib/rancher/k3s/agent/images/拷贝k3s执行文件，并且赋权
chmod 755 k3s
cp k3s /usr/local/bin/4.2外部安装数据库（可选）
本次安装外部安装mysql数据库，并且创建k3s数据库
4.3k3s安装
有需要可以将sh脚本下载成文件（注意同样要修改权限）
4.3.1主-服务安装
安装过程中如果提示缺啥就装啥，每个k3s服务器都装
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_VERSION=v1.26.9+k3s1 INSTALL_K3S_MIRROR=cn INSTALL_K3S_SKIP_DOWNLOAD=true sh -s - server --datastore-endpoint="mysql://用户名:密码@tcp(ip地址:端口)/k3s"4.3.2查询token
cat /var/lib/rancher/k3s/server/token复制主机token信息
4.3.3副主-服务安装
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_SKIP_DOWNLOAD=true INSTALL_K3S_VERSION=v1.26.9+k3s1 sh -s - server --datastore-endpoint="mysql://账号:密码@tcp(ip地址:端口)/k3s" --token "主服务token"4.3.4代理安装
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_SKIP_DOWNLOAD=true K3S_URL=https://域名(host中编写的主机服务域名):6443 INSTALL_K3S_VERSION=v1.26.9+k3s1 K3S_TOKEN="主服务token" sh -4.3.5设置镜像资源
vi /etc/rancher/k3s/registries.yaml内容如下：
mirrors:镜像库域名或者ip:endpoint:- "https://镜像库域名或者ip"
configs:镜像库域名或者ip:auth:username: 镜像仓库的用户名password: 镜像仓库的密码tls:insecure_skip_verify: true #跳过安全认证4.3.6设置集群配置文件
两个主服务中复制配置文件到root中，并且修改中间的127.0.0.1为nginx中配置的负载均衡域名
kubectl --kubeconfig ~/.kube/config get pods --all-namespaces 4.3.7重启服务
重新加载配置文件
systemctl daemon-reload重新启动主-服务
systemctl restart k3s重启副主-服务
systemctl restart k3s-agent5.离线安装rancher
5.1准备离线文件
根据版本不同下载不同文件rancher-2.7.9.tgz，cert-manager-v1.13.2.tgz
提前通过镜像库下载镜像文件
k3s crictl pull 镜像库域名/rancher/rancher:v2.7.95.2安装cer-manager仓库
5.2.1创建命名空间
kubectl create namespace cert-manager5.2.2创建资源定义
kubectl apply -f cert-manager/cert-manager-crd.yaml5.2.3安装cert-manager
helm install cert-manager ./cert-manager-<VERSION>.tgz \--namespace cert-manager \--set image.repository=镜像库域名地址/quay.io/jetstack/cert-manager-controller \--set webhook.image.repository=镜像库域名地址/quay.io/jetstack/cert-manager-webhook \--set cainjector.image.repository=镜像库域名地址/quay.io/jetstack/cert-manager-cainjector \--set startupapicheck.image.repository=镜像库域名地址/quay.io/jetstack/cert-manager-ctl5.3安装rancher
5.3.1创建命名空间
kubectl create namespace cattle-system5.3.2安装rancher
helm install rancher ./rancher-2.7.9.tgz --namespace cattle-system --set hostname=负载均衡地址 --set rancherImage=镜像库域名地址/rancher/rancher --set systemDefaultRegistry=镜像库域名地址/rancher --set useBundledSystemChart=true5.3.3获取初次登录密码
kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"\n"}}'
6.其他内容
6.1关闭多路径
systemctl stop multipathd.servicevi /etc/multipath.confblacklist {
devnode "^sd[a-z0-9]+"
}systemctl restart multipathd.service6.2 缺少restorecon命令支持
执行如下命令安装
apt-get install policycoreutils6.3安装longhorn时个节点安装nfsutil
sudo apt install nfs-common6.4一些常用命令
查看所有pod
kubectl --kubeconfig ~/.kube/config get pods --all-namespaces 查看命名空间下的所有pod
kubectl -n 命名空间 get pods查看当个pod状态
kubectl describe pod pod名称 -n 命名空间 查看单pod日志
kubectl logs -f -n 命名空间 pod名称 --since=1h文件拷贝命令
从主机拷贝文件到pod
kubectl cp /主机目录/文件路径 podName:/容器路径/xxx -n 命名空间从pod拷贝到主机
kubectl cp podName:容器路径/xxx -n 命名空间 /主机目录删除pod
kubectl delete pod pod名称 -n 命名空间删除命名空间
kubectl delete namespace 命名空间查看k3s日志
tail -200f /var/log/syslog | grep k3s卸载主服务k3s
/usr/local/bin/k3s-uninstall.sh卸载代理服务k3s
/usr/local/bin/k3s-agent-uninstall.sh出现mysql数据查询缓慢，调整最大连接数，更换引擎
)