K8s: Helm搭建mongodb集群(1)

mongodb 集群搭建

mongdb 部署前需要创建 pvc, pv 和 sc，如果在云上会自动创建
helm 应用中心: https://artifacthub.io

1 ）Helm 安装 mongodb

A. 无本地存储配置，重启数据消失

在 https://artifacthub.io/packages/helm/bitnami/mongodb?modal=install 这个界面弹出的窗口中
- $ helm repo add bitnami https://charts.bitnami.com/bitnami
  - 这样就添加了这个源，通过 $ helm repo ls
- $ helm install my-mongodb bitnami/mongodb --version 13.8.1
上面的 helm install 命令是官网提供的最简单的，在安装的时候可以配置一些参数
- 如：$ helm install my-mongo bitnami/mongodb --version 13.8.1 --set persistence.enabled=false,auth.rootPassword="123456_mongodb"
- 文档：https://artifacthub.io/packages/helm/bitnami/mongodb#mongodb-parameters
- 不同的参数，使用 , 分隔
注意，低版本的 helm 的安装命令可能安装会报错，请使用 helm-v3.11.1 以上版本

执行 install 命令后，会输出以下命令

NAME: my-mongo
LAST DEPLOYED: Wed May  1 15:32:14 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: mongodb
CHART VERSION: 13.8.1
APP VERSION: 6.0.4** Please be patient while the chart is being deployed **MongoDB&reg; can be accessed on the following DNS name(s) and ports from within your cluster:my-mongo-mongodb.default.svc.cluster.localTo get the root password run:export MONGODB_ROOT_PASSWORD=$(kubectl get secret --namespace default my-mongo-mongodb -o jsonpath="{.data.mongodb-root-password}" | base64 -d)To connect to your database, create a MongoDB&reg; client container:kubectl run --namespace default my-mongo-mongodb-client --rm --tty -i --restart='Never' --env="MONGODB_ROOT_PASSWORD=$MONGODB_ROOT_PASSWORD" --image docker.io/bitnami/mongodb:6.0.4-debian-11-r10 --command -- bashThen, run the following command:mongosh admin --host "my-mongo-mongodb" --authenticationDatabase admin -u root -p $MONGODB_ROOT_PASSWORDTo connect to your database from outside the cluster execute the following commands:kubectl port-forward --namespace default svc/my-mongo-mongodb 27017:27017 &mongosh --host 127.0.0.1 --authenticationDatabase admin -p $MONGODB_ROOT_PASSWORD

上面提示中，让我们把密码设置成当前节点的环境变量
- export MONGODB_ROOT_PASSWORD=$(kubectl get secret --namespace default my-mongo-mongodb -o jsonpath="{.data.mongodb-root-password}" | base64 -d)
  - 执行上面一行写入环境变量
  - 其中这里 kubectl get secret --namespace default my-mongo-mongodb -o jsonpath="{.data.mongodb-root-password}" | base64 -d
  - 可以看到密码是上面设置的: 123456_mongodb
- $ printenv | grep MON 这样也可以看到环境变量中设置的密码
```
MONGODB_ROOT_PASSWORD=123456_mongodb
```
通过上面给的这个命令
- $ kubectl run --namespace default my-mongo-mongodb-client --rm --tty -i --restart='Never' --env="MONGODB_ROOT_PASSWORD=$MONGODB_ROOT_PASSWORD" --image bitnami/mongodb:6.0.4-debian-11-r10 --command -- bash
```
If you don't see a command prompt, try pressing enter.
I have no name!@my-mongo-mongodb-client:/$
```
- 这里，可以开启一个mongodb的客户端
- 注意，这里的镜像 docker.io/bitnami/mongodb:6.0.4-debian-11-r10 需要提前pull下
- 这个 docker.io 可能会有网络问题，参考 $ docker pull bitnami/mongodb:6.0.4-debian-11-r10
通过上面的命令来进入数据库，注意这里， -p 后面基本没用，还得重新输入密码，因为安全性问题被高版本禁了
- $ mongosh admin --host "my-mongo-mongodb" --authenticationDatabase admin -u root -p $MONGODB_ROOT_PASSWORD
- 输入密码，这时候就已经连接进入 mongodb 数据库了，可以进行操作了
- 注意，这个pod如果一段时间不操作，会自动退出
$ kubectl get all | grep my-mongo 从这里可以看出，它是一个 deployment 而不是 StatefulSets
- 因此，它不会存储任何状态，退出后，数据就丢了
从外部访问它，上面也提示了命令，进行转发
- $ kubectl port-forward --namespace default svc/my-mongo-mongodb 27017:27017 --address 0.0.0.0
```
Forwarding from 0.0.0.0:27017 -> 27017
```
- 注意，如果是云上转发，安全组需要配置入站规则
- 这时候，外部即可访问，通过node节点的ip加端口加用户名和密码
- 当然此作为简单示例，没有接入 Ingress 网络

查看 deployment $ kubectl get deployment

NAME               READY   UP-TO-DATE   AVAILABLE   AGE
my-mongo-mongodb   1/1     1            1           3h55m

重新部署 $ kubectl rollout restart deployment my-mongo-mongodb
```
deployment.apps/my-mongo-mongodb restarted
```
并且重新 port-forward 转发 $ kubectl port-forward --namespace default svc/my-mongo-mongodb 27017:27017 --address 0.0.0.0
发现数据丢失了 …

查看密码 $ kubectl get secret | grep my-mongo-mongodb

my-mongo-mongodb                 Opaque                                1      4h9m
my-mongo-mongodb-token-89wcr     kubernetes.io/service-account-token   3      4h9m

$ kubectl get secret my-mongo-mongodb -o yaml

apiVersion: v1
data:mongodb-root-password: MTIzNDU2X21vbmdvZGI=
kind: Secret
metadata:annotations:meta.helm.sh/release-name: my-mongometa.helm.sh/release-namespace: defaultcreationTimestamp: "2024-05-01T07:32:16Z"labels:app.kubernetes.io/component: mongodbapp.kubernetes.io/instance: my-mongoapp.kubernetes.io/managed-by: Helmapp.kubernetes.io/name: mongodbhelm.sh/chart: mongodb-13.8.1name: my-mongo-mongodbnamespace: defaultresourceVersion: "307736"uid: b0ef31fe-60cc-46a3-8bc6-510692b96d8d
type: Opaque

可以看到，密码被base64加密了

现在需要重新安装有存储的，把之前的卸载了
- $ kubectl uninstall my-mongo
- 这样会同步删除其他相关的附带配置, 使用 delete 是删不干净的
无本地存储配置，重启数据消失

B.搭建 mongodb 有本地存储，重启数据保留

在安装的时候和上述有区别, 直接安装是不会成功的，需要配置 PVC
persistence.size 默认是8Gi, 如果在云上可能是10的倍数

$ helm install my-mongo bitnami/mongodb --version 13.8.1 --set persistence.size=10Gi,auth.rootPassword="123456_mongodb"

这时候会自动创建 pvc

NAME: my-mongo
LAST DEPLOYED: Thu May  2 08:59:53 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: mongodb
CHART VERSION: 13.8.1
APP VERSION: 6.0.4** Please be patient while the chart is being deployed **MongoDB&reg; can be accessed on the following DNS name(s) and ports from within your cluster:my-mongo-mongodb.default.svc.cluster.localTo get the root password run:export MONGODB_ROOT_PASSWORD=$(kubectl get secret --namespace default my-mongo-mongodb -o jsonpath="{.data.mongodb-root-password}" | base64 -d)To connect to your database, create a MongoDB&reg; client container:kubectl run --namespace default my-mongo-mongodb-client --rm --tty -i --restart='Never' --env="MONGODB_ROOT_PASSWORD=$MONGODB_ROOT_PASSWORD" --image docker.io/bitnami/mongodb:6.0.4-debian-11-r10 --command -- bashThen, run the following command:mongosh admin --host "my-mongo-mongodb" --authenticationDatabase admin -u root -p $MONGODB_ROOT_PASSWORDTo connect to your database from outside the cluster execute the following commands:kubectl port-forward --namespace default svc/my-mongo-mongodb 27017:27017 &mongosh --host 127.0.0.1 --authenticationDatabase admin -p $MONGODB_ROOT_PASSWORD

注意，这里如果在云上，会自动创建 pvc, pv, storage class, 以及云硬盘, 在本地的话，需要自己处理
参考: https://blog.csdn.net/Tyro_java/article/details/138157501

$ kubectl get pvc 验证获取 pvc
上面提示的命令，都执行以下，进行开启终端和进行连接
以及参考上面无存储的进行转发处理，在外部进行客户端的连接, 以及重启后验证数据是否丢失
- 如果在云上，端口这块，要配置安全组规则
注意，uninstall 执行的时候，存储也会丢失，注意提前备份
更多的配置，参考文档

2 ）Helm 搭建mongodb集群

helm install my-mongo bitnami/mongodb --version 13.8.1 --set architecture="replicaset",persistence.size=10Gi,auth.rootPassword="123456_mongodb"

注意，这里添加了 architecture="replicaset", 默认值是 standalone

这样就可以设置成主从数据库了

NAME: my-mongo
LAST DEPLOYED: Thu May  2 13:46:04 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: mongodb
CHART VERSION: 13.8.1
APP VERSION: 6.0.4** Please be patient while the chart is being deployed **MongoDB&reg; can be accessed on the following DNS name(s) and ports from within your cluster:my-mongo-mongodb-0.my-mongo-mongodb-headless.default.svc.cluster.local:27017my-mongo-mongodb-1.my-mongo-mongodb-headless.default.svc.cluster.local:27017To get the root password run:export MONGODB_ROOT_PASSWORD=$(kubectl get secret --namespace default my-mongo-mongodb -o jsonpath="{.data.mongodb-root-password}" | base64 -d)To connect to your database, create a MongoDB&reg; client container:kubectl run --namespace default my-mongo-mongodb-client --rm --tty -i --restart='Never' --env="MONGODB_ROOT_PASSWORD=$MONGODB_ROOT_PASSWORD" --image docker.io/bitnami/mongodb:6.0.4-debian-11-r10 --command -- bashThen, run the following command:mongosh admin --host "my-mongo-mongodb-0.my-mongo-mongodb-headless.default.svc.cluster.local:27017,my-mongo-mongodb-1.my-mongo-mongodb-headless.default.svc.cluster.local:27017" --authenticationDatabase admin -u root -p $MONGODB_ROOT_PASSWORD

$ kubectl get all

NAME                             READY   STATUS    RESTARTS   AGE
pod/my-mongo-mongodb-0           1/1     Running   0          2m18s
pod/my-mongo-mongodb-arbiter-0   1/1     Running   0          2m18sNAME                                        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)     AGE
service/kubernetes                          ClusterIP   10.1.0.1     <none>        443/TCP     6d2h
service/my-mongo-mongodb-arbiter-headless   ClusterIP   None         <none>        27017/TCP   2m18s
service/my-mongo-mongodb-headless           ClusterIP   None         <none>        27017/TCP   2m18sNAME                                        READY   AGE
statefulset.apps/my-mongo-mongodb           2/2     2m18s
statefulset.apps/my-mongo-mongodb-arbiter   1/1     2m18s

可以看到是 statefulset 而非 deployment
这里 Arbiter永远是Arbiter，Arbiter 节点只参与投票，不能被选为 Primary，并且不从 Primary 同步数据
而Primary可能退下来成为Secondary，而Secondary可能在选举期间成为Primary

过一会儿 $ kubectl get po -o wide

NAME                         READY   STATUS    RESTARTS      AGE     IP            NODE        NOMINATED NODE   READINESS GATES
my-mongo-mongodb-0           1/1     Running   0             7m15s   10.244.1.90   node1.k8s   <none>           <none>
my-mongo-mongodb-1           1/1     Running   0             7m05s   10.244.1.91   node1.k8s   <none>           <none>
my-mongo-mongodb-arbiter-0   1/1     Running   0             7m15s   10.244.1.89   node1.k8s   <none>           <none>

可以看到，现在已经有2个节点，以及一个选举节点

按照上面提示给出的命令进行配置环境变量，以及客户端不再赘述
要连接这个集群上面也给出了命令提示
```
mongosh admin --host "my-mongo-mongodb-0.my-mongo-mongodb-headless.default.svc.cluster.local:27017,my-mongo-mongodb-1.my-mongo-mongodb-headless.default.svc.cluster.local:27017" --authenticationDatabase admin -u root -p $MONGODB_ROOT_PASSWORD
```
- 这里是主从的集群，有2个库，my-mongo-mongodb-0 和 my-mongo-mongodb-1
- 如果一台挂掉，另一台还会继续提供服务
- 如果想要连接一台，就把其中的一台给去掉
- 选择其中之一进行连接，你就会知道，连接的是主节点还是从节点
- 如果在从节点执行查询前，还需要设置查询的权限, 执行 $ rs.secondaryOk()
- 关于扩容和缩容
  - 扩容 $ kubectl scale statefulset <statefulset-name> --replicas=<new-replica-count> -n <namespace>
  - 缩容 $ kubectl scale statefulset <statefulset-name> --replicas=<new-replica-count> -n <namespace>
  - 如果扩容缩容操作在云上，可以直接调整