一二三应用开发平台文件处理设计与实现系列之7——minio多节点共享磁盘模式验证

背景

在不了解minio架构设计之前，我根据既往经验推测minio是将文件读写封装实现了一个应用系统，如要实现高可用，则需要部署两个minio节点，共享同一块磁盘。两个minio节组成一个集群，使用nginx实现负载均衡，这是一种常见的部署架构。

官方资料介绍的部署模式有两大类（https://min.io/docs/minio/linux/operations/installation.html），单节点部署和分布式部署，其中单节点又细分为单磁盘（只使用1块磁盘，不使用纠删码）和多磁盘（至少挂载4块磁盘，启用纠删码）。

在上述方案中，并不包含多节点共享同一块磁盘的模式，并且强调minio挂载的磁盘需要是干净的。

官方说明同时提到了站点复制模式，但该模式并不是共享磁盘，而是数据在多个站点同步（Data written to one site automatically replicates to the other peer site.）。
在这里插入图片描述

在了解了minio的文件高可用方案机制与原理后，还是有个疑惑，多节点共享磁盘到底是否可行？做了以下探索和验证。

共享同一块磁盘

首先尝试一种简单场景，minio部署两个节点，同享同一块磁盘。

docker run -p 10001:9000  --name minio-node1 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data-share:/data minio/minio:RELEASE.2021-04-22T15-44-28Z server /datadocker run -p 10002:9000  --name minio-node2 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data-share:/data minio/minio:RELEASE.2021-04-22T15-44-28Z server /data

两个节点均能启动成功。
image.png
启动日志显示正常，无警告更没有报错。

2023-11-29 11:12:09 Endpoint: http://172.17.0.3:9000  http://127.0.0.1:9000 
2023-11-29 11:12:09 
2023-11-29 11:12:09 Browser Access:
2023-11-29 11:12:09    http://172.17.0.3:9000  http://127.0.0.1:9000
2023-11-29 11:12:09 
2023-11-29 11:12:09 Object API (Amazon S3 compatible):
2023-11-29 11:12:09    Go:         https://docs.min.io/docs/golang-client-quickstart-guide
2023-11-29 11:12:09    Java:       https://docs.min.io/docs/java-client-quickstart-guide
2023-11-29 11:12:09    Python:     https://docs.min.io/docs/python-client-quickstart-guide
2023-11-29 11:12:09    JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
2023-11-29 11:12:09    .NET:       https://docs.min.io/docs/dotnet-client-quickstart-guide
2023-11-29 11:12:09 IAM initialization complete

使用控制台创建桶及上传文件、下载文件、删除文件，从两个minio看上去，数据是同步的，都正常。
对容器进行任意重启、删除、新建操作，无报错、数据能正常读取。

共享多块磁盘

上面两个minio节点共享一块磁盘通过了测试，再往前迈一步，依旧是4个minio节点，然后每个minio节点挂载4块磁盘，这4块磁盘依旧是共享的，看看纠删码机制启用的情况下，共享磁盘的模式是否会产生相互干扰和数据错乱。
执行如下命令，创建容器

docker run -p 11001:9000  --name minio1 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4docker run -p 11002:9000  --name minio2 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4

重复共享同一块磁盘的测试验证，结果依然正常。

非对称挂载磁盘

双节点，各挂载四块共享磁盘，仍旧正常运行。再进一步，磁盘不对称，推测应该会出问题。保持第一个节点挂载4块磁盘不变，先来尝试第二个节点挂载8块磁盘，是第1个节点的双倍关系，然后再尝试挂载6块磁盘。

docker run -p 21002:9000  --name minio2 -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=12345678" -v E:\dockerVolume\minio\data1:/data1 -v E:\dockerVolume\minio\data2:/data2 -v E:\dockerVolume\minio\data3:/data3 -v E:\dockerVolume\minio\data4:/data4 -v E:\dockerVolume\minio\data5:/data5 -v E:\dockerVolume\minio\data6:/data6 -v E:\dockerVolume\minio\data7:/data7 -v E:\dockerVolume\minio\data8:/data8 minio/minio:RELEASE.2021-04-22T15-44-28Z server /data1 /data2 /data3 /data4 /data5 /data6 /data7 /data8

直接启动报错，无限重启，提示data1磁盘已经被另外的纠删阵列使用了。

2023-11-29 14:03:52 
2023-11-29 14:03:52  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:03:52  Update: Run `mc admin update` 
2023-11-29 14:03:52 
2023-11-29 14:03:52 
2023-11-29 14:03:53 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:03:55 
2023-11-29 14:03:55  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:03:55  Update: Run `mc admin update` 
2023-11-29 14:03:55 
2023-11-29 14:03:55 
2023-11-29 14:03:55 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:03:57 
2023-11-29 14:03:57  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:03:57  Update: Run `mc admin update` 
2023-11-29 14:03:57 
2023-11-29 14:03:57 
2023-11-29 14:03:58 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:04:01 
2023-11-29 14:04:01  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:04:01  Update: Run `mc admin update` 
2023-11-29 14:04:01 
2023-11-29 14:04:01 
2023-11-29 14:04:02 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:04:06 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)
2023-11-29 14:04:09 
2023-11-29 14:04:09  You are running an older version of MinIO released 2 years ago 
2023-11-29 14:04:09  Update: Run `mc admin update` 
2023-11-29 14:04:09 
2023-11-29 14:04:09 
2023-11-29 14:04:10 ERROR Unable to initialize backend: /data1 disk is already being used in another erasure deployment. (Number of disks specified: 8 but the number of disks found in the 1st disk's format.json: 4)

挂载8块都出错了，后面就没必要验证挂载6块磁盘了。

结论

通过以上验证工作，基本符合原先的推测，即可以多个minio节点共享磁盘，将minio视为“应用”，将共享的磁盘视为“数据库”，几个minio节点组成集群，通过外置的负载均衡软件如Nginx实现高可用。
需要保持每个节点挂载磁盘的数量一致，可以只挂载一块磁盘，也可以挂载一组（>=4）磁盘，启用纠删码。

开源平台资料

平台名称：一二三开发平台
简介： 企业级通用开发平台
设计资料：csdn专栏
开源地址：Gitee
开源协议：MIT
欢迎收藏、点赞、评论，你的支持是我前行的动力。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/656249.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C深度解剖】const关键字

【C深度解剖】const关键字

简介：本系列博客为C深度解剖系列内容，以某个点为中心进行相关详细拓展 适宜人群：已大体了解C语法同学 作者留言：本博客相关内容如需转载请注明出处，本人学疏才浅，难免存在些许错误，望留言指正 作…
阅读更多...
菜单栏应用管理 -- Bartender 4

菜单栏应用管理 -- Bartender 4

Bartender 4是一款旨在优化和简化Mac菜单栏管理的强大工具。它具有以下特色功能： 组织和管理菜单栏图标：Bartender 4允许用户轻松组织和管理菜单栏中的图标，可以隐藏不常用的图标，保持菜单栏的整洁和简洁。同时，用户还…
阅读更多...
雾锁王国多人联机专用服务器推荐！最高支持16人联机

雾锁王国多人联机专用服务器推荐！最高支持16人联机

Steam平台24日新上线一款奇幻生存冒险建造动作RPG游戏《ENSHROUDED雾锁王国》，玩家将置身于一个广阔的可编辑改造的体素世界中，在被灾祸笼罩的先祖之地上展开生存之旅。在《雾锁王国》中，玩家可以独自冒险，也可以与最多16名玩家联…
阅读更多...
Ajax入门与使用

Ajax入门与使用

目录 ◆ AJAX 概念和 axios 使用 什么是 AJAX？ 怎么发送 AJAX 请求？ 如何使用axios axios 函数的基本结构 axios 函数的使用场景 1 没有参数的情况 2 使用params参数传参的情况 3 使用data参数来处理请求体的数据 4 上传图片等二进制的情况…
阅读更多...
漫画图解 Go 并发编程之：Channel

漫画图解 Go 并发编程之：Channel

当谈到并发时，许多编程语言都采用共享内存/状态模型。然而，Go 通过实现 Communicating Sequential Processes（CSP）而与众不同。在 CSP 中，程序由不共享状态的并行处理器组成；相反，他们使用 Chan…
阅读更多...
Spark如何用累加器Accumulator收集日志

Spark如何用累加器Accumulator收集日志

Spark如何用累加器Accumulator收集日志 Accumulator如何使用Accumulator收集日志 Spark任务的实际运算是交由众多executor来执行的，如果再执行算子内部打印日志，是需要到对应的executor上才能看到。当不知道对应executor的情况下就需要挨个查询日志&…
阅读更多...
为什么pgsql(内关联查询或者with字句时)会导致索引失效

为什么pgsql(内关联查询或者with字句时)会导致索引失效

1、在PostgreSQL中，内关联查询可能导致索引失效的原因通常与查询的过滤条件和数据分布有关。 以下是一些可能导致索引失效的情况： 1、使用了函数或类型转换：当查询条件中对索引字段使用了任何计算、函数或类型转换时，这可能会阻止…
阅读更多...
【零基础学习CAPL】文章合集

【零基础学习CAPL】文章合集

本专栏基于CAPL脚本介绍常用脚本示例，每个工程完整可用， 持续更新中… 🚗【零基础学习CAPL】——CAN报文的发送（单帧周期性发送） 🚗【零基础学习CAPL】——CAN报文的发送（单帧按键触发&#x…
阅读更多...
基于Redis实现短信登录

基于Redis实现短信登录

首先我们要思考一下利用redis来存储数据，那么到底使用哪种结构呢？由于存入的数据比较简单，我们可以考虑使用String，或者是使用哈希，如下图，如果使用String，同学们注意他的value，用多…
阅读更多...
第4章 数据表示与特征工程

第4章 数据表示与特征工程

目录 1. 分类变量1.1 One-Hot编码（虚拟变量）检查字符串编码的分类数据 1.2 数字可以编码分类变量 2. 分箱、离散化、线性模型与树3. 交互特征与多相似特征4. 单变量非线性变换总结（2~4）5. 自动化特征选择5.1 单变量统计5.2 基于模…
阅读更多...
C语言菜鸟入门·判断语句（if语句、if...else语句、嵌套if语句）详细介绍

C语言菜鸟入门·判断语句（if语句、if...else语句、嵌套if语句）详细介绍

目录 1. if语句 2. if...else语句 3. if...else if...else 语句 4. 嵌套if语句 C 语言把任何非零和非空的值假定为 true，把零或 null 假定为 false。 语句描述if语句一个 if 语句 由一个布尔表达式后跟一个或多个语句组成。if...else语句一个 if 语句 后可跟…
阅读更多...
Unity3d实现简单的战斗

Unity3d实现简单的战斗

使用u3d实现一个简单的战斗demo，记下学到的知识点，以备后查。 1.判断是否点中指定物体 if (Input.GetMouseButton(0)) {Ray ray Camera.main.ScreenPointToRay(Input.mousePosition);if (Physics.Raycast(ray, out RaycastHit hit)){//坐标转换Vector…
阅读更多...
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】

Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】

RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。 遇到的问题 Flink开发…
阅读更多...
Redis抓取数据到Logstash再推到Elasticsearch集群

Redis抓取数据到Logstash再推到Elasticsearch集群

一、安装Logstash 前面安装过Logstash了，不做解释直接跳过 参考：上一篇文章 二、配置Logstash 在logstash目录下，编辑我们之前的配置文件logstash.conf vim logstash.confinput、output字面意思，从redis去拿取数据，输出到Elasticsearch data_type：数据类型为list k…
阅读更多...
世微AP5125 LED外置MOS降压恒流驱动IC 12-36V 9V 1A驱动方案

世微AP5125 LED外置MOS降压恒流驱动IC 12-36V 9V 1A驱动方案

本品特点：宽输入电压范围：9V～100V ◆ 固定工作频率：140KHZ◆ 可设定电流范围：10mA～6000mA ◆ 内置抖频电路，降低对其他设备的 EMI 干扰◆ 平均电流模式采样，恒流精度更高◆ CS 电压…
阅读更多...
136832-63-8，活细胞示踪剂CMFDA(绿色)，5-氯甲基荧光素二醋酸酯，广泛应用于细胞追踪和标记实验中

136832-63-8，活细胞示踪剂CMFDA(绿色)，5-氯甲基荧光素二醋酸酯，广泛应用于细胞追踪和标记实验中

136832-63-8，活细胞示踪剂CMFDA(绿色)，5-氯甲基荧光素二醋酸酯，CellTracker Green CMFDA，可以用于基因表达分析等实验中，广泛应用于细胞追踪和标记实验中 您好，欢迎来到新研之家 文章关键词：1…
阅读更多...
瑞芯微1808模型转换(onnx到rknn)环境配置过程

瑞芯微1808模型转换(onnx到rknn)环境配置过程

瑞芯微1808模型转换（onnx → \to →rknn）环境配置 阅读本解决方案前，请读者确保已经根据官方的相关教程【rknn_model_zoo/common/rknn_converter at v1.5.0 airockchip/rknn_model_zoo (github.com)】完成其他配置文件的修改，以…
阅读更多...
c语言学习笔记之字符串库函数和逗号表达式

c语言学习笔记之字符串库函数和逗号表达式

逗号表达式 #include <stdio.h>int main(){int a 10;int b 5;int c 6;int d (a 23,b a-4,c b2);printf("%d",d); }打印结果为: 逗号表达式,从左往右依次进行,将最后一个表达式的值赋值给变量. c语言字符串相关库函数 求字符串长度strlen长度不受限制的…
阅读更多...
Python学习笔记——类型注解基础知识

Python学习笔记——类型注解基础知识

Python是动态类型语言&#xff0c;使用变量时不需要做任何类型声明&#xff0c;这是Python相比其它语言的一个重要优势&#xff1a;它减少了我们的心智负担&#xff0c;让写代码变得更容易。尤其对于我们很多新手来说&#xff0c;“不用声明类型”无疑会让学Python这件事变得简…
阅读更多...
【MySQL】创建用户时报错

【MySQL】创建用户时报错

目录 前言解决方法 前言 在使用mysql服务时&#xff0c;用root创建用户&#xff0c;出现如下错误 The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement 解决方法 在mysql服务中输入指令 flush privileges;重启mysqld服务器…
阅读更多...
最新文章

Copyright @ 2022~2023