Hadoop安装部署-NameNode高可用版

Hadoop分布式文件系统支持NameNode的高可用性,本文主要描述NameNode多节点高可用性的安装部署。

图片

如上所示,Hadoop分布式文件系统部署了NameNode的Master主节点以及NameNode的Slave副节点,当Master主节点发生故障变得不可用时,ZooKeeper集群自动将失败转移到Slave副节点,Slave副节点继续提供服务

NameNode1  Master

ZooKeeper1

192.168.0.136

DataNode1

NameNode2  Slave

ZooKeeper2

192.168.0.137

DataNode2

ZooKeeper3

192.168.0.138

DataNode3

192.168.0.139

如上所示,NameNode主节点、NameNode副节点、DataNode集群节点、ZooKeeper集群节点的IP地址信息

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新主机信息配置文件,同步到Hadoop集群的其他节点

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新ZooKeeper集群的节点属性配置文件,同步到ZooKeeper集群的其他节点

图片

图片

图片

如上所示,在ZooKeeper集群节点的数据文件夹中设置myid

图片

如上所示,在ZooKeeper集群节点中启动ZooKeeper服务

图片

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置DataNode集群节点的主机信息

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,同步属性配置文件到Hadoop集群的其他节点

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点、NameNode副索引节点中,执行格式化ZooKeeper集群节点数据文件

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的用户环境变量,同步到Hadoop集群的其他节点

图片

图片

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动Hadoop集群服务

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,格式化NameNode主节点

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动NameNode主节点服务

图片

如上所示,在NameNode副节点中,同步NameNode主节点的格式化信息

图片

如上所示,在NameNode副节点中,启动NameNode副节点服务

图片

图片

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,重新启动Hadoop集群服务

http://192.168.0.136:9870/

http://192.168.0.137:9870/

图片

图片

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示NameNode节点信息

图片

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示DataNode集群节点信息

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/808333.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

llama-factory SFT系列教程 (一),大模型 API 部署与使用

文章目录 背景简介难点 前置条件1. 大模型 api 部署下一步阅读 背景 本来今天没有计划学 llama-factory,逐步跟着github的文档走,发现这框架确实挺方便,逐渐掌握了一些。 最近想使用 SFT 微调大模型,llama-factory 是使用非常广泛…

python之文件操作与管理

1、文件操作 通过open()操作,来创建文件对象,下面是open()函数语法如下: open(file,mode r,buffering -1 , encoding None ,errors None , newline None,closefd True,opener …

【综合分析类】校园霸凌

题目:近日,某地发生了一名初中生被3名初中生霸凌致S的事件,在社会上引起了广泛争议。有人呼吁,要完善未成年人保护法,进一步惩戒有关未成年的犯罪人员。对此你怎么看。 逐字稿:各位考官,考生思…

14. TypeScript类型保护(类型缩小、类型守卫)

类型保护是一种TypeScript技术,用于获取变量类型信息,通常使用在条件块语句中。 类型守卫是返回布尔值的常规函数,接受一个类型并告诉TypeScript是否可以缩小到更具体的类型。 TypeScript类型保护的方式 类型断言 类型断言是一种告诉编译器…

汇编基础-----常见命令基本使用

汇编基础-----常见命令基本使用 MOV:将数据从一个位置复制到另一个位置。 MOV destination, source例如: MOV RAX, RBX ; 将RBX寄存器中的值复制到RAX寄存器中ADD/SUB:将两个操作数相加或相减。 ADD destination, source SUB destinatio…

Python(3):条件语句+循环语句+逻辑运算符+符号优先级

文章目录 一、if语句1.if语句2.if 和 elif区别3.三元表达式 二、循环语句1.range函数和循环结束关键字2.while循环3.for循环 三、逻辑运算符1.and语句2.or语句3.not语句4.逻辑运算法的优先级 四、python运算符优先级和结合性一览表 一、if语句 1.if语句 1.if单分支语句 格式…

Python项目1 外星人入侵_外星人

在本章中,我们将在游戏《外星人入侵》中添加外星人。首先,我们在屏幕上边缘附近添加一个外星人,然后生成一群外星人。我们让这群外星人向两边和下面移 动,并删除被子弹击中的外星人。最后,我们将显示玩家拥有的飞船数量…

Python-configparser更新write保留注释

背景 python语言用来解析配置文件的模块是ConfigParser,python3中是configparser模块,在使用中经常用到write方法将配置项重新写入文件: config.ini文件: # 数据库配置 [database] # 主机 # IP host localhost # 端口 port 3…

从路由器syslog日志监控路由器流量

路由器是关键的网络基础设施组件,需要随时监控,定期监控路由器可以帮助管理员确保路由器通信正常。日常监控还可以清楚地显出通过网络的流量,通过分析路由器流量,安全管理员可及早识别可能发生的网络事件,从而避免停机…

关于STL容器线程安全性的问题

关于STL容器线程安全性的问题 STL容器(如vector)本身并不是线程安全的,因此在使用它们进行多线程编程时需要格外小心。即便写入操作(由生产者执行)是由单线程完成的,但在并发读取时,由于可能发…

程序员如何搞副业——中学生视角看职业拓展的深入探索

在数字化浪潮席卷全球的今天,程序员这一职业因其独特的魅力和广阔的发展前景而备受瞩目。作为一名中学生,虽然尚未步入职业领域,但提前了解程序员的副业之路,不仅可以帮助我们拓宽视野,还能为未来的职业规划提供有益的参考。 首先,个人项目开发是程序员搞副业的一个重要…

计算机中,逻辑端口

计算机中,端口是什么 在计算机领域中,端口(Port)是一个逻辑概念,用于标识计算机与外部设备或另一台计算机通信时的出入口。它是计算机与外部通信的途径,分为物理端口和逻辑端口两种。 物理端口:物理端口也被称为接口,是计算机主板上或其他设备上的硬件接口,如USB接口…

算法训练营第二十三天(二叉树完结)

算法训练营第二十三天(二叉树完结) 669. 修剪二叉搜索树 力扣题目链接(opens new window) 题目 给定一个二叉搜索树,同时给定最小边界L 和最大边界 R。通过修剪二叉搜索树,使得所有节点的值在[L, R]中 (R>L) 。你可能需要改…

SQLite数据库在Linux系统上的使用

SQLite是一个轻量级的数据库解决方案,它是一个嵌入式的数据库管理系统。SQLite的特点是无需独立的服务器进程,可以直接嵌入到使用它的应用程序中。由于其配置简单、支持跨平台、服务器零管理,以及不需要复杂的设置和操作,SQLite非…

【算法】排硬币 - 二分法/牛顿迭代

题目 假设有n枚硬币,要摆一个阶梯形,第一行1个,第二行2个,以此类推,看n枚硬币能摆多少行,返回行数。未摆满行的不算。 原理 二分法 先假设放 x 行需要 m 个硬币,用 m 与 n 对比,…

OpenGL着色器实现纹理合并显示

OpenGL着色器实现纹理合并显示 本文介绍了opengl下实现纹理的装载,同时借助顶点着色器和片源着色器实现两个不同外部纹理的合并显示。 目录 1 opengl下纹理的装载2 纹理合并效果显示3 完整的代码 1 opengl下纹理的装载 // 初始化GLFWif (!glfwInit()) {std::cerr …

从建表语句带你学习doris_数据类型

1、前言概述 1.1、doris建表模板 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [DATABASE.]table_name (column_definition1[,column_deinition2,......][,index_definition1,[,index_definition2,]] ) [ENGINE = [olap|mysql|broker|hive]] [key_desc] [COMMENT "table co…

共享低碳未来!科士达新一代工商业储能产品引爆ESIE 2024

4月11日,第十二届储能国际峰会暨展览会(ESIE 2024)在北京首钢会展中心盛大开幕,科士达以“数智光储,共享低碳未来”为主题,携多款工商业储能产品及解决方案惊艳亮相本次盛会。 展会首日,科士达展…

C/C++基础----运算符

算数运算符 运算符 描述 例子 两个数字相加 两个变量a b得到两个变量之和 - 两个数字相减 - * 两个数字相乘 - / 两个数字相除 - % 两个数字相除后取余数 8 % 3 2 -- 一个数字递减 变量a:a-- 、--a 一个数字递增 变量a: a 、 a 其中递…

VSCode中调试C++程序

目录 一、准备工作:安装插件 1、C/C插件 ​编辑 2、CMake插件 3、CMake tool插件 二、调试过程 1、debug 2、打断点 3、调C/C文件 每次重新调试的时候都忘了具体步骤,直接给自己写个备忘录好了。 一、准备工作:安装插件 1、C/C插件…