Hadoop 3.X HA集群部署

准备工作

1、确认各个服务器网络是否互通、时间是否同步

2、确认各个节点部署那些组件

ip地址host名部署组件
192.168.190.130h202406131

NameNode

ResourceManager

QuorumPeerMain

JournalNode

DFSZKFailoverController

JobHistoryServer

192.168.190.131h202406132

NameNode

ResourceManager

QuorumPeerMain

JournalNode

DFSZKFailoverController

JobHistoryServer

192.168.190.132h202406133

QuorumPeerMain

JournalNode

DataNode

NodeManager

192.168.190.133h202406134

DataNode

NodeManager

192.168.190.134h202406135

DataNode

NodeManager

192.168.190.135h202406136

DataNode

NodeManager

192.168.190.136h202406137

DataNode

NodeManager

192.168.190.137h202406138

DataNode

NodeManager

3、配置各个节点的  /etc/hosts

4、配置用户的免密登录

5、确认各个组件版本

Hadoop3.3.1
zookeeper3.7.0
jdk1.8

6、确认安装目录,并配置环境变量

安装jdk

# 安装java
yum install -y java-1.8.0-openjdk.x86_64# 配置环境变量
vim /etc/profileexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin# 验证安装
java -version

安装zookeerper

下载路径:http://archive.apache.org/dist/zookeeper/

cd /data
tar -xf zookeeper-3.7.0.tar.gz
mv zookeeper-3.7.0 zookeeper

安装hadoop

下载命令:

 wget  https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-aarch64.tar.gz 

启动步骤

1、各个zk节点启动zk

zk启动命令:./bin/zkServer.sh start

zk状态查询命令:./bin/zkServer.sh status

2、各个journalnode节点启动journalnode

启动命令:hadoop-daemon.sh start journalnode

3、在nn1节点上格式化、并启动namenode

初始化namenode:hdfs namenode -format

启动namenode:hadoop-deaemon.sh start namedoe

4、在nn2节点上格同步nn1的节点信息并启动namenode

同步nn1:hdfs namenode -bootstarpStandby

启动namenode:hadoop-deaemon.sh start namedoe

5、关闭nn1和nn2的namenode并初始化HA在zk中的状态

初始化zkfc:hdfs zkfc -formatZK

6、nn1启动历史服务器

JobHistoryServer启动:mr-jobhistory-daemon.sh start JobHistoryServer

7、nn1和nn2启动zkfc

启动zkfc:hadoop-deaemon.sh start zkfc

8、datanode节点启动datanode服务

datanode启动:hadoop-deaemon.sh start datanode

9、nn1和nn2节点启动 resourcemanager

resourcemanager启动:yarn-daemon.sh start resourcemanager

10、NodeManager节点启动NodeManager服务

NodeManager启动:yarn-daemon.sh start nodemanager

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/26924.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

React中“WebSocket is closed before the connection is established“

在 React 中你需要将它添加到你useEffect的return useEffect(() > {const socket new WebSocket(address);return () > {if (socket.readyState 1) { // <-- This is importantsocket.close();}} }, []);然而&#xff0c;这不仅仅是最好的解决方案&#xff01;您需…

uniapp地图选择位置

直接上代码 通过一个点击事件调用官方api即可调用 点击调用成功后显示如下 然后选择自己所需要的位置即可

RAM IP核配置

REVIEW 之前已经学习过&#xff1a; ROM:FPGA寄存器 Vivado IP核-CSDN博客 串口接收&#xff1a;Vivado 串口接收优化-CSDN博客 1. 今日摸鱼计划 RAM创建与测试 小梅哥视频&#xff1a; 21C_嵌入式块存储器RAM介绍_哔哩哔哩_bilibili 21D_嵌入式块存储器RAM实现和仿真_哔哩…

TrustZone 详解

标签: TrustZone 详解; TrustZone; TrustZone 详解 概述 TrustZone 是由 ARM 公司开发的一种安全技术,嵌入在其处理器中,用于在单个处理器上创建两个隔离的执行环境:普通世界(Normal World)和安全世界(Secure World)。这种双世界架构允许在一个设备上同时运行安全…

在不使用js在情况下只用css实现瀑布流效果

使用到的是grid 布局&#xff0c;需要注意的是grid-template-rows: masonry; 目前只有Firefox 浏览器支持这个效果&#xff0c;而且还是一个实验性属性需要在设置里面开发实验性选项才行。 实例 <!DOCTYPE html> <html> <head><title>Document</ti…

为CAP面板添加简单的Authentication登录验证功能 C#|.net

终于搞定了CAP Dashboard的登录验证功能! 因为网上找不到简单的CAP Dashboard的登录验证功能,所以这个功能摸索着开发了好久。 这个Authentication认证功能,不仅适用于CAP面板,也适用于懒得开发登录页面,但是又需要简单用户名密码登录的网页。 做过后端的比较熟悉,CAP面…

告别“人治”时代,物业运维平台能否成为行业新标准?

随着数字化时代的飞速发展&#xff0c;智能化、数字化已经遍及所有的行业。物业服务企业也不例外&#xff0c;你是否还在想象物业运维工作依旧停留在手动报修、纸质记录的古老时代&#xff1f;那么&#xff0c;你就OUT了&#xff0c;物业运维平台已经悄然崛起&#xff0c;正在以…

《Brave New Words 》2.2 阅读理解的未来,让文字生动起来!

Part II: Giving Voice to the Social Sciences 第二部分&#xff1a;为社会科学发声 The Future of Reading Comprehension, Where Literature Comes Alive! 阅读理解的未来&#xff0c;让文字生动起来&#xff01; Saanvi, a ninth grader in India who attends Khan World S…

鸿蒙轻内核A核源码分析系列七 进程管理 (2)

本文先熟悉下进程管理的文件kernel\base\core\los_process.c中的内部接口&#xff0c;读读代码&#xff0c;做些记录。 1、LiteOS-A内核进程全局变量 ⑴是进程池&#xff0c;存放各个进程控制块LosProcessCB的信息。⑵处开始的g_freeProcess是空闲进程链表&#xff0c;挂载各…

牛客周赛 Round 46 题解 C++

目录 A 乐奈吃冰 B 素世喝茶 C 爱音开灯 D 小灯做题 E 立希喂猫 F 祥子拆团 A 乐奈吃冰 #include <iostream> #include <cstring> #include <algorithm> #include <cmath> #include <queue> #include <set> #include <vector>…

unirest的使用

一、unirest是什么&#xff1f; Unirest 是一套跨语言轻量级HTTP开发库&#xff0c;由Kong团队维护&#xff0c;此团队同时维护着另一个著名开源网关项目API Gateway Kong. 二、Maveny依赖 <dependency><groupId>com.konghq</groupId><artifactId>uni…

OCP学习笔记-007 SQL语言之三:DDL

3. DDL - Data Definition Language 数据定义语言,这些语句定义了不同的数据段、数据库、表、列、索引等数据库对象的定义。常用的语句关键字主要包括create、drop、alter等。 3.1 Oracle的对象 数据库的功能就是组织管理和存储各种数据库对象。数据库中的对象是我们进行数…

【机器学习】简答

1.什么是机器学习&#xff1f; 机器学习致力于研究如何通过计算的手段&#xff0c;利用经验来改善系统自身的性能。“训练”与“预测”是机器学习的两个过程&#xff0c;“模型”则是过程的中间输出结果&#xff0c;“训练”产生“模型”&#xff0c;“模型”指导 “预测”。计…

算法体系-20 第二十节暴力递归到动态规划

前言 动态规划模型从尝试暴力递归到傻缓存到动态规划 四种模型和体系班两种模型一共六种模型 0.1 从左往右模型 0.2 范围讨论模型范围尝试模型 &#xff08;这种模型特别在乎讨论开头如何如何 结尾如何如何&#xff09; 玩家博弈问题&#xff0c;玩家玩纸牌只能那左或者右 0.3 …

《电力网络安全事件应急预案》

一、总则 &#xff08;一&#xff09;编制目的 完善电力网络安全事件应对工作机制&#xff0c;有效预防、及时控制和最大限度消除电力网络安全事件带来的危害和影响&#xff0c;保障电力系统安全稳定运行和电力可靠供应。 &#xff08;二&#xff09;编制依据 《中华人民共…

【DrissionPage】Linux上如何将https改为http

最近有个老板找我做一个自动化的程序&#xff0c;要求部署到Linux上 这是一个http协议的网站&#xff0c;chrome在默认设置下&#xff0c;会将http的网站识别成不安全的内容&#xff0c;然后自动将http转化成https访问 但是&#xff0c;这个http的网站它的加载项里既有http的…

React state 更新时机

设置 state 只会为下一次渲染变更 state 的值 一个 state 变量的值永远不会在一次渲染的内部发生变化 React 会使 state 的值始终"固定"在一次渲染的各个事件处理函数内部 React 会等到事件处理函数中的所有代码都运行完毕再处理 state 更新 在一个函数中&#xff0…

HAL库--内存保护(MPU)实验

MPU是内核外设&#xff0c;想获取相关资料只能从内核手册查找 MPU功能仅F7/H7系列具备 内存保护单元(MPU介绍) MPU基本介绍 说白了MPU用来管理内存和外设存储区的访问权限 MPU可配置保护8/16个内存区域(看芯片型号)&#xff0c;每个区域最小要求256字节&#xff0c;且每个区…

2024年消防设施操作员考试题库及答案

一、单选题 31.工作时间是指劳动者根据国家的法律规定&#xff0c;在1个昼夜或1周之内从事本职工作的时间。《劳动法》规定劳动者每日工作时间不超过8h&#xff0c;平均每周工作时间不超过&#xff08;&#xff09;h。 A.44 B.45 C.46 D.50 答案&#xff1a;A 解析&…

STL入门指南:从容器到算法的完美结合

目录 ​编辑 一、什么是STL 二、STL的版本 三、STL的六大组件 1. 容器&#xff08;Containers&#xff09;&#xff1a; 2. 算法&#xff08;Algorithms&#xff09;&#xff1a; 3. 迭代器&#xff08;Iterators&#xff09;&#xff1a; 4. 仿函数&#xff08;Functo…