Ambari安装Hadoop

news/2025/10/7 23:31:51/文章来源:https://www.cnblogs.com/leo130-blogs/p/19129022

Ambari界面安装Hadoop集群及其他的组件

Ambari的Web页面安装Hadoop

登入及定义集群名称

使用初始的:admin/admin账号登入到Ambari上,启动安装程序,之后输入集群的名称。
Ambari安装界面
定义集群名称

bigtop选择组件清单

在这一步选择默认的bigtop-3.3.0,也可根据需要自己列出清单以及将组件包上传至对应的repo上。
bigtop版本选择
这里配置的BaseUrl为之前搭建的私人仓库地址的路径。同时删除了其他的OS配置。
然后进入下一步。

配置FQDN和SSH

FQDN可按照在节点上的hosts清单去配置,如果点下一步的时候出现warring的弹窗,跳过即可。
而SSH的私钥可以在hadoop-app的root用户下~/.ssh/rsa_id获取

su - 
cat ~/.ssh/rsa_id#当然也可以将rsa_id这个私钥直接scp到本地,然后手动上传
scp ~/.ssh/rsa_id user@192.168.122.1:~\Desktop

FQDN与SSH

节点检测与组件选择

在上一步骤后,Ambari会去依据FQDN和SSH去尝试通信各节点,去确认各节点的存在。
节点出现不可连接的ERROR可通过点击红色或是黄色的标识来查看日志。

节点确认
在完成节点检查之后,需要选择自己所需的组件服务与功能,这里我选择了全部组件服务。
在选择之后,将组件服务在不同的节点上进行了简单分配。
组件选择
组件选服务分配
hadoop组件

配置各组件服务

下一步,需要配置各组件的数据库连接参数与用户。将之前使用的后端数据库的地址填写至对应的位置即可。在测试连接通过后,可进行下以一个组件的配置。其他的只需要配置好密码即可。
!!!可以尝试在数据库连接工具中尝试各组件的用户的连接,尤其是mysql数据库记得配置好在mysql.user下的host,使其与部署组件服务的节点一致,否则会在安装的时候提示失败!!!
组件服务参数1
组件服务参数2
组件服务参数3

组件自动安装

在组件安装时,会将之前所选择的组件和配置添加到对应的节点。本次安装时,在自动执行dnf install 相关的命令时概率返回fail transcation,导致当次安装失败,多重试几次即可。
但重复出现相同的问题时,需要仔细查看对应节点上的错误日志,找到原因。比如:安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.
此问题在问题shooting已给出解决办法。
自动安装1
安装失败
(多次重试后,依旧报同样的错误,要仔细查看导致的原因)

安装完成

在结束上诉操作后,在启动服务时,可能会出现报错,可以根据错误日志找到具体原因,大多情况都是文件目录权限不足或是数据库的操作失败。使用acl添加权限或是调整数据库对应用户权限即可。
安装完成
(此处可见有些指标无法显示,具体解决可见问题shooting)
修复之后的界面:
指标修复

开启高可用

在HDFS和YARN中,可以在右上角的ACTION中找到对应的HA按钮,根据指引即可完成HADOOP的高可用模式。
高可用

问题shooting

安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.

引发原因:
在该结点的bigtop版本包里,没有配置hadoop-hdfs-dfsrouter

处理方法:
在/usr/lib/bigtop-select/distro-select路径下
leaves的字典中添加:"hadoop-hdfs-dfsrouter":"hadoop-hdfs",
aliases的字典中的hadoop-hdfs-server的列表中添加"hadoop-hdfs-dfsrouter"

监控面板的监控数据不全,在namenode的日志里提示:No live collector to send metrics to...

完整提示:
INFO timeline.HadoopTimelineMetricsSink (AbstractTimelineMetricsSink.java:getCurrentCollectorHost(311)) - No live collector to send metrics to. Metrics to be sent will be discarded. This message will be skipped for the next 20 times.

参考网站:
https://issues.apache.org/jira/browse/AMBARI-26435

引发原因:
jar包冲突

处理方法:
删除/usr/lib/ambari-metrics-collector/jakarta.ws.rs-api-2.1.6.jar
下载jsr311-api-1.1.1.jar
或直接从/usr/bigtop/3.3.0/usr/lib/hadoop/lib/jsr311-api-1.1.1.jar拷贝过来
至/usr/lib/ambari-metrics-collector路径下
然后重新启动ambari的组件

SOLR服务无法正常启动,页面无法正常打开

可查看对应的SOLR的日志,在/var/log/solr/solr-8983-console.log
有可能引发的原因:JDK版本不符合,关于GC的部分参数无效

解决方法:

1.降低jdk版本
2.修改GC相关的参数
在solr的Advanced的参数中修改对应的选项:

Solr GC log options:

-Xlog:gc*=info:file=gc.log:time,uptime,level,tags:filecount=15,filesize=200M

Solr GC Tune:

-XX:+UseG1GC -XX:NewRatio=3 -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=8 -XX:ConcGCThreads=4 -XX:ParallelGCThreads=4 -XX:+ParallelRefProcEnabled -XX:PretenureSizeThreshold=64m

solr-env template 中的GC_LOG_OPTS:

"{{solr_gc_log_opts}} -Xlog:gc:{{solr_log_dir}}/solr_gc.log"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/930968.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ambari-bigtop搭建hadoop数据仓库架构

Ambari-bigtop搭建hadoop数据仓库架构我将这些组件分为几大类以便理解:核心存储与资源管理(数据湖基石) HDFS (Hadoop Distributed File System): 分布式文件系统,是整个大数据平台的存储基石。它将以块的形式将海…

安装Ambari集群

1、前置要求 系统环境 系统:4 * Rocky Linux9.6-x86_64-minim 内存:12GB (12288MB) CPU:6 虚拟核 存储:150G 组件: ①Apache Ambari 3.0.0 ②Apache Bigtop 3.3.0 对应的下载链接: Rocky Linux: https://rockyli…

POLIR-Society-Philosophy-Hegels System of Science

POLIR-Society-Philosophy-Hegels System of Science hegel.net - Hegels System of Science, religion and philosophy, philosophy of religion SearchHegels System of Science Enyclopedia Britannica 1911 [PDF V…

Python中的`namedtuple`:命名元组的用法与优势

Python中的namedtuple:命名元组的用法与优势 collections.namedtuple是Python标准库提供的一个实用工具,它创建的是一种带字段名的元组,兼具元组的不可变性和类的可读性,是处理简单数据结构的理想选择。 一、named…

android开发者网站中国最近战争新闻

CortexM3存储器系统 宗旨:技术的学习是有限的,分享的精神是无限的。 CM3 只有一个单一固定的存储器映射。这一点极大地方便了软件在各种 CM3 单片机间的移植。 存储空间的一些位置用于调试组件等私有外设,这个地址段被称为“私有外设区”。私…

一摞python风格的纸牌

一摞python风格的纸牌 import collections# 定义卡牌类 Card = collections.namedtuple(Card, [rank, suit])# 法式扑克牌类 class FrenchDeck:ranks = [str(n) for n in range(2, 11)] + list(JQKA)suits = spades di…

记录一个ubuntu24.04蓝牙不显示不可用的解决方案

记录一个奇怪的ubuntu24.04桌面端的蓝牙标志消失处理办法 现象: 1.蓝牙开关消失,提示plug in a dongle to use bluetooth 2.服务日志提示:Bluetooth service was skipped because of an unmet condition check (Con…

网站开发电脑配置推荐网站流量 seo

客户简介 岗岭集团是中国互联网医药健康的领军企业,致力于用互联网模式和思维方式,改变中国大众“看病难、买药贵”的现状。岗岭集团运用创新的互联网和IT技术提供在线诊疗、购药和健康管理等服务,缩减中间环节,优化供应链&#…

社区门户网站建设方案雅式机械加工网

当我们找工作的时候查看招聘信息发现都需要有自动化测试经验,由此看来测试人员不会一点自动化测试技术都不好意思说自己是做软件测试的。大部分测试人员也都是从使用自动化测试工具、录制回放、测试脚本、开发小工具入门自动化测试的,然后在慢慢的接触 U…

惠州模板网站WordPress wlw设置

简单的说time()与$_SERVER["REQUEST_TIME"]都是获得时间的,但time返回当前的 Unix 时间戳而$_SERVER["REQUEST_TIME"]得到请求开始时的时间戳,稍有区别。1. time() 获取当前的系统时间戳inttime( void ) :返回自从 Unix 纪元(格林威…

directx 与d3d 什么关系

directx 与d3d 什么关系1. DirectX 是一个“套件”DirectX (Direct eXtension) 不是单一库,而是 微软在 Windows 平台上提供的一整套多媒体 API。主要模块包括:Direct3D (D3D) → 3D 图形DirectDraw → 2D 图形(后来…

数据仓库中的“时间旅行者”:深入理解渐变维度(SCD)与拉链表

某电商平台的用户“小美”昨天刚从上海搬到北京,现在住在北京的一家单身公寓里。“小美” 很热爱生活,喜欢烘培烹饪、逛展会、户外旅行等活动。为了满足自己的个性化需求,她选择成为一名电商“重度使用者”。她尤其…

MOVEit网络攻击波及普华永道与安永,供应链安全再响警钟

勒索软件团伙Clop利用MOVEit文件传输服务的零日漏洞发起供应链攻击,导致普华永道、安永等多家知名机构数据泄露。攻击者要求受害企业在6月14日前支付赎金,美国网络安全机构已发布安全补丁。MOVEit网络攻击波及普华永…

Penchick Online Mathematical Olympiad, Qualifying Test 1, III.4

原题链接:https://artofproblemsolving.com/community/c4h3687790_1st_penchick_online_mathematical_olympiad_qualifying_test_1_iii4 解答: 令 , . (统一分母)整理得:代入原式 均值不等式(AM-GM)得到最小 , …

自己做网站别人怎么看见wordpress搬家后全部页面404

目录 1.hdfs读写流程解析 2.hdfs副本机制,三副本原因,副本存放策略 3.hdfs容错机制原理 4.MapReduce执行流程详解 5.spark和mr的区别 6.TopN求法,大数据量无法完全写入内存解决方案,MapReduce实现方法 7.spark部署、调度原…

QBXT2025S刷题 Day6

T2 这道题是树形 \(\mathcal{DP}\),我们注意到如果一个点能和他的一个子树合并成为一个三叉,那么可以是以下四种情况。然后我们的状态记录一下当前有 \(i\) 个链,\(j\) 个倒 "Y"。 这样,我们可以先让 \(…

dx为什么用com

dx为什么用com1. DirectX 的历史背景DirectX 是 90 年代微软为 Windows 游戏/多媒体开发出的 API。当时 Windows 上最通用的组件化技术就是 COM(Component Object Model)。DirectX 各子系统(D3D、DirectSound、Dire…

我的网站现在没有排名_我想问是不是花钱做百度推广就会有排名网站怎么加入百度网盟

一、前言 本人面试已经很久之前了,分享一下我做美团面试官的经历吧。 美团上海面试,2-1及以下美团是不社招的,校招和2-2~2-3社招一般是三面,格外优秀3-1及以上会加签面试。初面技术基础,二面业务感知和技术项目&#…

北京网站制作闪快网站备案手机号

每到周末的时候,我就感到压抑,无处可去,无事可做,我为什么那么在乎别人的看法呢?从不主动和人交流,话少的可怜,我一周说的话手指都能数出来,总是感到尴尬,不说话还常常苦闷别人不理…

图书馆网站建设工作阿里云企业网站搭建

很多人的电脑或者手机上都离不开一款好用的便签软件,使用便签软件可以帮助大家记事,提醒大家按时完成各项任务,但是自带的记事本便签软件不论从外观还是功能方面都有一定的欠缺,在使用过程中很容易耽误事情。 功能全面外观好看的…