Hadoop学习笔记（HDP）-Part.03 资源规划

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

三、资源规划

1.资源配置

主机名FQDNIP服务器配置
hdp01hdp01.hdp.com192.168.111.201/248c、8G、200GB+50GB
hdp02hdp02.hdp.com192.168.111.202/248c、8G、200GB+50GB
hdp03hdp03.hdp.com192.168.111.203/248c、8G、200GB+3*100GB
hdp04hdp04.hdp.com192.168.111.204/248c、8G、200GB+3*100GB
hdp05hdp05.hdp.com192.168.111.205/248c、8G、200GB+3*100GB

2.磁盘规划

主机磁盘分布
hdp01
hdp02		/dev/sda：系统盘
/dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode
hdp03/dev/sda：系统盘
/dev/sdb：/data01，zookeeper、DataNode、JournalNode
/dev/sdc：/data02，DataNode
/dev/sdd：/data03，DataNode
hdp04
hdp05		/dev/sda：系统盘
/dev/sdb：/data01，DataNode
/dev/sdc：/data02，DataNode
/dev/sdd：/data03，DataNode

3.组件规划

组件版本hdp01hdp02hdp03hdp04hdp05
ansible2.9.27★
MySQL5.7.25★★
Ambari-metricsMetrics Collector0.2.0★
Metrics Monitor★★★★★
Grafana★
ZooKeeperZooKeeper Server3.4.6★★★
ZooKeeper Client★★
HDFSNameNode3.1.1.3.1★★
DataNode★★★
JournalNode★★★
zkfc★★
YARNResourceManager3.1.1★★
NodeManager★★★
HistoryServer★
TimelineService★
Timeline Service Reader★
Registry DNS★
OpenLDAPopenldap-server2.4.44★★
openldap-client★★★★★
migrationtools★★
phpldapadmin★★
keepalivedv1.3.5★★
HaProxy1.5.18★★
kerberosKrb5-server1.15.1★★
krb5-workstation★★★★★
RangerRanger Admin1.2.0.3.1★★
UserSync★
HiveHiveServer23.1.0★★
MetaStore★★
Tez0.9.1★★★★★
HBaseHMaster2.0.2★★
RegionServer★★★
SparkSpark2 History Server2.3.0★
Flinkclient1.9.3★★★★★
Kafkabroker2.0.0★★★
kafka manager2.0.0.2★
Flumeflume1.9.0★★★

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/200797.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Transformer论文精读系列】（一）如何理解Transformer里的注意力机制？

【Transformer论文精读系列】（一）如何理解Transformer里的注意力机制？

论文：Attention Is All You Need 参考李沐老师的讲解视频： Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili 其他参考： 超强动画，一步一步深入浅出解释Transformer原理！_哔哩哔哩_bilibili Transformer论文逐段…
阅读更多...
JVM虚拟机：JVM参数之X参数

JVM虚拟机：JVM参数之X参数

本文重点 本文将学习x参数 x参数 -Xint:解释执行 -Xcomp：第一次使用就编译成本地代码 -Xmixed：混合模式（Javac、java，先编译后执行）
阅读更多...
17、迭代器模式（Iterator Pattern）

17、迭代器模式（Iterator Pattern）

迭代器模式提供了顺序访问集合对象中的各种元素，而不暴露该对象内部结构的方法。如Java中遍历HashMap。 迭代器模式将遍历集合中所有元素的操作封装成迭代器类，其目的是在不暴露集合对象内部结构的情况下，对外提供统一访问集合的内部数据的方…
阅读更多...
kafka入门(三)：kafka多线程消费

kafka入门(三)：kafka多线程消费

kafka消费积压 如果生产者发送消息的速度过快，或者是消费者处理消息的速度太慢，那么就会有越来越多的消息无法及时消费，也就是消费积压。 消费积压时，可以使用多线程消费，提高消费速度。 kafka多线程消费的代码&…
阅读更多...
IDEA连接Redis注意事项

IDEA连接Redis注意事项

禁用Linux防火墙 [atguiguhadoop102 ~]$ sudo systemctl stop firewalld [atguiguhadoop102 ~]$ sudo systemctl disable firewalld 修改redis.conf # 注释掉bind 127.0.0.1 # bind 127.0.0.1 # protected-mode默认为yes，修改为no protected-mode no logfile /opt/…
阅读更多...
C# Demo--汉字转拼音

C# Demo--汉字转拼音

1.Nuget安装NPOI及Pinyin4net 2.Demo 代码部分 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using NPOI.SS.UserModel; using NPOI.HSSF.UserModel; using NPOI.XSSF.UserModel; using System.IO;…
阅读更多...
基于ssm vue的社区互助平台源码和论文

基于ssm vue的社区互助平台源码和论文

摘 要 随着社区互助规模的不断扩大，社区互助数量的急剧增加，有关社区互助的各种信息量也在不断成倍增长。面对庞大的信息量，就需要有社区互助管理来提高社区互助管理工作的效率。通过这样的系统，我们可以做到信息的规范管理和快速…
阅读更多...
​HTML代码混淆技术：原理、应用和实现方法详解

​HTML代码混淆技术：原理、应用和实现方法详解

​HTML代码混淆技术：原理、应用和实现方法详解 HTML代码混淆是一种常用的反爬虫技术，它可以有效地防止爬虫对网站数据的抓取。本文将详细介绍HTML代码混淆技术的原理、应用以及实现方法，帮助大家更好地了解和运用这一技术。 一、HTML代码混淆…
阅读更多...
Day51力扣打卡

Day51力扣打卡

打卡记录 Plus and Multiply（模拟） 链接 要满足 a x b ∗ y n a^x b * y n axb∗yn 的关系，可以枚举满足 b ∗ y n − a x b * y n - a ^ x b∗yn−ax 的可余条件。 t int(input()) for _ in range(t):n, a, b map(int, input().…
阅读更多...
七、VMware虚拟机安装和docker容器部署项目

七、VMware虚拟机安装和docker容器部署项目

1、安装虚拟机详情 2、ping不通baidu.com 3、安装docker详情 4、docker安装mysql 5、docker安装redis 6、docker部署可执行jar包 7、练习：Docker部署若依前后端分离版【保姆级教程】
阅读更多...
电脑上mp4视频文件无缩略图怎么办

电脑上mp4视频文件无缩略图怎么办

前言：有时候电脑重装后电脑上的mp4视频文件无缩略图，视频文件数量比较多的时候查找比较麻烦 以下方法亲测有效： 1、下载MediaPreview软件 2、软件链接地址：https://pan.baidu.com/s/1bzVJpmcHyGxXNjnzltojtQ?pwdpma0 提取码&…
阅读更多...
python笔记：dtaidistance

python笔记：dtaidistance

1 介绍 用于DTW的库纯Python实现和更快的C语言实现 2 DTW举例 2.1 绘制warping 路径 from dtaidistance import dtw from dtaidistance import dtw_visualisation as dtwvis import numpy as np import matplotlib.pyplot as plts1 np.array([0., 0, 1, 2, 1, 0, 1, 0, 0…
阅读更多...
合并两个有序数组（leetcode_刷题1）

合并两个有序数组（leetcode_刷题1）

目录 题目：合并两个有序数组 题目分析方向1： 题目分析方向2： 题目：合并两个有序数组 题目要求： 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2，另有两个整数 m 和 n ，分别表示 nums…
阅读更多...
MySQL二 | 函数

MySQL二 | 函数

目录 函数 字符串函数 数值函数 日期函数 流程控制函数 聚合函数 函数 字符串函数 concat(s1,s2,...sn)#字符串拼接 lower(str) upper(str) lpad(str,n,pad)左填充,pad对str左边进行填充,达到n的长度 rpad(str,n,pad) trim(str)去除头部和尾部的空格 substring(s…
阅读更多...
java之hashmap介绍

java之hashmap介绍

java之hashmap介绍 Java中的HashMap是一种基于哈希表实现的Map接口。它允许使用键值对（key-value pairs）存储和检索数据，并提供了高效的插入、查找和删除操作。 以下是关于Java HashMap的详细用法介绍： 1)创建HashMap对象&#…
阅读更多...
深入理解 Spring Boot 的 ApplicationRunner 接口

深入理解 Spring Boot 的 ApplicationRunner 接口

介绍 在 Spring Boot 应用程序启动时，有时我们需要执行一些特定的任务。Spring Boot 提供了 ApplicationRunner 接口，允许我们在应用程序完全启动后执行自定义的逻辑。本文将深入介绍 ApplicationRunner 接口，以及如何通过它来实现应用程序启…
阅读更多...
飞行汽车开发原理（上）

飞行汽车开发原理（上）

前言 小节的安排是由浅入深，要按顺序读；有电路知识基础的同学可跳到“计算机电路”一节开始。因为知识点之间有网状依赖，没办法按分类来讲。 为了避免过于深入、越讲越懵，很多描述仅为方便理解、不求严谨。 半导体特性 导体&a…
阅读更多...
目标检测YOLO系列从入门到精通技术详解100篇-【图像处理】图像配准

目标检测YOLO系列从入门到精通技术详解100篇-【图像处理】图像配准

目录 前言 算法原理 图像配准开源工具 用到的数据集 图像配准分类
阅读更多...
毕业论文及各种办公文件word页码的设置大全

毕业论文及各种办公文件word页码的设置大全

当我们在写论文或者报告的时候，经常需要我们给文档设置页码，用于页码统计，也方便后期的查阅和阅读，但是经常遇到特殊的要求或者情况，比如删除了某个页的页码，那么整个文档目录的页码就会全部被删除&#xf…
阅读更多...
Excel——多列合并成一列的4种方法

Excel——多列合并成一列的4种方法

Excel怎么将多列内容合并成一列？ 怎么将多个单元格的内容连接起来放在一个单元格里？ 比如下图，要将B、C、D列的内容，合并成E列那样，该怎么做呢？ △图1 本文中，高潜老师将给大家介绍 4种 将多…
阅读更多...
最新文章

Copyright @ 2022~2023