Hadoop集群配置
- 1. 背景
- 2. 实践
- 2.1 集群规划
- 2.2 配置文件说明
- 2.3 配置
1. 背景
在000002 - Hadoop环境安装，我们已经执行完了如下步骤。接下来就是将不同服务器上的Hadoop配置为一个整体的集群。
- 准备三台Linux服务器，服务器之间相互配置免密ssh登陆
- 在其中一台服务器上安装JDK
- 在其中一台服务器上安装HADOOP
- 本地运行模式-在一台服务器上运行HADOOP
- 将JDK和HADOOP分发给其他2台服务器
- 集群模式运行HADOOP
2. 实践
2.1 集群规划
| 组件\服务器 | node1 | node2 | node3 |
|---|---|---|---|
| HDFS | DateNode + NameNode | DateNode | DateNode + SecondaryNameNode |
| YARN | NodeManager | NodeManager + ResourceManager | NodeManager |
⚠️ NameNode , SecondaryNameNode, ResourceManager互互斥，三者的任意组合都不能配置在一台服务器上。
2.2 配置文件说明
Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认
配置值时，才需要修改自定义配置文件，更改相应属性值。
默认配置文件：
| 要获取的默认文件 | 文件存放在Hadoop 的 jar 包中的位置 |
|---|---|
| core-default.xml | hadoop-common-3.1.3.jar/core-default.xml |
| hdfs-default.xml | hadoop-hdfs-3.1.3.jar/hdfs-default.xml |
| yarn-default.xml | hadoop-yarn-common-3.1.3.jar/yarn-default.xml |
| mapred-default.xml | hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml |
自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。
2.3 配置
参考这里
