网站备案查询 工信部,wordpress 删除标签页,上海中学门户网站,中山手机网站制作多少钱导语 如果之前的单机版hadoop环境安装满足不了你#xff0c;集群版hadoop一定合你胃口#xff0c;轻松入手。目录 集群规划前置条件配置免密登录 3.1 生成密匙 3.2 免密登录 3.3 验证免密登录集群搭建 4.1 下载并解压 4.2 配置环境变量 4.4 修改配置 4.4 分发程序 4.5 初始化…导语 如果之前的单机版hadoop环境安装满足不了你集群版hadoop一定合你胃口轻松入手。目录 集群规划前置条件配置免密登录 3.1 生成密匙 3.2 免密登录 3.3 验证免密登录集群搭建 4.1 下载并解压 4.2 配置环境变量 4.4 修改配置 4.4 分发程序 4.5 初始化 4.6 启动集群 4.7 查看集群提交服务到集群1. 集群规划 这里搭建一个 3 节点的 Hadoop 集群 其中三台主机均部署 DataNode 和 NodeManager 服务 但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。2. 前置条件 Hadoop 的运行依赖 JDK需要预先安装。其安装步骤单独整理至2.1 下载并解压在官网下载所需版本的 JDK 1.8 , 下载后进行解压[root java]# tar -zxvf jdk-8u201-linux-x64.tar.gz 2.2 设置环境变量[root java]# vi /etc/profile 添加如下配置export JAVA_HOME/usr/java/jdk1.8.0_201 export JRE_HOME${JAVA_HOME}/jre export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH${JAVA_HOME}/bin:$PATH 执行 source 命令使得配置立即生效[root java]# source /etc/profile 2.3 检查是否安装成功[root java]# java -version 显示出对应的版本信息则代表安装成功。java version 1.8.0_201 Java(TM) SE Runtime Environment (build 1.8.0_201-b09) Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode) 3. 配置免密登录 3.1 生成密匙在每台主机上使用 ssh-keygen 命令生成公钥私钥对3.2 免密登录将 hadoop001 的公钥写到本机和远程机器的 ~/ .ssh/authorized_key 文件中ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop003 3.3 验证免密登录ssh hadoop002 ssh hadoop003 4. 集群搭建 4.1 下载并解压下载 Hadoop。这里我下载的是 CDH 版本 Hadoop下载地址为 http://archive.cloudera.com/cdh5/cdh/5/# tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz 4.2 配置环境变量编辑 profile 文件增加如下配置export HADOOP_HOME/usr/app/hadoop-2.6.0-cdh5.15.2 export PATH${HADOOP_HOME}/bin:$PATH 执行 source 命令使得配置立即生效4.3 修改配置进入 ${HADOOP_HOME}/etc/hadoop 目录下修改配置文件。各个配置文件内容如下hadoop-env.sh# 指定JDK的安装位置 export JAVA_HOME/usr/java/jdk1.8.0_201/ core-site.xmlconfigurationproperty!--指定 namenode 的 hdfs 协议文件系统的通信地址--namefs.defaultFS/namevaluehdfs://hadoop001:8020/value/propertyproperty!--指定 hadoop 集群存储临时文件的目录--namehadoop.tmp.dir/namevalue/home/hadoop/tmp/value/property /configuration hdfs-site.xmlproperty!--namenode 节点数据即元数据的存放位置可以指定多个目录实现容错多个目录用逗号分隔--namedfs.namenode.name.dir/namevalue/home/hadoop/namenode/data/value /property property!--datanode 节点数据即数据块的存放位置--namedfs.datanode.data.dir/namevalue/home/hadoop/datanode/data/value /property yarn-site.xmlconfigurationproperty!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在 Yarn 上运行 MapReduce 程序。--nameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertyproperty!--resourcemanager 的主机名--nameyarn.resourcemanager.hostname/namevaluehadoop001/value/property /configuration mapred-site.xmlconfigurationproperty!--指定 mapreduce 作业运行在 yarn 上--namemapreduce.framework.name/namevalueyarn/value/property /configuration slaves 配置所有从属节点的主机名或 IP 地址每行一个。所有从属节点上的 DataNode 服务和 NodeManager 服务都会被启动。hadoop001 hadoop002 hadoop003 4.4 分发程序将 Hadoop 安装包分发到其他两台服务器分发后建议在这两台服务器上也配置一下 Hadoop 的环境变量。# 将安装包分发到hadoop002 scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop002:/usr/app/ # 将安装包分发到hadoop003 scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop003:/usr/app/ 4.5 初始化在 Hadoop001 上执行 namenode 初始化命令hdfs namenode -format 4.6 启动集群进入到 Hadoop001 的 ${HADOOP_HOME}/sbin 目录下启动 Hadoop。此时 hadoop002 和 hadoop003 上的相关服务也会被启动# 启动dfs服务 start-dfs.sh # 启动yarn服务 start-yarn.sh 4.7 查看集群在每台服务器上使用 jps 命令查看服务进程或直接进入 Web-UI 界面进行查看端口为 50070。可以看到此时有三个可用的 Datanode点击 Live Nodes 进入可以看到每个 DataNode 的详细情况接着可以查看 Yarn 的情况端口号为 8088 5. 提交服务到集群 提交作业到集群的方式和单机环境完全一致这里以提交 Hadoop 内置的计算 Pi 的示例程序为例在任何一个节点上执行都可以命令如下hadoop jar /usr/app/hadoop-2.6.0-cdh5.15.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.2.jar pi 3 3