绵阳建网站哪家好,怎么上传网站模板,西安网站注册,室内设计效果图怎么收费标准目录 前言 搭建 准备 配置JAVA环境 搭建Hadoop集群 前言 今天我们来学习Hadoop完全分布式的搭建#xff0c;我们要搭建hadoop完全分布式要掌握哪些东西呢#xff1f; 首先需要掌握的就是Hadoop的基础知识#xff0c;了解Hadoop的生态系统#xff0c;包括Hadoop的核心…目录 前言 搭建 准备 配置JAVA环境 搭建Hadoop集群 前言 今天我们来学习Hadoop完全分布式的搭建我们要搭建hadoop完全分布式要掌握哪些东西呢 首先需要掌握的就是Hadoop的基础知识了解Hadoop的生态系统包括Hadoop的核心组件如HDFS、MapReduce、YARN等以及其他相关组件如HBase、Hive、Zookeeper等。理解这些组件的功能和相互作用对于搭建和管理Hadoop集群至关重要。因为Hadoop通常在Linux操作系统上运行因此需要对Linux有一定的了解包括基本的命令行操作、系统管理和网络配置等。再者Hadoop是用Java编写的因此需要对Java编程语言有一定的了解包括Java编程基础、JDK的安装和配置等。还要了解如何规划和搭建Hadoop集群包括选择合适的硬件和软件、配置网络、安装和配置Hadoop等。此外还需要了解如何管理和维护Hadoop集群包括监控集群状态、处理故障、优化性能等。熟悉Hadoop的配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等了解如何配置和优化Hadoop集群以满足不同的业务需求。熟悉Hadoop的配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等了解如何配置和优化Hadoop集群以满足不同的业务需求。了解如何保障Hadoop集群的安全性和可靠性包括设置访问控制、数据加密、备份和恢复等。 当我们大概了解了这些以后就可以开始我们的搭建过程 搭建 准备 首先我们的Hadoop完全分布式是搭建在Linux系统上的所以我们需要在Linux服务系统上准备三个节点这里大家自行准备我准备的是 bigdata1bigdata2bigdata3 有了节点以后我们还需要做一下集群规划 节点NameNodeDataNodeSecondNameNodebigdata1        √        √bigdata2        √                √bigdata3        √ 上述表格就是我们的集群规划采用1NameNode、3DataNode的方式去搭建我们的Hadoop分布式集群 配置JAVA环境 搭建Hadoop先配置支撑它的语言要不则会寸步难行这里选择的是jdk1.8.0版本 首先先把压缩包拉取到bigdata1节点的/opt/software目录下没有的自行创建 然后运行命令解压压缩包到/opt/module目录下没有的自行创建 tar -zxvf /opt/software/jdk-8u212-linux-x64.tar .gz -C /opt/module 首先 tar是Linux 系统上的一个用于处理归档文件的工具-zxvf分别代表 z: 使用 gzip 进行解压。这告诉 tar 命令归档文件是用 gzip 压缩的所以需要先进行 gzip 解压。x: 解压。这告诉 tar 命令要解压归档文件。v: 详细模式verbose。这会在解压过程中显示正在解压的文件名使得用户可以看到解压的进度。f: 文件。这告诉 tar 命令后面会跟一个文件名而不是从标准输入或输出中读取/写入。 解压缩完文件以后还要配置JAVA环境才可以正常使用所有环境我们都配在/etc/profile.d/目录下的my_env.sh文件下这里不推荐在/etc/目录下的profile文件因为一旦profile文件受损节点就会宕机所以建议配置在自建文件my_env.sh上 vim /etc/profile.d/bigdata_env.sh 在my_env.sh文件上添加内容 #JAVA_HOME export JAVA_HOME/opt/module/jdk1.8.0_212 export PATH$PATH:$JAVA_HOME/bin 保存退出以后运行命令,刷新环境变量使其生效 source /etc/profile 运行命令验证是否配置成功如果没有报错则为成功 java -version javac搭建Hadoop集群 与配置JAVA环境一样我们需要先解压压缩包 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 然后我们配置hadoop的运行环境 vim /etc/profile.d/bigdata_env.sh #HADOOP_HOME export HADOOP_HOME/opt/module/hadoop-3.1.3 export PATH$PATH:$HADOOP_HOME/bin export PATH$PATH:$HADOOP_HOME/sbin 然后使用source刷新环境变量文件运行命令验证是否成功 hadoop version 接下来就是配置hadoop分布式最重要的部分了配置文件 cd /opt/module/hadoop-3.1.3/etc/hadoop/ Hadoop-env.sh 文件 hadoop-env.sh 是 Hadoop 分布式文件系统 (HDFS) 和其他 Hadoop 组件的一个重要配置文件这个文件主要用于设置 Hadoop 运行环境的一些重要参数比如 Java 运行环境JRE的路径、Hadoop 的 PID进程 ID文件存放位置等。 然后修改Hadoop-env.sh文件添加内容 export JAVA_HOME/opt/module/jdk1.8.0_212 核心配置文件 —— core-site.xml configurationpropertynamefs.defaultFS/namevaluehdfs://bigdata1:9820/value/propertypropertynamehadoop.tmp.dir/namevalue/opt/module/hadoop-3.1.3/data/value/propertypropertynamehadoop.http.staticuser.user/namevalueroot/value/propertypropertynamehadoop.proxyuser.root.hosts/namevalue*/value/propertypropertynamehadoop.proxyuser.root.groups/namevalue*/value/property/configuration HDFS 配置文件 —— hdfs-site.xml configurationpropertynamedfs.namenode.http-address/namevaluebigdata1:9870/value/propertypropertynamedfs.namenode.secondary.http-address/namevaluebigdata3:9868/value/propertypropertynamedfs.replication/namevalue2/value/property/configuration YARN 配置文件 —— yarn-site.xml configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.resourcemanager.hostname/namevaluebigdata2/value/propertyproperty nameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/propertypropertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/propertypropertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/propertypropertynameyarn.log-aggregation-enable/namevaluetrue/value/propertypropertynameyarn.log.server.url/namevaluehttp://bigdata1:19888/jobhistory/logs/value/propertypropertynameyarn.log-aggregation.retain-seconds/namevalue604800/value/property /configuration MapReduce 配置文件 —— mapred-site.xml configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.jobhistory.address/namevaluebigdata1:10020/value/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluebigdata1:19888/value/property /configuration 配置 workers/slaves 文件 bigdata1 bigdata2 bigdata3 在/etc/profile.d/bigdata_env.sh 文件末尾田间 export HDFS_NAMENODE_USERroot export HDFS_DATANODE_USERroot export HDFS_SECONDARYNAMENODE_USERroot export YARN_RESOURCEMANAGER_USERroot export YARN_NODEMANAGER_USERroot这是保证在HDFS上可以畅通无阻生产活动的时候不建议这样因为root用户是权限最大的用户 分发 配置分发工具参考尚硅谷 进入/usr/bin目录下创建文件xsync #!/bin/bash if [ $# -lt 1 ] thenecho Not Enough Arguement!exit; fi for host in bigdata1 bigdata2 bigdata3 doecho $host for file in $doif [ -e $file ]thenpdir$(cd -P $(dirname $file); pwd)fname$(basename $file)ssh $host mkdir -p $pdirrsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone done 给xsync添加可执行的权限 chmod 777 /usr/bin/xsync然后直接分发想分发的文件就可以了 xsync /opt/module/ xsync /etc/profile 第一启动hadoop集群需要先格式化在bigdata1下运行 hdfs namenode -format然后再bigdata1中运行start-all.sh再进入bigdata2运行start-yarn.sh 和集群规划如果一致那么说明配置成功