hadoop集群基础环境搭建

1.安装基础环境（以centos7为例）

1.1修改IP

创建4台虚拟机IP设置为192.168.154.4，192.168.154.5，192.168.154.6，192.168.154.7
启动每台节点，在对应的节点路径"/etc/sysconfig/network-scripts"下配置ifg-ens33文件配置IP
（注意，不同机器可能此文件名称不同，一般以ifcfg-xxx命名），以配置ip 192.168.154.4为例，
ifcfg-ens33配置内容如下：
TYPE=Ethernet
BOOTPROTO=static #使用static配置
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
ONBOOT=yes #开机启用本配置
IPADDR=192.168.154.4 #静态IP
GATEWAY=192.168.154.2 #默认网关
NETMASK=255.255.255.0 #子网掩码
DNS1=114.114.114.114
重启服务让修改生效：systemctl restart network.service
查看修改IP是否成功：ip addr

1.2修主机名

/etc/hostname配置对应的主机名称node01，node02，node03，node04

1.3关闭防火墙

  #检查防火墙状态firewall-cmd --state#临时关闭防火墙（重新开机后又会自动启动）systemctl stop firewalld 或者systemctl stop firewalld.service#设置开机不启动防火墙systemctl disable firewalld

1.4关闭seLinux

/etc/selinux/config中将SELINUX=enforcing改成SELINUX=disabled即可。

1.5配置阿里云yum源

#安装wget，wget是linux最常用的下载命令(有些系统默认安装，可忽略)

yum -y install wget

#备份当前的yum源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

#下载阿里云的yum源配置 wget -O /etc/yum.repos.d/CentOS-Base.repo

https://mirrors.aliyun.com/repo/Centos-7.repo

#清除原来文件缓存，构建新加入的repo结尾文件的缓存 yum clean all yum makecache

1.6安装psmisc组件

在HDFS集群搭建完成后，在Namenode HA切换进行故障转移时采用SSH方式进行，底层会使用到fuster包，有可能我们安装Centos7系统没有fuster程序包，导致不能进行NameNode HA 切换，我们可以通过安装Psmisc包达到安装fuster目的，因为此包中包含了fuster程序，安装方式如下，在各个节点上执行如下命令，安装Psmisc包：

yum install psmisc

1.7设置自动更新时间

后续基于Linux各个节点搭建HDFS时，需要各节点的时间同步，可以通过设置各个节点自动更新时间来保证各个节点时间一致，具体按照以下操作来执行。

修改本地时区及ntp服务

yum -y install ntprm -rf /etc/localtimeln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime/usr/sbin/ntpdate -u pool.ntp.org

自动同步时间设置定时任务，每10分钟同步一次，配置/etc/crontab文件，实现自动执行任务。建议直接 crontab -e 来写入定时任务。使用crontab -l 查看当前用户定时任务。

#各个节点执行 crontab -e 写入以下内容

*/10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1

#重启定时任务

service crond restart

1. 2. #查看日期

date

1.8安装JDK

rpm -ivh /software/jdk-8u181-linux-x64.rpm
配置JDK环境便令

vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

#让配置生效

source /etc/profile

1.9 免密钥设置

在Hadoop集群中，需要各个节点之间是有通信的，这里需要设置节点之间免密通信，为了后期操作方便，四台服务器之间需互相均可以免密登录

首先在四台服务器上都要执行：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

2.分别将node01,node02,node03,node04节点上的公钥复制到node01节点上
ssh-copy-id node01
3.将node01节点上的authorized_keys文件发送到mynode02、mynode03、mynode04节点上