hadoop2.6.0+eclipse配置

【0】安装前的声明

0.1）所用节点2个

master : 192.168.119.105 hadoop5
slave : 192.168.119.101 hadoop1
（先用一个slave，跑成功后，在从master分别scp到各个slaves即可】）

0.2）每个机子的那些个文件需要一样

（或者直接从master直接scp到各个slaves即可）

vim /etc/hosts（主机名和ip地址映射文件）

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.119.101 hadoop1
192.168.119.102 hadoop2
192.168.119.103 hadoop3
192.168.119.104 hadoop4
192.168.119.105 hadoop5
jdk 解压目录

这里统一解压到 /usr/java/jdk

0.3）所有master和slaves机子的用户名全部是hadoop

注意要用hadoop用户的权限对hadoop的文件配置进行操作

【1】安装JDK

1.1）解开jdk压缩包

tar -zvx -f jdk-7u7-linux-x64.tar.gz （解压缩，-z处理gz, -j 处理 bzip2）
（或许之前，你需要 chmod 755 your_jdk_file）
这里写图片描述

1.2）配置环境变量

打开/etc/profile，在文件最后输入下面内容

这里写图片描述

1.3） source /etc/profile

作用:在当前bash环境下读取并执行FileName中的命令。
注：该命令通常用命令“.”来替代。
如：source .bash_rc 与 . .bash_rc 是等效的。
注意：source命令与shell scripts的区别是，
source在当前bash环境下执行命令，而scripts是启动一个子shell来执行命令。这样如果把设置环境变量（或alias等等）的命令写进scripts中，就只会影响子shell,无法改变当前的BASH,所以通过文件（命令列）设置环境变量时，要用source 命令。

1.4 )设置新安装的JDK为默认的JDK

这里写图片描述
命令行输入如下命令：
sudo update-alternatives –install /usr/bin/java java /usr/java/jdk/bin/java 300
sudo update-alternatives –install /usr/bin/javac javac /usr/java/jdk/bin/javac 300
sudo update-alternatives –config java
（Attention）–install 和 –config 是两个横线-，
这里写图片描述

1.5）验证Java是否安装成功

　输入 java-version ，输出Java版本信息即为安装成功。
这里写图片描述

【2】SSH 安装

（google ssh centos 安装
http://www.cnblogs.com/alaska1131/articles/1659654.html）

（以下配图中的文字有错误，改为：
ssh的公私钥建立输入命令：ｓｓｈ－ｋｅｙｇｅｎ　就可以了（其默认的密钥生成方式是ｒｓａ）　，　
然后三个回车，默认的公私钥就在家目录的.ssh文件夹下了。）
这里写图片描述

2.1）如何使用ssh

ssh的目的就是使用免密码登陆；
如果在master上，如
这里写图片描述

Attention）

A1 ) 当ssh安装后，.ssh 文件夹会自动生成在家目录（如/home/hadoop下），所有机器的.ssh 的访问权限必须是700
A2）在.ssh 下的authorized_keys 的权限必须是644或者600,
A3）ssh会依据.ssh和authorized_keys的权限来判断是否接受免密码登陆

【3】Hadoop2.6.0 配置

http://blog.csdn.net/caiandyong/article/details/42815221
http://blog.csdn.net/caiandyong/article/details/44925845

3.1）文件配置（hadoop解压文件所放置的目录，请自行创建）

这里写图片描述

以下配置文件只需傻瓜式的copy and paste


vim core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop5:9000</value><description>A base for other temporary directories.</description></property><property><name>io.file.buffer.size</name><value>4096</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/hdfs/hadooptmp</value></property><property><name>hadoop.proxyuser.spark.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.spark.groups</name><value>*</value></property>
</configuration>
vim hdfs-site.xml<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop5:9001</value></property><property><name>dfs.namenode.name.dir</name><value>/home/hadoop/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/hdfs/datanode</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>
</configuration>
vim mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop5:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop5:19888</value></property>
</configuration>
vim yarn-site.xml<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hadoop5</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop5:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop5:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop5:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop5:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop5:8088</value></property>
</configuration>