hadoop伪分布式模式_Hadoop模式介绍-独立，伪分布式，分布式

hadoop伪分布式模式

了解了什么是Hadoop之后，让我们在单机上启动Hadoop：

这篇文章包含在ubuntu上安装Hadoop的说明。 这是Hadoop安装的快速分步教程。 在这里，您将获得以独立模式 （单节点集群）安装Hadoop所需的所有命令及其说明，   伪分布式模式下的Hadoop （单节点群集）和分布式模式下的Hadoop （多节点群集）。

本教程的主要目标是启动并运行“简单的” Hadoop安装，以便您可以试用该软件并了解更多信息。

本教程已经过测试：

  • Ubuntu Linux（10.04 LTS）
  • Hadoop 0.20.2

先决条件：
安装Java：
推荐将Java 1.6.x（Sun Java或Open Java）用于Hadoop

1.将Canonical合作伙伴存储库添加到您的apt存储库中： 

$ sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"

2.更新源列表 

$ sudo apt-get update

3.安装sun-java6-jdk 

$ sudo apt-get install sun-java6-jdk

4.安装后，快速检查Sun的JDK是否正确设置： 

user@ubuntu:~# java -version
java version "1.6.0_20"
Java(TM) SE Runtime Environment (build 1.6.0_20-b02)
Java HotSpot(TM) Client VM (build 16.3-b01, mixed mode, sharing)

添加专用的Hadoop系统用户：
我们将使用专用的Hadoop用户帐户来运行Hadoop。 虽然这不是必需的，但建议这样做，因为它有助于将Hadoop安装与同一计算机上运行的其他软件应用程序和用户帐户分开（请考虑：安全性，权限，备份等） 

$ sudo adduser hadoop_admin

登录到hadoop_admin用户： 

user@ubuntu:~$ su - hadoop_admin

Hadoop安装： 

$ cd /usr/local
$ sudo tar xzf hadoop-0.20.2.tar.gz
$ sudo chown -R hadoop_admin /usr/local/hadoop-0.20.2

定义JAVA_HOME：

编辑配置文件/usr/local/hadoop-0.20.2/conf/hadoop-env.sh并设置JAVA_HOME：
导出JAVA_HOME =要成为Java安装根目录的路径（例如：/ usr / lib / jvm / java-6-sun） 

$ vi conf/hadoop-env.sh

进入您的hadoop安装目录（HADOOP_HOME，即/usr/local/hadoop-0.20.2/）： 

$ bin/hadoop

它将生成以下输出： 

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format                format the DFS filesystem
secondarynamenode               run the DFS secondary namenode
namenode                        run the DFS namenode
datanode                        run a DFS datanode
dfsadmin                        run a DFS admin client
mradmin                         run a Map-Reduce admin client
fsck                            run a DFS filesystem checking utility
fs                              run a generic filesystem user client
balancer                        run a cluster balancing utility
jobtracker                      run the MapReduce job Tracker node
pipes                           run a Pipes job
tasktracker                     run a MapReduce task Tracker node
job                             manipulate MapReduce jobs
queue                           get information regarding JobQueues
version                         print the version
jar <jar>                       run a jar file
distcp <srcurl>                 <desturl> copy file or directories recursively
archive -archiveName NAME <src>*<dest> create a hadoop archive
daemonlog                       get/set the log level for each daemon
or
CLASSNAME                       run the class named CLASSNAME
Most commands print help when invoked w/o parameters:

独立模式下的Hadoop安装已完成……。!!!!!!!

现在让我们运行一些示例：
1.运行经典Pi示例： 

$ bin/hadoop jar hadoop-*-examples.jar pi 10 100

2.运行grep示例： 

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*

3.运行字数示例： 

$ mkdir inputwords
$ cp conf/*.xml inputwords
$ bin/hadoop jar hadoop-*-examples.jar wordcount inputwords outputwords

如果发现任何错误，请访问Hadoop故障排除

在以独立模式运行Hadoop之后，让我们以伪分布式模式 （单节点群集）启动Hadoop ：

配置SSH：
Hadoop需要SSH访问权限来管理其节点，即远程计算机和本地计算机。 因此，对于我们的Hadoop单节点设置，我们需要为hadoop_admin用户配置对localhost的SSH访问 

user@ubuntu:~$ su - hadoop_admin   
hadoop_admin@ubuntu:~$ sudo apt-get install openssh-server openssh-clienthadoop_admin@ubuntu:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop_admin/.ssh/id_rsa):
Created directory '/home/hadoop_admin/.ssh'.
Your identification has been saved in /home/hadoop_admin/.ssh/id_rsa.
Your public key has been saved in /home/hadoop_admin/.ssh/id_rsa.pub.
The key fingerprint is:
9b:82:ea:58:b4:e0:35:d7:ff:19:66:a6:ef:ae:0e:d2 hadoop_admin@ubuntu
The key's randomart image is:
[...snipp...]
hadoop_admin@ubuntu:~$

启用S​​SH访问本地计算机并使用ssh连接 

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
$ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is e7:89:26:49:ae:02:30:eb:1d:75:4f:bb:44:f9:36:29.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Linux ubuntu 2.6.32-22-generic #33-Ubuntu SMP Wed Apr 30 13:27:30 UTC 2010 i686 GNU/Linux
Ubuntu 10.04 LTS
[...snipp...]
$

编辑配置文件： 

$ vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property><property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
</property></configuration>

如果提供其他路径，请确保hadoop_admin用户具有该目录的读写权限（sudo chown hadoop_admin / your / path） 

$ vi conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
$ vi conf/mapred.xml
<configuration>
<property>
<name>mapred.job.tracker</name> 
<value>localhost:9001</value>
</property>
</configuration>

格式化名称节点： 

$ /hadoop/bin/hadoop namenode -format

它将生成以下输出： 

$ bin/hadoop namenode -format
10/05/10 16:59:56 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = ubuntu/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
10/05/10 16:59:56 INFO namenode.FSNamesystem: fsOwner=hadoop_admin,hadoop
10/05/08 16:59:56 INFO namenode.FSNamesystem: supergroup=supergroup
10/05/08 16:59:56 INFO namenode.FSNamesystem: isPermissionEnabled=true
10/05/08 16:59:56 INFO common.Storage: Image file of size 96 saved in 0 seconds.
10/05/08 16:59:57 INFO common.Storage: Storage directory .../.../dfs/name has been successfully formatted.
10/05/08 16:59:57 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1
************************************************************/
$

启动单节点集群： 

$ /bin/start-all.sh

它将生成以下输出： 

hadoop_admin@ubuntu:/usr/local/hadoop$ bin/start-all.sh
starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-ubuntu.out
starting jobtracker, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-jobtracker-ubuntu.out
localhost: starting tasktracker, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-tasktracker-ubuntu.out
hadoop_admin@ubuntu:/usr/local/hadoop$

检查jps是否正在运行预期的Hadoop进程 

$ jps
14799 NameNode
14977 SecondaryNameNode 
15183 DataNode
15596 JobTracker
15897 TaskTracker

伪分布式模式下的Hadoop安装已完成……。!!!!!!!

停止单节点集群： 

$ /bin/stop-all.sh

它将产生以下输出： 

$ bin/stop-all.sh
stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode
$

您可以在oder中运行与独立模式下相同的示例集，以检查安装是否成功

基于Web的NameNode接口
http：//本地主机：50070
基于Web的JobTracker界面 http：//本地主机：50030 基于Web的TaskTracker界面 http：//本地主机：50060

在以独立模式运行Hadoop之后，让我们以分布式模式 （多节点集群）启动Hadoop。

先决条件：在分布式模式下启动hadoop之前，必须在伪分布式模式下设置hadoop，并且至少需要两台计算机，其中一台用于主机，另一台用于从机（您可以在一台计算机上创建多台虚拟机）。

命令 描述
$ bin / stop-all.sh 在以分布式模式启动hadoop之前，请先停止每个集群。

在群集中的所有计算机（主服务器和从服务器）上运行此cmd  

$ vi / etc / hosts 然后输入
IP添加主机（例如：192.168.0.1主机）
IP添加从站（例如192.168.0.2从站）

在群集中的所有计算机（主服务器和从服务器）上运行此cmd  

$ ssh-copy-id -i $ HOME / .ssh / id_rsa.pub从属 设置无密码的SSH
（ 在所有计算机上，您必须使用相同的用户名登录 ）

在master上运行此cmd

要么
$ cat .ssh / id_rsa.pub

然后将其内容复制到
从属服务器的$ .ssh / authorized_keys文件（您希望SSH到的系统，而不会提示您输入密码）

我们还可以手动设置无密码的ssh
$ vi conf / master
然后输入master
conf / masters文件定义了我们的多节点集群的名称节点

在master上运行此cmd  

$ vi conf /从属
然后输入slave
此conf / slaves文件列出了主机（每行一个），将在其中运行Hadoop从属守护程序（数据节点和任务跟踪器）。

在群集中的所有计算机（主服务器和从服务器）上运行此cmd    

$ vi conf / core-site.xml
然后输入：
<属性>
<name> fs.default.name </ name>

<value> hdfs：// master：54310 </ value>

</ property>
编辑配置文件core-site.xml

在群集中的所有计算机（主服务器和从服务器）上运行此cmd  

$ vi conf / mapred-site.xml
然后输入：
<属性>
<name> mapred.job.tracker </ name>

<value> master：54311 </ value>

</ property>
编辑配置文件mapred-site.xml

在群集中的所有计算机（主服务器和从服务器）上运行此cmd  

$ vi conf / hdfs-site.xml
然后输入：

<属性>
<name> dfs.replication </ name>

<value> 2 </ value> </ property>

编辑配置文件hdfs-site.xml

在群集中的所有计算机（主服务器和从服务器）上运行此cmd

$ vi conf / mapred-site.xml
然后输入：
<属性>
<name> mapred.local.dir </ name>

<value> $ {hadoop.tmp.dir} / mapred / local </ value>
</ property>

<属性>
<name> mapred.map.tasks </ name>

<value> 20 </ value>

</ property>
<属性>
<name> mapred.reduce.tasks </ name>

<value> 2 </ value>
</ property>

编辑配置文件mapred-site.xml

在master上运行此cmd

$ bin / start-dfs.sh

启动多节点集群。 首先，启动HDFS守护程序。 namenode守护程序在主服务器上启动，而datanode守护程序在所有从属服务器上启动

在master上运行此cmd    

$ jps

它应该给出如下输出：
14799 NameNode
15314秒
16977 secondaryNameNode

在master上运行此cmd

$ jps

它应该给出如下输出：
15183数据节点
15616 Jps

在所有奴隶上运行这个命令

$ bin / start-mapred.sh

MapReduce守护程序已启动：jobtracker守护程序在主服务器上启动，而tasktracker守护程序在所有从属服务器上启动

在master上运行此cmd  

$ jps

它应该给出如下输出：
16017每秒
14799 NameNode
15596 JobTracker
14977 SecondaryNameNode

在master上运行此cmd  

$ jps
它应该给出如下输出：
15183数据节点
15897 TaskTracker
16284每秒

在所有奴隶上运行这个命令  

恭喜，Hadoop安装完成
http：// localhost：50070 / 基于Web的名称节点界面
http：// localhost：50030 / 基于Web的作业跟踪器界面
现在运行一些示例
$ bin / hadoop jar hadoop-*-examples.jar pi 10 100 运行pi示例
$ bin / hadoop dfs -mkdir输入

$ bin / hadoop dfs -put conf输入

$ bin / hadoop jar hadoop-*-examples.jar grep输入输出'dfs [az。] +'

$ bin / hadoop dfs -cat输出/ *

运行grep示例
$ bin / hadoop dfs -mkdir输入字

$ bin / hadoop dfs -put conf输入字

$ bin / hadoop jar hadoop-*-examples.jar字数输入词输出词

$ bin / hadoop dfs -cat outputwords / *

运行wordcount示例
$ bin / stop-mapred.sh
$ bin / stop-dfs.sh
阻止恶魔

在master上运行此cmd   

参考： JCG合作伙伴提供的 独立模式下的 Hadoop，伪分布式模式下的 Hadoop和分布式模式 下的 Hadoop   Rahul Patodi在高性能计算博客上。


翻译自: https://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html

hadoop伪分布式模式

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/356881.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SSH面试题【转】

SSH面试题【转】

SSH面试题整理 http://blog.csdn.net/xuyuxin8145/article/details/6638084 1. BeanFactory的作用是什么&#xff1f; [中] BeanFactory是配置、创建、管理bean的容器&#xff0c;有时候也称为bean上下文。Bean与bean的依赖关系&#xff0c;也是由…
阅读更多...
python 比赛成绩预测_Python预测NBA比赛结果

python 比赛成绩预测_Python预测NBA比赛结果

下载W3Cschool手机App&#xff0c;0基础随时随地学编程导语利用Python简单地预测一下NBA比赛结果。。。这大概就叫蹭热度吧。。。毕竟貌似今天朋友圈都在刷NBA相关的内容。。。虽然我并不能看懂。。。但这并不妨碍我瞎预测一波。。。So,以下内容纯属瞎玩&#xff0c;如有雷同&a…
阅读更多...
ffmpeg摄像头推流

ffmpeg摄像头推流

ffmpeg -f dshow -i video"Integrated Camera" -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -f mpegts udp://230.0.0.1:6000 默认是640x480 我I5的机器用了10%的CPU -r 25 设置帧率 -s 1280x720 指定分辨率 默认640x480 -g 1 -keyint_min 2 设置关键帧…
阅读更多...
python简单实用案例_Ajax的简单实用实例代码

python简单实用案例_Ajax的简单实用实例代码

细说SSO单点登录(转)OAuth2.0:https://docs.spring.io/spring-boot/docs/current/reference/html/boot-features-security.html#boot-features-security-oauth2-resource-serverhttp...文章developerguy2016-07-131080浏览量怎样在不使用框架的基础上开发一个 Javascript 组件本…
阅读更多...
适配器设计模式示例

适配器设计模式示例

本文是我们名为“ Java设计模式 ”的学院课程的一部分。 在本课程中&#xff0c;您将深入研究大量的设计模式&#xff0c;并了解如何在Java中实现和利用它们。 您将了解模式如此重要的原因&#xff0c;并了解何时以及如何应用模式中的每一个。 在这里查看 &#xff01; 目录 …
阅读更多...
[转]Linux下g++编译与使用静态库(.a)和动态库(.os) (+修正与解释)

[转]Linux下g++编译与使用静态库(.a)和动态库(.os) (+修正与解释)

在windows环境下&#xff0c;我们通常在IDE如VS的工程中开发C项目&#xff0c;对于生成和使用静态库&#xff08;*.lib&#xff09;与动态库&#xff08;*.dll&#xff09;可能都已经比较熟悉&#xff0c;但是&#xff0c;在linux环境下&#xff0c;则是另一套模式&#xff0c;…
阅读更多...
cesium鼠标控制键盘_Cesium中级教程3 - Camera - 相机（摄像机）

cesium鼠标控制键盘_Cesium中级教程3 - Camera - 相机（摄像机）

CameraCesiumJS中的Camera控制场景的视图。有很多方法可以操作Camera&#xff0c;如旋转(rotate)、缩放(zoom)、平移(pan)和飞到目的地(flyTo)。CesiumJS有鼠标和触摸事件用来处理与Camrea的交互&#xff0c;还有API来以编程方式操作摄像机。了解如何使用Camera API和自定义相机…
阅读更多...
JAVA Junit error java.lang.SecurityException: class junit.framework.JUnit4TestCaseFacade

JAVA Junit error java.lang.SecurityException: class junit.framework.JUnit4TestCaseFacade

运行junit4时报错: java.lang.SecurityException: class "junit.framework.JUnit4TestCaseFacade"s signer information does not match signer information of other classes in the same package at java.lang.ClassLoader.checkCerts(Unknown Source) at java.lan…
阅读更多...
windows下统一mysql编码_mysql5.7 windows7编码统一utf-8

windows下统一mysql编码_mysql5.7 windows7编码统一utf-8

查看mysql数据编码登录mysql服务&#xff0c;查看mysql数据库默认的编码mysql> show variables like character%;---------------------------------------------------------------------------| Variable_name | Value |------------------------------------------------…
阅读更多...
复制选中的listbox内容

复制选中的listbox内容

private void lt_log_MouseClick(object sender, MouseEventArgs e){Clipboard.SetDataObject(lt_log.SelectedItem.ToString()); }转载于:https://www.cnblogs.com/XuPengLB/p/5779554.html
阅读更多...
heroku_WhateverOrigin –与Heroku和Play对抗原产地政策！ 构架

heroku_WhateverOrigin –与Heroku和Play对抗原产地政策！ 构架

heroku不久前&#xff0c;在编写 Bitcoin Pie时 &#xff0c;我发现有必要克服臭名昭著的Same Origin Policy &#xff0c;该政策限制了运行在客户端浏览器上的javascript可以访问的域。 通过Stack Overflow&#xff0c;我找到了一个名为Any Origin的站点&#xff0c;这基本上是…
阅读更多...
python读取配置文件失败原因_python读取配置文件报keyerror-文件路径不正确导致的错误...

python读取配置文件失败原因_python读取配置文件报keyerror-文件路径不正确导致的错误...

- 在其他模块使用反射读取配置文件报错&#xff0c;但是在反射模块中读取GetData.check_list又是正确的反射模块如下&#xff1a;# get_data.pyfrom API_AUTO.p2p_project_7.tools import project_pathimport pandas as pdfrom API_AUTO.p2p_project_7.tools.read_config impor…
阅读更多...
备忘录设计模式示例

备忘录设计模式示例

本文是我们名为“ Java设计模式 ”的学院课程的一部分。 在本课程中&#xff0c;您将深入研究大量的设计模式&#xff0c;并了解如何在Java中实现和利用它们。 您将了解模式如此重要的原因&#xff0c;并了解何时以及如何应用模式中的每一个。 在这里查看 &#xff01; 目录 …
阅读更多...
redis命令学习

redis命令学习

清空所有flushall 转载于:https://www.cnblogs.com/dragkiss/p/5784814.html
阅读更多...
打印机一直显示正在删除不掉怎么办？

打印机一直显示正在删除不掉怎么办？

1、停止打印服务&#xff0c;按WinR键打开运行对话框&#xff0c;然后输入“services.msc ” 打开任务管理。 找到“Print Spooler”&#xff0c;先停止该服务。 按WinR键打开运行对话框&#xff0c;然后输入“Spool” 回车打开“spool” 文件夹&#xff0c;打开“PRINTERS”文…
阅读更多...
java 并发 面试_Java 并发基础常见面试题总结

java 并发 面试_Java 并发基础常见面试题总结

1. 什么是线程和进程?1.1. 何为进程?进程是程序的一次执行过程&#xff0c;是系统运行程序的基本单位&#xff0c;因此进程是动态的。系统运行一个程序即是一个进程从创建&#xff0c;运行到消亡的过程。在 Java 中&#xff0c;当我们启动 main 函数时其实就是启动了一个 JVM…
阅读更多...
web性能测试基础 知识（引用）

web性能测试基础 知识（引用）

1.1基本概念 并发用户&#xff1a;用户并发一般发生在使用比较频繁的模块中&#xff0c;而且遇到异常通常都是程序的问题。 用户并发数量&#xff1a;在线用户数量是计算并发用户数量的主要依据之一。使用系统的用户数量*(5%~20%) 并发主要针对WEB服务器而言&#xff0c;是否并…
阅读更多...
javafx动画_JavaFX：创建Sprite动画

javafx动画_JavaFX：创建Sprite动画

javafx动画到目前为止&#xff0c;尽管我的大多数文章都涉及JavaFX属性和绑定&#xff0c;但是今天我想写一讲我也致力于JavaFX运行时的另一部分&#xff1a;动画API。 在本文中&#xff0c;我将解释如何在JavaFX中编写自定义动画&#xff0c;以及如何使用这种方法为Sprite动画…
阅读更多...
java自定义迭代器作用_Java实现的自定义迭代器功能示例

java自定义迭代器作用_Java实现的自定义迭代器功能示例

本文实例讲述了Java实现的自定义迭代器功能。分享给大家供大家参考&#xff0c;具体如下&#xff1a;编写自己的Iterator&#xff0c;实现Iterator接口&#xff0c;这里多说一句&#xff0c;实现Iterable后&#xff0c;可以用“foreach”循环遍历你的对象。import java.util.It…
阅读更多...
FZU Problem 2238 Daxia Wzc's problem

FZU Problem 2238 Daxia Wzc's problem

Daxia在2016年5月期间去瑞士度蜜月,顺便拜访了Wzc,Wzc给他出了一个问题&#xff1a; Wzc给Daxia等差数列A(0),告诉Daxia首项a和公差d; 首先让Daxia求出数列A(0)前n项和,得到新数列A(1); 然后让Daxia求出数列A(1)前n项和,得到新数列A(2); 接着让Daxia求出数列A(2)前n项和,得到新…
阅读更多...
最新文章

Copyright @ 2022~2023