沽源网站建设,做购物网站实例代码,做商城网站公司吗,网站推广app软件下载hadoop的伪分布模式 伪分布模式的特点部署伪分布模式hadoop-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xml对NameNode进行格式化启动Hadoop 对部署是否完成进行测试免密码模式免密码模式的原理#xff08;重要#xff09;免密码模式的配置 伪分布模式的特点… hadoop的伪分布模式 伪分布模式的特点部署伪分布模式hadoop-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xml对NameNode进行格式化启动Hadoop 对部署是否完成进行测试免密码模式免密码模式的原理重要免密码模式的配置 伪分布模式的特点 在单机上模拟一个分布式的环境具备Hadoop的所有的功能用于开发和测试 HDFSNameNode、DataNode、SecondaryNameNodeYarnResourceManager、NodeManager部署伪分布模式 前提部署好hadoop的本地模式 点击设置hadoop的本地模式 伪分布模式的部署主要是将下面的参数文件的配置参数进行更改。 hadoop-env.sh 注如果在本地模式已经配置完成这个文件则不需要重复配置。 路径/root/training/hadoop-2.7.3/etc/hadoop$HADOOP_HOME/etc/hadoop 更改第25行 export JAVA_HOME/root/training/jdk1.8.0_181 hdfs-site.xml 进入 /root/training/hadoop-2.7.3/etc/hadoop/ 路径找到 hdfs-site.xml 文件进行编辑。 vi hdfs-site.xml将下面xml代码添加该文件 !--数据块的冗余度默认是3-- !--一般来说数据块冗余度跟数据节点的个数一致最大不超过3-- !--由于这是伪分布模式所以这里冗余度设置为1-- propertynamedfs.replication/namevalue1/value /propertycore-site.xml 需要在hadoop目录下先创建出tmp文件作为HDFS对应的操作系统目录。 mkdir /root/training/hadoop-2.7.3/tmp编辑操作与上面文件相同则不演示。 !--配置NameNode的地址-- !--9000是RPC通信的端口-- propertynamefs.defaultFS/namevaluehdfs://bigdata111:9000/value /property!--HDFS对应的操作系统目录-- !--默认值是Linux的tmp目录-- propertynamehadoop.tmp.dir/namevalue/root/training/hadoop-2.7.3/tmp/value /propertymapred-site.xml 这个文件默认没有需要我们先复制 cp mapred-site.xml.template mapred-site.xml!--配置MapReduce运行的框架是Yarn-- propertynamemapreduce.framework.name/namevalueyarn/value /propertyyarn-site.xml !--配置ResourceManager的地址-- propertynameyarn.resourcemanager.hostname/namevaluebigdata111/value /property!--MapReduce运行的方式是洗牌-- propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value /property对NameNode进行格式化 执行下面这条命名 hdfs namenode -format成功则出现下面这句话。 启动Hadoop start-all.sh需要输入4次密码和yes。 至此部署完成下面进行测试 对部署是否完成进行测试 将本地文件上传到hdfs 进入/root/training/hadoop-2.7.3/share/hadoop/mapreduce/ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output/wc停止集群 stop-all.sh也需要输入4次密码输入密码太麻烦所以我们还需要配置免密码模式。 免密码模式 免密码模式的原理重要 免密码模式的配置 ssh-keygen -t rsassh-copy-id -i .ssh/id_rsa.pub rootbigdata111注rootbigdata111 是你当前的主机名 免密码模式配置完成