ambari搭建注意事项

环境准备

当需要将一台主机加入到 Ambari 管理的Hadoop集群时,需要对主机进行以下相关设置。

设置hostname并分发hosts文件

每台机器都需要设置唯一的hostname。集群内所有机器的IP和hostname对应关系应全部写入每台机器的hosts文件中。

设置系统语言

Ambari管理下的各节点主机请设置为英文,否则会无法加入集群。

centos7

localectl set-locale LANG=en_US.UTF-8  # 重新登录后生效

centos6,修改/etc/sysconfig/i18n内容

LANG="en_US.UTF-8"

立刻生效:

source /etc/sysconfig/i18n

禁用selinux

  • 查看状态:
sestatus
  • 临时关闭:
setenforce 0    # 设置SELinux 成为permissive模式# setenforce 1 设置SELinux 成为enforcing模式
  • 永久禁用
修改 /etc/selinux/config 文件
将 SELINUX=enforcing(或SELINUX=permissive) 改为 SELINUX=disabled
重启机器即可

关闭防火墙

centos6

service iptable status  # 查看状态
servcie iptables stop   # 停止
chkconfig iptables off  # 禁止开机启动

centos7

systemctl status firewalld  # 查看状态
systemctl stop firewalld    # 停止
systemctl disable firewalld # 禁止开机启动

开启ntp

centos6

yum install ntp     # 安装
service ntpd start  # 启动
chkconfig ntpd on   # 设置为开机启动

centos7

yum install ntp         # 安装
systemctl start ntpd    # 启动
systemctl enable ntpd   # 设置为开机启动

安装jdk

centos6/7

yum install java-1.8.0-openjdk  # JAVA_HOME 为 /usr/lib/jvm/jre

安装Ambari Server过程中如果选择自定义JDK的话,需要填写JAVA_HOME,请注意该JAVA_HOME的值在Ambari Agent上面也要可用。请安装JDK1.8,避免不必要的麻烦。因为部分组件可能使用JDK1.8编译,用JDK1.7无法运行。

关闭Transparent Huge Pages

  • centos6

修改/etc/grub.conf,在kernel参数后添加 transparent_hugepage=never,如下:

title CentOS (2.6.32-431.el6.x86_64)root (hd0,0)kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD
rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet transparent_hugepage=neverinitrd /initramfs-2.6.32-431.el6.x86_64.img

保存后重启即可。

  • centos7

首先检查THP的启用状态:

cat /sys/kernel/mm/transparent_hugepage/defrag /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
[always] madvise never

上面的输出就说明都是启用的。

编辑/etc/rc.d/rc.local,增加下列内容:

if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defrag
fi

保存退出,然后赋予rc.local文件执行权限:

chmod +x /etc/rc.d/rc.local

重启系统,再检查THP应该就是被禁用了

cat /sys/kernel/mm/transparent_hugepage/enabled /sys/kernel/mm/transparent_hugepage/defrag 
always madvise [never]
always madvise [never]

自定义资源库

安装Ambari Server时如果使用了自定义资源库,即使用/etc/yum.repos.d/ambari.repo文件配置了自定义资源库地址,那么安装Ambari Agent时也会使用该资源库地址。

配置SSH免密码登录

  1. 生成密钥对
ssh-keygen  # 执行成功后,在 ~/.ssh/ 目录生成密钥对,id_rsa 是私钥,id_rsa.pub 是公钥
  1. 配置免密码登录

设登录服务器地址为hostname,登录用户名为username

ssh-copy-id -i ~/.ssh/id_rsa.pub username@hostname

以后就可以使用私钥(~/.ssh/id_rsa)进行免密码登录了

离线安装可能需要的依赖包

在离线环境采用本地Ambari+HDP资源库安装时,还会遇到部分依赖包需要单独安装的情况,这些包应该都在操作系统默认的资源库中,可以使用操作系统安装盘挂载形成资源库的方式安装,或手工下载rpm包安装。目前已知此类包有:

包名称资源库名称备注
postgresql,postgresql-server,postgresql-libsCentOS Update
libtirpc-develCentOS Base
python-argparseCentOS7中该模块包含在python中,无需单独安装

转载于:https://www.cnblogs.com/hibugs/p/10275590.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/569924.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php利用mkdir()创建多级目录

先介绍一下 mkdir() 这个函数: mkdir($path,0777,true); 第一个参数:必须,代表要创建的多级目录的路径; 第二个参数:设定目录的权限,默认是 0777,意味着最大可能的访问权; 第三个…

Python魔术世界 1 如何使用Visual Studio在WIN10中一键安装Python3入门编程环境并测试Django...

本文通过VS安装Python和Django的环境,创建了一个Web程序,前后5分钟的操作,让你快速入门Python的编程世界,各种Python和Django的概念会在实战中给你娓娓道来。 Django其实就是使用Python写的网站生成器半成品网站。其提供了一些非常…

关于IE浏览器不支持jQuery-ajax传值的问题

在jQuery中ajax的格式如下所示&#xff1a; <!DOCTYPE HTML> <html> <head><script src"http://libs.baidu.com/jquery/2.1.4/jquery.min.js"></script><script type"text/javascript">$(function(){//按钮单击时执行…

win10 无法连接路由器共享设备 报错0X80004005

用路由器挂了个硬盘&#xff0c;win10无法用文件夹访问&#xff0c;试了各种方法都没用&#xff0c;后来才发现是windows的‘SMB 1.0/CIFS 文件共享支持’未开启&#xff0c;启用后重启电脑就可以了。 具体步骤&#xff1a; 控制面板 - 程序和功能 - 启用或关闭Windows功能 打勾…

PhpWord的autoload.php文件及目录的生成方式

在github上下载的压缩版PhpWord类库&#xff0c;bootstrap需要用到wendor下的autoload.php&#xff0c;但发现目录里面没有该文件。百度一下&#xff0c;发现需要通过composer进行生成该目录及文件。 1、安装composer 我是在windows系统下办公的&#xff0c;所以直接下载comp…

新版的sublime text 3无法设为默认启动程序

安装上新版的sublime text 3之后&#xff0c;打算设为.html .css .js等文件的默认启动程序&#xff0c;却发现无法设置成功&#xff0c;于是百度上搜索了一下&#xff0c;发现很多都是去注册表修改配置。却始终不能如愿。 有的解决方法是&#xff1a;删除 HKEY_CURRENT…

django的基本操作流程

pip install django cd Desktop/课上代码02/ #进入到创建项目的目录 django-admin startproject 项目的名称 #创建项目 __init__.py 声明这是一个包 settings.py 项目的配置文件 urls.py 项目中url的路由 wsgi.py 部署的时候wsgi服务器的配置文件 manage.py管理django的项…

MySQL_日期时间处理函数及应用

一、YEAR()、MONTH()、HOUR() 1、 语法 YEAR(DATE)   返回日期的年份。 MONTH(DATE)   返回日期的月份 DAY(DATE)   返回日期的日 HOUR(time)   返回时间的小时。 对于一天时间值&#xff0c;返回值的范围是0到23。 但是&#xff0c;TIME值的范围实际上要大得…

关于ajax请求后台获取下拉列表用的数据

一、效果展示 有时候需要在页面请求后台获取数据&#xff1a;这里就用到了ajax去后台获取数据&#xff1a; 数据库的数据是这样的&#xff1a; mysql> select * from ocenter_travel_class_info where pid 0; -------------------------------------- | id | pid | c…

iOS - 抖音效果

抖音的转场动画—iOS https://www.jianshu.com/p/29b0165de712 抖音的上下滑实现—iOS https://www.jianshu.com/p/e8799510c7aa转载于:https://www.cnblogs.com/qingzZ/p/10281740.html

jSignature网页手写签名

一、效果图 注意&#xff1a;1、CSS样式自己调&#xff0c;这里写的很简陋。      2、单击下载&#xff0c;并不是下载图片&#xff0c;而是保存到后台。      3、注意js的引用。 二、前端 <!DOCTYPE html> <html lang"zh-CN"> <head>…

MySQL高级特性之分区表

对于用户而言&#xff0c;分区表是一个独立的逻辑表&#xff0c;但是在底层由多个物理子表组成。实现分区的代码实际上是对一组底层表的句柄对象的封装&#xff0c;对分区表的请求都会通过句柄对象转化成对存储引擎的接口调用 意义 MySQL在创建表的时候可以通过使用 PARTITION …

关于纯HTML格式写入word

用mht格式生成的word文档不适合批量导出&#xff0c;用纯HTML生成的word文件可以批量导出。我不适用框架直接用localhost本地执行PHP文件的格式如下&#xff1a; <?php header("content-type:text/html;charsetutf-8"); class word{function start(){ob_start()…

判断radio单选按钮是否选中

使用jquery进行判断radio单选是否选中并获取选中的value值。 直接上代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Document</title><script src"https://apps.bdim…

postman上传图片时已经添加cookie,但仍显示未登陆

postman上传图片时&#xff0c;已经添加过cookie&#xff0c;但是返回的结果是用户未登陆&#xff0c;如下图所示&#xff1a; 我的解决办法是&#xff1a;清楚cookie code中的cookie 最终的结果如下&#xff1a;成功 转载于:https://www.cnblogs.com/1510152012huang/p/102825…

关于Oracle数据库导入数据显示中文乱码

一、遇到的问题 问题一&#xff1a;某xxxx.sql文件&#xff0c;里面都是insert语句&#xff0c;并且文本编辑器打开文件查看&#xff0c;里面待插入的中文数据显示正常&#xff0c;但是通过命令行&#xff0c;使用“xxxx.sql”导入数据库后&#xff0c;发现数据库中的中文数据都…

五大主流浏览器及内核

谷歌浏览器&#xff1a;Google Chrome内核&#xff1a;Webkit/blink火狐浏览器&#xff1a;Mozilla Firefox内核&#xff1a;Gecko欧鹏浏览器&#xff1a;opera内核&#xff1a;blink苹果浏览器&#xff1a;Safari内核&#xff1a;WebkitI E 浏 览 器&#xff1a;Windows Inter…

MySQL日期与时间函数

MySQL日期与时间函数 MySQL服务器中的三种时区设置&#xff1a;   ①系统时区—保存在系统变量system_time_zone   ②服务器时区—保存在全局系统变量global.time_zone   ③每个客户端连接的时区—保存在会话变量session.time_zone 注意&#xff1a;   客户端时区…

Docker:单机编排工具docker-compose [十二]

一、docker-compose的安装 1、安装 curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo yum install -y python2-pip pip install -i https://pypi.tuna.tsinghua.edu.cn/simple docker-compose2、检查是否安装成功 docker-compose -v 二、docke…

MySQL之算术表达式、聚合函数及GROUP BY 与 HANVING 等函数的应用

一、MySQL的算术表达式 算术表达式就是加减乘除的运算过程&#xff0c;主要是对一条数据中出现的数字进行统计和运算。 首先&#xff0c;有一张数据表&#xff0c;如下&#xff1a; mysql> select * from test_score; ------------------------------------------ | id | c…