多语言网站建设 技术,企业网站建设费用属于什么科目,wordpress资源搜索插件,近期军事新闻目录 一、环境说明 二、部署Hbase 2.1 解压Hbase 2.2 移动解压包 2.3 修改 hbase-env.sh文件 2.4 修改环境变量 2.5 修改hbase-site.xml文件 2.6 修改regionservers 文件 2.7 分发hbase 2.7.1 分发hbase包 2.7.2 分发环境配置 2.8 启动hbase服务 2.8.1 环境生效 … 目录 一、环境说明 二、部署Hbase 2.1 解压Hbase 2.2 移动解压包 2.3 修改 hbase-env.sh文件 2.4 修改环境变量 2.5 修改hbase-site.xml文件 2.6 修改regionservers 文件 2.7 分发hbase 2.7.1 分发hbase包 2.7.2 分发环境配置 2.8 启动hbase服务 2.8.1 环境生效 2.8.2 master节点执行 2.8.3 node2节点执行 2.8.4 访问 一、环境说明 系统环境描述本教程基于CentOS 8.0版本虚拟机 Hadoop集群 节点NNNNJNZKFCZKDNRMNMIPmaster***192.168.31.215node1****192.168.31.8node2**192.168.31.9node3*****192.168.31.167node4****192.168.31.154 Hbase 集群规划: 节点HMasterHRegionServerZKIPmaster*192.168.31.215node1*192.168.31.8node2**192.168.31.9node3**192.168.31.167node4**192.168.31.154 软件版本 软件版本jdk1.8.0_211zookeeper3.8.2Hbase2.5.5Hdoop3.3.4 提示Hbase 是基于Hadoop的在开始Hbase之前需要确保你的Hadoop集群是可用的。同时本次部署需要的zookeeper我使用的是Hadoop集群中的关于zookeeper的部署这里不做描述。因为该文章是基于部署Hadoop之后所以一些机器的基本配置这里不做描述比如机器的免密登录机器的hosts文件设置包括基本的JDK安装等如果对于这些部分有操作上的疑问欢迎查看之前Hadoop的系列文章。具体可参考一篇文章带你学会Hadoop-3.3.4集群部署_夜夜流光相皎洁_小宁的博客-CSDN博客 二、部署Hbase 2.1 解压Hbase tar -zxvf hbase-2.5.5-bin.tar.gz 2.2 移动解压包 mv hbase-2.5.5 /usr/local/ 2.3 修改 hbase-env.sh文件 cd /usr/local/hbase-2.5.5/conf vim hbase-env.sh export JAVA_HOME/usr/local/jdk1.8.0_211 2.4 修改环境变量 vim /etcprofileexport HBASE_HOME/usr/local/hbase-2.5.5 export PATH$PATH:$HBASE_HOME/bin 2.5 修改hbase-site.xml文件 vim hbase-site.xml !-- hbase是否部署为集群模式 --propertynamehbase.cluster.distributed/namevaluetrue/value/property!--zookeeper 集群ip --propertynamehbase.zookeeper.quorum/namevaluenode2:2181,node3:2181,node4:2181/value/property!--zookeeper data dir --propertynamehbase.zoopkeeper.property.dataDir/namevalue/usr/local/hbase-2.5.5/data/zookeeper/value /property!--要把hbase的数据存储hdfs上的路径 --propertynamehbase.rootdir/namevaluehdfs://master:9000/hbase/value/property!--hbase 数据目录 --propertynamehbase.tmp.dir/namevalue/usr/local/hbase-2.5.5/data/hbase/tmp/value/propertypropertynamehbase.unsafe.stream.capability.enforce/namevaluefalse/value/property!-- Flink Secondary Index --propertynamehbase.regionserver.wal.codec/namevalueorg.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec/value/propertypropertynamehbase.column.max.version/namevalue2/value/propertypropertynamehbase.regionserver.global.memstore.size/namevalue0.2/value/propertypropertynamehbase.regionserver.global.memstore.size.lower.limit/namevalue0.8/value/property!-- 实际的Block Size Heap size * hfile.block.cache.size 需要重启才能生效HDFS读较多时可以增加zhe --propertynamehfile.block.cache.size/namevalue0.2/value/property!--bytes,每个用户写缓存数默认2097152; 总消耗内存hbase.client.write.buffer * hbase.regionserver.handler.count --propertynamehbase.hregion.memstore.flush.size/namevalue134217728/value/property!--RPC handlerdefault 30--propertynamedfs.namenode.service.handler.count/namevalue48/value/property!-- Phoenix error--propertynamephoenix.coprocessor.maxServerCacheTimeToLiveMs/namevalue300000/value/property!-- Region Split Policy --propertynamehbase.regionserver.region.split.policy/namevalueorg.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy/value/property!-- Compacting 604800000 --propertynamehbase.hstore.compactionthreshold/namevalue5/value/propertypropertynamehbase.hstore.compaction.max/namevalue10/value/propertypropertynamehbase.hstore.blockingStoreFiles/namevalue16/value/propertypropertynamehbase.hregion.majorcompaction/namevalue0/value/propertypropertynamehbase.hstore.compaction.throughput.higher.bound/namevalue20971520/valuedescriptionThe default is 20 MB/sec/description/propertypropertynamehbase.hstore.compaction.throughput.lower.bound/namevalue10485760/valuedescriptionThe default is 10 MB/sec/description/property 2.6 修改regionservers 文件 配置你希望启动HRegionserver服务的节点 vim regionserversnode1 node3 node4 2.7 分发hbase 2.7.1 分发hbase包 scp -r /usr/local/hbase-2.5.5/ rootnode1:/usr/local/ scp -r /usr/local/hbase-2.5.5/ rootnode2:/usr/local/ scp -r /usr/local/hbase-2.5.5/ rootnode3:/usr/local/ scp -r /usr/local/hbase-2.5.5/ rootnode4:/usr/local/ 2.7.2 分发环境配置 scp /etc/profile rootnode1:/etc/profile scp /etc/profile rootnode2:/etc/profile scp /etc/profile rootnode3:/etc/profile scp /etc/profile rootnode4:/etc/profile 提示注意执行source /etc/profile 使环境生效 2.8 启动hbase服务 2.8.1 环境生效 执行source /etc/profile 使环境生效所有节点 source /etc/profile 2.8.2 master节点执行 start-hbase.sh 可以通过netstat -anp | grep 16010 探测端口是否被启用通过jps 查看master 是否有HMaster 服务启动有则证明启动成功 注意启动服务之前需要先启动zookeeper 2.8.3 node2节点执行 hbase-daemon.sh start master 通过jps 指令查看node2节点是否有HMaster服务启动有则证明启动成功。 注意启动服务之前需要先启动zookeeper 2.8.4 访问 浏览器访问服务 Backup Master: master 能成功访问到HBase的页面查看信息和我们配置的没有出入符合预期说明本次HBase集群服务部署成功了。 好了今天HBase分布式集群部署的相关内容就分享到这里如果帮助到大家欢迎大家点赞关注收藏有疑问也欢迎大家评论留言