springboot+hbase 集成

项目中使用 phoenix 使用SQL 方式来操作Hbase 数据库,但是遇到一个是,SQL在Dbeaver 中查询速度还可以,但是使用phoenix+ibatis 后返回结果集数据量20w ,速度特别慢,先是考虑用redis方式缓存,但是内存有限,想着是用,hbase直连的方式,测试一下解决一下,

一:简介
hbase-client是HBase提供的一套比较底层的API,在实际使用时需要对其进行封装,提供更好用的api给用户。

操作hbase的客户端有以下几种方式:

hbase-client 比较底层,需要自己进一步封装api,而且版本号和安装的hbase也要匹配,否则会报错
spring-data-hadoop 2019年4月5停止维护
Apache Phoenix 使用SQL的方式来操作HBase

  • 下面是springboot+ hbase-client方式

注意!需要去掉slf4j和log4j jar 否则会报相应的错误:pom.xml 引入

<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>2.1.3</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId></exclusion><exclusion><groupId>log4j</groupId><artifactId>log4j</artifactId></exclusion></exclusions></dependency>

注意!hbase application.yml 设置: hbase.zookeeper.znode 更正为hbase.zookeeper.parent

hbase:config:hbase.zookeeper.quorum: 127.0.0.1hbase.zookeeper.port: 2181hbase.zookeeper.parent: /hbasehbase.client.keyvalue.maxsize: 1572864000

hbase.zookeeper.parent的作用:

Zookeeper作用在于:

1、hbase regionserver向zookeeper注册,提供hbase regionserver状态信息(是否在线)。

2、hmaster启动时候会将hbase系统表-ROOT-加载到zookeeper cluster,通过zookeeper cluster可以获取当前系统表.META.的存储所对应的regionserver信息。

zookeeper是hbase集群的"协调器"。由于zookeeper的轻量级特性,因此我们可以将多个hbase集群共用一个zookeeper集群,以节约大量的服务器。多个hbase集群共用zookeeper集群的方法是使用同一组ip,修改不同hbase集群的"zookeeper.znode.parent"属性,让它们使用不同的根目录。比如cluster1使用/hbase-c1,cluster2使用/hbase-c2,等等。

HMaster主要作用在于,通过HMaster维护系统表-ROOT-,.META.,记录regionserver所对应region变化信息。此外还负责监控处理当前hbase cluster中regionserver状态变化信息。

hbase regionserver则用于多个/单个维护region。

region则对应为hbase数据表的表分区数据维护。

参考:https://www.cnblogs.com/cxzdy/p/5369187.html

https://www.jianshu.com/p/67a817a157ee

项目搭建参考如下:

https://blog.csdn.net/vbirdbest/article/details/88410954

3. hbase API 建议参考:

https://www.cnblogs.com/frankdeng/p/9310209.html

4.hbase 基本的JavaApi 数据操作及数据过滤(filter)

https://www.cnblogs.com/frankdeng/p/9310262.html

https://www.cnblogs.com/asker009/p/10626508.html

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/423227.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java编程思想学习(3):Java中的private、protected、public和default的区别

&#xff08;1&#xff09;对于public修饰符&#xff0c;它具有最大的访问权限&#xff0c;可以访问任何一个在CLASSPATH下的类、接口、异常等。它往往用于对外的情况&#xff0c;也就是对象或类对外的一种接口的形式。 &#xff08;2&#xff09;对于protected修饰符&#xf…

【Makefile由浅入深完全学习记录2】初识 makefile 的结构

继续学习makefile&#xff0c;希望尽快掌握makefile好在面试中更好的掌握方向&#xff01;加qq1126137994一起学习更多技术&#xff01;&#xff01; 1、回顾 makefile的意义&#xff1a; makefile用于定义源文件之间的依赖关系makefile说明如何编译各个源文件并生成可执行文…

只进ResultSet 不支持请求的操作

使用jdbc操作时 抛出异常 只进ResultSet 不支持请求的操作 那肯定是 在使用resultset的游标操作时调用 resultSet.first () resultSet.last等等方法 你要做的就是设置游标支持滚动操作 如果是statement Statement stmtcon.createStatement&#xff08;ResultSet.TYPE_SCROLL_…

【Makefile由浅入深完全学习记录3】伪目标的引入

只有不停的努力&#xff0c;才能看起来很轻松&#xff01;&#xff01;&#xff01;加qq1126137994共同学习探讨更多技术&#xff01;&#xff01;&#xff01; 1、思考&#xff1a; makefile中的目标究竟是什么&#xff1f; 在默认的情况下&#xff1a; make认为目标对应一…

InnoDB的auto_increment指定值被重置问题

有时候新建的表需要对自增列指定初始值&#xff0c;但是有时候会出现明明指定过的初始值却被重置的现象。下面以一个小实验来说明这个问题&#xff1a;MySQL version:5.1.42 OS:redhat5.3无废话&#xff0c;建张表先&#xff1a;代码CREATETABLEsbtest1 ( id int(10) unsigned…

java ReentrantLock 使用

1.ReentrantLock 简单的使用 private Lock lock new ReentrantLock(); lock.lock();用来获取锁。 lock.unlock();用来释放锁 package com.qey.lock;import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Thr…

【Makefile由浅入深完全学习记录4】变量和不同的赋值方式

今天来学习Makefile中变量的不同的赋值方式&#xff01;努力的意义就是让贫穷不再限制你的想象&#xff01;加qq共同学习交流1126137994 1、概念 makefile中支持程序设计中变量的概念makefile中的变量只代表文本数据&#xff08;字符串&#xff09;makefile中的变量名规则 -…

前端学习(100):float注意点整理1

1只会影响后面得元素 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><meta http-equiv"X-UA-Compatible…

ASP.NET小技巧——回传后保持页面的滚动位置

今天在MSDN上看到一篇文章&#xff0c;关于如何在ASP.NET页面回传后保持当前的滚动&#xff08;垂直&#xff09;位置。这个技巧挺实用的&#xff0c;在此做简单的翻译介绍。默认情况下&#xff0c;ASP.NET页面回传到服务器后&#xff0c;页面会跳回顶部。对于一个内容较多的页…

USB转WIFI无线网卡驱动程序(RT5370驱动程序)的移植记录之一

学习交流加 个人qq&#xff1a; 1126137994个人微信&#xff1a; liu1126137994学习交流资源分享qq群&#xff1a; 962535112 今天记录我在I.MX6Q平台移植RT5370无线网卡驱动程序的过程&#xff0c;加qq1126137994 微信&#xff1a;liu1126137994 共同学习更多技术&#xff01;…

HTTP和RPC的优缺点

在HTTP和RPC的选择上&#xff0c;可能有些人是迷惑的&#xff0c;主要是因为&#xff0c;有些RPC框架配置复杂&#xff0c;如果走HTTP也能完成同样的功能&#xff0c;那么为什么要选择RPC&#xff0c;而不是更容易上手的HTTP来实现了。 本文主要来阐述HTTP和RPC的异同&#xff…

【Makefile由浅入深完全学习记录5】预定义变量的使用

今天学习Makefile预定义变量的使用&#xff0c;加qq&#xff1a;1126137994.微信&#xff1a;liu1126137994一起学习更多技术&#xff01;&#xff01;&#xff01; 1.预定义变量&#xff1a;自动变量 在Makefile中存在一些预定义过的变量&#xff0c;我们可以直接拿来使用而…

NFC 验证平台搭建

如何把 NFC 挂载到 G7的系统中去&#xff0c;调试一步一步的过程中分别做了什么。 1. 在AHB1上找到1个slave的空挡&#xff0c;ahb-slave8&#xff0c;修改相应AMAB里面的ahb_dcdr.v 文件&#xff0c;给NFC分配基地址空间 0x110050002.在ahb1_top文件当中例化NFC&#xff0c;同…

两个原子操作组合到一块不一定是能保证原子性

1.两个原子操作组合到一块不一定是能保证原子性 ConcurrentLinkedQueue AtomicInteger 两个类都为线程安全的类&#xff0c;但是组合起来并不能保证原子性: public static ConcurrentLinkedQueue concurrentLinkedQueue new ConcurrentLinkedQueue();public static Atomic…

【Makefile由浅入深完全学习记录6】Makefile中变量的高级主题上

抓住基础&#xff0c;学习更多技术&#xff0c;迎接挑战&#xff0c;加qq&#xff1a;1126137994 微信&#xff1a;liu1126137994 一起学习更多技术~ 上一篇文章学习了makefile中的预定义变量的使用&#xff0c;今天来继续学习makefile中的变量&#xff01; 1、变量值的替换 …

micro asyn wininet

http://msdn.microsoft.com/en-us/library/cc185684(VS.85).aspx 状态机 http://support.microsoft.com/kb/224318 How To Control Connection Timeout Value by Creating Second Thread转载于:https://www.cnblogs.com/edward259/archive/2010/04/12/1710305.html

USB转WIFI无线网卡驱动程序(内核自带RT5370驱动程序添加)的移植记录之二

学习交流加 个人qq&#xff1a; 1126137994个人微信&#xff1a; liu1126137994学习交流资源分享qq群&#xff1a; 962535112 今天记录我在I.MX6Q平台添加内核自带RT5370无线网卡驱动程序的过程&#xff0c;加qq1126137994 微信&#xff1a;liu1126137994 共同学习更多技术&…

MYSQL[30]

MYSQL[30]转载于:https://www.cnblogs.com/motadou/archive/2010/04/13/1710849.html

Node.js安装详细步骤教程(Windows版)

Node.js安装详细步骤教程(Windows版) 什么是Node.js&#xff1f; 简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境&#xff1b; Node.js使用一个事件驱动、非阻塞式 I/O 的模型&#xff0c;使其轻量且高效&…

移植wpa_supplicant软件与DHCP软件解密WPA/WPA2 加密的无线网络

加qq1126137994与微信&#xff1a;liu1126137994 一起学习更多技术&#xff01; 现在的无线网络基本都是 WPA/WPA2 加密方式的&#xff0c;当我们在嵌入式Linux平台要实现无线网卡连接无线网时&#xff0c;我们需要一些工具来解密WPA/WPA2 加密方式的无线网。wpa_supplicant软…