Hologres + Flink 流式湖仓建设

Hologres + Flink 流式湖仓建设

  • 1 Flink + Hologres
  • 2 实时维表 Lookup

1 Flink + Hologres

在这里插入图片描述

holo在实时数仓领域非常受欢迎,一般搭配flink+hologres来做实时数仓,中间分层用holo,上下游一般依赖于holo的binlog来下发数据
在这里插入图片描述

2 实时维表 Lookup

在这里插入图片描述
Hologres 作为 Flink 的实时维表,相比其他维表具有以下优势:

  • 维表百万 RPS 查询。

通过 Hologres 行存表主键点查的能力,支持非常高 RPS 的查询,更容易达到百每秒百万单次查询,我们内部存在一些业务甚至可以到达几千万和上亿次的查询。

  • 维表实时可更新。
    可以实现更新维表及其中的一部分字段,降低运维难度,提升效率。

  • 支持1对N点查(Prefix Scan)。
    不仅支持一对一查询,更支持一对多查询。例如我们在保险客户里面,需要根据身份证查询有哪些保单,一个人可能会对应多张保单,这种一对 N 的查询 Hologres 可以非常友好的支持。

  • 支持 InsertIfNotExist。
    在一般维表进行查询时,查到就返回,查不到就返回空,但通过这个能力,Hologres 可以做到在查询不到数据时插入一则数值,再把插入值返回。这个功能可以用来玩转流量分析场景的精确 UV 查询,通过 RoaringBitmap 画像方案,让千亿级别的画像分析从分钟级缩减到秒级。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/623856.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微服务理解

分布式和微服务有什么区别 分布式是把一个集中式系统拆分成多个系统,每一个系统单独对外提供部分功能,整个分布式系统整体对外提供一整套服务。对于访问分布式系统的用户来说,感知上就像访问一台计算机一样. 而分布式架构的具体实现有很多种…

使用java内置工具jar手动创建xxx.jar文件

平时我们一般都是在IDE工具中使用插件打包JAVA项目为 XXX.jar文件, 其实这个工作我们手动也可以完成, 也非常简单, 使用JDK自带的jar命令行工具即可. 用法: jar {ctxui}[vfmn0PMe] [jar-file] [manifest-file] [entry-point] [-C dir] files ... jar用法示例 创建 jar: …

第8章-第2节-Java中IO流的简单介绍

1、什么是流 我们可以先想象水流是怎样的?溪水不断流动,最终融入大海;我们今天的学习IO其实如同水流一样,当我们读取文件信息或者写入信息时,如同水流一样,不断读取或者写入,直到业务流程结束。…

高级分布式系统-第13讲 分布式控制经典理论

模糊控制器 模糊控制是以模糊集理论、模糊语言变量和模糊逻辑推理为基础的一种智能控制方法,它是从行为上模仿人的模糊推理和决策过程的一种智能控制方法。 该方法首先将操作人员或专家经验编成模糊规则,然后将来自传感器的实时信号模糊化,…

vue3-响应式基础之ref

声明响应式状态 ref() 在组合式 API 中,推荐使用 ref() 函数来声明响应式状态: ref() 接收参数,并将其包裹在一个带有 .value 属性的 ref 对象中返回: import { ref } from vue const count ref(0)console.log(count) // { va…

CAN工具 - ValueCAN3 - 基础介绍

关注菲益科公众号—>对话窗口发送 “CANoe ”或“INCA”,即可获得canoe入门到精通电子书和INCA软件安装包(不带授权码)下载地址。 CAN/CANFD通讯广泛存在于整个车载网络中,几乎每一块软硬件的开发都需要用到CAN工具&#xff0c…

Mask R-CNN网络中RPN区域建议网络的作用是什么?

问题描述:Mask R-CNN网络中RPN区域建议网络的作用是什么? 问题解答: 在 Mask R-CNN(Mask Region-based Convolutional Neural Network)中,RPN(Region Proposal Network)是用于生成…

机器学习 | 多层感知机MLP

机器学习 | 多层感知机MLP 1. 实验目的 自行构造一个多层感知机,完成对某种类型的样本数据的分类(如图像、文本等),也可以对人工自行构造的二维平面超过3类数据点(或者其它标准数据集)进行分类。 2. 实验…

Hadoop 3.2.4 集群搭建详细图文教程

一、集群简介 Hadoop 集群包括两个集群:HDFS 集群、YARN 集群。两个集群逻辑上分离、通常物理上在一起;两个集群都是标准的主从架构集群。逻辑上分离 两个集群互相之间没有依赖、互不影响 物理上在一起 某些角色进程往往部署在同一台物理服务器上 MapR…

KY56 数制转换

进制转换板子 ti #include<bits/stdc.h>using namespace std;string ss "0123456789ABCDEF"; int a, b; string s;int main() {cin>>a>>s>>b;string str "";int len s.length();for(int i 0; i < len; ){int k 0;for(int…

Open3D (C++) 计算条件数

目录 一、算法原理1、条件数2、参考文献二、代码实现三、结果展示本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫与GPT。 一、算法原理 1、条件数 条件数法是目前应用最为广泛的一种病态诊断方法。条件数的定义为:

LeeCode前端算法基础100题(18)整数转罗马数字

一、问题详情: 罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。 字符 数值 I 1 V 5 X 10 L 50 C 100 D 500 M 1000 例如, 罗马数字 2 写做 II ,即为两个并列的 1…

K邻近和KNN

K邻近 K邻近是一种分类算法&#xff0c;其思路是计算离该类别最近的K条数据的类别&#xff0c;来标记该数据的类别 !别 KNN&#xff1a; • KNN算法主要是用于解决监督学习中的分类问题 • 其数据集是由特征值和目标值组成&#xff0c;使用的数据是已经标记过的数据 • KNN…

基于RNN的模型

文本数据是一种典型的具有序列结构的数据&#xff0c;因为文本通常是由一系列的词语或字符组成的序列。每个词语或字符在文本中都有特定的位置和顺序&#xff0c;这种有序的结构对于理解和处理文本的含义至关重要。因此&#xff0c;多数情况下需要使用时间序列建模来完成相应的…

HX711压力传感器学习一(STM32)

目录 原理图&#xff1a;​ 引脚介绍&#xff1a; HX711介绍工作原理: 程序讲解&#xff1a; 整套工程&#xff1a; 发送的代码工程&#xff0c;与博客的不一致&#xff0c;如果编译有报错请按照报错和博客进行修改 原理图&#xff1a; 引脚介绍&#xff1a; VCC和GND引…

计算机体系结构基础复习

1. 计算机系统可划分为哪几个层次,各层次之间的界面是什么? 你认为这样划分层次的意义何在? 答&#xff1a; 计算机系统可划分为四个层次&#xff0c;分别是&#xff1a;应用程序、 操作系统、 硬件系统、 晶体管四个大的层次。 注意把这四个层次联系起来的三个界面。各层次…

gateway Redisson接口级别限流解决方案

文章目录 前言1. 计数器算法&#xff08;固定窗口限流器&#xff09;2. 滑动窗口日志限流器3. 漏桶算法&#xff08;Leaky Bucket&#xff09;4. 令牌桶算法&#xff08;Token Bucket&#xff09;5. 限流队列应用场景实现工具 一、Redisson简介二、Redisson限流器的原理三、Red…

Reflect

Reflect Reflect拥有Object对象的一些内部方法&#xff0c;某些方法会同时在Object对象和Reflect对象上部署&#xff0c;也就是说Object对象上存在的方法&#xff0c;通过Reflect也可以访问到。 单论Reflect的话&#xff0c;可以这么理解&#xff0c;Reflect就是继承了Object的…

【python、nlp】文本预处理

文本预处理及其作用&#xff1a; 文本语料在输送给模型前一般需要一系列的预处理工作&#xff0c;才能符合模型输入的要求&#xff0c;如&#xff1a;将文本转化成模型需要的张量&#xff0c;规范张量的尺寸等&#xff0c;而且科学的文本预处理环节还将有效指导模型超参数的选…

富文本使用总结

多种富文本 一、Tinymce富文本 踩坑&#xff1a;disabled和readonly效果问题 解决方法&#xff1a; 【Tinymce富文本】如何实现disabled和readonly效果_tinymce disabled-CSDN博客 二、vue-quill-editor富文本 官方链接&#xff1a; vue-quill-editor Quill官方中文文档…