大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细！

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Apache Druid 系统架构 核心组件介绍
  • Druid 单机模式配置启动

在这里插入图片描述

整体介绍

Apache Druid 是一种高性能、分布式的列式存储数据库，专门用于实时分析和查询大规模数据集。它适用于 OLAP（在线分析处理）场景，尤其在处理大数据实时流时表现优异。Druid 的架构由多个组件组成，主要包括数据摄取、存储、查询和管理。

在集群配置方面，Druid 通常由以下节点构成：

  • 数据摄取层：使用 MiddleManager 节点来处理数据的实时摄取，负责从不同数据源（如 Kafka、HDFS 等）读取数据并进行实时处理。
  • 存储层：数据存储在 Historical 节点上，这些节点负责存储和管理较老的数据，支持高效的查询。数据被以列式格式存储，优化了查询性能。
  • 查询层：Broker 节点充当查询路由器，接受用户的查询请求并将其分发到相应的 Historical 或 Real-time 节点，然后将结果汇总返回给用户。
  • 协调层：Coordinator 节点负责集群的状态管理和数据分配，确保数据均匀分布并自动处理节点故障。

Druid 的配置文件允许用户自定义参数，如 JVM 设置、内存分配和数据分片策略，以便根据不同的工作负载和性能需求进行优化。此外，Druid 还支持多种查询语言，包括 SQL，便于用户进行灵活的数据分析。整体上，Druid 提供了一种高效、可扩展的解决方案，适合需要快速实时分析的大数据应用场景。

集群规划

集群部署采用的分配如下：

  • 主节点部署 Coordinator 和 Overlord 进程
  • 数据节点运行 Historical 和 MiddleManager 进程
  • 查询节点 部署Broker 和 Router 进程

在这里插入图片描述
我的实机部署情况：

  • h121.wzk.icu 2C4G ZooKeeper、Kafka、Druid
  • h122.wzk.icu 2C4G ZooKeeper、Kafka、Druid、MySQL(之前Hive时搭建)
  • h123.wzk.icu 2C2G ZooKeeper、Druid

环境变量

vim /etc/profile

写入的内容如下：

# druid
export DRUID_HOME=/opt/servers/apache-druid-30.0.0
export PATH=$PATH:$DRUID_HOME/bin

在这里插入图片描述

配置文件

将 Hadoop 配置文件：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml

上述文件链接到 conf/druid/cluster/_common 下
执行下面的Shell：

cd $DRUID_HOME/conf/druid/cluster/_common
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/yarn-site.xml yarn-site.xml
ln -s $HADOOP_HOME/etc/hadoop/mapred-site.xml mapred-site.xml
ls

执行结果如下图所示：

MySQL

将MySQL驱动链接到：$DRUID_HOME/extensions/mysql-metadata-storage 中

cd $DRUID_HOME/extensions/mysql-metadata-storage
cp $HIVE_HOME/lib/mysql-connector-java-8.0.19.jar mysql-connector-java-8.0.19.jar
ls

执行结果如下图所示：
在这里插入图片描述

修改配置

vim $DRUID_HOME/conf/druid/cluster/_common/common.runtime.properties

我们要修改如下的内容：

# 增加"mysql-metadata-storage"
druid.extensions.loadList=["mysql-metadata-storage", "druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches", "druid-multi-stage-query"]# 每台机器写自己的ip或hostname
# 我这里是h121节点
druid.host=h121.wzk.icu
# 填写zk地址
druid.zk.service.host=h121.wzk.icu:2181,h122.wzk.icu:2181,h123.wzk.icu:2181
druid.zk.paths.base=/druid# 注释掉前面 derby 的配置
# 增加 mysql 的配置
druid.metadata.storage.type=mysql
druid.metadata.storage.connector.connectURI=jdbc:mysql://h122.wzk.icu:3306/druid
druid.metadata.storage.connector.user=hive
druid.metadata.storage.connector.password=hive@wzk.icu# 注释掉local的配置
# 增加HDFS的配置，即使用HDFS作为深度存储
druid.storage.type=hdfs
druid.storage.storageDirectory=/druid/segments# 注释掉 indexer.logs For local disk的配置
# 增加 indexer.logs For HDFS 的配置
druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=/druid/indexing-logs

修改截图如下：
在这里插入图片描述
修改截图如下所示：
在这里插入图片描述

coordinator-overlord

参数大小根据实际情况调整

vim $DRUID_HOME/conf/druid/cluster/master/coordinator-overlord/jvm.config

原来的配置如下图所示：

-server
-Xms15g
-Xmx15g
-XX:+ExitOnOutOfMemoryError
-XX:+UseG1GC
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager
-Dderby.stream.error.file=var/druid/derby.log

修改内容如下所示：

-server
-Xms512m
-Xmx512m
-XX:+ExitOnOutOfMemoryError
-XX:+UseG1GC
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

对应的截图如下所示：
在这里插入图片描述

historical

参数大小根据实际情况调整

vim $DRUID_HOME/conf/druid/cluster/data/historical/jvm.config

原配置内容如下所示：

-server
-Xms8g
-Xmx8g
-XX:MaxDirectMemorySize=13g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改内容如下：

-server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=1g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改结果如下图：
在这里插入图片描述
此外还有一个参数：

vim $DRUID_HOME/conf/druid/cluster/data/historical/runtime.properties

原配置内容如下：

druid.processing.buffer.sizeBytes=500MiB

修改为如下内容：

# 相当于 50MiB
druid.processing.buffer.sizeBytes=50000000

修改的截图如下：
在这里插入图片描述
备注：

  • druid.processing.buffer.sizeBytes 每个查询用于聚合的对外哈希表的大小
  • maxDirectMemory = druid.processing.buffer.sizeBytes * (durid.processing.numMergeBuffers + druid.processing.numThreads + 1)
  • 如果 druid.processing.buffer.sizeBytes太大的话，需要加大 maxDirectMemory，否则 historical服务无法启动

middleManager

vim $DRUID_HOME/conf/druid/cluster/data/middleManager/jvm.config

原配置：

-server
-Xms128m
-Xmx128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

配置如下（没有修改）：

-server
-Xms128m
-Xmx128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改的截图如下：
在这里插入图片描述

【续接下篇！】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/55483.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《Linux从小白到高手》理论篇（六）：Linux软件安装一篇通

《Linux从小白到高手》理论篇（六）：Linux软件安装一篇通

List item 本篇介绍Linux软件安装相关的操作命令，看完本文，有关Linux软件安装相关操作的常用命令你就掌握了99%了。 Linux软件安装 RPM RPM软件的安装、删除、更新只有root权限才能使用；查询功能任何用户都可以操作；如果普通用…
阅读更多...
移情别恋c++ ദ്ദി˶ｰ̀֊ｰ́ ) ——13.mapset（模拟实现）

移情别恋c++ ദ്ദി˶ｰ̀֊ｰ́ ) ——13.mapset（模拟实现）

1.对红黑树进行改造 1.1treenode模板参数改变 之前构建treenode模板参数传的是class k,class v(set为k&#xff0c;k&#xff1b;map是k&#xff0c;v&#xff09;&#xff0c;现在直接用T代替 template<class T> //这里直接传了T作为模板参数&#xff0c;T可能是pai…
阅读更多...
【WRF工具】cmip6-to-wrfinterm工具概述：生成WRF中间文件

【WRF工具】cmip6-to-wrfinterm工具概述：生成WRF中间文件

cmip6-to-wrfinterm工具概述 cmip6-to-wrfinterm工具安装cmip6-to-wrfinterm工具使用快速启动&#xff08;Quick start&#xff09;情景1&#xff1a;MPI-ESM-1-2-HR&#xff08;默认&#xff09;&#xff1a;情景2&#xff1a;BCMM情景3&#xff1a;EC-Earth3 更改使用&#x…
阅读更多...
Hive数仓操作（四）

Hive数仓操作（四）

一、Hive 创建表案例一&#xff08;ARRAY数组类型&#xff09; 1. 准备数据文件 首先&#xff0c;准备一个名为 stu2.txt 的文件&#xff0c;文件内容示例如下&#xff1a; 1001 Alice fish,cat 1002 Bob dog,rabbit 1003 Charlie bird注意&#xff1a; …
阅读更多...
进度条（倒计时）Linux

进度条（倒计时）Linux

\r回车(回到当前行开头) \n换行 行缓冲区概念 什么现象&#xff1f; 什么现象&#xff1f;&#xff1f; 什么现象&#xff1f;&#xff1f;&#xff1f; 自己总结&#xff1a; #pragma once 防止头文件被重复包含 倒计时 在main.c中&#xff0c;windows.h是不可以用的&…
阅读更多...
大语言模型入门（一）——大语言模型智能助手

大语言模型入门（一）——大语言模型智能助手

一、大语言模型智能助手 2022年末ChatGPT一经推出&#xff0c;一时间不注册个账号用一下都跟不上潮流了。然而&#xff0c;我们要注册OpenAI的账号使用ChatGPT还是一件比较麻烦的事情&#xff08;懂的都懂&#xff09;。好在&#xff0c;国内各大团队非常给力地及时推出了自研的…
阅读更多...
计算机网络--TCP、UDP抓包分析实验

计算机网络--TCP、UDP抓包分析实验

计算机网络实验 目录 实验目的 实验环境 实验原理 1、UDP协议 2、TCP协议 实验具体步骤 实验目的 1、掌握使用wireshark工具对UDP协议进行抓包分析的方法&#xff0c;掌握UDP协议的报文格式&#xff0c;掌握UDP协议校验和的计算方法&#xff0c;理解UDP协议的优缺点&am…
阅读更多...
探索、深化技能与软实力共进

探索、深化技能与软实力共进

在当下的大语言模型AIGC快速发展的时代&#xff0c;AI辅助编程工具的普及正在深刻改变程序员的工作方式。面对这一变革&#xff0c;程序员如何保持并提升自身的核心竞争力&#xff0c;是每个程序员都需要思考的问题。  一、认知AI的力量  AI技术的发展和普及为程序员提供了…
阅读更多...
Linux云计算 |【第四阶段】RDBMS1-DAY3

Linux云计算 |【第四阶段】RDBMS1-DAY3

主要内容&#xff1a; 子查询&#xff08;单行单列、多行单列、单行多列、多行多列&#xff09;、分页查询limit、联合查询union、插入语句、修改语句、删除语句 一、子查询 子查询就是指的在一个完整的查询语句之中&#xff0c;嵌套若干个不同功能的小查询&#xff0c;从而一…
阅读更多...
《OpenCV》—— 指纹验证

《OpenCV》—— 指纹验证

用两张指纹图片中的其中一张对其验证 完整代码 import cv2def cv_show(name, img):cv2.imshow(name, img)cv2.waitKey(0)def verification(src, model):sift cv2.SIFT_create()kp1, des1 sift.detectAndCompute(src, None)kp2, des2 sift.detectAndCompute(model, None)fl…
阅读更多...
stm32四足机器人(标准库)

stm32四足机器人(标准库)

项目技术要求 PWM波形的学习 参考文章stm32 TIM输出比较(PWM驱动LED呼吸灯&&PWM驱动舵机&&PWM驱动直流电机)_ttl pwm 驱动激光头区别-CSDN博客 舵机的学习 参考文章 stm32 TIM输出比较(PWM驱动LED呼吸灯&&PWM驱动舵机&&PWM驱动直流电机)…
阅读更多...
Pikichu-xss实验案例-通过xss获取cookie

Pikichu-xss实验案例-通过xss获取cookie

原理图&#xff1a; pikachu提供了一个pkxss后台&#xff1b; 该后台可以把获得的cookie信息显示出来&#xff1b; 查看后端代码cookie.php&#xff1a;就是获取cookie信息&#xff0c;保存起来&#xff0c;然后重定向跳转到目标页面&#xff1b;修改最后从定向的ip&#xff0…
阅读更多...
计算机组成原理之乘/除法运算的基本原理，乘法电路与除法电路的基本结构

计算机组成原理之乘/除法运算的基本原理，乘法电路与除法电路的基本结构

计算机组成原理之乘/除法运算的基本原理 乘法运算&#xff1a; 基本原理&#xff1a;在计算机中&#xff0c;乘法运算通常通过累加-左移&#xff08;对于二进制乘法&#xff09;或利用阵列乘法器实现。累加-左移方法通过将被乘数与乘数的每一位相乘&#xff08;与操作&#x…
阅读更多...
V3D——从单一图像生成 3D 物体

V3D——从单一图像生成 3D 物体

导言 论文地址&#xff1a;https://arxiv.org/abs/2403.06738 源码地址&#xff1a;https://github.com/heheyas/V3D.git 人工智能的最新进展使得自动生成 3D 内容的技术成为可能。虽然这一领域取得了重大进展&#xff0c;但目前的方法仍面临一些挑战。有些方法速度较慢&…
阅读更多...
c语言基础作业

c语言基础作业

选择题 1.1、以下选项中,不能作为合法常量的是 __________ A&#xff09;1.234e04 B&#xff09;1.234e0.4C&#xff09;1.234e4 D&#xff09;1.234e0 1.2、以下定义变量并初始化错误的是_____________。 A) char c1 ‘H’ &#xff1b; B) char c1 9…
阅读更多...
【数一线性代数】021入门

【数一线性代数】021入门

Index 推荐阅读&#xff1a;https://blog.csdn.net/weixin_60702024/article/details/141729949分析实现总结 推荐阅读&#xff1a;https://blog.csdn.net/weixin_60702024/article/details/141729949 给定二叉树的根节点root&#xff0c;计算其叶节点的个数。 分析实现 类似…
阅读更多...
Scrapy 爬虫的大模型支持

Scrapy 爬虫的大模型支持

使用 Scrapy 时&#xff0c;你可以轻松使用大型语言模型 (LLM) 来自动化或增强你的 Web 解析。 有多种使用 LLM 来帮助进行 Web 抓取的方法。在本指南中&#xff0c;我们将在每个页面上调用一个 LLM&#xff0c;从中抽取我们定义的一组属性&#xff0c;而无需编写任何选择器或…
阅读更多...
网络编程（5）——模拟伪闭包实现连接的安全回收

网络编程（5）——模拟伪闭包实现连接的安全回收

六、day6 今天学习如何利用C11模拟伪闭包实现连接的安全回收&#xff0c;之前的异步服务器为echo模式&#xff0c;但存在安全隐患&#xff0c;在极端情况下客户端关闭可能会导致触发写和读回调函数&#xff0c;二者都进入错误处理逻辑&#xff0c;进而造成二次析构。今天学习如…
阅读更多...
Java 类加载委托机制

Java 类加载委托机制

1. 引言 Java 中的类加载机制是 JVM 的核心之一&#xff0c;它通过将字节码加载到内存中&#xff0c;使得程序能够正常运行。而在这个过程中&#xff0c;Java 引入了一种独特的“类加载委托机制”&#xff08;也称双亲委派机制&#xff09;&#xff0c;以确保类加载的稳定性与…
阅读更多...
【ZYNQ 开发】填坑！双核数据采集系统LWIP TCP发送，运行一段时间不再发送且无法ping通的问题解决

【ZYNQ 开发】填坑！双核数据采集系统LWIP TCP发送，运行一段时间不再发送且无法ping通的问题解决

问题描述 之所以说是填坑&#xff0c;是因为之前写了一篇关于这个双核数据采集系统的调试记录&#xff0c;问题的具体表现是系统会在运行一段时间后&#xff08;随机不定时&#xff0c;长了可能将近两小时&#xff0c;短则几分钟&#xff09;&#xff0c;突然间就不向电脑发送数…
阅读更多...
最新文章

Copyright @ 2022~2023