Prometheus+grafana实践:Doris数据库的监控

文章来源:乐维社区

Doris数据库背景

Doris(Apache Doris)是一个现代化的MPP(Massive Parallel Processing,大规模并行处理)数据库,主要用于在线分析处理(OLAP)场景。

Doris数据库的特点

高性能:Doris采用了列式存储和MPP架构,能够对海量数据进行快速查询。
易用性:提供了类似SQL的查询接口,易于上手和使用。
实时性:支持实时数据更新和查询,适用于实时数据分析场景。
兼容性:支持多种数据源接入,如MySQL、Apache Hive、Apache HDFS等。
高可用:支持集群部署,具有容错和自动恢复功能。

Doris数据库的架构

前端:FE(Frontend)节点负责接收查询请求、查询解析、查询计划生成和执行。
后端:BE(Backend)节点负责数据存储、查询执行和数据导入等操作。
元数据管理:采用分布式元数据管理,保证了系统的高可用性和扩展性。

Doris数据库的部署

对于Doris数据库的架构方式分为前端和后端的方式,因此我们要分别部署前端和后端两部分。
准备4核心+4G内存+10G硬盘的centos7 X86的Linux虚拟机。

1.拉取Doris数据库的安装包
Wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz在这里插入图片描述
2.解压安装包到/usr/local/目录下
tar xzvf apache-doris-2.0.12-bin-x64.tar.gz -C /usr/local/在这里插入图片描述

3.给安装目录重新命名
mv apache-doris-2.0.12-bin-x64 apache-doris在这里插入图片描述
4.在目录下分为3部分在这里插入图片描述
5.安装Doris数据库需要jdk8的环境
yum install -y java-1.8.0-openjdk.x86_64在这里插入图片描述
6.部署fe
vim fe/conf/fe.conf在这里插入图片描述
7.加上fe的jdk的环境变量在这里插入图片描述
8.启动fe
./bin/start_fe.sh --daemon在这里插入图片描述
9.部署be
vim be/conf/be.conf在这里插入图片描述
10.加上be的jdk的环境变量在这里插入图片描述
11.启动be在这里插入图片描述
12.启动be时需要执行三条命令
sysctl -w vm.max_map_count=2000000
ulimit -n 60000
swapoff -a
13.在mysql官网中下载mysql的客户端(Doris数据库需要使用mysql客户端进行连接)
14.连接Doris数据库的fe
mysql -uroot -P9030 -h127.0.0.1在这里插入图片描述
15.将be添加到集群
ALTER SYSTEM ADD BACKEND “be_host_ip:heartbeat_service_port”;(自己主机IP加上默认端口9050)在这里插入图片描述
16.修改root密码和admin密码
SET PASSWORD FOR ‘root’ = PASSWORD(‘p@ssw0rd’);
SET PASSWORD FOR ‘admin’ = PASSWORD(‘p@ssw0rd’);
17.Doris数据库部署完成
部署prometheus并监控Doris数据库
1.在官网中下载prometheus的安装包
https://prometheus.io/download/
2.解压tar包
tar xzvf prometheus-3.0.1.linux-amd64.tar.gz 在这里插入图片描述
3.修改prometheus.yml配置文件监控Doris数据库
vim prometheus.yml在这里插入图片描述
4.Doris数据库自带metrics的接口,prometheus可以直接拿取数据,不用安装export
5.设置metrics的地址以及组在这里插入图片描述
6.启动prometheus
nohup ./prometheus --web.listen-address=“0.0.0.0:8181”在这里插入图片描述
7.停止防火墙
Systemctl stop firewalld在这里插入图片描述
8.访问网址看是否监控成功
http://192.168.91.170:8181在这里插入图片描述
部署grafana
1.安装grafana
yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-11.3.1-1.x86_64.rpm
2.启动grafana服务在这里插入图片描述
联动prometheus+grafana
1.配置数据源在这里插入图片描述
Prometheus的地址在这里插入图片描述
在这里插入图片描述
2.导入dashboard(从官网找一些dashboard导入即可)在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/68107.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【unity游戏开发之InputSystem——02】InputAction的使用介绍(基于unity6开发介绍)

文章目录 前言一、InputAction简介1、InputAction是什么?2、示例 二、监听事件started 、performed 、canceled1、启用输入检测2、操作监听相关3、关键参数 CallbackContext4、结果 三、InputAction参数相关1、点击齿轮1.1 Actions 动作(1)动…

现代JavaScript网页设计

现代JavaScript网页设计:打造沉浸式3D粒子交互系统 案例概述 本文将实现一个基于WebGL的3D粒子交互系统,结合物理引擎与光线追踪技术,创造出具有以下高级特性的现代网页体验: 动态粒子矩阵(100,000粒子实时渲染&…

基于 WEB 开发的在线学习系统设计与开发

标题:基于 WEB 开发的在线学习系统设计与开发 内容:1.摘要 摘要:随着互联网技术的飞速发展,在线学习已经成为一种重要的学习方式。本文介绍了基于 WEB 开发的在线学习系统的设计与开发过程。该系统采用了 B/S 架构,使用 Java 语言和 MySQL 数…

从Spring请求处理到分层架构与IOC:注解详解与演进实战

引言 在Spring开发中,请求参数处理、统一响应格式、分层架构设计以及依赖管理是构建可维护应用的核心要素。然而,许多开发者在实践中常面临以下问题: 如何规范接收不同格式的请求参数? 为何要引入分层架构? 什么是控…

逐笔成交逐笔委托Level2高频数据下载和分析:20250124

逐笔成交逐笔委托下载 链接: https://pan.baidu.com/s/1UWVY11Q1IOfME9itDN5aZA?pwdhgeg 提取码: hgeg Level2逐笔成交逐笔委托数据分享下载 通过Level2逐笔成交与逐笔委托的详细数据,这种以毫秒为单位的信息能揭示许多关键点,如庄家意图、误导性行为&…

详解Redis的Zset类型及相关命令

目录 Zset简介 ZADD ZCARD ZCOUNT ZRANGE ZREVRANGE ZRANGEBYSCORE ZPOPMAX BZPOPMAX ZPOPMIN BZPOPMIN ZRANK ZREVRANK ZSCORE ZREM ZREMRANGEBYRANK ZREMRANGEBYSCORE ZINCRBY ZINTERSTORE 内部编码 应用场景 Zset简介 有序集合相对于字符串、列表、哈希…

深度解析:哪种心磁图技术是心脏检查的精准之选?

在全球心血管疾病的阴影日益笼罩的今天,医学界正积极寻求一种无损、无创、无辐射的心脏健康监测方式。心磁图仪(MCG),这一前沿技术,凭借其独特的优势,悄然成为心脏电磁功能监测的新星。它不仅为心肌缺血、心…

jupyter配置说明

使用以下命令修改jupyter的配置文件参数: vim /root/.jupyter/jupyter_lab_config.py #这里填写远程访问的IP名,填*则默认是主机IP名 c.ServerApp.ip * # 这里的密码填写上面生成的密钥 c.ServerApp.password ************************************…

对grid布局有哪些了解【css】

CSS Grid 布局是现代网页设计中非常强大的布局方式之一,它能够使你以更加灵活且直观的方式来设计网页的布局,特别适用于复杂的多行多列的布局。它允许你在网页上创建非常精确的网格,帮助你把内容放置在多个行和列中。 1. Grid 布局的基本概念…

Node.js下载安装及环境配置教程 (详细版)

Node.js:是一个基于 Chrome V8 引擎的 JavaScript 运行时,用于构建可扩展的网络应用程序。Node.js 使用事件驱动、非阻塞 I/O 模型,使其非常适合构建实时应用程序。 Node.js 提供了一种轻量、高效、可扩展的方式来构建网络应用程序&#xff0…

软件越跑越慢的原因分析

如果是qt软件,可以用Qt Creator Profiler 作性能监控如果是通过web请求,可以用JMeter监控。 软件运行过程中逐渐变慢的现象,通常是因为系统资源(如 CPU、内存、磁盘 I/O 等)逐渐被消耗或软件中存在性能瓶颈。这个问题…

leetcode_链表 203.移除链表元素

203.移除链表元素 给你一个链表的头节点 head 和一个整数 val ,请你删除链表中所有满足 Node.val val 的节点,并返回新的头节点 。 # Definition for singly-linked list. # class ListNode(object): # def __init__(self, val0, nextNone): # …

日志收集Day005

1.filebeat的input类型之filestream实战案例: 在7.16版本中已经弃用log类型,之后需要使用filebeat,与log不同,filebeat的message无需设置就是顶级字段 1.1简单使用: filebeat.inputs: - type: filestreamenabled: truepaths:- /tmp/myfilestream01.lo…

Vue中设置报错页面和“Uncaught runtime errors”弹窗关闭

文章目录 前言操作步骤大纲1.使用Vue自带的报错捕获机制添加报错信息2.在接口报错部分添加相同机制3.把报错信息添加到Vuex中方便全局使用4.添加报错页面备用5.app页面添加if判断替换报错界面 效果备注:vue项目中Uncaught runtime errors:怎样关闭 前言 在开发Vue项…

01、硬件设计常用经典电路

前言 一直想入职嵌入式软件,但是25年作为学历一般的应届生真是太难了,于是今年实习就不想跑太远了,就在老家5线小城市进入了一家小企业,当电子工程师实习(学徒)。 抱着入职什么,就学习什么的态…

使用Cline+deepseek实现VsCode自动化编程

不知道大家有没有听说过cursor这个工具,类似于AIVsCode的结合体,只要绑定chatgpt、claude等大模型API,就可以实现对话式自助编程,简单闲聊几句便可开发一个软件应用。 但cursor受限于外网,国内用户玩不了,…

微信小程序中常见的 跳转方式 及其特点的表格总结(wx.navigateTo 适合需要返回上一页的场景)

文章目录 详细说明总结wx.navigateTo 的特点为什么 wx.navigateTo 最常用?其他跳转方式的使用频率总结 以下是微信小程序中常见的跳转方式及其特点的表格总结: 跳转方式API 方法特点适用场景wx.navigateTowx.navigateTo({ url: 路径 })保留当前页面&…

Redis for AI

Redis存储和索引语义上表示非结构化数据(包括文本通道、图像、视频或音频)的向量嵌入。将向量和关联的元数据存储在哈希或JSON文档中,用于索引和查询。 Redis包括一个高性能向量数据库,允许您对向量嵌入执行语义搜索。可以通过过…

[Unity 热更方案] 使用Addressable进行打包管理, 使用AssetBundle进行包的加载管理.70%跟练

在正常的开发过程中我们经常遇到一些关于热更的方案,有一些已有的方案供我们选择,但是实机情况往往不尽如人意,各有优缺点. 现在我们同样有一个热更的需求,但是要求打包简单,加载过程可查,防止出现一些资源和流程的问题. 下面介绍我在项目中使用的方案. 打包方面使用Addressabl…

免费GPU算力,不花钱部署DeepSeek-R1

在人工智能和大模型技术飞速发展的今天,越来越多的开发者和研究者希望能够亲自体验和微调大模型,以便更好地理解和应用这些先进的技术。然而,高昂的GPU算力成本往往成为了阻碍大家探索的瓶颈。幸运的是,腾讯云Cloud Studio提供了免费的GPU算力资源,结合深度求索(DeepSeek…