【最后203篇系列】020 rocksdb agent

今天还是挺开心的一天,又在工具箱里加了一个工具。嗯,但是快下班的时候也碰到一些不太顺心的事,让我有点恼火。我还真没想到一个专职的前端,加测试,以及其他一堆人,竟然不知道后端返回的markdown,在前端渲染成html展示后,如果字体太大,应该去改css这件事。

实在比较无语,还好有deepseek
在这里插入图片描述
在这里插入图片描述
反正我也纯粹技术直男那种气不过,突然灵光一闪,难道:
在这里插入图片描述

好吧,反正气也消了,冷静下来想想有啥要和老版沟通的要仔细,哈哈

言归正传,今天的一大收获是rocksdb agent。

大体是这么一回事,rocksdb是一个基于「硬盘」的kv数据库,因为前面做的伪实时服务是需要这么一个kv库来缓存结果的。最好的选择当然是redis,目前也是这么干的,还能直接设置一个ttl,很方便。

我自己的服务都喜欢把内存往大了整,再配机器肯定不会低于128G的,如果是霄龙,必须是256G+的。不过有时候生产上的服务器可能不一定能做主;另外还有一个点是,redis我定位不做持久化,所以在需要做程序持久化缓存的时候就得用别的库。目前我用mongo,其实也还不错,mongo的用途太多了。但mongo也有问题,如果真的用在生产上,大量零碎的并发还是烦人的。

我发现rocksdb刚好卡在这个空挡上,使用起来是类似下面这样的样子:

import rocksdb# 打开或创建一个 RocksDB 数据库
db = rocksdb.DB("test.db", rocksdb.Options(create_if_missing=True))# 插入数据
db.put(b"key1", b"value1")# 读取数据
value = db.get(b"key1")
print(value.decode('utf-8'))  # 输出: value1# 删除数据
db.delete(b"key1")# 关闭数据库
del db

第一个小问题,读写是二进制字符串

然后我就像装一个环境来着,之前我以为rocksdb是像mysql那样,要专门起个服,后来发现是嵌入式的,类似sqlite的方式,只要pip就好了。

然后… pip失败了,报了一堆错我也没细看。后来按大模型的指导试了下,发现不管是mac还是ubuntu都挺不好装的,后来在我的某个镜像上装好了

conda install -c conda-forge python-rocksdb

第二个小问题,安装不方便

然后开始使用测试,突然发现在ipython里执行数据库导入时报错,原因是之前已经执行了一次了。原来rocksdb是进程锁的,一个进程只能开一个连接。这点上,多少有点像kafka>

第三个小问题,进程锁

因为这些问题,做一个agent就变得很有必要。总体上,这个agent按照json标准实现了普通读写和ttl读写,以及删除键。还有一些高级的功能就没有去搞了,这样就完成了我的持久化kv存储。

然后我又用一个对象稍微封装了一下,这样用起来比较方便。

wrock = WRock()# 写 2-6ms/条  在100和1000并发下测试 for 1000和10000keyword_args_list = [{'k':'test_var%s' % i , 'v': 123 * i , 'ttl' : 100, 'timeout':100} for i in range(1000)]tick1 = time.time()results = thread_concurrent_run(wrock.ttl_save, keyword_args_list= keyword_args_list, max_workers =100)print(time.time() - tick1)# 读 + 删 2-6ms/条keyword_args_list = [{'k':'test_var%s' % i , 'timeout':100} for i in range(1000)]tick1 = time.time()results = thread_concurrent_run(wrock.ttl_get, keyword_args_list= keyword_args_list, max_workers =100)print(time.time() - tick1)

总体上的效果还是让人满意的,每条大约是2ms-6ms的读写,有相当一部分会损耗在json序列化和反序列化上,但这也是必须的。

按2ms的速度估算,TPS大约是500。回头有空我也可以测一下redis,同样也受到json序列化的影响稍微降低了速度。

大约花了半天时间就完成好了这一切,感觉还是不错的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/72905.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

10-- 网络攻击防御原理全景解析 | 从单包攻防到DDoS军团作战(包你看一遍全记住)

🛡️ 网络攻击防御原理全景解析 | 从单包攻防到DDoS军团作战 如果你也对网络工程师的内容感兴趣的话,欢迎看我的最新文章9–BGP路由黑洞(超万字大解析):网络世界的“百慕大三角“逃生指南(BGP路由配置实验含路由黑洞,…

解锁Python print()函数高级用法

print() 是 Python 中最常用的函数之一,用于将内容输出到控制台。虽然它的基本用法非常简单,但 print() 函数还支持许多高级功能,如格式化输出、重定向输出、控制分隔符和结束符等。 1. print() 函数的基本用法 1.1 语法 print() 函数的基本语法如下: print(*objects, …

鬼泣:动作系统3

文章目录 self-Tag:可以直接在游戏运行时通过标签区分不同Actorsolid隔离:模块化低耦合:将功能拆分成多个模块,修改单一模块时无需修改其他模块 动作优先级:当前动作能否打断上一动作函数不能使用timelineset timer by…

Polymer入门指南:从零开始构建、组织、管理Web Component

前言 Web Component是一种强大的技术,它允许开发者创建可重用的自定义元素,其功能和样式都与原生HTML元素类似。Polymer是一个用于创建Web Component的库,简化了开发过程。今天我们将一起来了解如何基于Polymer开发Web Component。 什么是P…

广度优先搜索(BFS) vs 深度优先搜索(DFS):算法对比与 C++ 实现

目录 一、BFS 和 DFS 的核心思想 1. BFS(广度优先搜索) 2. DFS(深度优先搜索) 二、BFS 和 DFS 的对比 三、C 代码实现 1. BFS 实现(邻接表表示的无向图) 2. DFS 实现(递归与迭代两种方式&…

vulhub靶机----基于docker的初探索,环境搭建

环境搭建 首先就是搭建docker环境,这里暂且写一下 #在kali apt update apt install docker.io配置docker源,位置在/etc/docker/daemon.json {"registry-mirrors": ["https://5tqw56kt.mirror.aliyuncs.com","https://docker…

第7章 类与面向对象

6-1 二维平面上的点操作(Python3) 题目描述 设计一个表示二维平面上点的类 Point。该类应该包含以下功能: 两个私有属性 _x 和 _y,分别表示点的横坐标和纵坐标。 一个构造函数 __init__,用于初始化点的坐标。 一个…

算法训练篇06--力扣611.有效三角形的个数

目录 1.题目链接:611.有效三角形的个数 2.题目描述: 3.解法一:(暴力解法)(会超时): 4.解法二(排序双指针) 1.题目链接:611.有效三角形的个数 2.题目描述: 给定一个包含非负整数的数组 nums &#xf…

网络编程之解除udp判断客户端是否断开

思路&#xff1a;每几秒发送一条不显示的信息&#xff0c;客户端断开则不再发送信息&#xff0c;超时则表示客户端断开连接。&#xff08;心跳包&#xff09; 服务器 #include <head.h>#define MAX_CLIENTS 100 // 最大支持100个客户端 #define TIMEOUT 5 // 5秒…

Python Cookbook-4.8 二维阵列变换

任务 需要变换一个列表的列表&#xff0c;将行换成列&#xff0c;列换成行。 解决方案 需要一个列表&#xff0c;其中的每一项都是同样长度的列表&#xff0c;像这样 arr [[1,2,3],[4,5,6],[7,8,9],[10,11,12]]列表推导提供了简单方便的方法以完成二维阵列的转换: print …

B树与B+树在MySQL中的应用:索引

数据结构演示网站&#xff1a;Data Structure Visualization 先来了解两个数据结构B树与B树 B树&#xff1a; N阶B树每个节点最多存储N-1个Key&#xff0c;N个指针 例如&#xff1a;一个5阶B树&#xff0c;当前节点存储到5个Key时&#xff0c;中间的数会向上分离&#xff0c;…

【重构小程序】基于Tika和Langchain4J进行文件解析和文本切片(二)

为了将大语言模型植入到小程序中&#xff0c;来支持用户的问答。那我们首先需要做的是什么呢&#xff0c;不是引入大语言模型&#xff0c;而且为大语言模型搭建一个私有化知识库&#xff0c;但是这是这节呢&#xff0c;我们先不搭建私有化知识库&#xff0c;在这之前&#xff0…

python|exm6-1try-except结构|raise关键字|异常类型

目录 一、try-expect 1. 多个try-expect结构的使用 1.1 捕捉特定异常 1.2 捕捉全部异常 1.3 所有异常合并处理 2. try-except-else-finally 结构 二、raise 关键字 一、try-expect try-expect 结构是 Python 中用于异常处理的关键机制。它允许你捕获并处理代码中可能发生…

小蓝的括号串1(栈,蓝桥云课)

问题描述 小蓝有一个长度为 nn 的括号串&#xff0c;括号串仅由字符 ( 、 ) 构成&#xff0c;请你帮他判断一下该括号串是否合法&#xff0c;合法请输出 Yes &#xff0c;反之输出 No 。 合法括号序列&#xff1a; 空串是合法括号序列。 若 ss 是合法括号序列&#xff0c;则 (…

Centos7配置本地yum源

Centos7配置本地yum源 1、基于iso镜像的centos源 1.1 准备iso <span style"color:#000000"><span style"background-color:#ffffff"><code class"language-bash"><span style"color:#008000"># 首先看自己使用…

VNA操作使用学习-14 再测晶振特性

再测一下4Mhz晶振&#xff0c;看看特性曲线&#xff0c;熟悉一下vna使用。 s11模式&#xff0c;找遍了各种format都无法显示&#xff0c;只有这一种&#xff08;s11&#xff0c;Resistance&#xff09;稍微显示出一个谐振&#xff0c;但是只有一个点。 s21模式 这是201p&#…

Tr0ll2靶机详解

一、主机发现 arp-scan -l靶机ip&#xff1a;192.168.55.164 二、端口扫描、漏洞扫描、目录枚举、指纹识别 2.1端口扫描 nmap --min-rate 10000 -p- 192.168.55.164发现21端口的ftp服务开启 以UDP协议进行扫描 使用参数-sU进行UDP扫描 nmap -sU --min-rate 10000 -p- 19…

基于开源模型的微调训练及瘦身打造随身扫描仪方案__用AI把手机变成文字识别小能手

基于开源模型的微调训练及瘦身打造随身扫描仪方案__用AI把手机变成文字识别小能手 一、准备工作&#xff1a;组装你的"数码工具箱" 1. 安装基础工具&#xff08;Python环境&#xff09; 操作步骤&#xff1a; 访问Python官网下载安装包安装时务必勾选Add Python to…

GitHub 超火的开源终端工具——Warp

Warp 作为近年来 GitHub 上备受瞩目的开源终端工具&#xff0c;以其智能化、高性能和协作能力重新定义了命令行操作体验。以下从多个维度深入解析其核心特性、技术架构、用户评价及生态影响力&#xff1a; 一、背景与核心团队 Warp 由前 GitHub CTO Jason Warner 和 Google 前…

使用C#创建安装Windows服务程序

在实际工作中&#xff0c;如果我们需要开发一个运行在后台&#xff0c;无需用户交互&#xff0c;不需要界面的应用程序&#xff0c;我们可以通过Windows服务来实现。 本文主要介绍如何基于C#创建一个Windows服务&#xff0c;来实现西门子PLC的定时读取保存。 一、Windows服务…