LSM树存储模型

LSM(log-structed-merge-tree)

leveldb和rocksdb底层使用LSM树做存储引擎,LSM树使用skiplist做索引,他们先将数据写入内存中,按照key进行划分,定期的merge写入到磁盘中,合并后数据写入下一层level

LSM是什么?解决什么问题?
在leveldb和rocksdb中,面临的一个主要问题是数据的落盘,在写磁盘时,随机写会消耗很大的磁盘IO,因此为了解决随机写的问题,引入了LSM树。LSM树将随机写变成了append,极大地降低了磁盘IO的消耗。

 

MySQL的innodb引擎使用了B+树作为索引

B+树作为索引时,随机读很快,但是有大量的随机写时,会占用很多的磁盘IO导致消耗比较大。B+树是通过降低树的高度,使树的分叉尽可能多来达到查询时的高效率的。但是在update、insert或delete时,需要进行树的调整,因此磁盘IO的消耗会比较大。所以说B+树不适合作为leveldb和rocksdb的存储引擎。

例如:假设要写入一个100000个随机的key,对磁盘来说,最快的写入方式一定是顺序地将每一次写入都直接写入到磁盘中即可。
但这样带来的问题是查询消耗大量的磁盘IO,因为每次查询一个值都需要遍历整个数据才能找到,这个读性能就太差了;
那么如果我想获取磁盘读性能最高,应该怎么做呢?把数据全部排序就行了,B+树就是这样的结构,但B+树的写性能太差了,需要提升写,可以放弃部分磁盘读性能,怎么办呢? 引入LSM树

LSM是如何解决问题的?

LSM树将随机写变成了append,降低了磁盘IO的消耗,但是以牺牲部分读性能达到优化写性能的目的。

将有序的分组数据划分很多个小的有序结构,比如每m个数据,在内存里排序一次,下面100个数据,再排序一次……这样依次做下去,我就可以获得N/m个有序的小的有序结构,在查询的时候,因为不知道这个数据到底是在哪里,所以就从最新的一个小的有序结构里做二分查找,找得到就返回,找不到就继续找下一个小有序结构,一直到找到为止。

因此,LSM树读取的时间复杂度是(N/m)*log2N,读取效率是会下降的,这就是LSM的根本思路。

为了降低读时磁盘IO的消耗,leveldb和rocksdb引入了bloom filter和compact机制。

 

LSM树是以牺牲读的效率来达到提升随机写效率的目的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/463420.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

js-图片预加载

//图片预加载 //闭包模拟局部作用于(function($){function Preload(imgs,options){this.imgs (typeof imgs string) ? [imgs]:imgs;this.opts $.extend({},Preload.DEFAULTS,options);if(this.opts.order ordered){//有序加载this._ordered();}else{//无序加载this._unord…

LevelDb实现原理

原文地址:http://www.samecity.com/blog/Index.asp?SortID12, 最近由于工作上的需求,需要用到leveldb,因此转载此文章用于以后的查询使用。 LevelDb日知录之一:LevelDb 101 说起LevelDb也许您不清楚,但是…

发现几个常用的asp.net MVC Helper 源码

AspNetMvc.DbC.zipXmlSiteMap.zipXhtmlHelper.zipTreeView.zipQuickMenu.zipRotator_v1-1.zipRSSReader.zipFormValidation.zip转载于:https://www.cnblogs.com/nick4/archive/2009/06/10/1500284.html

排序 八种经典排序算法

排序(Sorting) 是计算机程序设计中的一种重要操作,它的功能是将一个数据元素(或记录)的任意序列,重新排列成一个关键字有序的序列。 我整理了以前自己所写的一些排序算法结合网上的一些资料,共介绍8种常用的排序算法,希望对大家能…

Redis使用过程出现类型转换异常问题- 20190220

问题描述: 使用redis过程中,出现类型转换异常问题,出现在存数据和取数据时。而且相同代码在本地测试无异常,而提交到测试环境,则会出现问题。 问题原因: 最后定位到,原因在使用redis存取数据时&…

表达式求值Spring.Expressions

简介Spring.Expressions命名空间可以用一种强大的表达式语言在运行时操作对象。这种语言可以读写属性值、调用方法、访问数组/集合/索引器的元素、进行算术和逻辑运算,同时支持命名变量,并且能够通过名称从IoC容器获取对象。 在Spring.NET中&#xff0c…

C语言 ,嵌入式 ,数据结构 面试题目(1)

1. 用预处理指令#define 声明一个常数&#xff0c;用以表明1年中有多少秒&#xff08;忽略闰年问题&#xff09; #define SECONDS_PER_YEAR (60 * 60 * 24 * 365)UL 2. 写一个“标准”宏MIN&#xff0c;这个宏输入两个参数并返回较小的一个。 #define MIN(A,B) ((A) < (B) (…

使用Vue写一个登陆页面并在管理页面查看和修改

注册页面代码如下html 1 <!DOCTYPE html>2 <html lang"en">3 <head>4 <meta charset"UTF-8">5 <title>注册</title>6 <link rel"stylesheet" href"css/register.css">7 &l…

MarshalByRefObject 的DOME代码

今天研究了下MarshalByRefObject跨程序通讯&#xff0c;由于今天很晚了&#xff0c;先贴出DOME代码。 分别建立2个winform程序&#xff0c;WinClient和WinServer&#xff0c;2个项目中都有CommunicationInfo类&#xff08;你也可以将CommunicationInfo做成一个类库供2个winform…

坐地铁的好心MM们小心啊,周末刚经历了一个地铁新骗术

先废话少说&#xff0c;直奔主题。这个周日&#xff0c;也就是昨天&#xff0c;很开心的和BF坐5号线去东单看电影&#xff0c;在惠新西街南口那站上来一个小姑娘&#xff0c;也就11&#xff0c;12岁那样&#xff0c;穿着小背心、短裤&#xff0c;脖子上还挂着类似学生证一类的牌…

leveldb资料整理

转自&#xff1a;http://hideto.iteye.com/blog/1328921 最近一段时间在学习leveldb的源码&#xff0c;找到了一些相关的资源&#xff0c;用于后续查考和学习使用。 leveldb介绍 http://code.google.com/p/leveldb/ http://en.wikipedia.org/wiki/LevelDB http://highscalabi…

C语言 ,嵌入式 ,数据结构 面试题目(2)

100 struct name1{ char str;short x;int num; } struct name2{char str;int num;short x; } sizeof(struct name1)8,sizeof(struct name2)12101读文件file1.txt的内容&#xff08;例如&#xff09;&#xff1a; 12 34 56 输出到file2.txt&#xff1a; 56 34 12 &#xff08;…

hdu - 3415 Max Sum of Max-K-sub-sequence

题意&#xff1a;求一个环中最大区间和&#xff0c;区间长度 < n。 用单调队列优化Dp&#xff0c;核心内容是dp[i] max(sum[j]) - sum[i-1]。 这题最后的输出有很多要求&#xff0c;如果有多个解&#xff0c;输出起始位置最小的&#xff1b;如果还有多个解&#xff0c;输出…

XNA中的Render State管理

XNA中的Render State管理 仅供个人学习使用&#xff0c;请勿转载&#xff0c;勿用于任何商业用途。 The Problem&#xff1a; XNA中一个设计的非常不好的地方&#xff0c;就是把各种render state定义为RenderState类的成员&#xff0c;而不是枚举。在DX/MDX中&#xff0c…

11 装饰器

装饰器介绍与简单实现 1. 什么是装饰器 器:指的是具备某一功能的工具 装饰:指的是为被装饰器对象添加新功能 装饰器就是用来为被装饰器对象添加新功能的工具 注意:装饰器本身可以是任意可调用对象,被装饰器的对象也可以是任意可调用对象2. 为何要用装饰器 开放封…

C语言 ,嵌入式 ,数据结构 面试题目(3)

182 链表题&#xff1a;一个链表的结点结构 struct Node { int data ; Node *next ; }; typedef struct Node Node ; (1)已知链表的头结点head,写一个函数把这个链表逆序 ( Intel)Node * ReverseList(Node *head) //链表逆序 { if ( head NULL || head->next NULL ) retur…

C++11 新特性 —— 关键字noexcept

转载;https://www.cnblogs.com/sword03/p/10020344.html 1 关键字noexcept 从C11开始&#xff0c;我们能看到很多代码当中都有关键字noexcept。比如下面就是std::initializer_list的默认构造函数&#xff0c;其中使用了noexcept。 constexpr initializer_list() noexcept: _M…

统一项目管理平台(UMPlatForm.NET)-4.7 组织机构管理模块

统一项目管理平台&#xff08;UMPlatForm.NET&#xff09; 4.7 组织机构管理模块 统一项目管理平台&#xff08;UMPlatForm.NET&#xff09;,基于.NET的快速开发、整合框架。 4.7 组织机构管理模块 组织机构管理模块提供直观方便的组织机构管理&#xff0c;以树型结构显示单位和…

开源GIS系统关系图

转载于:https://www.cnblogs.com/penglink/archive/2009/06/26/1511373.html

c++常用知识点,易错点,面试常问点

1.谈谈你对C内存分配的理解1.1 还是的先看看C对内存分为哪几个区&#xff1f;1、栈区&#xff08;stack&#xff09;— 由编译器自动分配释放 &#xff0c;存放函数的参数值&#xff0c;局部变量的值等。其操作方式类似于数据结构中的栈。想知道为什么效率高吗&#xff1f;因为…