网站建设业务员,泉州seo招聘,网站建设拾金手指下拉,做汽车价格的网站建设Redis原理 Redis数据结构 Redis网络模型 RESP协议 Redis内存回收 Redis原理篇 一、原理篇-Redis数据结构 1.1 Redis数据结构-动态字符串 我们都知道Redis中保存的Key是字符串#xff0c;value往往是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。 不… Redis原理 Redis数据结构 Redis网络模型 RESP协议 Redis内存回收 Redis原理篇 一、原理篇-Redis数据结构 1.1 Redis数据结构-动态字符串 我们都知道Redis中保存的Key是字符串value往往是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。 不过Redis没有直接使用C语言中的字符串因为C语言字符串存在很多问题 获取字符串长度的需要通过运算非二进制安全不可修改 Redis构建了一种新的字符串结构称为简单动态字符串Simple Dynamic String简称SDS。 例如我们执行命令 那么Redis将在底层创建两个SDS其中一个是包含“name”的SDS另一个是包含“虎哥”的SDS。 Redis是C语言实现的其中SDS是一个结构体源码如下 例如一个包含字符串“name”的sds结构如下 SDS之所以叫做动态字符串是因为它具备动态扩容的能力例如一个内容为“hi”的SDS 假如我们要给SDS追加一段字符串“,Amy”这里首先会申请新内存空间 如果新字符串小于1M则新空间为扩展后字符串长度的两倍1 如果新字符串大于1M则新空间为扩展后字符串长度1M1。称为内存预分配。 1.2 Redis数据结构-intset IntSet是Redis中set集合的一种实现方式基于整数数组来实现并且具备长度可变、有序等特征。 结构如下 其中的encoding包含三种模式表示存储的整数大小不同 为了方便查找Redis会将intset中所有的整数按照升序依次保存在contents数组中结构如图 现在数组中每个数字都在int16_t的范围内因此采用的编码方式是INTSET_ENC_INT16每部分占用的字节大小为 encoding4字节length4字节contents2字节 * 3 6字节 我们向该其中添加一个数字50000这个数字超出了int16_t的范围intset会自动升级编码方式到合适的大小。 以当前案例来说流程如下 升级编码为INTSET_ENC_INT32, 每个整数占4字节并按照新的编码方式及元素个数扩容数组 倒序依次将数组中的元素拷贝到扩容后的正确位置 将待添加的元素放入数组末尾 最后将inset的encoding属性改为INTSET_ENC_INT32将length属性改为4 源码如下 Intset可以看做是特殊的整数数组具备一些特点 Redis会确保Intset中的元素唯一、有序 具备类型升级机制可以节省内存空间 底层采用二分查找方式来查询 1.3 Redis数据结构-Dict 我们知道Redis是一个键值型Key-Value Pair的数据库我们可以根据键实现快速的增删改查。而键与值的映射关系正是通过Dict来实现的。 Dict由三部分组成分别是哈希表DictHashTable、哈希节点DictEntry、字典Dict 当我们向Dict添加键值对时Redis首先根据key计算出hash值h然后利用 h sizemask来计算元素应该存储到数组中的哪个索引位置。我们存储k1v1假设k1的哈希值h 1则13 1因此k1v1要存储到数组角标1位置。 Dict由三部分组成分别是哈希表DictHashTable、哈希节点DictEntry、字典Dict Dict的扩容 Dict中的HashTable就是数组结合单向链表的实现当集合中元素较多时必然导致哈希冲突增多链表过长则查询效率会大大降低。 Dict在每次新增键值对时都会检查负载因子LoadFactor used/size 满足以下两种情况时会触发哈希表扩容 哈希表的 LoadFactor 1并且服务器没有执行 BGSAVE 或者 BGREWRITEAOF 等后台进程 哈希表的 LoadFactor 5 Dict的rehash 不管是扩容还是收缩必定会创建新的哈希表导致哈希表的size和sizemask变化而key的查询与sizemask有关。因此必须对哈希表中的每一个key重新计算索引插入新的哈希表这个过程称为rehash。过程是这样的 计算新hash表的realeSize值取决于当前要做的是扩容还是收缩 如果是扩容则新size为第一个大于等于dict.ht[0].used 1的2^n 如果是收缩则新size为第一个大于等于dict.ht[0].used的2^n 不得小于4 按照新的realeSize申请内存空间创建dictht并赋值给dict.ht[1] 设置dict.rehashidx 0标示开始rehash 将dict.ht[0]中的每一个dictEntry都rehash到dict.ht[1] 将dict.ht[1]赋值给dict.ht[0]给dict.ht[1]初始化为空哈希表释放原来的dict.ht[0]的内存 将rehashidx赋值为-1代表rehash结束 在rehash过程中新增操作则直接写入ht[1]查询、修改和删除则会在dict.ht[0]和dict.ht[1]依次查找并执行。这样可以确保ht[0]的数据只减不增随着rehash最终为空 整个过程可以描述成 总结 Dict的结构 类似java的HashTable底层是数组加链表来解决哈希冲突 Dict包含两个哈希表ht[0]平常用ht[1]用来rehash Dict的伸缩 当LoadFactor大于5或者LoadFactor大于1并且没有子进程任务时Dict扩容 当LoadFactor小于0.1时Dict收缩 扩容大小为第一个大于等于used 1的2^n 收缩大小为第一个大于等于used 的2^n Dict采用渐进式rehash每次访问Dict时执行一次rehash rehash时ht[0]只减不增新增操作只在ht[1]执行其它操作在两个哈希表 1.4 Redis数据结构-ZipList ZipList 是一种特殊的“双端链表” 由一系列特殊编码的连续内存块组成。可以在任意一端进行压入/弹出操作, 并且该操作的时间复杂度为 O(1)。 属性类型长度用途zlbytesuint32_t4 字节记录整个压缩列表占用的内存字节数zltailuint32_t4 字节记录压缩列表表尾节点距离压缩列表的起始地址有多少字节通过这个偏移量可以确定表尾节点的地址。zllenuint16_t2 字节记录了压缩列表包含的节点数量。 最大值为UINT16_MAX 65534如果超过这个值此处会记录为65535但节点的真实数量需要遍历整个压缩列表才能计算得出。entry列表节点不定压缩列表包含的各个节点节点的长度由节点保存的内容决定。zlenduint8_t1 字节特殊值 0xFF 十进制 255 用于标记压缩列表的末端。 ZipListEntry ZipList 中的Entry并不像普通链表那样记录前后节点的指针因为记录两个指针要占用16个字节浪费内存。而是采用了下面的结构 previous_entry_length前一节点的长度占1个或5个字节。 如果前一节点的长度小于254字节则采用1个字节来保存这个长度值 如果前一节点的长度大于254字节则采用5个字节来保存这个长度值第一个字节为0xfe后四个字节才是真实长度数据 encoding编码属性记录content的数据类型字符串还是整数以及长度占用1个、2个或5个字节 contents负责保存节点的数据可以是字符串或整数 ZipList中所有存储长度的数值均采用小端字节序即低位字节在前高位字节在后。例如数值0x1234采用小端字节序后实际存储值为0x3412 Encoding编码 ZipListEntry中的encoding编码分为字符串和整数两种 字符串如果encoding是以“00”、“01”或者“10”开头则证明content是字符串 编码编码长度字符串大小|00pppppp|1 bytes 63 bytes|01pppppp|qqqqqqqq|2 bytes 16383 bytes|10000000|qqqqqqqq|rrrrrrrr|ssssssss|tttttttt|5 bytes 4294967295 bytes 例如我们要保存字符串“ab”和 “bc” ZipListEntry中的encoding编码分为字符串和整数两种 整数如果encoding是以“11”开始则证明content是整数且encoding固定只占用1个字节 编码编码长度整数类型110000001int16_t2 bytes110100001int32_t4 bytes111000001int64_t8 bytes11110000124位有符整数(3 bytes)1111111018位有符整数(1 bytes)1111xxxx1直接在xxxx位置保存数值范围从0001~1101减1后结果为实际值 1.5 Redis数据结构-ZipList的连锁更新问题 ZipList的每个Entry都包含previous_entry_length来记录上一个节点的大小长度是1个或5个字节 如果前一节点的长度小于254字节则采用1个字节来保存这个长度值 如果前一节点的长度大于等于254字节则采用5个字节来保存这个长度值第一个字节为0xfe后四个字节才是真实长度数据 现在假设我们有N个连续的、长度为250~253字节之间的entry因此entry的previous_entry_length属性用1个字节即可表示如图所示 ZipList这种特殊情况下产生的连续多次空间扩展操作称之为连锁更新Cascade Update。新增、删除都可能导致连锁更新的发生。 小总结 ZipList特性 压缩列表的可以看做一种连续内存空间的双向链表 列表的节点之间不是通过指针连接而是记录上一节点和本节点长度来寻址内存占用较低 如果列表数据过多导致链表过长可能影响查询性能 增或删较大数据时有可能发生连续更新问题 1.6 Redis数据结构-QuickList 问题1ZipList虽然节省内存但申请内存必须是连续空间如果内存占用较多申请内存效率很低。怎么办 答为了缓解这个问题我们必须限制ZipList的长度和entry大小。 问题2但是我们要存储大量数据超出了ZipList最佳的上限该怎么办 答我们可以创建多个ZipList来分片存储数据。 问题3数据拆分后比较分散不方便管理和查找这多个ZipList如何建立联系 答Redis在3.2版本引入了新的数据结构QuickList它是一个双端链表只不过链表中的每个节点都是一个ZipList。 为了避免QuickList中的每个ZipList中entry过多Redis提供了一个配置项list-max-ziplist-size来限制。 如果值为正则代表ZipList的允许的entry个数的最大值 如果值为负则代表ZipList的最大内存大小分5种情况 -1每个ZipList的内存占用不能超过4kb -2每个ZipList的内存占用不能超过8kb -3每个ZipList的内存占用不能超过16kb -4每个ZipList的内存占用不能超过32kb -5每个ZipList的内存占用不能超过64kb 其默认值为 -2 以下是QuickList的和QuickListNode的结构源码 我们接下来用一段流程图来描述当前的这个结构 总结 QuickList的特点 是一个节点为ZipList的双端链表 节点采用ZipList解决了传统链表的内存占用问题 控制了ZipList大小解决连续内存空间申请效率问题 中间节点可以压缩进一步节省了内存 1.7 Redis数据结构-SkipList SkipList跳表首先是链表但与传统链表相比有几点差异 元素按照升序排列存储 节点可能包含多个指针指针跨度不同。 SkipList跳表首先是链表但与传统链表相比有几点差异 元素按照升序排列存储 节点可能包含多个指针指针跨度不同。 SkipList跳表首先是链表但与传统链表相比有几点差异 元素按照升序排列存储 节点可能包含多个指针指针跨度不同。 小总结 SkipList的特点 跳跃表是一个双向链表每个节点都包含score和ele值 节点按照score值排序score值一样则按照ele字典排序 每个节点都可以包含多层指针层数是1到32之间的随机数 不同层指针到下一个节点的跨度不同层级越高跨度越大 增删改查效率与红黑树基本一致实现却更简单 1.7 Redis数据结构-RedisObject Redis中的任意数据类型的键和值都会被封装为一个RedisObject也叫做Redis对象源码如下 什么是redisObject 从Redis的使用者的角度来看⼀个Redis节点包含多个database非cluster模式下默认是16个cluster模式下只能是1个而一个database维护了从key space到object space的映射关系。这个映射关系的key是string类型⽽value可以是多种数据类型比如 string, list, hash、set、sorted set等。我们可以看到key的类型固定是string而value可能的类型是多个。 ⽽从Redis内部实现的⾓度来看database内的这个映射关系是用⼀个dict来维护的。dict的key固定用⼀种数据结构来表达就够了这就是动态字符串sds。而value则比较复杂为了在同⼀个dict内能够存储不同类型的value这就需要⼀个通⽤的数据结构这个通用的数据结构就是robj全名是redisObject。 Redis的编码方式 Redis中会根据存储的数据类型不同选择不同的编码方式共包含11种不同类型 编号编码方式说明0OBJ_ENCODING_RAWraw编码动态字符串1OBJ_ENCODING_INTlong类型的整数的字符串2OBJ_ENCODING_HThash表字典dict3OBJ_ENCODING_ZIPMAP已废弃4OBJ_ENCODING_LINKEDLIST双端链表5OBJ_ENCODING_ZIPLIST压缩列表6OBJ_ENCODING_INTSET整数集合7OBJ_ENCODING_SKIPLIST跳表8OBJ_ENCODING_EMBSTRembstr的动态字符串9OBJ_ENCODING_QUICKLIST快速列表10OBJ_ENCODING_STREAMStream流 五种数据类型对应的编码方式 Redis中会根据存储的数据类型不同选择不同的编码方式。每种数据类型的使用的编码方式如下 数据类型编码方式OBJ_STRINGint、embstr、rawOBJ_LISTLinkedList和ZipList(3.2以前)、QuickList3.2以后OBJ_SETintset、HTOBJ_ZSETZipList、HT、SkipListOBJ_HASHZipList、HT 1.8 Redis数据结构-String String是Redis中最常见的数据存储类型 其基本编码方式是RAW基于简单动态字符串SDS实现存储上限为512mb。 如果存储的SDS长度小于44字节则会采用EMBSTR编码此时object head与SDS是一段连续空间。申请内存时只需要调用一次内存分配函数效率更高。 底层实现方式动态字符串sds 或者 long String的内部存储结构⼀般是sdsSimple Dynamic String可以动态扩展内存但是如果⼀个String类型的value的值是数字那么Redis内部会把它转成long类型来存储从⽽减少内存的使用。 如果存储的字符串是整数值并且大小在LONG_MAX范围内则会采用INT编码直接将数据保存在RedisObject的ptr指针位置刚好8字节不再需要SDS了。 确切地说String在Redis中是⽤⼀个robj来表示的。 用来表示String的robj可能编码成3种内部表示OBJ_ENCODING_RAWOBJ_ENCODING_EMBSTROBJ_ENCODING_INT。 其中前两种编码使⽤的是sds来存储最后⼀种OBJ_ENCODING_INT编码直接把string存成了long型。 在对string进行incr, decr等操作的时候如果它内部是OBJ_ENCODING_INT编码那么可以直接行加减操作如果它内部是OBJ_ENCODING_RAW或OBJ_ENCODING_EMBSTR编码那么Redis会先试图把sds存储的字符串转成long型如果能转成功再进行加减操作。对⼀个内部表示成long型的string执行append, setbit, getrange这些命令针对的仍然是string的值即⼗进制表示的字符串而不是针对内部表⽰的long型进⾏操作。比如字符串”32”如果按照字符数组来解释它包含两个字符它们的ASCII码分别是0x33和0x32。当我们执行命令setbit key 7 0的时候相当于把字符0x33变成了0x32这样字符串的值就变成了”22”。⽽如果将字符串”32”按照内部的64位long型来解释那么它是0x0000000000000020在这个基础上执⾏setbit位操作结果就完全不对了。因此在这些命令的实现中会把long型先转成字符串再进行相应的操作。 1.9 Redis数据结构-List Redis的List类型可以从首、尾操作列表中的元素 哪一个数据结构能满足上述特征 LinkedList 普通链表可以从双端访问内存占用较高内存碎片较多 ZipList 压缩列表可以从双端访问内存占用低存储上限低 QuickListLinkedList ZipList可以从双端访问内存占用较低包含多个ZipList存储上限高 Redis的List结构类似一个双端链表可以从首、尾操作列表中的元素 在3.2版本之前Redis采用ZipList和LinkedList来实现List当元素数量小于512并且元素大小小于64字节时采用ZipList编码超过则采用LinkedList编码。 在3.2版本之后Redis统一采用QuickList来实现List 1.10 Redis数据结构-Set结构 Set是Redis中的单列集合满足下列特点 不保证有序性 保证元素唯一 求交集、并集、差集 可以看出Set对查询元素的效率要求非常高思考一下什么样的数据结构可以满足 HashTable也就是Redis中的Dict不过Dict是双列集合可以存键、值对 Set是Redis中的集合不一定确保元素有序可以满足元素唯一、查询效率要求极高。 为了查询效率和唯一性set采用HT编码Dict。Dict中的key用来存储元素value统一为null。 当存储的所有数据都是整数并且元素数量不超过set-max-intset-entries时Set会采用IntSet编码以节省内存 结构如下 1.11 Redis数据结构-ZSET ZSet也就是SortedSet其中每一个元素都需要指定一个score值和member值 可以根据score值排序后 member必须唯一 可以根据member查询分数 因此zset底层数据结构必须满足键值存储、键必须唯一、可排序这几个需求。之前学习的哪种编码结构可以满足 SkipList可以排序并且可以同时存储score和ele值member HTDict可以键值存储并且可以根据key找value 当元素数量不多时HT和SkipList的优势不明显而且更耗内存。因此zset还会采用ZipList结构来节省内存不过需要同时满足两个条件 元素数量小于zset_max_ziplist_entries默认值128 每个元素都小于zset_max_ziplist_value字节默认值64 ziplist本身没有排序功能而且没有键值对的概念因此需要有zset通过编码实现 ZipList是连续内存因此score和element是紧挨在一起的两个entry element在前score在后 score越小越接近队首score越大越接近队尾按照score值升序排列 1.12 Redis数据结构-Hash Hash结构与Redis中的Zset非常类似 都是键值存储 都需求根据键获取值 键必须唯一 区别如下 zset的键是member值是scorehash的键和值都是任意值 zset要根据score排序hash则无需排序 底层实现方式压缩列表ziplist 或者 字典dict 当Hash中数据项比较少的情况下Hash底层才⽤压缩列表ziplist进⾏存储数据随着数据的增加底层的ziplist就可能会转成dict具体配置如下 hash-max-ziplist-entries 512 hash-max-ziplist-value 64 当满足上面两个条件其中之⼀的时候Redis就使⽤dict字典来实现hash。 Redis的hash之所以这样设计是因为当ziplist变得很⼤的时候它有如下几个缺点 每次插⼊或修改引发的realloc操作会有更⼤的概率造成内存拷贝从而降低性能。 ⼀旦发生内存拷贝内存拷贝的成本也相应增加因为要拷贝更⼤的⼀块数据。 当ziplist数据项过多的时候在它上⾯查找指定的数据项就会性能变得很低因为ziplist上的查找需要进行遍历。 总之ziplist本来就设计为各个数据项挨在⼀起组成连续的内存空间这种结构并不擅长做修改操作。⼀旦数据发⽣改动就会引发内存realloc可能导致内存拷贝。 hash结构如下 zset集合如下 因此Hash底层采用的编码与Zset也基本一致只需要把排序有关的SkipList去掉即可 Hash结构默认采用ZipList编码用以节省内存。 ZipList中相邻的两个entry 分别保存field和value 当数据量较大时Hash结构会转为HT编码也就是Dict触发条件有两个 ZipList中的元素数量超过了hash-max-ziplist-entries默认512 ZipList中的任意entry大小超过了hash-max-ziplist-value默认64字节 二、原理篇-Redis网络模型 2.1 用户空间和内核态空间 服务器大多都采用Linux系统这里我们以Linux为例来讲解: ubuntu和Centos 都是Linux的发行版发行版可以看成对linux包了一层壳任何Linux发行版其系统内核都是Linux。我们的应用都需要通过Linux内核与硬件交互 用户的应用比如redismysql等其实是没有办法去执行访问我们操作系统的硬件的所以我们可以通过发行版的这个壳子去访问内核再通过内核去访问计算机硬件 计算机硬件包括如cpu内存网卡等等内核通过寻址空间可以操作硬件的但是内核需要不同设备的驱动有了这些驱动之后内核就可以去对计算机硬件去进行 内存管理文件系统的管理进程的管理等等 我们想要用户的应用来访问计算机就必须要通过对外暴露的一些接口才能访问到从而简介的实现对内核的操控但是内核本身上来说也是一个应用所以他本身也需要一些内存cpu等设备资源用户应用本身也在消耗这些资源如果不加任何限制用户去操作随意的去操作我们的资源就有可能导致一些冲突甚至有可能导致我们的系统出现无法运行的问题因此我们需要把用户和内核隔离开 进程的寻址空间划分成两部分内核空间、用户空间 什么是寻址空间呢我们的应用程序也好还是内核空间也好都是没有办法直接去物理内存的而是通过分配一些虚拟内存映射到物理内存中我们的内核和应用程序去访问虚拟内存的时候就需要一个虚拟地址这个地址是一个无符号的整数比如一个32位的操作系统他的带宽就是32他的虚拟地址就是2的32次方也就是说他寻址的范围就是0~2的32次方 这片寻址空间对应的就是2的32个字节就是4GB这个4GB会有3个GB分给用户空间会有1GB给内核系统 在linux中他们权限分成两个等级0和3用户空间只能执行受限的命令Ring3而且不能直接调用系统资源必须通过内核提供的接口来访问内核空间可以执行特权命令Ring0调用一切系统资源所以一般情况下用户的操作是运行在用户空间而内核运行的数据是在内核空间的而有的情况下一个应用程序需要去调用一些特权资源去调用一些内核空间的操作所以此时他俩需要在用户态和内核态之间进行切换。 比如 Linux系统为了提高IO效率会在用户空间和内核空间都加入缓冲区 写数据时要把用户缓冲数据拷贝到内核缓冲区然后写入设备 读数据时要从设备读取数据到内核缓冲区然后拷贝到用户缓冲区 针对这个操作我们的用户在写读数据时会去向内核态申请想要读取内核的数据而内核数据要去等待驱动程序从硬件上读取数据当从磁盘上加载到数据之后内核会将数据写入到内核的缓冲区中然后再将数据拷贝到用户态的buffer中然后再返回给应用程序整体而言速度慢就是这个原因为了加速我们希望read也好还是wait for data也最好都不要等待或者时间尽量的短。 2.2.网络模型-阻塞IO 在《UNIX网络编程》一书中总结归纳了5种IO模型 阻塞IOBlocking IO 非阻塞IONonblocking IO IO多路复用IO Multiplexing 信号驱动IOSignal Driven IO 异步IOAsynchronous IO 应用程序想要去读取数据他是无法直接去读取磁盘数据的他需要先到内核里边去等待内核操作硬件拿到数据这个过程就是1是需要等待的等到内核从磁盘上把数据加载出来之后再把这个数据写给用户的缓存区这个过程是2如果是阻塞IO那么整个过程中用户从发起读请求开始一直到读取到数据都是一个阻塞状态。 具体流程如下图 用户去读取数据时会去先发起recvform一个命令去尝试从内核上加载数据如果内核没有数据那么用户就会等待此时内核会去从硬件上读取数据内核读取数据之后会把数据拷贝到用户态并且返回ok整个过程都是阻塞等待的这就是阻塞IO 总结如下 顾名思义阻塞IO就是两个阶段都必须阻塞等待 阶段一 用户进程尝试读取数据比如网卡数据 此时数据尚未到达内核需要等待数据 此时用户进程也处于阻塞状态 阶段二 数据到达并拷贝到内核缓冲区代表已就绪 将内核数据拷贝到用户缓冲区 拷贝过程中用户进程依然阻塞等待 拷贝完成用户进程解除阻塞处理数据 可以看到阻塞IO模型中用户进程在两个阶段都是阻塞状态。 2.3 网络模型-非阻塞IO 顾名思义非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。 阶段一 用户进程尝试读取数据比如网卡数据 此时数据尚未到达内核需要等待数据 返回异常给用户进程 用户进程拿到error后再次尝试读取 循环往复直到数据就绪 阶段二 将内核数据拷贝到用户缓冲区 拷贝过程中用户进程依然阻塞等待 拷贝完成用户进程解除阻塞处理数据 可以看到非阻塞IO模型中用户进程在第一个阶段是非阻塞第二个阶段是阻塞状态。虽然是非阻塞但性能并没有得到提高。而且忙等机制会导致CPU空转CPU使用率暴增。 2.4 网络模型-IO多路复用 无论是阻塞IO还是非阻塞IO用户应用在一阶段都需要调用recvfrom来获取数据差别在于无数据时的处理方案 如果调用recvfrom时恰好没有数据阻塞IO会使CPU阻塞非阻塞IO使CPU空转都不能充分发挥CPU的作用。 如果调用recvfrom时恰好有数据则用户进程可以直接进入第二阶段读取并处理数据 所以怎么看起来以上两种方式性能都不好 而在单线程情况下只能依次处理IO事件如果正在处理的IO事件恰好未就绪数据不可读或不可写线程就会被阻塞所有IO事件都必须等待性能自然会很差。 就比如服务员给顾客点餐分两步 顾客思考要吃什么等待数据就绪 顾客想好了开始点餐读取数据 要提高效率有几种办法 方案一增加更多服务员多线程 方案二不排队谁想好了吃什么数据就绪了服务员就给谁点餐用户应用就去读取数据 那么问题来了用户进程如何知道内核中数据是否就绪呢 所以接下来就需要详细的来解决多路复用模型是如何知道到底怎么知道内核数据是否就绪的问题了 这个问题的解决依赖于提出的 文件描述符File Descriptor简称FD是一个从0 开始的无符号整数用来关联Linux中的一个文件。在Linux中一切皆文件例如常规文件、视频、硬件设备等当然也包括网络套接字Socket。 通过FD我们的网络模型可以利用一个线程监听多个FD并在某个FD可读、可写时得到通知从而避免无效的等待充分利用CPU资源。 阶段一 用户进程调用select指定要监听的FD集合 核监听FD对应的多个socket 任意一个或多个socket数据就绪则返回readable 此过程中用户进程阻塞 阶段二 用户进程找到就绪的socket 依次调用recvfrom读取数据 内核将数据拷贝到用户空间 用户进程处理数据 当用户去读取数据的时候不再去直接调用recvfrom了而是调用select的函数select函数会将需要监听的数据交给内核由内核去检查这些数据是否就绪了如果说这个数据就绪了就会通知应用程序数据就绪然后来读取数据再从内核中把数据拷贝给用户态完成数据处理如果N多个FD一个都没处理完此时就进行等待。 用IO复用模式可以确保去读数据的时候数据是一定存在的他的效率比原来的阻塞IO和非阻塞IO性能都要高 IO多路复用是利用单个线程来同时监听多个FD并在某个FD可读、可写时得到通知从而避免无效的等待充分利用CPU资源。不过监听FD的方式、通知的方式又有多种实现常见的有 select poll epoll 其中select和pool相当于是当被监听的数据准备好之后他会把你监听的FD整个数据都发给你你需要到整个FD中去找哪些是处理好了的需要通过遍历的方式所以性能也并不是那么好 而epoll则相当于内核准备好了之后他会把准备好的数据直接发给你咱们就省去了遍历的动作。 2.5 网络模型-IO多路复用-select方式 select是Linux最早是由的I/O多路复用技术 简单说就是我们把需要处理的数据封装成FD然后在用户态时创建一个fd的集合这个集合的大小是要监听的那个FD的最大值1但是大小整体是有限制的 这个集合的长度大小是有限制的同时在这个集合中标明出来我们要控制哪些数据 比如要监听的数据是1,2,5三个数据此时会执行select函数然后将整个fd发给内核态内核态会去遍历用户态传递过来的数据如果发现这里边都数据都没有就绪就休眠直到有数据准备好时就会被唤醒唤醒之后再次遍历一遍看看谁准备好了然后再将处理掉没有准备好的数据最后再将这个FD集合写回到用户态中去此时用户态就知道了奥有人准备好了但是对于用户态而言并不知道谁处理好了所以用户态也需要去进行遍历然后找到对应准备好数据的节点再去发起读请求我们会发现这种模式下他虽然比阻塞IO和非阻塞IO好但是依然有些麻烦的事情 比如说频繁的传递fd集合频繁的去遍历FD等问题 2.6 网络模型-IO多路复用模型-poll模式 poll模式对select模式做了简单改进但性能提升不明显部分关键代码如下 IO流程 创建pollfd数组向其中添加关注的fd信息数组大小自定义 调用poll函数将pollfd数组拷贝到内核空间转链表存储无上限 内核遍历fd判断是否就绪 数据就绪或超时后拷贝pollfd数组到用户空间返回就绪fd数量n 用户进程判断n是否大于0,大于0则遍历pollfd数组找到就绪的fd 与select对比 select模式中的fd_set大小固定为1024而pollfd在内核中采用链表理论上无上限 监听FD越多每次遍历消耗时间也越久性能反而会下降 2.7 网络模型-IO多路复用模型-epoll函数 epoll模式是对select和poll的改进它提供了三个函数 第一个是eventpoll的函数他内部包含两个东西 一个是 1、红黑树- 记录的事要监听的FD 2、一个是链表-一个链表记录的是就绪的FD 紧接着调用epoll_ctl操作将要监听的数据添加到红黑树上去并且给每个fd设置一个监听函数这个函数会在fd数据就绪时触发就是准备好了现在就把fd把数据添加到list_head中去 3、调用epoll_wait函数 就去等待在用户态创建一个空的events数组当就绪之后我们的回调函数会把数据添加到list_head中去当调用这个函数的时候会去检查list_head当然这个过程需要参考配置的等待时间可以等一定时间也可以一直等 如果在此过程中检查到了list_head中有数据会将数据添加到链表中此时将数据放入到events数组中并且返回对应的操作的数量用户态的此时收到响应后从events中拿到对应准备好的数据的节点再去调用方法去拿数据。 小总结 select模式存在的三个问题 能监听的FD最大不超过1024 每次select都需要把所有要监听的FD都拷贝到内核空间 每次都要遍历所有FD来判断就绪状态 poll模式的问题 poll利用链表解决了select中监听FD上限的问题但依然要遍历所有FD如果监听较多性能会下降 epoll模式中如何解决这些问题的 基于epoll实例中的红黑树保存要监听的FD理论上无上限而且增删改查效率都非常高 每个FD只需要执行一次epoll_ctl添加到红黑树以后每次epol_wait无需传递任何参数无需重复拷贝FD到内核空间 利用ep_poll_callback机制来监听FD状态无需遍历所有FD因此性能不会随监听的FD数量增多而下降 2.8、网络模型-epoll中的ET和LT 当FD有数据可读时我们调用epoll_wait或者select、poll可以得到通知。但是事件通知的模式有两种 LevelTriggered简称LT也叫做水平触发。只要某个FD中有数据可读每次调用epoll_wait都会得到通知。 EdgeTriggered简称ET也叫做边沿触发。只有在某个FD有状态变化时调用epoll_wait才会被通知。 举个栗子 假设一个客户端socket对应的FD已经注册到了epoll实例中 客户端socket发送了2kb的数据 服务端调用epoll_wait得到通知说FD就绪 服务端从FD读取了1kb数据回到步骤3再次调用epoll_wait形成循环 结论 如果我们采用LT模式因为FD中仍有1kb数据则第⑤步依然会返回结果并且得到通知 如果我们采用ET模式因为第③步已经消费了FD可读事件第⑤步FD状态没有变化因此epoll_wait不会返回数据无法读取客户端响应超时。 2.9 网络模型-基于epoll的服务器端流程 我们来梳理一下这张图 服务器启动以后服务端会去调用epoll_create创建一个epoll实例epoll实例中包含两个数据 1、红黑树为空rb_root 用来去记录需要被监听的FD 2、链表为空list_head用来存放已经就绪的FD 创建好了之后会去调用epoll_ctl函数此函数会会将需要监听的数据添加到rb_root中去并且对当前这些存在于红黑树的节点设置回调函数当这些被监听的数据一旦准备完成就会被调用而调用的结果就是将红黑树的fd添加到list_head中去(但是此时并没有完成) 3、当第二步完成后就会调用epoll_wait函数这个函数会去校验是否有数据准备完毕因为数据一旦准备就绪就会被回调函数添加到list_head中在等待了一段时间后(可以进行配置)如果等够了超时时间则返回没有数据如果有则进一步判断当前是什么事件如果是建立连接时间则调用accept() 接受客户端socket拿到建立连接的socket然后建立起来连接如果是其他事件则把数据进行写出 2.10 网络模型-信号驱动 信号驱动IO是与内核建立SIGIO的信号关联并设置回调当内核有FD就绪时会发出SIGIO信号通知用户期间用户应用可以执行其它业务无需阻塞等待。 阶段一 用户进程调用sigaction注册信号处理函数 内核返回成功开始监听FD 用户进程不阻塞等待可以执行其它业务 当内核数据就绪后回调用户进程的SIGIO处理函数 阶段二 收到SIGIO回调信号 调用recvfrom读取 内核将数据拷贝到用户空间 用户进程处理数据 当有大量IO操作时信号较多SIGIO处理函数不能及时处理可能导致信号队列溢出而且内核空间与用户空间的频繁信号交互性能也较低。 1. 异步IO 这种方式不仅仅是用户态在试图读取数据后不阻塞而且当内核的数据准备完成后也不会阻塞 他会由内核将所有数据处理完成后由内核将数据写入到用户态中然后才算完成所以性能极高不会有任何阻塞全部都由内核完成可以看到异步IO模型中用户进程在两个阶段都是非阻塞状态。 2. 对比 最后用一幅图来说明他们之间的区别 2.11 网络模型-Redis是单线程的吗为什么使用单线程 Redis到底是单线程还是多线程 如果仅仅聊Redis的核心业务部分命令处理答案是单线程 如果是聊整个Redis那么答案就是多线程 在Redis版本迭代过程中在两个重要的时间节点上引入了多线程的支持 Redis v4.0引入多线程异步处理一些耗时较旧的任务例如异步删除命令unlink Redis v6.0在核心网络模型中引入 多线程进一步提高对于多核CPU的利用率 因此对于Redis的核心网络模型在Redis 6.0之前确实都是单线程。是利用epollLinux系统这样的IO多路复用技术在事件循环中不断处理客户端情况。 为什么Redis要选择单线程 抛开持久化不谈Redis是纯 内存操作执行速度非常快它的性能瓶颈是网络延迟而不是执行速度因此多线程并不会带来巨大的性能提升。 多线程会导致过多的上下文切换带来不必要的开销 引入多线程会面临线程安全问题必然要引入线程锁这样的安全手段实现复杂度增高而且性能也会大打折扣 2.12 Redis的单线程模型-Redis单线程和多线程网络模型变更 当我们的客户端想要去连接我们服务器会去先到IO多路复用模型去进行排队会有一个连接应答处理器他会去接受读请求然后又把读请求注册到具体模型中去此时这些建立起来的连接如果是客户端请求处理器去进行执行命令时他会去把数据读取出来然后把数据放入到client中 clinet去解析当前的命令转化为redis认识的命令接下来就开始处理这些命令从redis中的command中找到这些命令然后就真正的去操作对应的数据了当数据操作完成后会去找到命令回复处理器再由他将数据写出。 三、Redis通信协议-RESP协议 Redis是一个CS架构的软件通信一般分两步不包括pipeline和PubSub 客户端client向服务端server发送一条命令 服务端解析并执行命令返回响应结果给客户端 因此客户端发送命令的格式、服务端响应结果的格式必须有一个规范这个规范就是通信协议。 而在Redis中采用的是RESPRedis Serialization Protocol协议 Redis 1.2版本引入了RESP协议 Redis 2.0版本中成为与Redis服务端通信的标准称为RESP2 Redis 6.0版本中从RESP2升级到了RESP3协议增加了更多数据类型并且支持6.0的新特性--客户端缓存 但目前默认使用的依然是RESP2协议也是我们要学习的协议版本以下简称RESP。 在RESP中通过首字节的字符来区分不同数据类型常用的数据类型包括5种 单行字符串首字节是 ‘’ 后面跟上单行字符串以CRLF \r\n 结尾。例如返回OK OK\r\n 错误Errors首字节是 ‘-’ 与单行字符串格式一样只是字符串是异常信息例如-Error message\r\n 数值首字节是 ‘:’ 后面跟上数字格式的字符串以CRLF结尾。例如:10\r\n 多行字符串首字节是 ‘$’ 表示二进制安全的字符串最大支持512MB 如果大小为0则代表空字符串$0\r\n\r\n 如果大小为-1则代表不存在$-1\r\n 数组首字节是 ‘*’后面跟上数组元素个数再跟上元素元素数据类型不限: 3.1 Redis通信协议-基于Socket自定义Redis的客户端 Redis支持TCP通信因此我们可以使用Socket来模拟客户端与Redis服务端建立连接 public class Main { ​static Socket s;static PrintWriter writer;static BufferedReader reader; ​public static void main(String[] args) {try {// 1.建立连接String host 192.168.150.101;int port 6379;s new Socket(host, port);// 2.获取输出流、输入流writer new PrintWriter(new OutputStreamWriter(s.getOutputStream(), StandardCharsets.UTF_8));reader new BufferedReader(new InputStreamReader(s.getInputStream(), StandardCharsets.UTF_8)); ​// 3.发出请求// 3.1.获取授权 auth 123321sendRequest(auth, 123321);Object obj handleResponse();System.out.println(obj obj); ​// 3.2.set name 虎哥sendRequest(set, name, 虎哥);// 4.解析响应obj handleResponse();System.out.println(obj obj); ​// 3.2.set name 虎哥sendRequest(get, name);// 4.解析响应obj handleResponse();System.out.println(obj obj); ​// 3.2.set name 虎哥sendRequest(mget, name, num, msg);// 4.解析响应obj handleResponse();System.out.println(obj obj);} catch (IOException e) {e.printStackTrace();} finally {// 5.释放连接try {if (reader ! null) reader.close();if (writer ! null) writer.close();if (s ! null) s.close();} catch (IOException e) {e.printStackTrace();}}} ​private static Object handleResponse() throws IOException {// 读取首字节int prefix reader.read();// 判断数据类型标示switch (prefix) {case : // 单行字符串直接读一行return reader.readLine();case -: // 异常也读一行throw new RuntimeException(reader.readLine());case :: // 数字return Long.parseLong(reader.readLine());case $: // 多行字符串// 先读长度int len Integer.parseInt(reader.readLine());if (len -1) {return null;}if (len 0) {return ;}// 再读数据,读len个字节。我们假设没有特殊字符所以读一行简化return reader.readLine();case *:return readBulkString();default:throw new RuntimeException(错误的数据格式);}} ​private static Object readBulkString() throws IOException {// 获取数组大小int len Integer.parseInt(reader.readLine());if (len 0) {return null;}// 定义集合接收多个元素ListObject list new ArrayList(len);// 遍历依次读取每个元素for (int i 0; i len; i) {list.add(handleResponse());}return list;} ​// set name 虎哥private static void sendRequest(String ... args) {writer.println(* args.length);for (String arg : args) {writer.println($ arg.getBytes(StandardCharsets.UTF_8).length);writer.println(arg);}writer.flush();} } ​ 3.2 Redis内存回收-过期key处理 Redis之所以性能强最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大会影响持久化或主从同步性能。 我们可以通过修改配置文件来设置Redis的最大内存 当内存使用达到上限时就无法存储更多数据了。为了解决这个问题Redis提供了一些策略实现内存回收 内存过期策略 在学习Redis缓存的时候我们说过可以通过expire命令给Redis的key设置TTL存活时间 可以发现当key的TTL到期以后再次访问name返回的是nil说明这个key已经不存在了对应的内存也得到释放。从而起到内存回收的目的。 Redis本身是一个典型的key-value内存存储数据库因此所有的key、value都保存在之前学习过的Dict结构中。不过在其database结构体中有两个Dict一个用来记录key-value另一个用来记录key-TTL。 这里有两个问题需要我们思考 Redis是如何知道一个key是否过期呢 利用两个Dict分别记录key-value对及key-ttl对 是不是TTL到期就立即删除了呢 惰性删除 惰性删除顾明思议并不是在TTL到期后就立刻删除而是在访问一个key的时候检查该key的存活时间如果已经过期才执行删除。 周期删除 周期删除顾明思议是通过一个定时任务周期性的抽样部分过期的key然后执行删除。执行周期有两种 Redis服务初始化函数initServer()中设置定时任务按照server.hz的频率来执行过期key清理模式为SLOW Redis的每个事件循环前会调用beforeSleep()函数执行过期key清理模式为FAST 周期删除顾明思议是通过一个定时任务周期性的抽样部分过期的key然后执行删除。执行周期有两种 Redis服务初始化函数initServer()中设置定时任务按照server.hz的频率来执行过期key清理模式为SLOW Redis的每个事件循环前会调用beforeSleep()函数执行过期key清理模式为FAST SLOW模式规则 执行频率受server.hz影响默认为10即每秒执行10次每个执行周期100ms。 执行清理耗时不超过一次执行周期的25%.默认slow模式耗时不超过25ms 逐个遍历db逐个遍历db中的bucket抽取20个key判断是否过期 如果没达到时间上限25ms并且过期key比例大于10%再进行一次抽样否则结束 FAST模式规则过期key比例小于10%不执行 执行频率受beforeSleep()调用频率影响但两次FAST模式间隔不低于2ms 执行清理耗时不超过1ms 逐个遍历db逐个遍历db中的bucket抽取20个key判断是否过期 如果没达到时间上限1ms并且过期key比例大于10%再进行一次抽样否则结束 小总结 RedisKey的TTL记录方式 在RedisDB中通过一个Dict记录每个Key的TTL时间 过期key的删除策略 惰性清理每次查找key时判断是否过期如果过期则删除 定期清理定期抽样部分key判断是否过期如果过期则删除。 定期清理的两种模式 SLOW模式执行频率默认为10每次不超过25ms FAST模式执行频率不固定但两次间隔不低于2ms每次耗时不超过1ms 3.3 Redis内存回收-内存淘汰策略 内存淘汰就是当Redis内存使用达到设置的上限时主动挑选部分key删除以释放更多内存的流程。Redis会在处理客户端命令的方法processCommand()中尝试做内存淘汰 淘汰策略 Redis支持8种不同策略来选择要删除的key noeviction 不淘汰任何key但是内存满时不允许写入新数据默认就是这种策略。 volatile-ttl 对设置了TTL的key比较key的剩余TTL值TTL越小越先被淘汰 allkeys-random对全体key 随机进行淘汰。也就是直接从db-dict中随机挑选 volatile-random对设置了TTL的key 随机进行淘汰。也就是从db-expires中随机挑选。 allkeys-lru 对全体key基于LRU算法进行淘汰 volatile-lru 对设置了TTL的key基于LRU算法进行淘汰 allkeys-lfu 对全体key基于LFU算法进行淘汰 volatile-lfu 对设置了TTL的key基于LFI算法进行淘汰 比较容易混淆的有两个 LRULeast Recently Used最少最近使用。用当前时间减去最后一次访问时间这个值越大则淘汰优先级越高。 LFULeast Frequently Used最少频率使用。会统计每个key的访问频率值越小淘汰优先级越高。 Redis的数据都会被封装为RedisObject结构 LFU的访问次数之所以叫做逻辑访问次数是因为并不是每次key被访问都计数而是通过运算 生成0~1之间的随机数R 计算 (旧次数 * lfu_log_factor 1)记录为P 如果 R P 则计数器 1且最大不超过255 访问次数会随时间衰减距离上一次访问时间每隔 lfu_decay_time 分钟计数器 -1 最后用一副图来描述当前的这个流程吧