北京做网站开发公司电话,网站设计与开发网站策划,天津seo顾问,昆明网站网站建设作者 | 码哥 来源 | 码哥字节❝这可能是最中肯的 Redis 使用规范了一网友昨天和我说#xff0c;公司凌晨 12 点之后#xff0c;网站用户量暴增#xff0c;出现了一个技术故障#xff0c;用户无法下单#xff0c;当时老大火冒三丈#xff01;经过查找发现 Redis 报 C… 作者 | 码哥      来源 | 码哥字节❝这可能是最中肯的 Redis 使用规范了一网友昨天和我说公司凌晨 12 点之后网站用户量暴增出现了一个技术故障用户无法下单当时老大火冒三丈经过查找发现 Redis 报 Could not get a resource from the pool。获取不到连接资源并且集群中的单台 Redis 连接量很高。于是各种更改最大连接数、连接等待数虽然报错信息频率有所缓解但还是持续报错。后来经过线下测试发现存放 Redis 中的字符数据很大平均 1s 返回数据。❝使用 Redis 的规范通过 Redis 为什么这么快这篇文章我们知道 Redis 为了高性能和节省内存费劲心思。所以只有规范的使用 Redis才能实现高性能和节省内存否则再屌的 Redis 也禁不起我们瞎折腾。Redis 使用规范围绕如下几个纬度展开键值对使用规范命令使用规范数据保存规范运维规范。键值对使用规范有两点需要注意好的 key 命名才能提供可读性强、可维护性高的 key便于定位问题和寻找数据。value要避免出现 bigkey、选择高效的序列化和压缩、使用对象共享池、选择高效恰当的数据类型。key 命名规范规范的 key命名在遇到问题的时候能够方便定位。Redis 属于 没有 Scheme的 NoSQL数据库。所以要靠规范来建立其 Scheme 语意就好比根据不同的场景我们建立不同的数据库。敲黑板把「业务模块名」作为前缀好比数据库 Scheme通过「冒号」分隔再加上「具体业务名」。这样我们就可以通过 key 前缀来区分不同的业务数据清晰明了。总结起来就是「业务名:表名:id」❝key 太长的话有什么问题呢key 是字符串底层的数据结构是 SDSSDS 结构中会包含字符串长度、分配空间大小等元数据信息。字符串长度增加SDS 的元数据也会占用更多的内存空间。所以当字符串太长的时候我们可以采用适当缩写的形式。不要使用 bigkey因为 Redis 是单线程执行读写指令如果出现bigkey 的读写操作就会阻塞线程降低 Redis 的处理效率。bigkey包含两种情况键值对的 value很大比如 value保存了 2MB的 String数据键值对的 value是集合类型元素很多比如保存了 5 万个元素的 List 集合。虽然 Redis 官方说明了 key和string类型 value限制均为512MB。防止网卡流量、慢查询string类型控制在10KB以内hash、list、set、zset元素个数不要超过 5000。❝如果业务数据就是这么大咋办我们还可以通过 gzip 数据压缩来减小数据大小:/*** 使用gzip压缩字符串*/ public static String compress(String str) {if (str null || str.length() 0) {return str;}try (ByteArrayOutputStream out new ByteArrayOutputStream();GZIPOutputStream gzip new GZIPOutputStream(out)) {gzip.write(str.getBytes());} catch (IOException e) {e.printStackTrace();}return new sun.misc.BASE64Encoder().encode(out.toByteArray()); }/*** 使用gzip解压缩*/ public static String uncompress(String compressedStr) {if (compressedStr null || compressedStr.length() 0) {return compressedStr;}byte[] compressed new sun.misc.BASE64Decoder().decodeBuffer(compressedStr);;String decompressed null;try (ByteArrayOutputStream out new ByteArrayOutputStream();ByteArrayInputStream in new ByteArrayInputStream(compressed);GZIPInputStream ginzip new GZIPInputStream(in);) {byte[] buffer new byte[1024];int offset -1;while ((offset ginzip.read(buffer)) ! -1) {out.write(buffer, 0, offset);}decompressed out.toString();} catch (IOException e) {e.printStackTrace();}return decompressed; }集合类型如果集合类型的元素的确很多我们可以将一个大集合拆分成多个小集合来保存。使用高效序列化和压缩方法为了节省内存我们可以使用高效的序列化方法和压缩方法去减少 value的大小。protostuff和 kryo这两种序列化方法就要比 Java内置的序列化方法效率更高。上述的两种序列化方式虽然省内存但是序列化后都是二进制数据可读性太差。通常我们会序列化成 JSON或者 XML为了避免数据占用空间大我们可以使用压缩工具snappy、 gzip将数据压缩再存到 Redis 中。使用整数对象共享池Redis 内部维护了 0 到 9999 这 1 万个整数对象并把这些整数作为一个共享池使用。即使大量键值对保存了 0 到 9999 范围内的整数在 Redis 实例中其实只保存了一份整数对象可以节省内存空间。需要注意的是有两种情况是不生效的Redis 中设置了 maxmemory而且启用了 LRU策略allkeys-lru 或 volatile-lru 策略那么整数对象共享池就无法使用了。❝这是因为 LRU 需要统计每个键值对的使用时间如果不同的键值对都复用一个整数对象就无法统计了。如果集合类型数据采用 ziplist 编码而集合元素是整数这个时候也不能使用共享池。❝因为 ziplist 使用了紧凑型内存结构判断整数对象的共享情况效率低。命令使用规范有的命令的执行会造成很大的性能问题我们需要格外注意。生产禁用的指令Redis 是单线程处理请求操作如果我们执行一些涉及大量操作、耗时长的命令就会严重阻塞主线程导致其它请求无法得到正常处理。KEYS该命令需要对 Redis 的全局哈希表进行全表扫描严重阻塞 Redis 主线程❝应该使用 SCAN 来代替分批返回符合条件的键值对避免主线程阻塞。FLUSHALL删除 Redis 实例上的所有数据如果数据量很大会严重阻塞 Redis 主线程FLUSHDB删除当前数据库中的数据如果数据量很大同样会阻塞 Redis 主线程。❝加上 ASYNC 选项让 FLUSHALLFLUSHDB 异步执行。我们也可以直接禁用用rename-command命令在配置文件中对这些命令进行重命名让客户端无法使用这些命令。慎用 MONITOR 命令MONITOR 命令会把监控到的内容持续写入输出缓冲区。如果线上命令的操作很多输出缓冲区很快就会溢出了这就会对 Redis 性能造成影响甚至引起服务崩溃。所以除非十分需要监测某些命令的执行例如Redis 性能突然变慢我们想查看下客户端执行了哪些命令我们才使用。慎用全量操作命令比如获取集合中的所有元素HASH 类型的 hgetall、List 类型的 lrange、Set 类型的 smembers、zrange 等命令。这些操作会对整个底层数据结构进行全量扫描 导致阻塞 Redis 主线程。❝如果业务场景就是需要获取全量数据咋办有两个方式可以解决使用 SSCAN、HSCAN等命令分批返回集合数据把大集合拆成小集合比如按照时间、区域等划分。数据保存规范冷热数据分离虽然 Redis 支持使用 RDB 快照和 AOF 日志持久化保存数据但是这两个机制都是用来提供数据可靠性保证的并不是用来扩充数据容量的。不要什么数据都存在 Redis应该作为缓存保存热数据这样既可以充分利用 Redis 的高性能特性还可以把宝贵的内存资源用在服务热数据上。业务数据隔离不要将不相关的数据业务都放到一个 Redis 中。一方面避免业务相互影响另一方面避免单实例膨胀并能在故障时降低影响面快速恢复。设置过期时间在数据保存时我建议你根据业务使用数据的时长设置数据的过期时间。写入 Redis 的数据会一直占用内存如果数据持续增多就可能达到机器的内存上限造成内存溢出导致服务崩溃。控制单实例的内存容量建议设置在 2~6 GB 。这样一来无论是 RDB 快照还是主从集群进行数据同步都能很快完成不会阻塞正常请求的处理。防止缓存雪崩避免集中过期 key 导致缓存雪崩。❝什么是缓存雪崩当某一个时刻出现大规模的缓存失效的情况那么就会导致大量的请求直接打在数据库上面导致数据库压力巨大如果在高并发的情况下可能瞬间就会导致数据库宕机。运维规范使用 Cluster 集群或者哨兵集群做到高可用实例设置最大连接数防止过多客户端连接导致实例负载过高影响性能。不开启 AOF 或开启 AOF 配置为每秒刷盘避免磁盘 IO 拖慢 Redis 性能。设置合理的 repl-backlog降低主从全量同步的概率设置合理的 slave client-output-buffer-limit避免主从复制中断情况发生。根据实际场景设置合适的内存淘汰策略。使用连接池操作 Redis。往期推荐“5GAI”到底有啥用云原生时代底层性能如何调优普通大学生的Java什么水平可以进大厂只因“薪水过高”被欠薪三个月后遭解雇点分享点收藏点点赞点在看