【架构-14】数据库性能优化方式

数据库出现性能瓶颈对外的表现为:

  1. 大量请求阻塞
  2. SQL操作变慢
  3. 存储出现问题
    为解决上述出现的问题,因此推出了一系列的数据库性能优化方式。
    数据库性能优化是提高数据库系统性能和响应时间的关键任务。以下是一些常见的

数据库性能优化方式:

索引优化:
通过创建合适的索引,可以加快查询操作的速度。索引可以加速数据的查找和过滤,减少磁盘I/O操作。需要根据查询的频率、字段选择性以及数据访问模式等因素来设计和优化索引。

查询优化:
优化查询语句可以提高数据库的性能。使用合适的查询语句、避免不必要的连接和子查询、限制返回的数据量、优化WHERE和JOIN条件等都可以改善查询性能。

数据库设计和规范化:
良好的数据库设计和规范化可以提高数据库的性能和可维护性。合理划分表和字段、避免冗余数据、正确选择数据类型和长度等都是优化数据库设计的关键。

配置调优:
优化数据库的配置参数可以提高数据库的性能。例如,调整数据库缓冲区大小、并发连接数、日志记录级别等参数,以适应不同的工作负载和硬件环境。

硬件优化:
合理配置和优化硬件设备可以改善数据库性能。包括增加内存容量、优化磁盘子系统、使用RAID技术提高磁盘性能、使用高速网络等。

缓存优化:
使用缓存技术可以减少数据库的访问次数,提高响应速度。常见的缓存技术包括数据库查询缓存、应用级缓存、分布式缓存等。

分区和分片:
对于大规模数据量和高并发访问的场景,可以使用分区和分片技术来分散负载、提高吞吐量和扩展性。

SQL优化工具和性能监控:
使用专业的SQL优化工具和性能监控工具可以帮助识别慢查询、锁竞争、瓶颈等问题,并提供相应的优化建议和性能指标。

数据库版本升级和补丁更新:
及时升级数据库版本和应用相关的补丁可以获得性能改进和Bug修复,提高数据库的稳定性和性能。

数据库分布和负载均衡:
将数据库分布在多个物理节点上,并使用负载均衡技术将请求均匀分发到不同节点,可以提高系统的可用性和扩展性。

下面详细介绍几类技术:

分库和分表

在数据库优化中,分库(Sharding)和分表(Partitioning)是两种常见的策略,用于解决大规模数据量和高并发访问的问题。

  1. 分库(分片)
    分库是将数据库按照一定规则将数据划分为多个独立的数据库实例,每个数据库实例可以部署在不同的物理服务器或节点上。每个数据库实例负责处理一部分数据。
    分库的目的是将数据分散存储在不同的数据库中,以减轻单个数据库的负载压力,并提高系统的并发处理能力和扩展性。通常,分库的规则是基于数据的某个属性或哈希函数计算的结果来确定数据应该存储在哪个数据库实例中。
    分库也带来了如数据一致性、跨库事务、扩展性的管理等挑战。
    在这里插入图片描述
    在这里插入图片描述

  2. 分表
    分表是将单个表按照一定的规则拆分为多个子表,每个子表存储部分数据。
    分表的目的是将大表拆成小表,以减少单个表的数据量,提高查询性能和维护的效率。
    分表也会增加数据管理的复杂性。
    在这里插入图片描述

分库和分表通常结合使用,以更好地处理海量数据和高并发访问的需求。它们是数据库优化中常见手段,可以提高系统的性能、可扩展性和可用性。

反规范化设计

优点:避免进行表之间的连接操作,可以提高数据操作的性能能够,减少数据库查询时SQL的连接次数,从而减少磁盘IO,提高查询效率。
缺点:数据的重复存储浪费了磁盘空间,会产生数据的不一致问题
在这里插入图片描述

1、反规范化设计中,解决数据不一致问题的三种常见方法,有批处理维护、应用逻辑和触发器。
(1)异步通信和事件驱动:使用异步通信和事件驱动的方式来处理数据的更新和同步。当数据发生变化时,通过异步消息队列或事件总线发布相应的事件,然后由订阅者异步处理和更新相关的数据。这种方式可以降低数据更新的延迟和冲突。
(2)定期数据清理和维护(批处理维护):定期对数据进行清理和维护是确保数据一致性的重要步骤。这包括删除过期或无效的数据,修复错误数据,更新数据索引等操作,以保持数据的一致性和可靠性。通过定期运行一批处理作业或存储过程对数据库进行修改,适用于对实时性要求不高的情况。
(3)触发器:对数据的任何修改立即触发对数据库某些列的相应修改。触发器实时性好,也易于维护。

布隆过滤器(查询优化)

布隆过滤器是一种概率型数据结构,用于判断一个元素是否属于一个集合,以及过滤掉不属于集合的元素。它通过使用位数组和多个哈希函数来实现。
在这里插入图片描述

布隆过滤器本质是一种数据结构,特点是高效地插入和查询。原理是当某个元素加入集合时,通过散列函数将这个元素映射成一个位数组中的K个点,检索时只要看看这些点是不是都是1就大概知道集合中有没有它了,如果这些点有任何一个0,则被检元素一定不在,如果都是1,被检元素可能在。
主要解决的问题是在大规模数据集中快速判断某个元素是否存在,同时具有高效的空间利用率。布隆过滤器适用于那些对查询速度要求较高,而对少量的误判能够容忍的场景。
然而,布隆过滤器也存在一定的缺点。它有一定的误判率,即可能将不属于集合的元素误判为属于集合。此外,无法删除已插入的元素,因为删除操作会影响其他元素的判断结果。

一致性哈希算法(数据分布和负载均衡)

一致性哈希算法是一种用于分布式系统中数据分片和负载均衡的算法。哈希算法是通过某种哈希算法散列得到一个值,将该值分配到集群响应节点进行缓存。
一致性哈希算法是一种特殊的哈希算法,它将整个哈希空间映射成一个按顺时针方向组织的虚拟圆环,使用哈希算法算出数据的哈希值,然后根据哈希值的位置顺时针查找,将数据分配到第一个遇到的集群节点进行缓存,解决了简单哈希算法在分布式哈希表中存在的动态伸缩问题。
主要解决的问题是在分布式系统中动态添加或删除节点时,如何保持数据的均衡分步和最小的数据迁移的操作。一致性哈希算法通过在环空间上均匀分步节点,使相邻节点负责的数据范围最小,从而减少数据迁移的开销。
一致性哈希算法的优点在于它在节点增减时能够保持负载均衡,适用于分布式缓存、负载均衡、分布式存储等场景。

Redis持久化(缓存优化)

为什么要持久化(答:Redis的数据全部存储在内存中,如果突然宕机,数据就会全部丢失,因此必须有一套机制来保证Redis的数据不会以为故障而丢失)
持久化方法
在这里插入图片描述

Redis持久化技术有RDB内存快照(全集)、AOF日志(快速)两种。RDB内存快照方式就是把当前内存中的数据集快照写入磁盘(数据库中所有键值对数据)。恢复时是将快照文件直接读到内存里。AOF是通过持续不断地保存Redis服务器所执行的更新命令来记录数据库状态,类似mysql的binlog。恢复数据时需要从头开始回放更新命令。
用AOF来保证数据不丢失,作为数据恢复的第一选择;用RDB来做不同程度的冷备,在AOF文件都丢失或损坏不可用时,还可以使用RDB来进行快速的数据恢复。
缓存问题:
本质:别让数据库去抗所有流量
缓存穿透:大量的key在redis里是不存在的
缓存雪崩:大量的key是已存在的,但同时失效了
缓存击穿:少量热点的key缓存时间失效了
解决方案:采用cluster集群(分片或主从复制和哨兵模式、读写分离、分库分表)、服务降级、服务熔断、请求限流。

主从复制

优势:(1)避免数据库单点故障、提高可用性。主服务器实时、异步复制数据到从服务器,当主数据宕机时,可从数据库中选择一个升级为主服务器,防止数据库单点故障。
(2)提高查询效率,主数据库可进行数据的插入、删除等写操作,而从数据库专门用来进行数据的查询操作,将不同操作分担到不同服务器以提高数据库访问效率。
主从复制的三种模式
(1)全同步复制,是指主库在执行完一个事务后,会等待所有从库执行完该事务后,才会把结果返回到客户端。这种方式的优点是数据一致性较高,但性能比较低。
(2)异步复制,主库在执行完客户端提交的事务后,会立即将结果返回给客户端。不关心从库是否已经接收并处理。
(3)半同步复制,主库在执行完客户端提交的事务后,会等待至少一个从库接收到后,才会将结果返回到客户端。牺牲了一定的性能,提高了数据的安全性。
主从复制的工作流程如下:
(1)主节点接收到写操作后,会将写操作记录成二进制日志(Binary Log)并持久化存储。
(2)从节点连接到主节点,并请求同步二进制日志。主节点将二进制日志发送给从节点。
(3)从节点将接收到的二进制日志应用到自己的数据库中,使其与主节点保持一致。
(4)当客户端发起读操作时,可以选择连接主节点或从节点。从节点负责处理读操作,从而减轻主节点的负载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/822124.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

锂电池充放电管理-单片机通用

锂电池充放电管理-单片机通用 一、锂电池充放电检测的原理二、power.c的实现三、power.h的实现四、锂电池检测和充电电路 一、锂电池充放电检测的原理 ①两节锂电池通过电阻分压检测ADC,再根据电压划分电量等级;②充电使用的是锂电池充电IC方案&#xf…

【问题解决分享】银河麒麟高级服务器操作系统oom分析

1.问题现象描述 服务器数据库被oomkill掉,但是mem查看只占用了不到60%。 2.问题分析 2.1.oom现象分析 从下面的日志信息,可以看到chmod进程是在内核采用GFP_KERNEL|__GFP_COMP分配order3也就是2的3次方,8个连续页的时候,因进入…

Hadoop大数据处理技术-安装配置篇

2024/4/16 ​Hadoop学习前的准备 1)首先安装虚拟机 VMWare 虚拟机:因为它不是一个硬件 而是用软件做出来的 模拟真机 所以叫做虚拟机 但实际上它里面也可以安装Linux和Windows 实际它的实现 虚拟机中想要实现某个操作时 将需求发给Windows 调用Windo…

十大排序——7.希尔排序

下面我们来看一下希尔排序 目录 1.介绍 2.代码实现 3.总结与思考 1.介绍 希尔排序是插入排序的一种优化,可以理解为是一种分组的插入排序。 希尔排序的要点: 简单来说,就是分组实现插入,每组元素的间隙称为gap,…

leetcode-合并两个有序链表

目录 题目 图解 方法一 方法二 代码(解析在注释中) 方法一 ​编辑方法二 题目 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1: 输入:l1 [1,2,4], l2 [1,3,4] 输出:[1,1…

OpenStack镜像管理与制作

一、OpenStack镜像服务 1、什么是镜像 镜像通常是指一系列文件或一个磁盘驱动器的精确副本。虚拟机所使用的虚拟磁盘,实际上是一种特殊格式的镜像文件。云环境下尤其需要镜像。镜像就是一个模板,类似于VMware的虚拟机模板,其预先安装基本的…

MySql数据库从0-1学习-第五天事务和索引

事务 事务 是一组操作的集合,它是一个不可分割的工作单位。事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求,即这些操作 要么同时成功,要么同时失败。 注意事项,默认事务是自动提交的,也就是说,当执行一条DML语句,MySql会立即隐…

计算机网络的七层模型

序 OSl(Open System Interconnect),即开放式系统互联。一般都叫OSI参考模型。在网络编程中最重要的模型就是OSI七层网络模型和TCP/IP四层网络模型 一、OSI七层参考模型以及功能概述 二、各层的具体职能以及实际应用 1.应用层: OSI参考模型中最接近用…

【高端电流检测IC储能产品应用方案】耐压45V侧轨的电流检测芯片FP137 应用于电脑电源,开关电源以及多口快充充电器,户外移动电源,适配器,电池充电器等

近年来,随着电子产品的飞速发展,对电流检测精度和可靠性的要求也越来越高。特别是在电脑电源、开关电源以及多口快充充电器、户外移动电源、适配器、电池充电器等领域,对电流检测技术的需求更是日益增长。 电流检测芯片是一种关键的电子元器…

day02|最小花费爬梯子

最小花费爬梯子 比如 有一个数组 【2 5 20】我们直接选择从1号梯子(从零编号)跳两格就出去了。 算法原理 我们可以得出楼顶其实是数组的最后一个元素的下一个位置。对于最值问题我们可以尝试使用dpdp我们首先应该定义状态方差的含义,一般以…

stm32实现hid鼠标

启动CubelMX 选择芯片(直接输入stm32f103zet6) 设置时钟 如下图 usb设置 配置usb设备 调试端口设置 配置时钟 项目输出设置 打开工程(后记:此工程含有中文不能编译通过) 配置项目 配置调试器 编译无法通过 删除路径中的中文,以及…

[大模型]InternLM2-7B-chat Xtuner Qlora 微调

InternLM2-7B-chat Xtuner Qlora 微调 Xtuner介绍 XTuner是上海人工智能实验室开发的低成本大模型训练工具箱,XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。只要8G。最低只需 8GB 显存,就可以微调InternLM2-7B模型,打造专属于你…

强强联手|AI赋能智能工业化,探索AI在工业领域的应用

随着人工智能(AI)技术的不断发展和应用,AI在各个领域展现出了巨大的潜力和价值。在工业领域,AI的应用也越来越受到关注。AI具备了丰富的功能和强大的性能,为工业领域的发展带来了巨大的机遇和挑战。 YesPMP是专业的互联…

复习回顾ES6基础篇(一小时学会es6)

基本语法 多行注释 /* 这里的所有内容 都是注释。 */单行注释 // 这是一条注释。变量定义 var x "" //定义范围变量 let y "" //定义局部变量 const z "" //定义常量运算符 变量类型 流程语句 if (condition) {/* 条件为真时运行的代…

【位运算 子集状态压缩】982按位与为零的三元组

算法可以发掘本质,如: 一,若干师傅和徒弟互有好感,有好感的师徒可以结对学习。师傅和徒弟都只能参加一个对子。如何让对子最多。 二,有无限多1X2和2X1的骨牌,某个棋盘若干格子坏了,如何在没有坏…

案例研究|众乐邦将MeterSphere持续测试平台融入DevOps流水线

众乐邦网络科技有限公司(以下简称为“众乐邦”)是一家企业服务公司。其旗下的众乐邦灵活用工数字化薪税管理平台(以下简称为灵活用工管理平台),以财税服务视角切入灵活用工场景,连接企业、灵活就业者和监管…

力扣:141. 环形链表

力扣:141. 环形链表 给你一个链表的头节点 head ,判断链表中是否有环。 如果链表中有某个节点,可以通过连续跟踪 next 指针再次到达,则链表中存在环。 为了表示给定链表中的环,评测系统内部使用整数 pos 来表示链表尾…

一个文生视频MoneyPrinterTurbo项目解析

最近抖音剪映发布了图文生成视频功能,同时百家号也有这个功能,这个可以看做是一个开源的实现,一起看看它的原理吧~ 一句话提示词 大模型生成文案 百家号生成视频效果 MoneyPrinterTurbo生成视频效果 天空为什么是蓝色的? 天空之所以呈现蓝色,是因为大气中的分子和小粒子会…

35、链表-LRU缓存

思路: 首先要了解LRU缓存的原理,首先定下容量,每次get请求和put请求都会把当前元素放最前/后面,如果超过容量那么头部/尾部元素就被移除,所以最近最少使用的元素会被优先移除,保证热点数据持续存在。 不管放…

鸿蒙画布组件使用介绍

一、前言 DevEco Studio版本:4.0.0.600 前些天写了一篇 鸿蒙自定义控件实现罗盘数字时钟效果 的文章,有同学私信说能不能介绍鸿蒙中的画布组件,下面文章介绍下鸿蒙中的Canvas画布、CanvasRenderingContext2D绘制组件,实现绘制文…