重庆市交通建设工会网站,网站模板外包,免费建站排名,加盟网络营销推广公司锁 概述 保证并发访问数据库数据的一致性和有效性等。 全局锁-库锁 ​ 加锁后#xff0c;整个数据库实例就处于只读状态#xff0c;后续的DML语句#xff0c;DDL语句#xff0c;以及更新操作的事务提交语句都将会被阻塞。 典型使用场景#xff1a; ​ 对全库做逻辑备…锁 概述 保证并发访问数据库数据的一致性和有效性等。 全局锁-库锁 ​ 加锁后整个数据库实例就处于只读状态后续的DML语句DDL语句以及更新操作的事务提交语句都将会被阻塞。 典型使用场景 ​ 对全库做逻辑备份对所有的表进行锁定从而获取一致性视图保证数据的完整性。 flush tables with read lock; widnows命令行mysqldump -h localhost -uroot -p 1234 userDB userDB.sql; unlock tables; 特点 ​ 如果在主库上备份那么备份期间都不能执行更新业务基本上就得停摆。 ​ 如果在从库上备份那么在备份期间从库不能执行从主库同步过来的二进制日志binlog会导致主从延迟。 所以在InnoDB引擎中我们可以在备份时加上参数 --single-transaction来完成不加锁的一致性数据备份。【通过快照读来实现。】 mysqldump --single-transaction -uroot -p 1234 userDB d:/userDb.sql; 表级锁 表级锁在InnoDB、MyISAM、BDB等存储引擎中都是支持的。 表锁 ​ 1、表读锁 lock tables 表名 read/write unlock tables; 当前会话报错。其他会话阻塞到解锁。 ​ 2、表写锁 当前会话 lock tables score write; select * from score;没问题 update score set chinese 100 where id 1; 没问题 其他窗口会话 select * from score 会阻塞 update 会阻塞到表锁释放。 元数据锁meta data lock,MDL ​ 元数据锁是系统自动控制无需显示使用在访问一张表的时候会自动加上。MDL锁主要作用是维护表元数据的数据一致性在表上有活动事务的时候不可以对元数据进行写入操作。【事务开启的时候没有元数据锁。只有执行了增删改查之后才有了元数据锁。】[避免DML语句和DDL语句的冲突。] ​ 当对一张表进行增删改查的时候增加MDL读锁共享锁当对表结构进行变更的时候加MDL写锁排他。 ​ 【会话1开启事务查询之后会话2修改表结构阻塞。当事务1提交之后阻塞解除。因为会话1查询数据之后会产生共享锁与会话2的排他锁冲突。】 查看元数据锁 select object_type,object_schema,object_name,lock_type,lock_duration from performance_shema.metadata_locks;意向锁 ​ 作用某行记录会话1加了行锁会话2想要添加表锁需要一行行检查记录。为了避免DML语句在执行时加的行锁和表锁冲突在InnoDB中引入了意向锁使得表锁不用检查每行数据是否加锁使用意向锁来减少表锁的检查。 ​ 加入意向锁 ​ 会话1开始事务给表记录增加行锁同时对表增加意向锁。 ​ 会话2要给表增加表锁需要检查表锁和意向锁冲不冲突。 意向共享锁IS由语句 select … lock in share mode添加。 意向排他锁IX由insert 、update、delete、 select for upate添加。 select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;行级锁 ​ InnoDB的数据是基于索引组织的行锁是通过对**索引上的索引项加锁**来实现的而不是对记录的加锁。 1、行锁锁定单行记录防止其他事务对此行进行update、delete。在RC RR隔离级别下支持。 2、间隙锁锁定索引记录的间隙不包含记录确保索引间隙不变防止其他事务在间隙进行insert操作进而产生幻读。在RR隔离级别下支持。 3、临键锁行锁和间隙锁的组合。会锁住数据并锁住数据前面的Gap在RR隔离级别下支持。 行锁 ​ 默认情况下InnoDB引擎在RR事务隔离级别运行InnoDB使用next-key锁进行搜索和索引扫描以防止幻读。 1、针对于**唯一索引**进行检索时对已存在的记录进行等值匹配时将会自动优化为行锁。 2、InnoDB的**行锁是针对于索引加的锁**不通过索引检索数据那么InnoDB将对表中所有记录加锁此时就会升级为表锁。 --可以通过以下sql查看意向锁和行锁的加锁情况 select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;间隙锁和临键锁 ​ 默认情况下InnoDB在RR事务隔离级别运行InnoDB使用next-key锁进行搜索和索引扫描以防止幻读。 1、索引上的等值查询唯一索引给不存在的记录加锁时优化为间隙锁。、 ​ 譬如会话1id搜索5上一个是3下一个是9就把3和9之间的间隙锁住了此时另外一个客户端会话2要插入id为4插入不了阻塞了因为间隙被锁住了只有搜索5提交之后才会插入成功。 2、索引上的等值查询普通索引向右遍历时最后一个值不满足查询需求时next-key lock退化为间隙锁。 ​ 譬如普通索引又不是唯一索引等值查询之前或者是之后还会有值索引要锁住其间隙。还有锁住其本身的行。 3、索引上的范围查询唯一索引–会访问到不满足条件的第一个值为止。 ​ 譬如会锁住行还有其间隙。包括正无穷。 注意间隙锁唯一的目的是防止其他事务插入间隙。间隙锁可以共存一个事务采用的间隙锁不会阻止另一个事务在同一间隙上采用间隙锁。 总结 概述 ​ 在并发访问时解决数据访问的一致性、有效性问题。 ​ 全局锁、表级锁、行级锁。 全局锁 ​ 对整个数据库实例加锁加锁后整个数据库实例 处于只读状态。 ​ 性能较差数据逻辑备份时使用。【single transaction】 表级锁 ​ 操作锁住整张表锁定粒度大发生锁冲突的概率高。 ​ 表锁、元数据锁避免DML语句和DDL语句冲突、意向锁避免表锁和行锁在加锁时的冲突问题避免在加表锁的时候逐行去检索行锁的情况不用手动去家自动完成。 行级锁 ​ 操作锁住对应的行数据锁定粒度较小发生锁冲突的概率最低。 ​ 行锁间隙锁解决多个事务并发时出现的幻读现象、临键锁。 InnoDB引擎 逻辑存储结构 表空间ibd文件一个mysql实例可以对应多个表空间用于存储记录、索引等数据。 段分为数据段、索引段和回滚段。InnoDB是索引组织表数据段就是B树的叶子节点索引段即为B树的非叶子节点。段用来管理多个区。 区表空间的单元结构每个区的大小为1M。默认情况下InnoDB存储引擎页大小为16K即一个区中一个有64个连续的页。 页是InnoDB存储引擎磁盘管理的最小单元每一个页的大小默认为16KB为了保证页的连续性InnoDB存储引擎每次从磁盘申请4-5个区。 行InnoDB存储引擎是按照行进行存放的。 ​ trx_id每次对每条记录进行改动时都会把对应的事务id赋值给trx_id隐藏列。 ​ roll_pointer每次对行记录进行改动时都会把旧的版本写入到undo日志中然后这个隐藏列就相当于一个指针可以通过它来找到该记录修改前的信息。 架构 ​ 在MySQL5.5版本开始默认使用InnoDB存储引擎它擅长处理事务具有崩溃恢复特性在日常开发中使用非常广泛。 ​ 内存结构 缓冲池 ​ 缓冲池是主内存中的一个区域里边可以缓存磁盘上经常操作的真实数据在执行增删改查操作时先操作缓冲池中的数据若缓冲池中没有数据则从磁盘中加载并缓存然后再以一定频率刷新到磁盘从而减少磁盘缓存加快处理速度。 ​ 缓冲池以Page页为单位底层采用链表数据结构管理Page。根据状态将Page分为三种类型 ​ free page空闲page未被使用。 ​ clean page被使用page数据没有被修改过。 ​ dirty page脏页被使用page数据被修改过页中数据与磁盘的数据不一致。 更改缓冲区 ​ change buffer针对于非唯一 二级索引页在执行DML语句时如果这些page没有在buffer poll中不会直接操作磁盘而会将数据变更存在更改缓冲区中。在未来数据被读取时再将数据合并恢复到Buffer poll中再将合并后的数据刷到磁盘中。 日志缓冲区 ​ 用来保存写入到磁盘的log日志数据redo log、undo log默认大小为16MB日志缓冲区的日志会定期刷新到磁盘中。如果需要更新、插入或删除多行的事务增加日志缓冲区的大小可以节省磁盘IO。 参数 1、indodb_log_buffer_size缓冲区大小 2、innodb_flush_log_at_trx_commit日志刷新到磁盘 ​ 参数1日志在每次事务提交时写入并刷新到磁盘 ​ 参数0每秒将日志写入并刷新到磁盘一次 ​ 参数2日志在每次事务提交后写入并每秒刷新到磁盘一次。 自适应hash索引 ​ 在InnoDB引擎中采用的是B树索引而不是hash索引。哈希索引不能采用范围查询只能采用等值查询。所以自适应hash索引用于优化对Buffer Pool数据的查询。InnoDB存储引擎会监控对表上各索引页的查询如果观察到hash索引可以提升速度则建立hash索引称之为自适应hash索引。 ​ 自适应hash索引无需人工干预是系统根据情况自动完成。 ​ 参数adaptive_hash_index 磁盘结构 system tablespace ​ 系统表空间是change buffer的存储区域。如果表是在系统空间而不是每个表文件或者通用表空间中创建的它也可能包含表和索引数据。在MySQL5版本之中还包含InnoDB数据字典、undolog等 ​ 参数Innodb_data_file_path file-per-table tablespace ​ 每个表的文件表空间包含单个InnoDB表的数据和索引并存储在文件系统上的单个数据文件中。 ​ 参数innodb_file_per_table默认开启每张表都会生成一张表空间文件。.ibd文件存放的是表结构和表数据和索引。 General tablespace ​ 通用表空间需要通过create tablespace 语法来创建通用表空间在创建表时可以指定该表空间。 ​ create tablespace ts add datafile ‘filename’ engineinnodb; ​ create table tableName tablespace ts; undo tablespace: ​ 撤销表空间MySQL实例在初始化时会自动创建两个默认的undo表空间初始大小为16M用来存储undo log日志。 undo001 undo002两个文件。 temporary tablespace ​ InnoDB使用会话临时表空间和全局临时表空间。存储用户创建的临时表等数据。 doublewrite Buffer files ​ 双写缓冲区innoDB引擎将数据页从Buffer Pool刷新到磁盘前先将数据页写入到双写缓冲区中便于系统异常时恢复数据。 ib_xxx_0.dblwr ib_xxx_1.dblwr 这还是双写缓冲区的文件。 Redo Log ​ 重做日志用来实现事务的持久性。该日志由两部分组成 1、重做日志缓冲redo log buffer在内存 2、重做日志文件redo log在磁盘 当事务提交之后会把所有修改信息都会存放到该日志中用于在刷新脏页到磁盘中时发生错误时进行数据恢复使用。 【事务提交之后redo log意义不大了每隔一段时间清理一次。】 后台线程 ​ 内存中的数据是如何刷新到磁盘上的呢 1、Master Thread ​ 核心后台线程负责调度其他线程还负责将缓冲池中的数据异步刷新到磁盘中保持数据的一致性还包括脏页的刷新合并插入缓存undo页的回收。 2、IO Thread ​ 在InnoDB存储引擎中使用了大量的AIO来处理IO请求这样可以极大的提高数据库的性能而IO Thread主要负责这些IO 请求的回调。 线程类型默认个数职责Read Thread4负责读操作Write Thread4负责写操作Log Thread1负责将日志缓冲区刷新到磁盘Insert Buffer Thread1负责将写缓冲区的内容刷新到磁盘 show engine innodb status; 有一段IO的情况 3、Purge清除 Thread ​ 主要用于回收事务已经提交了的undo log在事务提交之后Undo log可能不用了就用它来回收。 4、Page Cleaner Thread ​ 协助Master Thread刷新脏页到磁盘的线程它可以减轻Master Thread的工作压力减少阻塞。 事务原理 redo log和undo log 保证了事务的**【原子性、一致性、持久性】** 锁机制MVCC保证了事务的**【隔离性】** redo log redo log是如何来保证**持久性**的呢 ​ 重做日志记录的是事务提交时数据页的物理修改是用来实现事务的持久性。 该日志文件由两部分组成 ​ 1、重做日志缓冲redo log buffer在内存中。 ​ 2、重做日志文件redo log file在磁盘中。 ​ 当事务提交之后会把所有的修改信息都存在该日志文件中。用于在刷新脏页到磁盘发生错误时进行数据恢复使用。 ​ 【个人理解当进行增删改时先从Buffer Pool中找记录如果没有就从磁盘查找然后加载的Buffer Pool中在缓冲池中修改数据。当修改数据后【缓冲池中的数据和磁盘中的不一致被称为脏页脏页并不是实时刷新到磁盘的后台线程会每隔一段时间将脏页变化的数据刷新到磁盘中】同时会把修改数据的信息记录的redo log Buffer中当事务提交之后会将redolog Buffer刷新到磁盘中当刷新脏页到磁盘中出现问题的时候采用redolog file来恢复数据。】 ​ 为什么不在事务提交之后将缓冲池中的数据直接刷新到磁盘呢还要将redolog Buffer刷新到磁盘当中呢 ​ 【如果每次提交直接将Buffer Pool当中的数据直接刷新到磁盘当中因为数据进行大量增删改会产生随机磁盘IO降低数据库性能。而直接使用redolog因为其是日志文件日志文件都是追加的它此时是顺序磁盘IO它的性能是要高于随机磁盘IO的】过一段时间之后就将脏页的数据刷新到磁盘当中。 undolog undolog如何解决事务的**原子性**呢 ​ 回滚日志用来记录数据被修改之前的信息作用包含两个提供 回滚和MVCC多版本并发控制。 ​ undolog和redolog记录物理日志不一样它是逻辑日志。可以认为当delete一条记录时undolog中会记录一条对应的insert日志反之亦然insert-delete。当update一条数据时它记录一条对应相反的update记录。当执行rollback时就可以从undo log中的逻辑记录中读取到对应的内容并回滚。 ​ Undo log销毁undo log在事务执行时产生事务提交时并不会立即删除Undo log因为这些日志还可能用于MVCC。 ​ Undo log存储undo log采用段的方式进行管理和记录存放在rollback segment回滚段当中内部包含1024个undo log segment。 MVCC 基本概念 1、当前读 ​ 读取的是记录的最新版本读取时还要保证其它并发事务不能修改当前记录会对读取的事务进行加锁。 select …lock in share mode共享锁 select …for update、 update、insert、delete都是排他锁都是当前读。 例如两个会话同时开启事务会话1select查询会话2update即使会话2提交了会话1的查询还是不变因为MySQL设置的隔离级别为可重复读所以读取不到最新的数据 。但是要想读取到最新的数据可以设置select in share mode。 2、快照读 ​ 简单的select不加锁就是快照读。快照读读取的是记录数据的可见版本有可能是历史数据不加锁是非阻塞读。 read committed每次select都生成一个快照表 repeatable read开启事务后第一个select才是快照读的地方。 serializable快照读会退化为当前读。 3、MVCC ​ 全称 Multi-Version Concurrency Control多版本并发控制。维护一个数据的多个版本使得读写操作没有冲突快照读为MySQL实现MVCC提供了一个非阻塞读功能。MVCC的具体实现还需要依赖于数据库记录的**三个隐式字段、undolog日志、readView。** MVCC实现原理 1、三个隐藏字段 id age name [db_trx_id、db_roll_ptr、db_row_id] db_trx_id最近修改事务ID记录**插入这条记录或最后一次修改记录**的事务ID。 db_roll_ptr回滚指针指向这条记录的上一个版本用于配合undoLog指向上一个版本。 db_row_id隐藏主键如果表结构没有指定主键将会生成该隐藏字段。 查看ibd文件的数据字典的信息 ibd2sdi stu.ibd可以看到隐藏字段。 2、undo log日志 回滚日志在insert、update、delete的时候产生的便于数据回滚的日志。 当insert的时候产生的undo log日志只在回滚时需要在事务提交之后可以被立即删除。 而update、delete的时候产生的undo log日志不仅在回滚时需要在快照读的时候也需要不会被立即删除。 undo log 版本链 ​ 不同事务或者是相同事务对同一条记录进行修改会导致该记录的undo log生成一条记录版本链条链表的头部是最新的旧记录链表的尾部是最早的旧记录。 3、read view 读视图是快照读SQL执行时MVCC提取数据的依据记录并维护系统当前活跃的事务未提交id。 read view中包含了四个核心字段 字段含义m_ids当前活跃的事务ID集合min_trx_id最小活跃事务IDmax_trx_id预分配事务ID当前最大事务ID1因为事务ID是自增的creator_trx_idreadview创建者的事务ID trx_id代表当前事务ID trx_id creator_trx_id 可以访问该版本 trx_id min_trx_id 可以访问该版本 trx_id max_trx_id 不可以访问该版本 min_trx_id trx_id max_trx_id 如果trxid不在m_ids中是可以访问该版本的。 不同的隔离级别生成ReadView的时机不同 read comitted在事务中每一次执行快照读时生成readview。 repeatable read仅在事务中第一次执行快照读时生成readview后续复用该readview。 MySQL管理 系统数据库 数据库含义mysql存储MySQL服务器正常运行所需要的各种信息时区主从用户权限等infomation_schema提供了访问数据库元数据的各种表和视图包含数据库、表、字段类型及访问权限等。performance_schema为MySQL服务器运行时提供了一个底层监控的功能主要用于收集数据库服务器性能参数sys包含了一系列方便DBA和开发人员利用performance_schema性能数据库进行调优和诊断的视图 不登录直接执行MySQL语句 mysql -h192.168.xxxx P3306 -uroot -p1234 pshdhx -e “select * from emp” 查看帮助文档 mysqladmin --help mysqlbinlog指令 mysqlshow指令 mysqldump指令 mysqldump -uroot -p1234 db01 db01.sql