mysql crash 如何导出数据库_mysql 如何做到crash后无损恢复数据的

2ff34e647e2e3cdfd8dca593e17d9b0a.png

ps

真实的流程没有我说的那么简单,下面的是最基本的情况。

预备知识redolog

binlog

WAL机制

redolog简介

redolog是个循环日志,其大小固定为4g,存在2个指针来定位其是否已经满了。一个指针是当前写,一个指针是当前checkpoint,其2个指针的顺时针空间就是可写的空间。

这个redolog就是完成mysql突然宕机后,如何无损恢复数据的。

binlog简介

这个是mysql自身的日志,叫做归档日志。和redolog大致3个不同点。其为mysql自带的,redolog是innodb里面的。

redolog是物理日志,binlog是逻辑日志。

redolog是循环日志,binlog是增量日志。

这里不对其过多介绍,下一篇文章关于主从的详细介绍,主从就是通过binlog完成的。

WAL机制简介

MySQL里经常说到的 WAL 技术,意思就是数据入库前先写进去日志,再写磁盘里面。

这里采用的是数据安全性最高的双1策略。

其数据更新顺序也保持着其顺序。

下面我来简单介绍下。

1.当要更新id=2这一行数据时,先通过这个表的索引,查询到这行记录所在的数据页。然后判断这个数据页是否在buffer pool(这个是内存)。

2.如果不在内存则需要读到内存(其实也可以不用读入内存,当要更新的这行数据没有唯一索引时,mysql为了提高效率,采用了change buffer(别看有个buffer,但是人家也是持久化到磁盘的)这个东西,将对这行修改的动作记录到change buffer里面,就不用读到内存了)。

3.在buffer pool 内存上修改这行数据(仅仅只是在内存上修改了这行数据,并没有持久化到磁盘里面)。

4.将上面的操作,写入到redolog里面,且将这个操作状态设置为prepare状态,首先写到redologbuffer里面(为了提高效率,mysql做了组提交这个优化,这里不扩展),等到这个事务提交后,redologbuffer然后再写入到文件系统的page cache里面,然后立马调用fsync,将其刷到磁盘。

5.然后写入到binlog里面,先写到binlog cache里面,然后写入page cache,然后调用fsync,写入磁盘。

6.redolog继续写一次,将其状态设置为commit状态。

如此就算完成了一个更新操作。

mysql 如何做到crash后,数据不丢失的

前面说了数据更新操作。

当前buffer pool里面存在大量脏页(就是一些数据页,只在内存里面修改了,没有刷新到磁盘),当系统宕机了,内存里面的数据全部丢失了怎么办?

方法如下:我们需要redolog来完成灾难备份,check point到writ pos这块空间记录的所有的操作步骤派上用场了,根据这些redolog记录从磁盘里面读取所有相关的数据页。然后按照redolog上的操作恢复数据即可,那么我们发现存再内存的数据全部恢复了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/442295.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python turtle画四叶草的步骤_python turtle工具绘制四叶草的实例分享

本篇文章介绍了python使用turtle库绘制四叶草的方法,代码很简单,希望对学习python的朋友有帮助。import turtleimport timeturtle.setup(650.,350,200,200)turtle.pendown()turtle.pensize(10)turtle.pencolor(green)#四叶草def draw_clover(radius,rota…

python3所支持的整数进制_Python3快速入门(三)——Python3标准数据类型

Python3快速入门(三)——Python3标准数据类型一、Python3标准数据类型Python3 中有六种标准数据类型:A、Number(数字)B、String(字符串)C、List(列表)D、Tuple(元组)E、Set(集合)F、Dictionary(字典)Python3 的六种标准数据类型中,Number(数字)、String(…

python解图片迷宫生成路径_用Python代码来解图片迷宫的方法整理

译注:原文是StackOverflow上一个如何用程序读取迷宫图片并求解的问题,几位参与者热烈地讨论并给出了自己的代码,涉及到用python对图片的处理以及广度优先(BFS)算法等。问题by Whymarrh:当给定上面那样一张JPEG图片,如何…

web获取多行mysql结果_mysql中的多行查询结果合并成一个

SELECT GROUP_CONCAT(md.data1) FROM DATA md,contacts cc WHERE md.conskeycc.id AND md.mimetype_id 5 AND md.user_id17:利用函数:group_concat(),实现一个ID对应多个名称时,原本为多行数据,把名称合并成一行,如 |1…

学习Vue2.x

ref属性 (1)被用来给元素或子组件注册应用信息(id的替代者) (2)应用在html标签上获取的是真实DOM元素,或应用在组件标签上是组件实例对象(VC) (3)…

信号模型噪声服从零均值高斯分布_非高斯噪声下基于分数低阶循环谱的调制识别方法...

1 引言当前,绝大多数非高斯噪声的建模形式都为Alpha稳定分布噪声。首先,Alpha稳定分布符合中心极限定理,在理论上适合应用于实际场景中的噪声建模;其次,Alpha稳定分布由于其参数的可变性,包含高斯分布、柯西…

mysql 时间绝对值_datetime和timestamp--时间戳是绝对值,日期是相对值

遇到的问题:系统时间与数据库时间不一致,系统时间是8:20,存到数据库里是0:20。第一直觉是时区不同导致的。先看一段代码:Java代码public static void main(String[] args) {//System.out.println(TimeZone.getDefault());SimpleDa…

python网络编程自学_五分钟搞定Python网络编程实现TCP和UDP连接

Python网络编程实现TCP和UDP连接, 使用socket模块, 所有代码在python3下测试通过。实现TCP#!/usr/bin/env python3# -*- coding: utf-8 -*-import socket# 创建一个socket:s socket.socket(socket.AF_INET, socket.SOCK_STREAM)# 建立连接:s.connect((www.baidu.co…

java自定义线程_Java自定义线程池详解

自定义线程池的核心:ThreadPoolExecutor为了更好的控制多线程,JDK提供了一套线程框架Executor,帮助开发人员有效的进行线程控制,其中在java.util.concurrent包下,是JDK并发包的核心,比如我们熟知的Executor…

java sql 递归查询_sql server实现递归查询的方法示例

本文实例讲述了sql server实现递归查询的方法示例。分享给大家供大家参考,具体如下:有时候面对树结构的数据时需要进行递归查询,网上找了一番,参考了各位大神的文章,发现蛮简单的,当做个小笔记方便以后使用sql server 通过CTE来支持递归查询,这对查询树形…

java 垃圾回收 null_java方法中把对象置null,到底能不能加速垃圾回收

今天逛脉脉,看见匿名区有人说java中把对做置null,这种做法很菜,不能加速垃圾回收,但是我看到就觉得呵呵了,我是觉得可以加速置null对象回收的。测试的过程中,费劲的是要指定一个合理的测试堆大小&#xff0…

零基础学java web开发pdf_新手学Java Web开发.pdf

作 者 :杨磊等编著出版发行 : 北京:北京希望电子出版社 , 2010.01ISBN号 :978-7-89498-988-8页 数 : 480丛书名 : 新手学编程系列原书定价 : 49.80主题词 : 计算机编程软件,JAVA WEB中图法分类号 : TP3 ( 工业技术->…

es 映射 mysql_ElasticSearch系列02:ES基础概念详解

1、ES 简介1)定义ES是elaticsearch简写, Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。Elasticsearch也使用Java开…

java 跨域上传_java后台图片跨域上传图片 文件

发送方ResponseBodyRequestMapping(value"/imgUpLoadNewOneKuaYu")public String imgUpLoadNewOneKuaYu(HttpServletRequest request) throwsIOException {String urlStr "http://localhost:9080/no-js/admin/upload";Map textMap new HashMap();Multipar…

java ajax 导入excel_Ajax asp.net 导入Excel

$("#btnUploadExcelSave").click(function () {var fileObj document.getElementById("file").files[0]; // js 获取文件对象var FileController "../FileHandler.ashx?type3"; // 接收上传文件的后台地址// FormData 对象var form new Form…

java 外卖订餐系统_java外卖订餐系统小项目

本文实例为大家分享了java外卖订餐系统的具体代码,供大家参考,具体内容如下执行结果:通过选择功能序号,执行响应的功能:代码实现:package 外卖订餐系统;/** 代码优点,使用 循环:* 显…

mysql 性能问题_mysql性能问题

性能优化的目的是什么呢?(合理利用可利用的资源)性能优化的方向:硬件方面:CPU、内存、IO、网络、硬盘、显卡软件方面:mysql这个软件内部优化,比如sql、算法,一些配置项目方面:需求设计、架构优化…

java 字符串包含某个字符_java中判断字符串中是否包含某个特定字符串的方法有哪些...

判断一个字符串是否包含某个子串的n种方法:1、startsWith()方法2、contains()方法3、indexOf方法startsWith()方法这个方法有两个变体,用于检测字符串是否以指定的前缀开始。此方法定义的语法如下:public boolean startsWith(String prefix, int toffset…

java socket 判断是否断开_Linux Socket:如何在客户端程序中检测断开的网络?

仅在调用write()函数时才能检测到未插入的以太网电缆 . 这是因为tcp堆栈的tcp重传没有你的意识 . 这是解决方案 .即使您已经为应用程序套接字设置了keepalive选项,但是如果您的应用程序一直在套接字上写入,您无法及时检测到套接字的死连接状态 . 那是因为…

java backbone_在Backbone.js中发出POST请求

我有一个RESTful服务器,它接受url编码的参数 .就我而言,发帖请求https://我的服务器:8443 / test / auth将请求标头设置为Content-Type:application / x-www-form-urlencoded并传递参数username myusername password …