高效数据架构:分表流程实践

前言

​ 随着业务的不断扩展,数据量激增成为不可避免的现象。当数据量达到某一临界点时,单一的数据表可能无法承载如此庞大的数据量,此时就需要考虑进行分库分表的策略。尽管业界普遍认为数据量达到1000万时就应考虑分表,但实际上,根据笔者所在公司的经验,即便是10亿规模的数据表,在C端业务中依然能够稳定运行。因此,分表的决策应基于对数据规模(数据行、B+树的高度)、数据结构以及业务需求的综合评估。

分表流程

在这里插入图片描述

如图所示,假如我们原因只有一个数据表,现在分到两个数据表,流程如下:

  1. 根据一致性 Hash 或其它算法对数据进行分表
  2. 修改 BIZ 层代码对新表和老表同步进行写、删、更新操作
  3. 写一个脚本把老表的旧数据迁移到新表
  4. 等数据完全一致,切读业务到新表,写、删、更业务还是在两个表上操作
    1. 继续观察一段时间,读业务无误,停止双写
    2. 读业务有误,切回老表
注意点
数据迁移过程可能存在数据不一致
  1. 例如数据迁移脚本读取一条数据到内存中
  2. 此时业务正好修改了这条数据
  3. 数据迁移脚本把修改前的数据同步到新表
  4. 出现数据不一致

解决方案

​ 写一个数据校验脚本对比新老数据表的数据是否一致,不一致则以老表为准,把数据同步到新表

数据表的扩展性

​ 随着业务的发展,数据表可能需要进一步的扩展,设计时考虑数据表的扩展性,预留足够的空间和接口以支持未来的扩展

结尾语

​ 随着数据量的不断增长,分库分表已成为现代数据库架构中不可或缺的一部分。通过本文的深入探讨,我们不仅理解了分表的必要性,也掌握了分表流程的关键步骤和注意事项。在实施分表策略时,我们必须综合考虑业务需求、数据结构和系统性能,以确保分表操作的顺利进行和数据的一致性。

​ 数据迁移和分表是一个持续的过程,需要我们不断地监控、评估和优化。通过精心设计的数据分片策略和业务逻辑层代码,我们可以有效地提高系统的扩展性和稳定性。同时,通过实施数据校验和监控机制,我们可以及时发现并解决数据一致性问题,保障业务的连续性和数据的准确性。

​ 在未来,随着技术的不断进步和业务需求的不断变化,我们可能需要面对更加复杂的数据管理和优化挑战。但只要我们保持学习和创新的态度,不断探索和实践,就能够应对这些挑战,构建更加高效、稳定和可扩展的数据库系统。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/851653.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JS:异步输出顺序问题

闲着没事儿出一道异步的题给大伙儿打发时间 先看题目&#xff1a; <script> 2 console.log("1"); // 同步任务4 setTimeout(() > { 5 console.log("2"); 6 }, 0); 7 8 Promise.resolve().then(() > { 9 console.log("3")…

Windows搭建nacos集群

Nacos是阿里巴巴的产品&#xff0c;现在是SpringCloud中的一个组件。相比Eureka功能更加丰富&#xff0c;在国内受欢迎程度较高。 下载地址&#xff1a;Tags alibaba/nacos GitHub 链接&#xff1a;百度网盘 请输入提取码 提取码&#xff1a;8888 解压文件夹 目录说明&am…

力扣-1984. 学生分数的最小差值

文章目录 力扣题目工程代码C实现python实现 力扣题目 给你一个 下标从 0 开始 的整数数组 nums &#xff0c;其中 nums[i] 表示第 i 名学生的分数。另给你一个整数 k 。 从数组中选出任意 k 名学生的分数&#xff0c;使这 k 个分数间 最高分 和 最低分 的 差值 达到 最小化 。…

学习PLC+LabVIEW

学习PLC的前途 前景广阔 PLC&#xff08;Programmable Logic Controller&#xff09;是工业自动化和控制系统的核心组件&#xff0c;广泛应用于制造业、能源、交通、建筑等领域。随着工业4.0和智能制造的发展&#xff0c;对PLC技术的需求将持续增长。学习PLC有以下前景&#…

leetcode hot100 之 最长公共子序列

题目 给定两个字符串 text1 和 text2&#xff0c;返回这两个字符串的最长 公共子序列 的长度。如果不存在 公共子序列 &#xff0c;返回 0 。 一个字符串的 子序列 是指这样一个新的字符串&#xff1a;它是由原字符串在不改变字符的相对顺序的情况下删除某些字符&#xff08;…

python学习 -You-Get视频下载使用案例

You-Get 是一个命令行程序&#xff0c;提供便利的方式来下载网络上的媒体信息。 You-Get 是一个用于从网页下载媒体内容&#xff08;如视频、音频、图片&#xff09;的Python库。它支持多种网站&#xff0c;能够捕获并下载这些网站中直接或间接提供的媒体资源。You-Get 的设计…

网络限速导致的服务器访问https异常得处理过程

某日&#xff0c;测试人员反馈测试服务器无法获取到从公网下载的订单消息&#xff0c;首先我们的平台逻辑很简单&#xff0c;订单信息是从公网地址直接获取的。所以很明显我们需要排查一下网络通信是否正常&#xff0c;经过ping过后发现域名正常ping通。但是我们使用curl或者wg…

如何从零训练多模态大模型(预训练方向)

节前&#xff0c;我们星球组织了一场算法岗技术&面试讨论会&#xff0c;邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集&…

JVM (四)GC过程

一。概述 程序计数器、虚拟机栈、本地方法栈都是随线程生灭&#xff0c;栈帧随着方法的进入和退出做入栈和出栈操作&#xff0c;实现了自动的内存清理&#xff0c;因此&#xff0c;内存垃圾回收主要集中于Java堆和方法区中。 GC整体流程示意图&#xff1a; ① 年轻代对象的移动…

HALCON-从入门到入门-阈值分割定位算子综合运用

1.废话 之前我的一个师兄告诉我&#xff0c;针对图像上想要定位的内容&#xff0c;机器视觉中定位的方式有很多种&#xff0c;但是如果用阈值分割定位可以做的&#xff0c;就不要用模板匹配了。因为基于形状的模板匹配始终会存在匹配不到的风险&#xff0c;那如果打光效果可以…

记录清除挖矿病毒 solrd 过程

1、发现solrd病毒 端午节期间&#xff0c;kafka 服务器被黑客攻击了&#xff0c;植入了挖矿病毒 solrd&#xff0c;这个病毒很聪明&#xff0c;内存&#xff0c;CPU并没有异常升高&#xff0c;以致于上班第一天完全没有察觉。 上班第一天 正常登录服务器查看 flink ,消费kafka…

【qt】视口和窗口坐标

视口和窗口坐标 一.视口和窗口坐标的原理二.视口和窗口坐标的好处三.演示好处四.总结 一.视口和窗口坐标的原理 在绘图事件中进行绘图 void Widget::paintEvent(QPaintEvent *event) {QPainter painter(this);QRect rect(200,0,200,200);painter.drawRect(rect);//设置视口的…

HCIA12 NAT网络地址转换实验

NAT&#xff08;Network Address Translation&#xff09;是将 IP 报头中的 IP 地址转换为另一个 IP 地址的过程。主要俩好处&#xff1a; • 有效避免来自外网的攻击&#xff0c;可以很大程度上提高网络安全性。 • 控制内网主机访问外网&#xff0c;同时也可以控制外网…

SwanLab系列教程:用swanlab.Text记录文本

SwanLab是一个由国内团队开源的机器学习实验跟踪工具&#xff0c;相比于Tensorboard有更丰富的功能、更友好的UI界面&#xff0c;以及更重要的云端同步、多人协作功能。 安装&#xff1a;pip install swanlab 本教程主要介绍如何用swanlab.Text记录文本&#xff0c;这在做NLP…

描述常见的Java安全漏洞和防范措施

常见的Java安全漏洞及其防范措施可以归纳如下&#xff1a; 一、常见的Java安全漏洞 跨站脚本攻击&#xff08;XSS&#xff09; 漏洞描述&#xff1a;攻击者通过在网页中插入恶意脚本来获取用户的敏感信息或执行恶意操作。防范措施&#xff1a; 输入验证和过滤&#xff1a;对用…

Web前端简历筛选:深入剖析筛选要点与技巧

Web前端简历筛选&#xff1a;深入剖析筛选要点与技巧 在人才辈出的互联网时代&#xff0c;Web前端开发者成为众多企业争相争夺的宝贵资源。然而&#xff0c;面对海量的简历&#xff0c;如何筛选出真正符合需求的前端人才&#xff0c;成为HR们的一大挑战。本文将从四个方面、五…

maven在setting.xml配置文件中限制某个包不走某个镜像的配置案例

一、以阿里云镜像为例 1、验证示例&#xff0c;在 ideal 项目的父 pom.xml 文件中&#xff0c;配置了如下指定镜像 <repositories><repository><id>osgeo</id><url>https://repo.osgeo.org/repository/release/</url><snapshots>&l…

Allegro铺铜以及分割操作

Allegro铺铜以及分割操作 一、铺铜全局设置 点击Shape–>Global Dynamic Shape Parameters&#xff0c;在Shape fill中选择Smooth&#xff0c;其他不用管&#xff0c;这个是在铺铜的时候自动避让不同网络&#xff0c;在Void controls中一般填写如下参数&#xff0c;即避让…

数字孪生智慧水利:精准管理与智能决策的新时代

图扑数字孪生技术在智慧水利中的应用&#xff0c;通过虚拟模型与真实水利系统的无缝连接&#xff0c;实现对水资源和水利工程的全面监控和精细管理。实时数据采集与动态模拟提升了水利系统的预测和响应能力&#xff0c;从洪水预警到水质监测&#xff0c;数字孪生助力各项决策更…

python实现无人机航拍图片像素坐标转世界坐标

背景 已知相机参数&#xff08;传感器宽度和高度、图像宽度和高度、焦距、相对航高、像主点坐标 &#xff09;&#xff0c;在给定像素坐标的前提下&#xff0c;求世界坐标&#xff0c;大部分通过AI来实现&#xff0c;不知道哪个步骤有问题&#xff0c;望大家指正 脚本 impor…