每日一博 - 三高系统架构设计:高性能、高并发、高可用性解析

文章目录

  • 引言
  • 一、高性能篇
    • 1.1 高性能的核心意义
    • 1.2 影响系统性能的因素
    • 1.3 高性能优化方法论
      • 1.3.1 读优化:缓存与数据库的结合
      • 1.3.2 写优化:异步化处理
    • 1.4 高性能优化实践
      • 1.4.1 本地缓存 vs 分布式缓存
      • 1.4.2 数据库优化
  • 二、高并发篇
    • 2.1 高并发的核心意义
    • 2.2 高并发优化方法论
      • 2.2.1 水平扩展(X轴扩展)
      • 2.2.2 纵向扩展(Y轴扩展)
      • 2.2.3 垂直扩展(Z轴扩展)
    • 2.3 高并发优化实践
      • 2.3.1 DDD实践
      • 2.3.2 热Key处理
  • 三、高可用篇
    • 3.1 高可用的核心意义
    • 3.2 高可用优化方法论
      • 3.2.1 应用层高可用
      • 3.2.2 存储层高可用
      • 3.2.3 部署层高可用
    • 3.3 高可用优化实践
      • 3.3.1 Redis高可用
      • 3.3.2 Elasticsearch高可用
      • 3.3.3 Kafka高可用
  • 四、总结

在这里插入图片描述


引言

随着用户规模的不断扩大和业务复杂性的增加,系统的性能、并发能力和可用性成为了技术团队必须面对的核心挑战。无论是C端的高流量场景,还是B端/M端的复杂业务逻辑,系统的“三高”(高性能、高并发、高可用性)设计都是确保业务稳定运行的关键。

接下来我们将深入探讨三高系统架构设计的方法论和实践, 从高性能、高并发、高可用性三个维度展开,理解如何设计和优化一个高可用、高性能、高并发的系统。


一、高性能篇

1.1 高性能的核心意义

高性能是系统设计的基石。一个高性能的系统能够快速处理请求,提供低延迟的服务,从而提升用户体验。高性能不仅直接影响系统的吞吐量,还间接决定了系统的并发能力和可用性。因此,优化系统性能是三高系统设计的首要任务。

1.2 影响系统性能的因素

系统性能的优化需要从多个维度入手,主要包括以下三个方面:

  1. 计算(Computation)

    • 系统内部的计算逻辑复杂度。
    • 频繁的Full GC(垃圾回收)会导致系统停顿,影响性能。
  2. 通信(Communication)

    • 系统与外部依赖(如数据库、缓存、第三方服务)的通信耗时。
    • 网络延迟、带宽限制等问题。
  3. 存储(Storage)

    • 数据库的读写性能,尤其是大库大表、慢SQL问题。
    • 缓存的使用效率,如Redis、Memcached等。
    • 搜索引擎(如Elasticsearch)的索引设计、分片大小等。

1.3 高性能优化方法论

在这里插入图片描述

1.3.1 读优化:缓存与数据库的结合

缓存是提升系统性能的利器,但缓存的使用需要与数据库结合,以确保数据的一致性和可靠性。根据系统的读写特点,缓存的使用可以分为以下两种场景:

  1. 读多写少的系统

    • 方案:同步更新数据库,后删除缓存。
    • 优点:以数据库为主,缓存为辅,确保数据一致性。
    • 适用场景:电商的商品详情页、新闻资讯等。
  2. 写多读少的系统

    • 方案:同步更新缓存,异步更新数据库。
    • 优点:以缓存为主,数据库为辅,提升写性能。
    • 适用场景:物流订单系统、秒杀场景等。

1.3.2 写优化:异步化处理

在高并发场景下,写操作往往成为系统的瓶颈。通过异步化处理,可以将耗时的写操作从主流程中剥离,提升系统的响应速度。

  • 秒杀场景
    • 用户下单后,系统异步处理订单,返回成功响应。
    • 通过消息队列(如Kafka、RocketMQ)削峰填谷,避免系统过载。
    • 缓存库存信息,异步扣减库存,确保数据一致性。

1.4 高性能优化实践

1.4.1 本地缓存 vs 分布式缓存

  • 本地缓存:适用于数据量小、访问频率高的场景,如Guava Cache、Caffeine。
  • 分布式缓存:适用于数据量大、需要跨节点共享的场景,如Redis、Memcached。

1.4.2 数据库优化

  • 索引优化:为高频查询字段添加索引,避免全表扫描。
  • 分库分表:将大表拆分为多个小表,提升查询性能。
  • 读写分离:主库负责写操作,从库负责读操作,分担主库压力。

二、高并发篇

2.1 高并发的核心意义

高并发是指系统能够同时处理大量请求的能力。随着用户规模的增加,系统的并发能力直接决定了其能否支撑业务的快速发展。高并发设计的目标是通过水平扩展、垂直扩展等手段,提升系统的吞吐量和响应速度。

2.2 高并发优化方法论

在这里插入图片描述

2.2.1 水平扩展(X轴扩展)

水平扩展是通过增加机器数量来提升系统的并发能力。常见的水平扩展方式包括:

  • 应用层扩展:通过负载均衡(如Nginx、HAProxy)将流量分发到多台服务器。
  • 存储层扩展:通过分库分表将数据分散到多个数据库实例。

2.2.2 纵向扩展(Y轴扩展)

纵向扩展是通过拆分单体应用为多个微服务,提升系统的可扩展性和可维护性。常见的纵向扩展方式包括:

  • 微服务架构:将系统按照业务领域拆分为多个独立的服务。
  • 领域驱动设计(DDD):通过领域划分指导微服务的设计。

2.2.3 垂直扩展(Z轴扩展)

垂直扩展是通过分片和单元化设计,提升系统的并发能力和可用性。常见的垂直扩展方式包括:

  • 分库分表:将数据按照一定规则分散到多个数据库实例。
  • 单元化设计:将系统流量和数据闭环在一个单元内,避免单点故障。

2.3 高并发优化实践

2.3.1 DDD实践

  • 业务流程:从商家下单到用户签收,涵盖正向和逆向流程。
  • 领域划分:将系统划分为商品服务域、订单域、支付结算域、履约域等。

2.3.2 热Key处理

  • 本地缓存:在应用层增加本地缓存,减少对分布式缓存的依赖。
  • 随机数法:在Key后增加随机数,将热点数据分散到多个分片。

三、高可用篇

3.1 高可用的核心意义

高可用是指系统在面对故障时仍能持续提供服务的能力。高可用设计的目标是通过冗余、容错等手段,确保系统在出现故障时能够快速恢复,避免业务中断。

3.2 高可用优化方法论

在这里插入图片描述

3.2.1 应用层高可用

  • 限流:通过限流算法(如令牌桶、漏桶)保护系统不被流量打垮。
  • 熔断降级:通过熔断器(如Hystrix)避免下游故障拖垮系统。
  • 超时设置:设置合理的超时时间,避免无限等待下游响应。
  • 重试机制:通过有限次数的重试提高请求成功率。
  • 隔离:通过线程池隔离、数据隔离等手段,控制故障影响范围。

3.2.2 存储层高可用

  • 复制:通过主从复制、多主复制等手段,确保数据的高可用。
  • 分区:通过分片将数据分散到多个节点,避免单点故障。

3.2.3 部署层高可用

  • 多机房部署:将系统部署在多个机房,避免单机房故障导致业务中断。
  • 容器化部署:通过Docker、Kubernetes等工具,实现快速扩容和故障恢复。

3.3 高可用优化实践

3.3.1 Redis高可用

  • 主从复制:主节点负责写操作,从节点负责读操作。
  • 集群模式:通过分片将数据分散到多个节点,提升并发能力。

3.3.2 Elasticsearch高可用

  • 分片与副本:通过分片和副本设计,确保数据的高可用和高性能。
  • 数据节点:将索引数据分散到多个数据节点,避免单点故障。

3.3.3 Kafka高可用

  • 分区与副本:通过分区和副本设计,提升消息队列的吞吐量和可用性。
  • Leader选举:在Leader节点故障时,自动选举新的Leader节点。

四、总结

三高系统架构设计是一场与复杂性对抗的持久战。通过高性能、高并发、高可用性的优化,我们可以构建出稳定、可靠、高效的系统,支撑业务的快速发展。

参考这里

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/894674.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

吴恩达深度学习——有效运作神经网络

内容来自https://www.bilibili.com/video/BV1FT4y1E74V,仅为本人学习所用。 文章目录 训练集、验证集、测试集偏差、方差正则化正则化参数为什么正则化可以减少过拟合Dropout正则化Inverted Dropout其他的正则化方法数据增广Early stopping 归一化梯度消失与梯度爆…

20【变量的深度理解】

一说起变量,懂点编程的都知道,但是在理解上可能还不够深 变量就是存储空间,电脑上的存储空间有永久(硬盘)和临时(内存条)两种,永久数据重启电脑后依旧存在,临时数据只…

RESTful API的设计原则与这些原则在Java中的应用

RESTful API 是基于 REST(Representational State Transfer) 架构风格设计的 API,其核心目标是提高系统的可伸缩性、简洁性和可维护性。以下是 RESTful API 的设计原则及在 Java 中的实现方法: 一、RESTful API 的核心设计原则 客…

【apt源】RK3588 平台ubuntu20.04更换apt源

RK3588芯片使用的是aarch64架构,因此在Ubuntu 20.04上更换apt源时需要使用针对aarch64架构的源地址。以下是针对RK3588芯片在Ubuntu 20.04上更换apt源到清华源的正确步骤: 步骤一:打开终端 在Ubuntu 20.04中,按下Ctrl Alt T打…

k8s二进制集群之Kube ApiServer部署

创建kube工作目录(仅在主节点上创建即可)同样在我们的部署主机上创建apiserver证书请求文件根据证书文件生成apiserver证书仅接着创建TLS所需要的TOKEN创建apiserver服务的配置文件(仅在主节点上创建即可)创建apiserver服务管理配置文件对所有master节点分发证书 & TOK…

基于RK3588/RK3576+MCU STM32+AI的储能电站电池簇管理系统设计与实现

伴随近年来新型储能技术的高质量规模化发展,储能电站作为新能源领域的重要载体, 旨在配合逐步迈进智能电网时代,满足电力系统能源结构与分布的创新升级,给予相应规模 电池管理系统的设计与实现以新的挑战。同时,电子系…

K8s 分布式存储后端(K8s Distributed Storage Backend)

K8s 分布式存储后端 在 K8s 中实现分布式存储后端对于管理跨集群的持久数据、确保高可用性、可扩展性和可靠性至关重要。在 K8s 环境中,应用程序通常被容器化并跨多个节点部署。虽然 K8s 可以有效处理无状态应用程序,但有状态应用程序需要持久存储来维护…

FFmpeg:多媒体处理的瑞士军刀

FFmpeg:多媒体处理的瑞士军刀 前言 FFmpeg 是一个功能强大且跨平台的开源多媒体框架,广泛应用于音视频处理领域。 它由多个库和工具组成,能够处理各种音视频格式,涵盖编码、解码、转码、流处理等多种操作。 无论是专业视频编辑…

unordered_map/set的哈希封装

【C笔记】unordered_map/set的哈希封装 🔥个人主页:大白的编程日记 🔥专栏:C笔记 文章目录 【C笔记】unordered_map/set的哈希封装前言一. 源码及框架分析二.迭代器三.operator[]四.使用哈希表封装unordered_map/set后言 前言 哈…

编程AI深度实战:大模型哪个好? Mistral vs Qwen vs Deepseek vs Llama

​​ 系列文章: 编程AI深度实战:私有模型deep seek r1,必会ollama-CSDN博客 编程AI深度实战:自己的AI,必会LangChain-CSDN博客 编程AI深度实战:给vim装上AI-CSDN博客 编程AI深度实战:火的编…

neo4j-community-5.26.0 install in window10

在住处电脑重新配置一下neo4j, 1.先至官方下载 Neo4j Desktop Download | Free Graph Database Download Neo4j Deployment Center - Graph Database & Analytics 2.配置java jdk jdk 21 官网下载 Java Downloads | Oracle 中国 path: 4.查看java -version 版本 5.n…

【怎么用系列】短视频戒除—1—对推荐算法进行干扰

如今推荐算法已经渗透到人们生活的方方面面,尤其是抖音等短视频核心就是推荐算法。 【短视频的危害】 1> 会让人变笨,慢慢让人丧失注意力与专注力 2> 让人丧失阅读长文的能力 3> 让人沉浸在一个又一个快感与嗨点当中。当我们刷短视频时&#x…

网络原理(5)—— 数据链路层详解

目录 一. 以太网 1.1 认识以太网 1.2 网卡与以太网 1.3 以太网帧格式 二. 认识MAC地址 三. MAC地址 与 IP地址 的区别 4.1 定义 4.2 分配方式 4.3 工作层次 4.4 地址格式 4.5 寻址方式 四. ARP协议 4.1 引入 4.2 ARP的概念 4.3 ARP工作原理 五. MTU 与 MSS …

【从零开始的LeetCode-算法】922. 按奇偶排序数组 II

给定一个非负整数数组 nums, nums 中一半整数是 奇数 ,一半整数是 偶数 。 对数组进行排序,以便当 nums[i] 为奇数时,i 也是 奇数 ;当 nums[i] 为偶数时, i 也是 偶数 。 你可以返回 任何满足上述条件的…

设计一个特殊token以从1亿词表中动态采样8192个词来表达当前序列

为了设计一个特殊token以从1亿词表中动态采样8192个词来表达当前序列,可以采用以下分步方案: 1. 特殊token的设计与作用 定义特殊token:在输入序列前添加一个特殊标记,如[SUBVOCAB]。该token的嵌入包含触发子词表采样的元信息。…

两晋南北朝 侨置州郡由来

侨置的核心思想是面向人管理 而不是面向土地 1. 北雍州 西晋于长安置雍州,永嘉之乱,没于刘、石。苻秦之乱,雍州流民南出樊沔,孝武于襄阳侨立雍州。此时称长安为北雍州。

H264原始码流格式分析

1.H264码流结构组成 H.264裸码流(Raw Bitstream)数据主要由一系列的NALU(网络抽象层单元)组成。每个NALU包含一个NAL头和一个RBSP(原始字节序列载荷)。 1.1 H.264码流层次 H.264码流的结构可以分为两个层…

【C语言设计模式学习笔记1】面向接口编程/简单工厂模式/多态

面向接口编程可以提供更高级的抽象,实现的时候,外部不需要知道内部的具体实现,最简单的是使用简单工厂模式来进行实现,比如一个Sensor具有多种表示形式,这时候可以在给Sensor结构体添加一个enum类型的type,…

AI大模型(二)基于Deepseek搭建本地可视化交互UI

AI大模型(二)基于Deepseek搭建本地可视化交互UI DeepSeek开源大模型在榜单上以黑马之姿横扫多项评测,其社区热度指数暴涨、一跃成为近期内影响力最高的话题,这个来自中国团队的模型向世界证明:让每个普通人都能拥有媲…

C++基础系列【2】C++基本语法

本文作为入门文档&#xff0c;简要介绍C的非常基本的语法&#xff0c;后面章节会详细介绍C的各个语法。 C 程序结构 C程序的基本结构包括头文件、命名空间、类和函数等。 下面我们通过Hello&#xff0c;World来展示这些元素。 #include <iostream> // 包含标准输入输…