AWS之存储服务

目录

一、传统存储术语

二、传统存储与云存储的关系

三、云存储之AWS

使用场景

文件存储

数据块存储

对象存储

EBS、EFS、S3对比

EBS块存储

S3对象存储

S3 使用案例

S3 存储类

EFS文件存储


一、传统存储术语

分类

接口/技术类型

应用场景特点

关系及区别

机械硬盘接口

IDE(Integrated Drive Electronics)

早期用于个人电脑,现已逐渐淘汰

机械硬盘接口、固态硬盘接口是硬盘与主机或其他设备连接的物理和协议规范;

FC - SAN、IP - SAN是存储区域网络技术;NFS是文件共享协议;NAS是一种存储设备及技术架构。

机械硬盘和固态硬盘接口用于硬盘设备本身接入系统;FC - SAN、IP - SAN构建存储网络,提供块级存储访问;NFS常用于NAS设备实现文件共享访问。

SATA(Serial Advanced Technology Attachment)

家用和普通办公场景广泛应用,成本低,传输速度适中

SAS(Serial Attached SCSI)

企业级服务器、存储阵列常用,支持多设备连接,性能和可靠性高

SCSI(Small Computer System Interface)

中高端服务器、工作站使用,性能好但成本较高

FC(Fibre Channel)

高端存储区域网络(SAN)应用,传输速度快、低延迟、可靠性高

固态硬盘接口

M.2(曾称NGFF,Next Generation Form Factor)

家用领域应用广,体积小,传输速度快,分多种协议类型

U.2(SFF - 8639,接口规范名称)

适用于企业级应用,支持高速数据传输和热插拔

SATA(Serial Advanced Technology Attachment)

家用和部分企业场景仍在使用,兼容性好

mSATA(mini - Serial Advanced Technology Attachment)

曾用于小型设备如超极本,逐渐被M.2取代

SAS(Serial Attached SCSI)

企业级存储常用,满足高性能、高可靠性需求

PCIE(Peripheral Component Interconnect Express)

可提供极高的数据传输带宽,常用于高端应用

存储区域网络架构

SAN(Storage Area Network)

一种高速网络,提供块级数据存储,分为 FC - SAN(基于光纤通道)和 IP - SAN(基于 IP 网络)

存储网络技术

FC - SAN(Fibre Channel Storage Area Network)

基于光纤通道技术,构建高速、稳定的存储区域网络,适合企业关键业务

IP - SAN(IP Storage Area Network)

基于IP网络,利用iSCSI协议,成本较低,部署灵活,适用于对成本敏感且对性能要求不是极致的企业

文件共享协议

NFS(Network File System)

常用于Unix/Linux系统环境下实现文件共享,方便不同主机间访问共享文件

存储设备及技术

NAS(Network - Attached Storage)

通过网络提供文件级存储服务,适合中小企业、家庭等对文件共享和数据存储有需求的场景,可使用NFS等协议实现文件共享

二、传统存储与云存储的关系

三、云存储之AWS

使用场景

文件存储

数据块存储

对象存储

EBS、EFS、S3对比

以下是AWS主要存储服务的对比表格,综合了EBS、EFS、S3的核心特性与适用场景:

特性

Amazon EBS (块存储)

Amazon EFS (文件存储)

Amazon S3 (对象存储)

Amazon S3 Glacier (归档存储)

数据模型

块级存储(类似硬盘分区)

文件系统(POSIX兼容)

对象存储(键值对)

对象存储(归档层级)

访问方式

挂载到单个EC2实例

多EC2实例/容器共享访问(支持Linux)

REST API/HTTPS访问

REST API/S3生命周期策略触发

典型用例

数据库(如RDS)、需要低延迟的应用

共享代码库、媒体处理流水线

静态网站托管、日志归档、大数据分析

合规性存档、医疗影像存储、备份

性能特点

低延迟(SSD类型IOPS可达64,000)

高吞吐(10+ GB/s并发访问)

高吞吐(单对象5TB上限)

检索延迟分钟级(需配置加速模式)

持久性

99.8%-99.9%(依赖EC2实例状态)

99.999999999%(11个9)

99.999999999%(11个9)

同S3

扩展性

单卷最大64TB(io2 Block Express)

PB级自动扩展

无限扩展

无限扩展

成本结构

按预配置容量和IOPS计费(如gp3 $0.08/GB/月)

按实际使用量计费($0.08/GB/月 + 文件操作费用)

按存储量(标准层$0.023/GB/月)+ 请求次数

存储成本低至$0.004/GB/月,但检索费用较高

生命周期管理

支持快照备份至S3

支持自动分层到低频访问层

支持跨区域复制、版本控制、自动归档到Glacier

需通过S3生命周期策略触发

安全特性

卷加密(AWS KMS)、快照加密

文件级IAM权限控制

存储桶策略、对象ACL、预签名URL

继承S3安全策略

关键差异总结:

  1. 访问粒度• EBS提供块级访问(直接读写磁盘扇区),适合需要精细控制存储结构的场景,如数据库索引优化;• EFS通过文件协议(NFS)支持多节点共享,适合需要协作的开发环境;• S3以对象为最小单元,更适合非结构化数据(如图片、视频)的存储与检索。

  1. 成本敏感性场景• **高频访问**:EBS预置IOPS(io2)成本较高,但性能稳定,适合OLTP数据库;• **低频访问**:S3智能分层(自动切换标准/低频层)可节省30%成本;• **归档场景**:Glacier Deep Archive成本比标准S3低90%,但需接受小时级检索延迟。

  1. 架构集成• EBS需与EC2强绑定,适合单一实例的持久化存储;• EFS可跨AZ挂载,适合容器化应用(如EKS)的共享存储;• S3通过EventBridge触发Lambda,常用于无服务器架构的数据处理流水线。

建议根据数据访问模式(随机/顺序读写)、延迟要求及预算综合选择。例如,电商秒杀系统推荐S3+CloudFront托管静态资源,结合DynamoDB处理订单,而金融交易系统则需EBS优化型卷支撑高并发数据库事务。

EBS块存储

S3对象存储

S3 使用案例

Amazon S3 是一项广泛使用的存储服务,其使用案例数不胜数。要了解详情,请分别展开查看以下六个类别。

备份和存储

Amazon S3 是用于备份文件的理想位置,因为它高度冗余。如上一节课中所述,AWS 将您的 EBS 快照存储在 Amazon S3 中,从而利用其高可用性。

媒体托管

因为采用 Amazon S3,您可以存储无限量的对象,而且单个对象可以达到 5 TB,所以它非常适合托管视频、照片和音乐上传内容。

软件交付

您可以使用 Amazon S3 托管客户可下载的软件应用程序。

数据湖

Amazon S3 为数据湖奠定了坚实基础,因为它的可扩展性几乎不受限制。您可以将内容存储从 GB 增加到 PB 级,只需按实际使用量付费。

静态网站

您可以将 S3 存储桶配置为托管包含 HTML、CSS 和客户端脚本的静态网站。

静态内容

由于 Amazon S3 可以无限扩展、支持大文件以及可让您随时通过 Web 访问任何对象,因此它是存储静态内容的理想场所。

S3 存储类

如果您将对象上传到 Amazon S3,但未指定存储类,则会将对象上传到默认存储类(通常称为标准存储)。在之前的课程中,您已了解默认的 Amazon S3 标准存储类。

利用 Amazon S3 存储类,您能够在数据特征发生变化时更改存储层。例如,如果您很少访问旧照片,则可能需要更改照片的存储类,节省成本。

存储类

描述

S3 标准

适用于云应用程序、动态网站、内容分发、移动和游戏应用程序以及大数据分析的通用型存储。

S3 Intelligent-Tiering

适用于数据访问模式未知或不断变化的情况。将对象存储在三个层中:频繁访问层、不频繁访问层和归档实例访问层。Amazon S3 会监控数据的访问模式,并根据访问频率自动将数据移动到最经济实惠的存储层。

S3 标准 - 不频繁访问存储(S3 标准 - IA)

适用于不常访问、但在需要时要求快速访问的数据。兼具 S3 标准的高持久性、高吞吐量和低延迟特点,同时具有较低的每 GB 存储价格和检索费用,适合存储长期备份和灾难恢复文件等。

S3 One Zone - 不频繁访问存储(S3 One Zone - IA)

将数据存储在单个可用区中,成本低于 S3 标准 - IA。适合针对不频繁访问的数据使用较低费用选项,且不需要 S3 标准或 S3 标准 - IA 的可用性和弹性的客户,适用于存储本地数据或可轻松重新创建的数据的辅助备份副本。

S3 Glacier Instant Retrieval

适用于很少访问,但需要在数毫秒内检索的归档数据。与 S3 标准 - IA 存储类相比,此存储类中存储的数据可节省高达 68% 的成本,延迟和吞吐量性能相同。

S3 Glacier Flexible Retrieval

适用于每年访问 1 - 2 次的归档数据,可提供低成本存储。可使用加速检索在短短 1 - 5 分钟内访问数据,也可在最多 5 - 12 小时内请求免费批量检索,适合备份、灾难恢复、异地数据存储需求等场景。

S3 Glacier Deep Archive

是最低成本的 Amazon S3 存储类。支持长期保留和数字化保存每年可能访问一两次的数据,默认检索时间为 12 小时。可满足监管合规性要求,适用于高度管制的行业,如金融服务、医疗保健和公共部门。

S3 on Outposts

使用 S3 API 和 S3 功能,为本地部署 AWS Outposts 环境提供对象存储。适用于需要满足本地数据驻留要求或出于性能原因,要将数据保留在本地部署应用程序附近的工作负载。

EFS文件存储

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/82394.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WPDRRC 模型:构建动态闭环的信息安全防御体系

WPDRRC 模型是一种信息安全整体架构设计模型,由预警(Warning)、保护(Protection)、检测(Detection)、反应(Reaction)、恢复(Recovery)和反击&…

Redis 数据类型详解(二):Hash 类型全解析

文章目录 一、什么是 Redis 的 Hash 类型?二、Hash为什么在有些时候比String好用三、常见命令1.HSET key field value2.HGET key field3.HMSET4.HMGET5.HGETALL6.HKEYS7.HVALS8.HINCRBY9.HSETNX 四、应用场景五、性能优势六、注意事项总结 提示:以下是本…

Go Modules 的基本使用

在 Go Modules 项目中,首次运行时下载依赖包的正确流程需要根据项目情况区分处理。以下是详细步骤和最佳实践: 一、首次初始化项目的标准流程 1.1 创建项目目录并初始化模块 mkdir myproject && cd myproject go mod init github…

RISC-V AIA SPEC学习(五)

第六章 Interrupts for Virtual Machines(VS Level) 核心内容 1.VS级别外部中断支持:​​ ​​客户中断文件(Guest Interrupt File)​​:虚拟机的每个vCPU拥有独立的IMSIC中断文件,允许直接接收设备MSI。​​vstopi CSR​​:类似stopei,用于虚拟机内部处理最高优先级中…

【Python-Day 11】列表入门:Python 中最灵活的数据容器 (创建、索引、切片)

Langchain系列文章目录 01-玩转LangChain:从模型调用到Prompt模板与输出解析的完整指南 02-玩转 LangChain Memory 模块:四种记忆类型详解及应用场景全覆盖 03-全面掌握 LangChain:从核心链条构建到动态任务分配的实战指南 04-玩转 LangChai…

【AXI总线专题】-AXI-LITE总线解读

【AXI总线专题】-AXI-LITE总线解读 1.axi-lite概述2.信号定义Write address channelWrite data channelWrite response channelRead address channelRead data channel 3.测试4.仿真波形5.工程文件 参考手册 《3-2-03米联客2022版AXI4总线专题-20211123.pdf》 《IHI0022E_amba_…

在企业级项目中高效使用 Maven-mvnd

1、引言 1.1 什么是 Maven-mvnd? Maven-mvnd 是 Apache Maven 的一个实验性扩展工具(也称为 mvnd),基于守护进程(daemon)模型构建,目标是显著提升 Maven 构建的速度和效率。它由 Red Hat 推出,通过复用 JVM 进程来减少每次构建时的启动开销。 1.2 为什么企业在构建过…

网络字节序 - 大端

回顾主机字节序 - 大小端 发送主机将发送缓冲区中的数据按内存地址从低到高的顺序发出接收主机把从网络上接收到的数据按内存地址从底到高的顺序依次保存到接收缓冲区TCP/IP 规定,网络数据流应采用大端字节序,即低地址高字节,也就是说&#…

《被讨厌的勇气》书摘

阿德勒心理学考虑的不是过去的“原因”,而是现在的“目的”。你的朋友并不是因为不想到外面去,才制造出不安的情绪。是先有了“不出去”这个目的,之后才会为了达到这个目的而制造出不安或者恐惧之类的情绪。 个人见解:这是阿德勒…

打造专属AI好友:小智AI聊天机器人详解

打造专属AI好友:小智AI聊天机器人详解 在当下的科技热潮中,AI正迅速改变着我们的生活,成为了科技领域的新宠。而今,借助开源项目的力量,你可以亲手打造一个智能小助手——小智AI聊天机器人。它不仅是一个技术探索的窗…

如何利用爬虫获得1688商品详情:实战指南

在电商运营和市场分析中,获取1688商品详情数据是一项重要任务。本文将详细介绍如何利用爬虫技术获取1688商品详情,包括准备工作、爬虫实现步骤以及注意事项。 一、准备工作 (一)注册1688开放平台账号 在1688开放平台注册开发者…

如何优化系统启动时间--基于米尔瑞萨MYD-YG2LX开发板

1.概述 MYD-YG2LX采用瑞萨RZ/G2L作为核心处理器,该处理器搭载双核Cortex-A551.2GHzCortex-M33200MHz处理器,其内部集成高性能3D加速引擎Mail-G31 GPU(500MHz)和视频处理单元(支持H.264硬件编解码),16位的DDR4-1600 / DDR3L-1333内…

QML 图像变换(缩放、平移、旋转)

目录 引言相关阅读基础知识工程结构核心代码解析示例1:图像缩放(ImageScale.qml)代码说明运行效果 示例2:图像平移(ImageTransform.qml)代码说明运行效果 示例3:图像旋转(ImageRotat…

Linux 系统命令使用指南1

适用于 Red Hat / CentOS / Rocky Linux 等系统的基本初始化配置操作。 🔒 1. 关闭 SELinux(临时生效) setenforce 0⚠️ 注意:此命令仅临时关闭 SELinux,重启后可能恢复。要永久关闭,请修改 /etc/selinux…

1.2.1 Linux音频系统发展历程简介

Linux音频系统的发展经历了从最初的简单驱动到今天多层次、模块化音频架构。简要梳理其主要历程: 早期的OSS(Open Sound System) 在90年代及2000年代初,Linux主要使用OSS来支持音频。OSS直接为硬件设备(如声卡&#…

【Linux操作系统】第一弹——Linux基础篇

文章目录 💡 一. Linux的基本常识🪔 1.1 linux网络连接三种方式🪔1.2 虚拟机的克隆🪔1.3 虚拟机的快照🪔1.4 虚拟机的迁移和删除🪔1.5 vmtools工具 💡二. Linux的目录结构🪔2.1 Linu…

STM32printf重定向到串口含armcc和gcc两种方案

STM32串口重定向:MDK与GCC环境下需重写的函数差异 在嵌入式开发中,尤其是使用 STM32系列微控制器 的项目中,调试信息的输出是不可或缺的一部分。为了方便调试,开发者通常会选择将 printf 等标准输出函数通过 UART 串口发送到 PC …

C++ 文本读写与二进制读写的底层机制

1.文件的打开方式 1.文本打开 在windows中,写入时会将\n换成\r\n,读出时\r\n会读出\n linux对\n读写不做处理 2.二进制打开 对\n读写不做处理 2.文本读写 1.数据要先变成字符串再写进缓冲区 2.字符串直接写进缓冲区就是 3.c对文本读写的支持 istream/ostream中重载了对…

02 mysql 管理(Windows版)

一、启动及关闭 MySQL 服务器 1.1 通过 “服务” 管理工具 winr打开运行,输入services.msc 找到MySQL80,这个是我们在安装mysql的时候给的服务的名称,具体见文章mysql 安装 右键选择启动或者停止。 1.2 通过命令提示符 1.2.1 关闭命令…

Elasticsearch知识汇总之 ElasticSearch高可用方案

六 ElasticSearch高可用方案 6.1 高可用架构 请求协调节点根据负载均衡,转发给主分片节点,主分片同步复制给从节点,主从节点都写入完成返回客户端请求成功。对于读请求,协调负载到任意节点数据节点,数据节点把各自符合…