目录
一、传统存储术语
二、传统存储与云存储的关系
三、云存储之AWS
使用场景
文件存储
数据块存储
对象存储
EBS、EFS、S3对比
EBS块存储
S3对象存储
S3 使用案例
S3 存储类
EFS文件存储
一、传统存储术语
分类 | 接口/技术类型 | 应用场景特点 | 关系及区别 |
机械硬盘接口 | IDE(Integrated Drive Electronics) | 早期用于个人电脑,现已逐渐淘汰 | 机械硬盘接口、固态硬盘接口是硬盘与主机或其他设备连接的物理和协议规范; FC - SAN、IP - SAN是存储区域网络技术;NFS是文件共享协议;NAS是一种存储设备及技术架构。 机械硬盘和固态硬盘接口用于硬盘设备本身接入系统;FC - SAN、IP - SAN构建存储网络,提供块级存储访问;NFS常用于NAS设备实现文件共享访问。 |
SATA(Serial Advanced Technology Attachment) | 家用和普通办公场景广泛应用,成本低,传输速度适中 | ||
SAS(Serial Attached SCSI) | 企业级服务器、存储阵列常用,支持多设备连接,性能和可靠性高 | ||
SCSI(Small Computer System Interface) | 中高端服务器、工作站使用,性能好但成本较高 | ||
FC(Fibre Channel) | 高端存储区域网络(SAN)应用,传输速度快、低延迟、可靠性高 | ||
固态硬盘接口 | M.2(曾称NGFF,Next Generation Form Factor) | 家用领域应用广,体积小,传输速度快,分多种协议类型 | |
U.2(SFF - 8639,接口规范名称) | 适用于企业级应用,支持高速数据传输和热插拔 | ||
SATA(Serial Advanced Technology Attachment) | 家用和部分企业场景仍在使用,兼容性好 | ||
mSATA(mini - Serial Advanced Technology Attachment) | 曾用于小型设备如超极本,逐渐被M.2取代 | ||
SAS(Serial Attached SCSI) | 企业级存储常用,满足高性能、高可靠性需求 | ||
PCIE(Peripheral Component Interconnect Express) | 可提供极高的数据传输带宽,常用于高端应用 | ||
存储区域网络架构 | SAN(Storage Area Network) | 一种高速网络,提供块级数据存储,分为 FC - SAN(基于光纤通道)和 IP - SAN(基于 IP 网络) | |
存储网络技术 | FC - SAN(Fibre Channel Storage Area Network) | 基于光纤通道技术,构建高速、稳定的存储区域网络,适合企业关键业务 | |
IP - SAN(IP Storage Area Network) | 基于IP网络,利用iSCSI协议,成本较低,部署灵活,适用于对成本敏感且对性能要求不是极致的企业 | ||
文件共享协议 | NFS(Network File System) | 常用于Unix/Linux系统环境下实现文件共享,方便不同主机间访问共享文件 | |
存储设备及技术 | NAS(Network - Attached Storage) | 通过网络提供文件级存储服务,适合中小企业、家庭等对文件共享和数据存储有需求的场景,可使用NFS等协议实现文件共享 |
二、传统存储与云存储的关系
三、云存储之AWS
使用场景
文件存储
数据块存储
对象存储
EBS、EFS、S3对比
以下是AWS主要存储服务的对比表格,综合了EBS、EFS、S3的核心特性与适用场景:
特性 | Amazon EBS (块存储) | Amazon EFS (文件存储) | Amazon S3 (对象存储) | Amazon S3 Glacier (归档存储) |
数据模型 | 块级存储(类似硬盘分区) | 文件系统(POSIX兼容) | 对象存储(键值对) | 对象存储(归档层级) |
访问方式 | 挂载到单个EC2实例 | 多EC2实例/容器共享访问(支持Linux) | REST API/HTTPS访问 | REST API/S3生命周期策略触发 |
典型用例 | 数据库(如RDS)、需要低延迟的应用 | 共享代码库、媒体处理流水线 | 静态网站托管、日志归档、大数据分析 | 合规性存档、医疗影像存储、备份 |
性能特点 | 低延迟(SSD类型IOPS可达64,000) | 高吞吐(10+ GB/s并发访问) | 高吞吐(单对象5TB上限) | 检索延迟分钟级(需配置加速模式) |
持久性 | 99.8%-99.9%(依赖EC2实例状态) | 99.999999999%(11个9) | 99.999999999%(11个9) | 同S3 |
扩展性 | 单卷最大64TB(io2 Block Express) | PB级自动扩展 | 无限扩展 | 无限扩展 |
成本结构 | 按预配置容量和IOPS计费(如gp3 $0.08/GB/月) | 按实际使用量计费($0.08/GB/月 + 文件操作费用) | 按存储量(标准层$0.023/GB/月)+ 请求次数 | 存储成本低至$0.004/GB/月,但检索费用较高 |
生命周期管理 | 支持快照备份至S3 | 支持自动分层到低频访问层 | 支持跨区域复制、版本控制、自动归档到Glacier | 需通过S3生命周期策略触发 |
安全特性 | 卷加密(AWS KMS)、快照加密 | 文件级IAM权限控制 | 存储桶策略、对象ACL、预签名URL | 继承S3安全策略 |
关键差异总结:
-
访问粒度• EBS提供块级访问(直接读写磁盘扇区),适合需要精细控制存储结构的场景,如数据库索引优化;• EFS通过文件协议(NFS)支持多节点共享,适合需要协作的开发环境;• S3以对象为最小单元,更适合非结构化数据(如图片、视频)的存储与检索。
-
成本敏感性场景• **高频访问**:EBS预置IOPS(io2)成本较高,但性能稳定,适合OLTP数据库;• **低频访问**:S3智能分层(自动切换标准/低频层)可节省30%成本;• **归档场景**:Glacier Deep Archive成本比标准S3低90%,但需接受小时级检索延迟。
-
架构集成• EBS需与EC2强绑定,适合单一实例的持久化存储;• EFS可跨AZ挂载,适合容器化应用(如EKS)的共享存储;• S3通过EventBridge触发Lambda,常用于无服务器架构的数据处理流水线。
建议根据数据访问模式(随机/顺序读写)、延迟要求及预算综合选择。例如,电商秒杀系统推荐S3+CloudFront托管静态资源,结合DynamoDB处理订单,而金融交易系统则需EBS优化型卷支撑高并发数据库事务。
EBS块存储
S3对象存储
S3 使用案例
Amazon S3 是一项广泛使用的存储服务,其使用案例数不胜数。要了解详情,请分别展开查看以下六个类别。
备份和存储
Amazon S3 是用于备份文件的理想位置,因为它高度冗余。如上一节课中所述,AWS 将您的 EBS 快照存储在 Amazon S3 中,从而利用其高可用性。
媒体托管
因为采用 Amazon S3,您可以存储无限量的对象,而且单个对象可以达到 5 TB,所以它非常适合托管视频、照片和音乐上传内容。
软件交付
您可以使用 Amazon S3 托管客户可下载的软件应用程序。
数据湖
Amazon S3 为数据湖奠定了坚实基础,因为它的可扩展性几乎不受限制。您可以将内容存储从 GB 增加到 PB 级,只需按实际使用量付费。
静态网站
您可以将 S3 存储桶配置为托管包含 HTML、CSS 和客户端脚本的静态网站。
静态内容
由于 Amazon S3 可以无限扩展、支持大文件以及可让您随时通过 Web 访问任何对象,因此它是存储静态内容的理想场所。
S3 存储类
如果您将对象上传到 Amazon S3,但未指定存储类,则会将对象上传到默认存储类(通常称为标准存储)。在之前的课程中,您已了解默认的 Amazon S3 标准存储类。
利用 Amazon S3 存储类,您能够在数据特征发生变化时更改存储层。例如,如果您很少访问旧照片,则可能需要更改照片的存储类,节省成本。
存储类 | 描述 |
S3 标准 | 适用于云应用程序、动态网站、内容分发、移动和游戏应用程序以及大数据分析的通用型存储。 |
S3 Intelligent-Tiering | 适用于数据访问模式未知或不断变化的情况。将对象存储在三个层中:频繁访问层、不频繁访问层和归档实例访问层。Amazon S3 会监控数据的访问模式,并根据访问频率自动将数据移动到最经济实惠的存储层。 |
S3 标准 - 不频繁访问存储(S3 标准 - IA) | 适用于不常访问、但在需要时要求快速访问的数据。兼具 S3 标准的高持久性、高吞吐量和低延迟特点,同时具有较低的每 GB 存储价格和检索费用,适合存储长期备份和灾难恢复文件等。 |
S3 One Zone - 不频繁访问存储(S3 One Zone - IA) | 将数据存储在单个可用区中,成本低于 S3 标准 - IA。适合针对不频繁访问的数据使用较低费用选项,且不需要 S3 标准或 S3 标准 - IA 的可用性和弹性的客户,适用于存储本地数据或可轻松重新创建的数据的辅助备份副本。 |
S3 Glacier Instant Retrieval | 适用于很少访问,但需要在数毫秒内检索的归档数据。与 S3 标准 - IA 存储类相比,此存储类中存储的数据可节省高达 68% 的成本,延迟和吞吐量性能相同。 |
S3 Glacier Flexible Retrieval | 适用于每年访问 1 - 2 次的归档数据,可提供低成本存储。可使用加速检索在短短 1 - 5 分钟内访问数据,也可在最多 5 - 12 小时内请求免费批量检索,适合备份、灾难恢复、异地数据存储需求等场景。 |
S3 Glacier Deep Archive | 是最低成本的 Amazon S3 存储类。支持长期保留和数字化保存每年可能访问一两次的数据,默认检索时间为 12 小时。可满足监管合规性要求,适用于高度管制的行业,如金融服务、医疗保健和公共部门。 |
S3 on Outposts | 使用 S3 API 和 S3 功能,为本地部署 AWS Outposts 环境提供对象存储。适用于需要满足本地数据驻留要求或出于性能原因,要将数据保留在本地部署应用程序附近的工作负载。 |