对象存储之Ceph

Ceph 对象存储概述

Ceph 是一个开源分布式存储系统，旨在提供高度可扩展、高度可用、容错、性能优异的存储解决方案。它结合了块存储、文件系统存储和对象存储的功能，且在设计上具有极高的可扩展性和灵活性。

在 Ceph 中，对象存储（Ceph Object Storage）是一个非常重要的组件，它主要是通过 RADOS（可靠自动分布式对象存储）来实现的。Ceph 对象存储通常用于存储非结构化数据，比如大规模的图片、视频、备份等，它支持通过 RESTful API 提供对象存储服务。

Ceph 对象存储通过 RGW (Rados Gateway) 提供访问接口，支持兼容 Amazon S3 和 OpenStack Swift 的接口，使得应用程序可以通过标准的对象存储 API 与 Ceph 进行交互。

Ceph 对象存储架构

RADOS (Reliable Autonomous Distributed Object Store):
- RADOS 是 Ceph 存储系统的核心，负责存储对象。它将对象数据切割成对象，并将这些对象分布存储在多个 OSD (Object Storage Device) 节点中。
- RADOS 提供分布式一致性和高可用性，确保数据的持久性与可靠性。它利用 CRUSH 算法来管理数据如何分布，基于对象的冗余机制（如副本或 Erasure Coding）来确保容错。
RGW (Rados Gateway):
- RGW 提供兼容 S3 和 Swift 的接口，使得用户和应用程序可以像访问传统对象存储服务（如 Amazon S3）一样访问 Ceph 的对象存储。
- RGW 是 Ceph 对象存储的访问层，支持多种对象存储功能，如认证、权限控制、生命周期管理等。
OSD (Object Storage Daemon):
- OSD 是 Ceph 集群中的存储节点，它负责管理和存储对象数据，每个 OSD 实例都管理着本地的一个或多个硬盘。
- OSD 节点在存储数据时使用 CRUSH 算法来分布数据，并且可以在节点或硬盘发生故障时，依靠副本或 Erasure Coding 进行数据恢复。
Monitors (MON):
- MON 节点负责监控 Ceph 集群的状态，保持集群的健康，确保集群的元数据和配置的一致性。
- MON 节点管理集群映射、OSD 映射等，提供一致的视图，帮助集群发现和恢复故障节点。
MDS (Metadata Server):
- MDS 负责管理 CephFS 的元数据，但在对象存储中并不直接使用 MDS，除非 CephFS 文件系统也被使用。

Ceph 对象存储的主要特性

高可扩展性:
- Ceph 对象存储能够轻松扩展，只需增加更多的 OSD 节点即可实现横向扩展，不需要手动调整存储池或对象布局。
高可用性:
- 由于数据是冗余存储的，Ceph 对象存储可以确保在单个节点或硬盘故障时不会丢失数据，数据通过副本（Replicas）或 Erasure Coding 保证高可用性。
容错性:
- Ceph 通过 CRUSH 算法对数据进行分布式存储，并在硬件故障发生时自动恢复数据，保证系统的持续运行。
数据冗余与 Erasure Coding:
- 默认情况下，Ceph 使用副本来存储数据，但也支持 Erasure Coding，它提供了更高效的数据冗余方式，尤其适合大规模数据存储。
- Erasure Coding 通过将数据切分为多个片段并进行纠错编码来提高存储效率，同时减少了存储空间的浪费。
对象生命周期管理:
- Ceph 对象存储提供对象生命周期管理功能，允许自动对对象进行归档、删除等操作。
- 支持基于时间、版本、标签等条件的生命周期管理，适用于长期存储。
支持 S3 和 Swift 协议:
- 通过 Rados Gateway（RGW），Ceph 对象存储支持兼容 Amazon S3 和 OpenStack Swift 的 API。这使得现有应用程序可以无缝地迁移到 Ceph 上，而无需更改大量代码。
多租户支持:
- RGW 支持多租户环境，能够为不同的用户或应用提供独立的命名空间和权限控制。
统一的存储平台:
- Ceph 不仅仅提供对象存储服务，还可以与 CephFS（文件系统存储）和 RBD（块存储）等其他存储类型一起使用，构成一个统一的存储平台。

Ceph 对象存储的配置

Ceph 对象存储的配置需要以下几个主要组件：

安装与配置 Ceph 集群：
- 安装并配置 Ceph 集群，包括 MON、OSD、MDS 等组件，确保集群能够正常运行。
配置 Rados Gateway (RGW)：
- 配置 RGW 节点，确保它能够通过 HTTP 服务提供对象存储接口。
- 配置 RGW 来支持 S3 或 Swift 接口。
示例配置：
```
[client.rgw.ceph]
rgw_frontend = "civetweb port=8080"
rgw_dns_name = "s3.ceph.com"
rgw_s3_auth_use_x_amz_date = true
```
创建存储池：
- Ceph 使用存储池（pool）来存储数据。创建存储池，并配置适当的副本数或 Erasure Coding 策略。
示例配置：
```
ceph osd pool create radosgw 128 128
ceph osd pool set radosgw size 3
```
配置对象存储权限：
- Ceph 支持基于访问控制的权限管理。可以通过配置 RGW 中的访问策略来限制哪些用户可以访问哪些对象存储资源。
示例配置：
```
radosgw-admin user create --uid="user1" --display-name="User One"
```
开启多租户支持：
- 如果需要多租户支持，可以启用 RGW 的多租户功能，在 RGW 中为不同的租户分配独立的存储空间和权限。

Ceph 对象存储的使用案例

大数据存储：
- Ceph 对象存储是大数据处理的理想存储后端，尤其适用于如 Hadoop、Spark 等分布式计算框架，可以存储海量数据并提供高效的读取/写入。
备份与归档：
- Ceph 的高可用性和容错能力使其成为备份和归档数据的理想选择，特别是使用 Erasure Coding 可以减少存储的成本。
媒体存储：
- 大规模的图片、视频和其他多媒体文件可以通过 Ceph 对象存储进行高效管理。它支持分布式访问，适合需要高吞吐量和低延迟的应用。
云原生存储：
- 许多云平台（如 OpenStack）都可以将 Ceph 对象存储作为其后端存储，用于提供大规模的对象存储服务。