长沙建个网站要多少钱,彩票网站建设dadi163,小程序登录入口网址,怎么自己做一个网站平台用场景的丰富#xff0c;企业面临着前所未有的数据存储挑战。大规模数据存储变得日常化#xff0c;伴随着超大容量和快速变化的I/O需求#xff0c;传统的存储解决方案已经难以满足企业对弹性、运维效率及总体拥有成本#xff08;TCO#xff09;的更高要求。这些挑战促使基… 用场景的丰富企业面临着前所未有的数据存储挑战。大规模数据存储变得日常化伴随着超大容量和快速变化的I/O需求传统的存储解决方案已经难以满足企业对弹性、运维效率及总体拥有成本TCO的更高要求。这些挑战促使基于分布式架构的软件定义存储SDS技术应运而生并逐渐走向成熟。 即便有了基于分布式架构的软件定义存储服务但是在构建查询系统时传统的数据仓库往往采用 Share-Nothing 架构这种存算一体的设计在某些场景下虽然高效但它的弹性相对较弱。由于采用固定集Fixed-Set式的资源调度策略资源控制粒度较粗这不仅限制了资源的灵活性还可能导致更高的成本消耗。然而随着数据分析对企业决策作用的增强新型数据仓库如 Databend基于共享存储架构Share-Storage在底层可以使用对象存储真正做到存储与计算分离资源控制粒度更细。计算节点可以根据需求弹性扩展而不受存储容量的限制。 CubeFS新一代云原生存储系统 CubeFS 是一种新一代云原生存储系统支持 S3、HDFS 和 POSIX 等访问协议。它广泛适用于各种场景如大数据、AI/LLMs、容器平台、数据库和中间件的存储与计算分离、数据共享和保护等。 CubeFS作为国内首个云原生开源分布式存储产品2019 年由京东开源并捐赠给云原生计算基金会CNCF。自2020 年 10 月 OPPO 开始主导社区运营和版本迭代以来CubeFS 已经累计发布了 7 个版本。在 OPPO 的推进下CubeFS 在 2022 年 6 月成功进入 CNCF 孵化阶段这标志着它在开源分布式存储领域的成熟度和影响力得到进一步认可。 CubeFS 的设计响应了大规模数据处理的需求具备优异的扩展性和性能使其在 OPPO 、京东 、网易 、360 等多个大型企业得到了广泛应用。它的优势在于能够提供更灵活的存储解决方案降低运维难度并且能显著降低企业的存储成本。 Databend面向海量数据的云原生 数仓 Databend 是一款开源、高性能、低成本的新型数据仓库特别设计用于基于对象存储的实时分析。Databend 能够轻松实现从零到数百倍的算力扩展几乎可以瞬间响应企业对计算资源的需求变化。 Databend 还为企业数据存储、管理和分析提供了一站式的平台。凭借 Databend 强大的生态体系可以轻松从数据之中获取洞见数据流转和使用也变得更加得心应手。 Databend 还提供包括混合云、混合数据库在内的多种异构计算能力帮助企业管理复杂的算力与数据需求。不仅使企业能够更准确地洞察业务运行状况还能够基于数据分析结果制定更有效的业务策略。 Databend x CubeFS面向未来的企业级云原生数据存储与分析 结合 Databend 和 CubeFS 为企业提供了面向未来的云原生数据存储与分析方案。结合 Databend 强劲的分析能力与 CubeFS 的存储优势为企业提供一个既弹性又高效的数据处理平台。 将 CubeFS 作为 Databend 的存储后端企业可以享受到无缝的数据存储与分析体验。不仅可以处理海量数据还能够提供快速的数据洞察和分析能力帮助企业在数据驱动的竞争中保持领先。 主要优势 弹性扩缩容Databend 能够动态调整计算资源而 CubeFS 则能够灵活扩展存储容量。低成本高效能两者结合可以降低总体拥有成本TCO并提高数据处理效率。易于运维简化了数据存储和分析的管理操作提高了运维效率。云原生 兼容性CubeFS 作为云原生存储解决方案与 Databend 的设计理念相契合易于在现代云环境中部署和管理。 Workshop使用 CubeFS 作为 Databend 存储后端 本示例将会利用 CubeFS 提供的集群脚本和 Databend 的 Docker 镜像启动示例环境并进行简单的读写操作进行验证适用于对 CubeFS 和 Databend 感兴趣的开发者进行环境调试和基本开发验证。实际生产和性能验证请参考产品官方文档进行生产级部署。 环境准备 请确保您的操作系统上已经安装有 Docker 和 docker-compose 。在部署前请检查防火墙避免权限和访问问题导致容器启动失败。请参考 文档 - BendSQL安装 BendSQL 命令行工具。推荐使用两台服务器一台用于部署存储服务一台用于部署独立模式的 Databend 服务以确保资源效率最大化。在资源有限的情况下也可在单台服务器上进行部署。 CubeFS 部署 请在用于 CubeFS 的服务器上执行下面步骤以完成部署。 创建对应的数据目录 mkdir -p ${HOME}/cubefs/data 拉取 cubefs 源码并使用脚本运行 CubeFS 服务在试用集群的模式下CubeFS 自带对象存储节点与网关无需另外配置。 cd cubefs git clone https://github.com/cubefs/cubefs.git cubefs/docker/run_docker.sh -r -d ${HOME}/cubefs/data 检查挂载状态 mount | grep cubefs 退出容器 exit 创建对应的 Bucket 对应 CubeFS 的卷 curl -v http://192.168.0.11:17010/admin/createVol?namedatabendcapacity100ownercfs 查询上一步的 owner 用户以获取对应的 Access Key 和 Secret Key curl -v http://192.168.0.11:17010/user/info?usercfs | python3 -m json.tool 注意 其中 192.168.0.11:17010 为 CubeFS 部署过程中显示的 Master leader : 192.168.0.11:17010 如有不同以部署过程中显示的 IP 为准。 在返回的结构体中可以获取到对应的信息 {code: 0,msg: success,data: {user_id: cfs,access_key: Ar5UC6HCtDcYbpFt,secret_key: ZV6pxBRYUEivFscFsD3lUQgKRs9GHEP3,policy: {own_vols: [databend],authorized_vols: {}},user_type: 3,create_time: 2024-03-19 04:12:02,description: ,EMPTY: false} } Databend 部署 请在用于 Databend 的服务器上执行下面步骤以完成部署。 为简单起见此处 Databend 也使用 Docker 进行部署和管理。 docker run -d \--name databend \--nethost \-v meta_storage_dir:/var/lib/databend/meta \-v log_dir:/var/log/databend \-e QUERY_DEFAULT_USERdatabend \-e QUERY_DEFAULT_PASSWORDdatabend \-e QUERY_STORAGE_TYPEs3 \-e AWS_S3_ENDPOINThttp://${endpoint} \-e AWS_S3_BUCKETdatabend \-e AWS_ACCESS_KEY_IDyour-ak \-e AWS_SECRET_ACCESS_KEYyour-sk \datafuselabs/databend 重要参数说明 这里的 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 需要设置为之前查询到的 access_key 和 secret_key 。 AWS_S3_ENDPOINT 需要设置为 ObjectNode 服务器 IP 和监听端口由于这个示例 CubeFS 集群会映射到 80 端口为了避免鉴权失败所以需要省略端口号示例为 20.2.219.104 。 访问 如果你的 Databend 示例是在远端服务器上启动请执行 bendsql -h your-query-ip -P8000 -u databend -p databend 如果你的 Databend 示例是在本地服务器上启动请执行 bendsql -u databend -p databend 联通性测试 为了确认 Databend 服务的可用性以及存储后端是否就绪可以利用 bendsql 执行基本的建表查询进行确认。也欢迎查阅 Databend 官方文档或者往期文章选取感兴趣的示例进行。 databendlocalhost:8000/test CREATE TABLE t_default_value(a TINYINT UNSIGNED, b VARCHAR DEFAULT b);CREATE TABLE t_default_value(a TINYINT UNSIGNED, b VARCHAR DEFAULT b)0 row written in 0.111 sec. Processed 0 row, 0 B (0 row/s, 0 B/s)databendlocalhost:8000/test INSERT INTO T_default_value(a) VALUES(1);INSERT INTOT_default_value(a) VALUES (1)1 row written in 0.121 sec. Processed 1 row, 66 B (8.25 row/s, 544 B/s)databendlocalhost:8000/test SELECT * FROM t_default_value;SELECT* FROMt_default_value┌────────────────────────────────────┐ │ a │ b │ │ Nullable(UInt8) │ Nullable(String) │ ├─────────────────┼──────────────────┤ │ 1 │ b │ └────────────────────────────────────┘ 1 row read in 0.037 sec. Processed 1 row, 20 B (27.39 row/s, 547 B/s) 问题排查 在示例中使用 CubeFS 提供的对象存储 API S3 兼容进行数据访问请确保部署 ObjectNode 启用对象存储网关。生产环境下也推荐使用 对象存储 API 。 对于 Databend 启动失败的情形可以执行下述命令查看日志 docker logs databend 如与存储后端在同一台机器上部署 Databend 会遇到端口号被占用问题可以修改上面 docker 命令中或者 cubefs/docker/docker-compose.yml 文件中的映射将其暴露到其他端口。 结论 随着数据量的不断增长和企业对数据分析需求的日益提升Databend 和 CubeFS 的联合为解决当前的数据存储和分析难题提供了有效的解决方案。不仅推动了存储技术的创新也为企业在新一代数据技术革命中提供了坚实的基础设施支持。在未来Databend 和 CubeFS 将会继续协作为企业在数据驱动的新时代中蓬勃发展带来更多的可能性。