科技云报道:分布式存储红海中,看天翼云HBlock如何突围?

科技云报道原创。

过去十年,随着技术的颠覆性创新和新应用场景的大量涌现,企业IT架构出现了稳态和敏态的混合化趋势。

在持续产生海量数据的同时,这些新应用、新场景在基础设施层也普遍基于敏态的分布式架构构建,从而对存储技术提出了新的要求。

正因如此,分布式存储凭借高安全性、可靠性、可用性、易于扩展等特性,在敏态业务中得到了快速发展。短短几年内,国内分布式存储增长率节节攀升,市场规模不断扩大。

中国信通院调查数据显示,2021年中国分布式存储市场规模达到178亿元,年增速44%;预计未来三年,市场仍将保持40%以上的增长率。
在这里插入图片描述

尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,既要“存得下”,又要“读得快”,还要“成本低”,其实是一件非常不容易的事情。

在天翼云最新发布的存储资源盘活系统HBlock中,我们看到了分布式存储的新“解题思路”。

企业“沉睡” 存储亟待“盘活”

随着业务的发展,企业不断采购服务器进行现有业务系统更新以及新业务系统搭建。为了满足系统性能和升级扩容等要求,企业一般购买超过实际数据容量需求3-4倍的磁盘,不可避免会造成资源闲置。

《计算机世界》的一篇文章曾指出“数据中心30%的物理服务器处于沉睡状态”。麦肯锡公司发布研究也表明,有高达30%的数据中心服务器“功能失效”。由此可见,优化“沉睡”的服务器将会给企业带来巨大收益。

目前,国内外企业普遍存在大量的利旧服务器需求,但是经常会面临异构硬件难兼容、旧型号设备与软件不适配、弱电弱网等混沌环境带来的不稳定和降速问题。

在实际方案设计中,存储盘活效果也并不理想。究其根本,主要有异构存储和数据孤岛两大原因:

在企业IT系统中,存储设备往往来自不同供应商,这意味着不同的底层架构、不同的管理界面、功能、性能以及运维升级的操作都会有很大的差别。一旦存储升级,就必须找到相应的供应商进行操作,因此企业很容易被供应商所绑定。

同时,由于存储设备来自多个厂商,多个存储网络之间很难实现相互协作,数据孤岛无疑将极大的增加企业存储系统的管理难度和运维成本。

除了盘活利旧、解除存储供应商绑定等需求,企业也面临着绿色数据中心的挑战。

在2030“碳达峰”背景下,企业积极探索如何响应数据中心能源消耗巨大的课题,而通过摆脱沉睡服务器和提高能源效率,是解决数据中心资源空跑、利用率低等问题的必经之路。

不难发现,无论从何种角度考虑,盘活企业存储资源已势在必行。在这种背景下,分布式存储凭借灵活、可靠性强、扩展性强等优势,成为解决存储资源闲置、提高资源利用率的理想技术路线。

就在今年,天翼云推出了一款革命性的分布式存储产品“存储资源盘活系统HBlock”,正是针对盘活存储资源这一挑战而诞生的。作为业内首款存储资源盘活系统,天翼云HBlock是如何解决这一棘手难题的?
在这里插入图片描述

天翼云HBlock 为存储“提质增效”

正如前文所说,盘活存储资源并不是件容易的事,为了解决异构存储、数据孤岛等挑战,天翼云HBlock创新性地提出了纯软件、全用户态的分布式存储产品形态。
在这里插入图片描述

首先,HBlock全部运行在用户态,与硬件驱动程序完全解耦,因此支持多种指令集架构、不同型号配置的服务器混合组成集群,可与企业现有应用混合部署于同一操作系统中,且不影响现有应用的运行,以尽可能盘活更多的存储资源。

其次,作为一款全用户态的纯软件,HBlock安装包只有170MB左右,可以安装在任何主流Linux操作系统上,把分散在各服务器中的存储空间整合成高性能虚拟资源池,通过分布式多控制器架构保证了低延迟、高可用、易扩展。

同时,HBlock还提供功能全面的控制台、命令行,以及完善的API接口,通过标准存储协议为上层应用提供分布式存储服务,解决了异构存储与数据孤岛问题。

事实上,想要解决盘活存储资源的挑战,还有一个重要的前提,就是要满足企业对于数据存储稳定性和业务环境高适应性的要求,才具备实际的落地性。

但是,想要提高稳定性就要限定环境,想要适应各种环境就容易出现不稳定,那么天翼云HBlock是如何解决这一难点的呢?

据天翼云国际业务事业部存储研发专家武志民介绍,天翼云HBlock主要从高可用、高可靠、高性能三个方向进行了技术攻坚:

在高可用方面,采用基于MPIO的“一主多备”方案。可在数据层面实现秒级故障切换,提高服务可用性;集群模式下所有服务都采用冗余方式部署,实现从服务器整机、单链路到单个磁盘部件发生故障而不受影响。

在高可靠方面,支持多副本和纠删码,每个存储卷都可以选择自己的冗余方式。当一份数据丢失的时候,可以通过其他的冗余数据,将丢失的数据快速重建,降低数据丢失的概率。

同时,支持节点、磁盘两个级别的故障域,以适应多种部署需求。在数据校验方面,支持客户端服务器校验、集群内部全流程校验、多台服务器间数据校验等多种校验方式,严格确保数据的一致性,并且在检测到异常的时候能够自动启动数据恢复进程。

在高性能方面,HBlock通过写缓存与读缓存的优化设计来实现。

其中,写缓存支持三种缓存模式:WriteBack, WriteThrough, WriteAround,分别适用于对读写性能要求较高、对数据的安全性要求较高且写少读多、对数据的安全性要求较高且写少读少的场景。

读缓存会根据网络距离和节点负载选择最合适的节点去读取数据,并根据不同用户场景自动调整缓存大小、判断缓存预读,从而大幅度提升客户端小IO顺序读的性能,减少客户端读请求的响应延时。

测试数据显示,在全SSD环境下,HBlock单卷IOPS可达15万次,读写延迟200微秒。

在规模层面,节点数可以达到1024,支持PB级别存储资源池。支持弹性扩容,不中断业务,可随时下架高能耗设备,替换为低能耗设备。以上数据均为业内上游水平,全面超过了开源Ceph。

值得注意的是,目前市场上绝大多数的分布式存储产品都在高可用、高可靠、高性能方面下足了功夫,但为何天翼云HBlock在盘活存储资源方面独具优势?我们认为有两个特点值得关注:

一是,大多数的分布式存储产品,其关键核心模块都是依赖于Linux内核,按照软硬一体的模式进行售卖。而HBlock通过自主研发,存储软件与硬件驱动程序完全解耦,因此适用于市面上通用的标准化服务器,兼容常见的Linux操作系统等。

二是,作为一款主打盘活、提高资源利用率的分布式存储产品,HBlock内置利旧检测工具。用户可以在正式部署前,全面检测自身硬件状态并进行评估,以了解是否适合部署HBlock,以及部署后会取得什么效果。

总体而言,天翼云HBlock不仅可以满足企业对于数据存储稳定性和业务环境高适应性的要求,还可以利用全部空闲存储资源,帮助企业解决存储资源闲置的难题,真正实现降本增效。

深入场景才经得起考验

如今随着企业业务应用类型的多元化,存储的使用场景也在走向多样化。

一款存储产品能否在性能、稳定性、可靠性等方面跟上应用趋势的迭代步伐,适应各种业务场景的新需求,决定了它是否能够真正应用落地。

天翼云HBlock正是掐准了不同场景对于存储需求的脉搏,在释放企业数据价值的过程中大展身手。目前,HBlock不仅支持私有云存储场景,还支持混合云存储、第二存储等多种需求场景。
在这里插入图片描述

以金融行业为例,由于企业对信息安全的要求高,普遍采用私有云建设模式。

而HBlock支持构建私有云存储底座,灵活纳管各类服务器,它可以替代传统SAN存储,支持对接OpenStack、Kubernetes,也可以在上面部署VMware、KVM等主流虚拟化平台来支撑业务;适配多种芯片架构、国产化操作系统,做到安全又高效。

同时,HBlock支持与公有云对象存储连接,实现混合云存储,提供本地和云端两种部署方式,并支持不同缓存策略,实现存储空间的按需使用、弹性扩展。

此外,HBlock还适用于第二存储场景,存储非关键数据,包括备份和容灾数据、视频监控数据、归档数据等,提高服务器资源利用率,实现业务快速上线。

目前,HBlock已在政务、金融、能源、医疗、工业互联网等行业场景中实现广泛应用。

也正是基于存储核心技术创新,以及深入场景释放企业价值,天翼云HBlock斩获了“可信云2022-2023年度技术最佳实践-基础服务类-分布式存储技术”大奖、第六届分布式存储高峰论坛“2023分布式存储产品金奖”等系列大奖,获得了业界的充分认可。

结语

据Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署。

可以肯定,未来十年,分布式存储的相对市场份额将不断增长。面对愈加复杂的业务场景,企业对分布式存储系统也提出了更多新的需求。

天翼云存储资源盘活系统HBlock正是把握住了时代的机会,敏锐洞察到企业的切身需求,为企业有效盘活存储资源、提升基础设施运营管理水平、实现绿色高质量发展打下了坚实的存储底座。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/86326.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安卓将图片分割或者拉伸或者旋转到指定尺寸并保存到本地

直接上代码吧:你们要用的话可以按照想法改 package com.demo.util;import android.graphics.Bitmap; import android.graphics.BitmapFactory; import android.graphics.Matrix; import android.os.Environment; import android.util.Log;import java.io.File; import java.io.…

代码随想录算法训练营 动态规划part11

一、买卖股票的最佳时机III 123. 买卖股票的最佳时机 III - 力扣(LeetCode) 请选一个喜欢的吧/(ㄒoㄒ)/~~123. 买卖股票的最佳时机 III - 力扣(LeetCode) class Solution {public int maxProfit(int[] prices) {if(pricesnul…

SpringBoot项目(百度AI整合)——如何在Springboot中使用语音文件识别 ffmpeg的安装和使用

前言 前言:在实际使用中,经常要参考官方的案例,但有时候因为工具的不一样,比如idea 和 eclipse,普通项目和spring项目等的差别;还有时候因为水平有限,难以在散布于官方的各个文档读懂&#xff…

stable diffusion model训练遇到的问题【No module named ‘triton‘】

一天早晨过来,发现昨天还能跑的diffusion代码,突然出现了【No module named ‘triton’】的问题,导致本就不富裕的显存和优化速度雪上加霜,因此好好探究了解决方案。 首先是原因,由于早晨过来发现【电脑重启】导致了【…

【owt】vs2022 + v141 : 查看WINDOWSSDKDIR

confmfc改为vs2022 + v141 构建 去掉这几个boost库,一样可以链接ok libboost_system-vc141-mt-sgd-x32-1_67.lib libboost_date_time-vc141-mt-sgd-x32-1_67.lib libboost_random-vc141-mt-sgd-x32-1_67.libSDK不在2022或者2017 里面? WINDOWSSDKDIR 在哪里? ##

LuatOS-SOC接口文档(air780E)--camera - codec - 多媒体-编解码

常量 常量 类型 解释 codec.MP3 number MP3格式 codec.WAV number WAV格式 codec.AMR number AMR-NB格式,一般意义上的AMR codec.AMR_WB number AMR-WB格式 codec.create(type, isDecoder) 创建编解码用的codec 参数 传入值类型 解释 int 多媒…

VSCode开发go手记

断点调试: 安装delve(windows): go get -u github.com/go-delve/delve/cmd/dlv 设置 launch.json 配置文件: ctrlshiftp 输入 Debug: Open launch.json 打开 launch.json 文件,如果第一次打开,会新建一…

为什么使用命令行

一提到Linux,许多人都会说到“自由”,但他们也许并不知道“自由”的真正涵义。“自由”是指一台没有任何秘密的计算机,并且你可以决定你的计算机能做什么。“自由”是一种权力,但是在过去的二三十年里,这种基本的权力正…

[论文笔记]RE2

引言 今天带来论文Simple and Effective Text Matching with Richer Alignment Features的笔记,论文标题为基于更丰富特征对齐结构的简单高效文本匹配模型。 这篇工作是2019年发表的,在Bert出来之后发表的,在四个著名的文本匹配任务(SNLI,SciTail,QQP,WikiQA)上取得了SOTA…

分块压缩算法及例程

分块压缩算法是一种数据压缩方法,它将输入数据划分为不同的块,并对每个块进行独立的压缩。这种算法通常用于处理大型文件或流式数据,可以提高压缩和解压缩的效率。 以下是一个基本的分块压缩算法的示例: 将输入数据分成固定大小的…

1786_MTALAB代码生成把通用函数生成独立文件

全部学习汇总: GitHub - GreyZhang/g_matlab: MATLAB once used to be my daily tool. After many years when I go back and read my old learning notes I felt maybe I still need it in the future. So, start this repo to keep some of my old learning notes…

Java:关于mybatis框架mapper.xml编写小于号<的问题

目录 方案一&#xff1a;转义字符方案二&#xff1a;原样字符总结参考文章 xml中小于号< 和 小于等于< 不能直接使用 select * from tb_user where age < #{user.age};方案一&#xff1a;转义字符 使用转义字符 含义符号转义字符小于<<大于>> 示例 s…

PCIE基础知识-3

PCIE 三种传输方式&#xff1a;IO中断&#xff0c;DMA&#xff0c;peer to peer 中断&#xff1a;PCI设备需要向内存&#xff08;SDRAM&#xff09;中写入一些数据&#xff0c;该PCI设备会向CPU请求一个中断&#xff0c;然后CPU首先先通过PCI总线把该PCI设备的数据读取到CPU内…

解读未知--文档图像大模型的探索与应用

前言&#xff1a; 近日&#xff0c;合合信息在多模态大模型与文档图像智能理解专题论坛上进行了分享。多模态大模型指的是能够处理多种语义信息的一种深度学习模型。文档图像智能理解则是指对文档和图像进行智能化解析和理解的技术。合合信息在这个领域的分享&#xff0c;无疑将…

编译原理.龙书学习1

第一章&#xff1a; 编译器&#xff1a;将程序翻译成一种能够被计算机执行的形式 解释器&#xff1a;解释器直接利用用户提供的输入执行源程序中指定的操作 一个编译器的结构 编译器将源程序映射为语义上等价的目标程序&#xff0c;这个映射过程由两部分组成&#xff1a;分析…

【PostgreSQL内核学习(十三)—— (PortalRun)】

PortalRun 概述PortalRun 函数MarkPortalActive 函数PotalSetIoState 函数FillPortalStore 函数DoPortalRunFetch 函数PortalRunSelect 函数PortalRunMulti 函数MarkPortalDone 函数 声明&#xff1a;本文的部分内容参考了他人的文章。在编写过程中&#xff0c;我们尊重他人的…

如何在Ubuntu中挂载新硬盘

参考&#xff1a;如何在Ubuntu中挂载新硬盘_笔记大全_设计学院 ubuntu将大于2T硬盘挂载到/home目录并使其永久生效的详细操作步骤_ubuntu挂载硬盘到home目录_菲玛的博客-CSDN博客win10ubuntu18.04 home目录扩容方法_ubuntu增加home空间_cfreeze的博客-CSDN博客 1、检测新硬盘…

黑马JVM总结(二十二)

&#xff08;1&#xff09;类的结构-field 成员变量信息 类字节码里的一些简单表示&#xff1a; &#xff08;2&#xff09;类文件结构-method-init &#xff08;3&#xff09;类文件结构-method-main &#xff08;4&#xff09;类文件结构-附加属性

Mojo:新型AI语言中的7个令人惊叹的Python升级,用简单的英语解释人工智能

Mojo&#xff1a;新型AI语言中的7个令人惊叹的Python升级 编程之美 用简单的英语解释人工智能 编程之美 由Coding Beauty设计的图像&#xff0c;使用Mojo标志和Python标志。 它比C更快&#xff0c;与Python一样简单&#xff0c;但速度提高了35000倍。 进入Mojo&#xff1a;一种…

Northstar 量化平台

基于 B/S 架构、可替代付费商业软件的一站式量化交易平台。具备历史回放、策略研发、模拟交易、实盘交易等功能。兼顾全自动与半自动的使用场景。 已对接国内期货股票、外盘美股港股。 面向程序员的量化交易软件&#xff0c;用于期货、股票、外汇、炒币等多种交易场景&#xff…