冯丹教授:近数据处理新型盘框等技术创新,加速IDC向Diskless架构演进

日前,在中国深圳举办的第20届华为全球分析师大会,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读,为传统云存储、大数据等计算域和存储域不完全分离造成的资源浪费,提出了一个新的技术解决方向,帮助云和互联网数据中心降本增效,实现数据中心高质量演进。

冯丹教授提到,传统存算融合架构下,企业通常采用应用与本地盘耦合的服务器一体化架构,存在存力效率低、无效数据迁移、资源浪费等典型问题:

1、计算域和存储域未彻底分离,仍各自存在独立的本地存储,往往按照最大容量预设配置,存力利用率低;

2、采用通用算力进行数据处理,IO效率低,存储域仍以CPU为中心,存取性能无法充分发挥;

3、数据从盘到计算域CPU,需要8次以上数据搬迁,无效搬迁带来了网络和算力资源的浪费;

4、在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据,不仅带来现有业务风险,还会浪费投资;

5、数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。

随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心朝着以数据为中心的Diskless架构演进。Diskless架构下,单一CPU算力发展到GPU、DPU、XPU等多样算力,算力效率得以充分发挥;网络从IP、NOF发展到高通量的CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统HDD到SSD,性能、功耗实现全面提升。在Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和OceanDisk等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。

冯丹教授表示,资源池化共享的Diskless架构应具备以下关键技术:

1、网存协同,DPU硬件卸载加速,数据高效协同处理。通过DPU等专有数据处理模块,使服务器CPU全为应用服务,基础设施与应用任务解耦,将VirtIO、NVMe-oF等CPU计算效率低任务转移到DPU的专用加速器执行,实现资源弹性扩展。

2、数控分离+IO直通,实现控制流与IO流分离,IO直通到存储介质,进一步提升存储效率。通过数控分离,可达到极致IO访问时延,通过存储域IO读写数据流与IO控制处理的分离,使得读写IO直通到存储介质中,减少IO处理路径,降低处理复杂度,极大提升存储域访问性能。计算域则可以借助DPU bypass CPU,减少数据拷贝开销,提升IO访问性能。

3、盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的大盘,通过硬件对盘控系统内的算法进行加速,比如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。

4、算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口,主机侧软件栈打薄,减少80%的IO交互次数,实现对整系统的CPU和网络带宽节省。同时,在大数据/数据仓库场景,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池,减少无效数据的搬移。

冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展,带来了数据中心架构的变革,加速了以CPU为中心的耦合架构走向彻底存算分离、资源池化共享的以数据为中心的Diskless架构,这种架构进一步简化了数据中心基础设施构建,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势。”

华为去年发布的OceanDisk智能盘框产品,是一个标准的大存力新型盘框产品。OceanDisk通过NoF+高速网络连接Diskless服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低40%;内置FlashLink 智能盘框协同算法等软硬结合技术,带来最大250万IOPS,50GB/s带宽的高性能;依托华为多年存储研发实力,OceanDisk智能盘框提供硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心10万级硬盘的性能稳定,大幅降低运维难度。OceanDisk作为业界首个面向Diskless架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/225742.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(c语言)输出一个十进制整数的二进制序列

#include<stdio.h> int main() {int x;scanf("%d",&x);for (int i 31; i >0; i--)//从前向后输出{if (((x >> i) ^ 0) 0) //当移位后全都是0时&#xff0c;进入下一个循环{continue; //需要输出完整二进制数时该判断语句删去}if (…

Javascript高频面试题

系列文章目录 文章目录 系列文章目录前言1.JavaScript常见数据类型null 和 undefind区别symbol&#xff08;ES6新增&#xff09;、bigInt&#xff08;ES10新增&#xff09; 2.JavaScript判断数据类型的方式3. 和 区别&#xff0c;分别在什么情况使用&#xff1f;4.变量声明 va…

[Application] The app delegate must implement the window property if ..... 错误

在xcode中新建ios项目后再真机上运行&#xff0c;会发现手机上一篇漆黑&#xff0c;仔细观察控制台会发现这样的提示&#xff1a; [Application] The app delegate must implement the window property if it wants to use a main storyboard. 大概意思是&#xff1a; app d…

【Spring技术专题】「实战开发系列」保姆级教你SpringBoot整合Mybatis框架实现多数据源的静态数据源和动态数据源配置落地

SpringBoot整合Mybatis框架实现多数据源和动态数据源配置 Mybatis是什么SpringBoot整合Mybatis框架实现多数据源操作应用场景选择和配置Maven依赖禁掉DataSourceAutoConfiguration去除DataSourceAutoConfiguration定制化配置对应的数据源 配置主、从数据源主数据源从数据源配置…

Mybatis-plus介绍与入门

前言 MyBatis-Plus是在MyBatis基础上的一个增强工具库&#xff0c;旨在简化开发者的工作&#xff0c;提高开发效率&#xff0c;同时保留MyBatis的灵活性。使用 MyBatis-Plus 可以减少重复性的代码&#xff0c;简化常见的数据库操作 官方学习文档&#xff1a;MyBatis-Plus (bao…

添加E1000网卡进行测试,只有VMXNET3性能的四分之一

正文共&#xff1a;1444 字 14 图&#xff0c;预估阅读时间&#xff1a;2 分钟 我们前面介绍了VMware ESXi 6.7中的适配器类型性能&#xff08;VMWare ESXi中&#xff0c;不同的虚拟网卡性能竟然能相差三倍&#xff01;&#xff09;&#xff0c;当时的配置项主要为E1000e和VMXN…

RK3568/RV1126/RV1109/RV1106 ISP调试方案

最近一直在做瑞芯微rv1126的开发&#xff0c;由于项目性质&#xff0c;与camera打的交道比较多&#xff0c;包括图像的采集&#xff0c;ISP处理&#xff0c;图像处理&#xff0c;H.264/H.265编解码等各个方面吧。学到了不少&#xff0c;在学习的过程中&#xff0c;也得到了不少…

Linux 操作系统 005-使用vi进行文本编辑

Linux 操作系统 005-使用vi进行文本编辑 本节关键字&#xff1a;Linux、文本编辑、vi、命令模式、字符串替换、字符串查找 本节相关指令&#xff1a;vi vi的介绍 vi是一款由加州大学伯克利分校&#xff0c;Bill Joy研究开发的文本编辑器。vi是unix/linux操作系统中最经典的文…

2.electron之纯原生js/jquery的桌面应用程序(应用篇)

如果可以实现记得点赞分享&#xff0c;谢谢老铁&#xff5e; Electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的框架。 Electron 将 Chromium 和 Node.js 嵌入到了一个二进制文件中&#xff0c;因此它允许你仅需一个代码仓库&#xff0c;就可以撰写支持 Windows、…

叁[3],函数DispImage/DispObj

函数DispImage C形式 LIntExport void DispImage( const HObject& Image, const HTuple& WindowHandle); //参数1: 需显示图片数据 //参数2&#xff1a;窗体的Handle C#形式 public static void DispImage( HObject image, HTuple windowHandle); 函数DispObj …

Linux查询指定时间点段日志Linux查询指定文件

Linux服务器高效查询日志查询文件 Ⅰ、常用几种日志查询语法Ⅱ、常用几种查询语法 Ⅰ、常用几种日志查询语法 #查询某日志前xx行日志 head -n 行数 日志文件名 #查询某日志后xx行日志 tail -n 行数 日志文件名 #查询固定时间点日志&#xff08;前提是这个时间点确实有日志输出…

智慧工地人工智能信息管理平台源码,建筑工地管理平台源码

智慧工地云平台源码&#xff0c;微服务架构JavaSpring Cloud UniApp MySql 智慧工地是指以物联网、​移动互联网技术为基础&#xff0c;充分应用人工智能等信息技术&#xff0c;通过AI赋能建筑行业&#xff0c;对住建项目内人员、车辆、安全、设备、材料等进行智能化管理&#…

女生未来赋能计划“闪亮她未来”职业启蒙课程走进开江县

为女童未来赋能&#xff0c;”爱小丫闪亮她未来”职业启蒙系列活动经过前期对接与筹备&#xff0c;于2023年12月4日和7日&#xff0c;分别走进甘棠小学与灵岩小学&#xff0c;本次活动由开江县网格员社会工作服务中心“爱小丫女生未来赋能计划”项目志愿者讲师谭顺玲老师为两所…

解决ES伪慢查询

一、问题现象 服务现象 服务接口的TP99性能降低 ES现象 YGC&#xff1a;耗时极其不正常, 峰值200次&#xff0c;耗时7sFULL GC&#xff1a;不正常,次数为1但是频繁&#xff0c;STW 5s慢查询&#xff1a;存在慢查询5 二 解决过程 1、去除干扰因素 从现象上看应用是由于某种…

荣耀时刻丨2023AIoT新维奖揭晓,美格智能荣登企业榜·行业先锋榜

12月15日&#xff0c;由物联网智库、智次方研究院主办&#xff0c;广东省物联网协会、深圳市物联网协会协办&#xff0c;智次方承办的中国AIoT产业年会暨2024年智能产业前瞻洞察大典在深圳顺利举办。 会上公布了“2023AIoT新维奖”系列榜单评选结果&#xff0c;美格智能荣登20…

C# WPF上位机开发(crc校验)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 为了验证数据传输的过程中有没有发生翻转&#xff0c;我们在传输报文的同时一般还会添加一个crc校验。对于modbus协议也是一样&#xff0c;它在数据…

国际教育-微积分试讲讲稿

Substitution for Integration-Notes换元积分法

使用css让图片无限循环旋转360度

描述 本文章小小记录了使用animation属性来设置动画的效果&#xff0c;这里主要讲述如何让一张图片以图片中心为轴旋转360度。以下为实现的一些代码示例 html 这里引入本地的一张图片&#xff0c;并给图片标签定义class类为rotateImg&#xff0c;用于设置css样式。 <img…

【LeetCode】第18题. 四数之和

今日学习的文章链接和视频链接 leetcode题目地址&#xff1a;第18题. 四数之和 代码随想录题解地址&#xff1a;代码随想录 题目简介 给你一个由 n 个整数组成的数组 nums &#xff0c;和一个目标值 target 。请你找出并返回满足下述全部条件且不重复的四元组 [nums[a], num…

【SpringBoot】之Mybatis=Plus集成及使用(入门级)

&#x1f389;&#x1f389;欢迎来到我的CSDN主页&#xff01;&#x1f389;&#x1f389; &#x1f3c5;我是君易--鑨&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; &#x1f31f;推荐给大家我的博客专栏《SpringBoot开发之Mybatis-Plus系列》。&#x1…