迈向百亿亿次人工智能数据基础设施

对我来说,在MinIO已经一个多星期了。沉浸在白板会议、架构审查和客户电话中的最大收获是,产品的简单性既是其显着特征,也是其最具决定性的价值驱动因素之一。在规模上尤其如此。由于人工智能的进步,计算能力的爆炸性增长对数据格局产生了重大影响,将我们带入了百万兆次级数据基础设施的时代。

对于创始人和产品负责人来说,有一些惊人的成功资源/秘诀——但它们都可以被提炼成对大多数初创公司来说仍然难以捉摸的东西——“解决客户愿意支付的紧迫、普遍的问题。

就 MinIO 而言,该问题是关于解决动态工作负载的大规模数据基础设施的挑战。这就是 AI/ML,即 SEIM/威胁搜寻数据湖,即 HDFS 替代品,即数据库持久存储,即高级分析等等。在人工智能方面,每家企业公司,无论公司规模大小,都在尝试使用人工智能重塑自己。关键指标是从 AI 计划中获得价值的时间。要实现这一目标,需要将三件事结合在一起。

  • 在正确的时间窗口内获得正确的数据。

  • 以高性能方式提供、存储和流式传输数据的正确基础架构。

  • 利用这些数据实现预期业务成果的正确 AI 应用程序。

让我们从正确的时间窗口中的正确数据开始。正确的数据具有 X 属性。正确的时间窗口具有 Y 属性。总的来说,它们是你的数据计划的基础 - 人工智能或其他,它们在人工智能世界中的重要性越来越大,因为如果你的数据是错误的,你将延续错误,你将教导错误,你将需要重新开始。

接下来是正确的基础设施。我的同事 Keith Pijanowski 写了一篇关于 AI 数据湖的精彩文章,值得您花时间。人工智能生态系统围绕着对象存储展开。OpenAI 在对象存储上进行训练。Mistral 在对象存储上进行训练。Anthropic 的 Claude 在对象存储中接受训练。

云模型为人工智能的突破铺平了道路。对于提供NAS(网络附加存储)的传统数据存储公司来说,这是令人震惊的。在人工智能时代,他们面临着走磁带之路的风险。因此,他们试图通过文件对象二象性为现有数据提供对象存储接口来保持相关性。从架构上讲,这是错误的方法,因为这种方法会导致文件具有对象存储网关接口,而不是提供真正的本机对象存储。这样的解决方案试图将 AI 工作负载需求改造为 NAS 工作负载功能,但没有成功,但唯一真正的目标是确保数据不会离开他们的设备。无论这些存储设备供应商提供何种硬件,这种操作模式都无法满足 AI 工作负载所需的速度、简单性、成本和规模。现代 AI 应用程序是使用云原生技术构建的。默认情况下,这些 AI 应用程序工作负载中的大多数都需要横向扩展、分布式、高度可用的对象存储,从数据持久性的角度来看,支持非结构化/半结构化数据。MinIO 从头开始构建,正好满足这些云原生 AI 应用程序的需求。无论是裸机还是容器,MinIO Enterprise Object Store 都是真正的软件定义的云原生对象存储,为这些应用程序提供支持。

数字就是证据。MinIO 的 Docker Pull #s 同比增长 84%,创下了每天 1.6M 的记录。让它沉入片刻。每天1.6M。这可能比我们所有非公有云竞争对手在一个季度的总和还要多!这些 Docker Pulls 中有许多来自试图利用 MinIO 的云原生、“正常工作”简单性的企业。

为了达到这种成功水平,它需要更好的捕鼠器。请记住,每家采用 MinIO 的公司都已经拥有某种类型的存储 - 即使它是遗留文件和块。

这里还有另一个动态在起作用,那就是云遣返。企业客户热衷于避免他们在匆忙迁移公有云时所犯的错误 - 锁定和不受控制的账单。在处理这些大型数据集时,训练 AI 所需的数据更大,计算和网络出口成本变得更加昂贵。控制这些云成本,同时为业务提供弹性是要求 - 如今,通过迁移到 Equinix 这样的 colo 提供商或回到客户希望节省成本的私有数据中心,可以实现高达 50% 或更多,同时利用 MinIO 进行云原生对象存储,无论他们将数据从公共云移动到何处。

总之,我们将继续发展并成为 AI 工作负载的主要数据基础设施,帮助客户在运营敏捷性、安全性方面进行创新,并大规模提供新时代 AI 工作负载所需的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/32267.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ArkUI 开发学习随记——登陆界面,正圆头像,主页顶部,列表项案例源码

目录 案例一:登录界面 案例二:正圆头像,胶囊按钮 案例三:主页顶部 案例四:列表项 案例一:登录界面 代码: build() {Column({space:10}){Image($r("app.media.naxida")).width(100)…

什么是N卡和A卡?有什么区别?

名人说:莫听穿林打叶声,何妨吟啸且徐行。—— 苏轼《定风波莫听穿林打叶声》 本篇笔记整理:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊) 目录 一、什么是N卡和A卡?有什么区别?…

福州大学 2022~2023 学年第 1 学期考试 A 卷压轴题参考答案

题目: 定义一个抽象类Structure(含有纯虚函数type函数,用以显示当前结构的类型; 含有show函数), 在此基础上派生出Building类, 用来存储一座楼房的层数、房间数以及它的总平方米数。 建立派生 类House&am…

[Django学习]查询过滤器(lookup types)

1.exact exact用于精确匹配字段的值。适用于需要精确查找某个字段值的场景。 Book.objects.filter(title__exactHarry Potter) 上面的查询会查找标题完全为“Harry Potter”的书籍。 2.iexact iexact忽略大小写地精确匹配字段的值。适用于需要忽略大小写进行精确匹配的场…

已解决java.security.acl.AclNotFoundException异常的正确解决方法,亲测有效!!!

已解决java.security.acl.AclNotFoundException异常的正确解决方法,亲测有效!!! 目录 问题分析 出现问题的场景 报错原因 解决思路 解决方法 分析错误日志 检查ACL文件路径和名称 确认系统权限 修改代码逻辑 确保ACL文…

安卓浏览器区分启动、打开、分享

搞了几个钟头,终于全兼容了,分享有2种类型! void getDataFromIntent(Intent intent) {if (intent.getAction().equals(Intent.ACTION_VIEW)) {urln intent.getDataString();if (urln ! null) {if (urln.contains("\n"))urln url…

数据分析方法之对比思维

数据分析方法论 对比分析是将两个或两个以上具有可比性的数据进行比较,分析其中的差异,以揭示事物的发展规律。 数据分析之对比思维 归纳方法——穆勒五法:分别是求同法、求异法、共用法、共变法、剩余法。求同法:比相同 2.1求…

利用 Python 和 AI 技术制作智能问答机器人

利用 Python 和 AI 技术制作智能问答机器人 引言 在人工智能的浪潮下,智能问答机器人成为了一种非常实用的技术。它们能够处理大量的查询,提供即时的反馈,并且可以通过机器学习技术不断优化自身的性能。本文将介绍如何使用 Python 来开发一…

现在这个行情,又又又要开始准备面试了~~

亲爱的程序员朋友们: 这些资料曾经帮助过许多有志之士顺利拿下抖音、快手、阿里等大厂的Offer,现在也希望它们能为你的面试旅程助力! 关注【程序员世杰】回复【1024】惊喜等你来拿! 截图 关注【程序员世杰】回复【1024】惊喜等你来拿&#xf…

python入门基础知识(错误和异常)

本文部分内容来自菜鸟教程Python 基础教程 | 菜鸟教程 (runoob.com) 本人负责概括总结代码实现。 以此达到快速复习目的 目录 语法错误 异常 异常处理 try/except try/except...else try-finally 语句 抛出异常 用户自定义异常 内置异常类型 常见的标准异常类型 语法…

数据结构---二叉树前中后序遍历

1. 某完全二叉树按层次输出(同一层从左到右)的序列为 ABCDEFGH 。该完全二叉树的前序序列为() A: ABDHECFG B: ABCDEFGH C: HDBEAFCG D: HDEBFGCA 2. 二叉树的先序遍历和中序遍历如下:先序遍历: EFHIGJK; 中序遍历: HFIEJKG. 则二叉…

exe4j使用笔记(jar包转exe工具)

文章目录 配置项1. Welcome2. Project type3. Application info4. Executable info5. Java invocation6. JRE7. Splash screen8. Messages9. Compile executable10. Finished 其他下载地址(官网地址??) 配置项 总共10个配置项。 1. Welcome 略(不用填) 2. Project type …

Unit redis-server.service could not be found.

我的报错如下Unit redis-server.service could not be found. 关键是刷新后台服务 sudo systemctl daemon-reload启动redis-server sudo systemctl start redis-server查看redis-Server服务状态 sudo systemctl status redis-server

MySQL数据库中的索引知识

MySQL数据库中索引的作用是用来加快数据的查询速度。 索引 index(表的层面) 在数据库中使用select来查询数据的时候会一条一条得去查询符合要求的数据,而索引就相当于在这张表中依据某一个字段的数值给这张表的数据创建了一个目录。目录帮…

江协科技51单片机学习- p11 静态数码管显示

前言: 本文是根据哔哩哔哩网站上“江协科技51单片机”视频的学习笔记,在这里会记录下江协科技51单片机开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了江协科技51单片机教学视频和链接中的内容。 引用: 51单片机入门教程-2…

如何处理Android应用程序的内存泄漏

如何处理Android应用程序的内存泄漏 在Android开发中,内存泄漏是一个常见且重要的问题。当应用程序不再需要某些对象时,但由于某种原因这些对象仍然被引用,导致它们不能被垃圾回收器(Garbage Collector)回收&#xff…

Cesium中的线性代数和计算机图形学知识介绍

目录 前言1.基础介绍1.1 线性代数1.1.1 向量 (Vectors)1.1.2 矩阵 (Matrices)1.1.3 四元数 (Quaternions) 1.2 计算机图形学1.2.1 投影变换 (Projection Transformations)1.2.2 视图变换 (View Transformations)1.2.3 模型变换 (Model Transformations)1.2.4 光照与着色 (Light…

Java 面试题:强引用、软引用、弱引用、幻象引用有什么区别?

在 Java 中,理解不同类型引用的区别对于掌握内存管理和垃圾回收机制是至关重要的。强引用、软引用、弱引用和幻象引用分别提供了不同的对象引用强度,使开发者能够精细控制对象的生命周期和内存使用情况。 强引用(Strong Reference&#xff09…

rapidjson使用中crash问题分析

问题 在使用rapidjson时,使用Document的Parse方法解析json字符串,程序crash。 分析 可以参考https://github.com/Tencent/rapidjson/issues/1269,由于rapidjson的内存分配器默认认为内存分配成功,没有对分配后做判空判断&#…

35.简易远程数据框架的实现

上一个内容:34.构建核心注入代码 34.构建核心注入代码它的调用LoadLibrary函数的代码写到游戏进程中之后无法调用,动态链接库的路径是一个内存地址,写到游戏进程中只把内存地址写过去了,内存地址里的内容没写过去,导致…