多维索引技术优化数据湖查询性能

news/2025/10/10 20:08:22/文章来源:https://www.cnblogs.com/codeshare1135/p/19133784

Qbeast获760万美元融资 通过多维索引简化数据湖查询

数据优化初创公司Qbeast Analytics Inc.今日宣布获得760万美元种子轮融资,旨在帮助企业消除类似Delta Lake等大数据湖框架存在的"隐性成本"。

本轮融资由Peak XV旗下的Surge领投,其他投资方包括HWK Tech Investment和Elaia Partners。融资将用于扩大团队规模并拓展平台应用场景。

据Qbeast介绍,Delta Lake、Apache Iceberg和Apache Hudi等开源湖仓架构在企业中日益普及,帮助组织控制传统基础设施难以承载的爆炸性数据增长。然而,尽管这些平台功能强大且高度可扩展,但存在巨大的使用"成本",高达90%的计算资源浪费在扫描无关数据上。

首席技术官Flavio Junequeira表示:"数据布局中隐藏着被市场严重忽视的不必要计算成本。"他此前曾参与创建Apache BookKeeper和Apache ZooKeeper。

Qbeast起源于巴塞罗那超级计算中心的研究项目,其解决方案是直接集成现有Delta、Iceberg和Hudi表的数据优化平台。该平台具备跨时间、区域和客户细分等多列复杂过滤的多维索引能力,使用户仅需查询所需数据。

与传统仅支持单维度的分区工具不同,该平台可在单表中同时优化历史和实时查询,支持任意数据属性的同步过滤。此外,Qbeast的即插即用索引与Databricks、DuckDB、Polars、Snowflake和Spark等计算引擎完美兼容,无需重写数据管道或修改底层存储层。

根据数据集不同,Qbeast可将查询速度提升最高6倍,同时降低70%的计算成本。这些优势吸引了某中心和某机构云基础设施资深专家Srikanth Satya加入公司担任首席执行官。

Satya表示:"我们构建Qbeast是为了让高性能分析变得简单易用,同时避免将组织绑定在专有系统中。在数据增长速度空前的今天,我们要确保每家公司都能按自己的方式将数据转化为价值。"

Qbeast的另一优势是原生兼容现有数据工具,支持所有主流开放数据格式,用户无需对数据基础设施进行任何更改,只需加入其多索引工具即可。

Constellation Research Inc.分析师Michael Ni指出,Qbeast的融资反映了存储行业的 broader 趋势,新旧厂商都在寻求解决基于AI的洞察和决策扩展瓶颈的方法。他表示:"即使数据湖仓成为企业的通用数据基础,它们也在随着AI代理的行为和多模态数据而增长。但如果平台仍依赖分区和全表扫描,这些AI代理就无法实时运行,这就是Qbeast瞄准快速、灵活和多属性数据访问压力点的原因。"

虽然Qbeast基础平台已上线运行,但公司制定了详细路线图,计划增加自动调优、自适应索引和更深层的数据引擎支持等功能,覆盖云基础设施提供商和行业垂直领域。最终目标是成为每个开放湖仓架构的默认索引层,为数据创新不受计算成本或性能限制的未来铺平道路。

HWK TechInvestment首席执行官Juan Santamaría认为,Qbeast正在解决一个重要且基础性的问题:"其多维索引层有望对每个转向湖仓模式的公司都至关重要。"
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)

公众号二维码

公众号二维码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/934372.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

训练笔记:博弈杂题

[7-/7] A. 黎明\(1\sim n\) 排成一个环进行约瑟夫(隔一个删一个),求有多少个时刻,被删除的数的异或和为 \(0\)。 多测 \(10^5\) 组,\(n<10^{18}\)。hint:考虑把约瑟夫的过程分解为 \(\lceil\log n\rceil\) 个…

HTML5拖放API核心功能解析

好的,我们来详细解析一下 HTML5 拖放 API 的核心功能。 HTML5 拖放 API 允许用户在浏览器中抓取一个元素,并将其拖放到另一个位置。它原生支持在浏览器标签页、甚至不同浏览器、乃至桌面应用之间拖放,是现代 Web 应…

[USACO07NOV] Telephone Wire G

dp题,做法有点套路但是一开始没想到。 设 \(dp{_i}_j\) 表示第 \(i\) 位为 \(j\) 的最小花费。 然后直接往下转移就好了。点击查看代码 #include<bits/stdc++.h> #define fir first #define sec second #define…

springboot配置多个数据源

springboot配置多个数据源在我们的实际业务中可能会遇到;在一个项目里面读取多个数据库的数据来进行展示,spring对同时配置多个数据源是支持的。 使用到的框架:springboot+mybatis 方法:在配置文件中配置多个数据源…

Umi-OCR_文字识别工具 免安装使用教程(附下载安装包)!永久免费,开源离线OCR识别软件下载

软件介绍 在外面日常工作汇中,我们经常需要将图片、截图中的文字转换为可编辑文本。Umi-OCR应运而生——这是一款完全开源免费的离线OCR识别工具,无需联网即可本地完成高精度文字识别,保护你的数据隐私同时确保高效…

常量指针 和 指针常量

常量指针 和 指针常量Posted on 2025-10-10 19:52 steve.z 阅读(0) 评论(0) 收藏 举报如何牢记 “常量指针” 和 “指针常量” 的区别?🧩 一、先看词序规律:「前修后主」 在汉语里:前面的词修饰后面的词。比…

PyTorch 神经网络工具箱完全指南 - 详解

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

Apache POI:Java操控Office文档的利器

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

【汇总】OPPO r9m 分区名、分区功能

一、分区名、分区功能编号 分区名 英文说明 中文说明 备注、示例0preloaderfastboot 底层系统初始化程序分区 比 u-boot 更底层1pgpt2recovery系统救援工具、维护手机类似电脑PE系统3para4reserve15reserve26reserve37…

完整教程:LVDS系列30:Xilinx 7系 ADC LVDS接口参考设计(一)

完整教程:LVDS系列30:Xilinx 7系 ADC LVDS接口参考设计(一)2025-10-10 19:48 tlnshuju 阅读(0) 评论(0) 收藏 举报pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !import…

【JAVA】从入门到放弃-01-HelloWorld - 指南

【JAVA】从入门到放弃-01-HelloWorld - 指南pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", &quo…

离线应用程序

离线应用程序(也称为离线Web应用程序或PWA,Progressive Web Applications)是一种使用现代Web技术开发的,能够在没有网络连接的情况下运行的Web应用程序。这类应用通常使用服务工作线程(Service Workers)、缓存存…

2025表面瑕疵检测厂家TOP5推荐:表面瑕疵检测,薄膜瑕疵检测,瑕疵检测设备,瑕疵在线检测,铝箔瑕疵在线检测,外观瑕疵检测机,薄膜瑕疵检测仪,陶瓷膜瑕疵检测各种类型检测,精准高效的质量守护

在当今制造业高质量发展的背景下,表面瑕疵检测已成为保障产品质量的关键环节。随着人工智能和机器视觉技术的快速发展,表面瑕疵检测设备在精度、速度和智能化程度方面都实现了质的飞跃。这类设备通过对产品表面的划痕…

表格识别:不仅能识别文字,更能理解表格的结构和逻辑关系,实现输出可编辑、可分析的结构化数据

在日常工作和商业运营中,表格以其结构化的方式,承载着海量的关键信息——从财务报表、医疗处方到物流单据和调查问卷。然而,这些信息一旦被打印或扫描成图片,就变成了“数据孤岛”,无法被计算机直接理解和处理。传…

同步FIFO

一、原理介绍 FIFO(First in, First out),顾名思义是先入先出存储器,数据的写入顺序和读出顺序一致。 一条数据流中有两个模块A和B,B接收A处理好的数据。假如A处理10个数据的时间,B只能处理5个数据,那么就会丢失5…

docker容器的三大核心技术UnionFS(下) - 指南

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

深入解析:如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题

深入解析:如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: bl…

P13274 [NOI2025] 三目运算符

P13274 [NOI2025] 三目运算符 提供一个不同的线段树实现。根据题目我们知道,\(s_i\) 变换后的值仅与 \(s_{i-2},s_{i-1},s_i\) 有关。考虑这三个数的 \(2^3\) 种取值,我们发现只有 101 和 110 会使 \(s_i\) 发生变化…

Microsoft Office不小心卸载或重装系统后,如何重新安装 ... - sherlock

下载安装刚买电脑时自带的office版本。安装包已整理好并上传到网盘了 夸克网盘安装完成后,打开任意Word登录激活账户,即可安装完成使用

HTTPS 抓包乱码怎么办?原因剖析、排查步骤与实战工具对策(HTTPS 抓包乱码、gzipbrotli、TLS 解密、iOS 抓包) - 实践

HTTPS 抓包乱码怎么办?原因剖析、排查步骤与实战工具对策(HTTPS 抓包乱码、gzipbrotli、TLS 解密、iOS 抓包) - 实践pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !importa…