为数据集而生的 SQL 控制台

随着数据集的使用量急剧增加，Hugging Face 社区已经变成了众多数据集默认存放的仓库。每月，海量数据集被上传到社区，这些数据集亟需有效的查询、过滤和发现。

0ce82675e07f5661e8114adb867444bc.png
Dataset Monthly Creations

每个月在 Hugging Face Hub 创建的数据集

我们现在非常激动地宣布，您可以直接在 Hugging Face 社区中对您的数据集进行 SQL 查询！

数据集的 SQL 控制台介绍

在每个公共数据集中，您应该会看到一个新的 SQL 控制台标签。只需单击即可打开 SQL 控制台以查询该数据集。

查询 Magpie-Ultra 数据集来获取优秀的高质量推理指令。

所有的操作都在浏览器中完成，控制台还配备了一些实用的功能:

  • 完全的本地化支持: SQL 控制台由DuckDBWASM 驱动，因此您可以无需任何依赖即可查询您的数据集。https://duckdb.org/

  • 完整的 DuckDB 语法支持: DuckDB 支持全面的 SQL 语句，并包含许多内置函数，如正则表达式、列表、JSON、嵌入等。您会发现 DuckDB 的语法与 PostgreSQL 非常相似。

  • 结果导出: 您可以将查询的结果导出为 parquet 格式。

  • 分享: 您可以使用链接分享公共数据集的查询结果。

工作原理

Parquet 格式转换

大多数在 Hugging Face 上的数据集都存储为 Parquet 格式，这是一种优化了性能和存储效率的列式数据格式。Hugging Face 的  数据集视图 和 SQL 控制台会直接从数据集的 Parquet 文件中加载数据。如果数据集是以其他格式存储的，则前 5GB 自动转换为 Parquet 格式。您可以在Dataset Viewer Parquet API 文档中找到更多关于 Parquet 转换过程的信息。

Dataset Viewer Parquet API 文档https://hf.co/docs/dataset-viewer/en/parquet

使用这些 Parquet 文件，SQL 控制台会为您创建视图，基于数据集的划分和配置供您进行查询。

DuckDB WASM 🦆引擎

DuckDB WASM是驱动 SQL 控制台的引擎。它是一个在浏览器中运行于 Web Assembly 的进程内数据库引擎，无需服务器或后端。

DuckDB WASMhttps://duckdb.org/docs/api/wasm/overview.html

仅在浏览器中运行，它为用户提供最大程度的灵活性，可以自由查询数据而不需要任何依赖项。这也使得通过简单的链接分享可复现的结果变得非常简单。

你可能在想，“这是否适用于大数据集？”答案是“当然可以！

以下是对OpenCo7/UpVoteWeb数据集的查询，该数据集经过 Parquet 格式转换后有 12.6M 行。

OpenCo7/UpVoteWebhttps://hf.co/datasets/OpenCo7/UpVoteWeb

c70f893ba458cea9d198204c3fbdb680.png
Reddit Movie Suggestions

您可以看到，我们在不到 3 秒内的时间内收到了简单过滤查询的结果。

虽然基于数据集的大小和查询的复杂度查询可能会发生很长时间，您会感到吃惊您用 SQL 控制台做到的事情。

就像任何技术一样，也有其局限性:

  • SQL 控制台可以处理许多查询。然而内存限制约为 3GB，因此有可能超出内存并无法处理查询 (提示: 尝试使用过滤器来减少您正在查询的数据量，并结合使用 LIMIT )。

  • 尽管 DuckDB WASM 非常强大，但它并不完全与 DuckDB 功能一致。例如，DuckDB WASM 尚未支持hf:// 协议以查询数据集。https://github.com/duckdb/duckdb-wasm/discussions/1858

示例: 将数据集从 Alpaca 转换为对话格式

现在我们已经介绍了 SQL 控制台，让我们通过一个实际例子来实践一下。当微调大型语言模型时，我们经常需要处理不同的数据格式。其中特别流行的一种格式是对话式格式，在这种格式中，每一行代表用户与模型之间的多轮对话。SQL 控制台可以帮助我们高效地将数据转换为这种格式。让我们看看如何使用 SQL 将 Alpaca 数据集转换为对话式格式。

通常开发人员会通过 Python 预处理步骤来完成这项任务，但我们可以展示一下在不到 30 秒的时间内利用 SQL 控制台实现相同的功能。

0a837936cd63970b7b68495c5cbb53a0.png

在上方的数据集中，点击 SQL 控制台 标签以打开 SQL 控制台。您应该会看到下方的查询已自动填充。

SQL

-- Convert Alpaca format to Conversation format
WITH
source_view AS (SELECT * FROM train -- Change 'train' to your desired view name here
)
SELECT[struct_pack("from" := 'user',"value" := CASEWHEN input IS NOT NULL AND input != ''THEN instruction || '\n\n' || inputELSE instructionEND),struct_pack("from" := 'assistant',"value" := output)] AS conversation
FROM source_view
WHERE instruction IS NOT NULL
AND output IS NOT NULL;

我们在查询中使用 struct_pack 函数为每个对话创建一个新的 STRUCT 行

DuckDB 对结构化的数据类型和函数有很好的文档说明，你可以参考数据类型和函数。你会发现许多数据集包含带有 JSON 数据的列。DuckDB 提供了易于解析和查询这些列的功能。

  • 数据类型https://duckdb.org/docs/sql/data_types/struct.html

  • 函数https://duckdb.org/docs/sql/functions/struct.html

2e89aed2be3c3bd92c990b3ad0c14bcd.png
Alpaca to Conversation

一旦我们得到结果，就可以将其下载为一个 Parquet 文件。你可以在下面看到最终输出的样子。

3e49609a329460d7331a3b373aad1891.png

试一下！

作为另一个例子，你可以尝试对SkunkworksAI/reasoning-0.01运行一个 SQL 控制台查询，以查看包含超过 10 个推理步骤的指令。

SkunkworksAI/reasoning-0.01https://hf.co/datasets/SkunkworksAI/reasoning-0.01?sql_console=true&sql=--+Find+instructions+with+more+than+10+reasoning+steps%0Aselect+*+from+train%0Awhere+len%28reasoning_chains%29+%3E+10%0Alimit+100&sql_row=43

SQL 片段

DuckDB 有许多我们仍在探索的应用场景。我们创建了一个SQL 片段空间，以展示您可以在 SQL 控制台中完成的操作。

SQL 片段https://hf.co/spaces/cfahlgren1/sql-snippets

这里有一些非常有趣的用例:

  • 使用正则表达式过滤调用特定函数的数据集https://x.com/qlhoest/status/1835687940376207651

  • 从开放 LLM 排行榜中找到最受欢迎的基础模型https://x.com/polinaeterna/status/1834601082862842270

  • 将 alpaca 数据集转换为对话格式https://x.com/calebfahlgren/status/1834674871688704144

  • 使用嵌入进行相似性搜索https://x.com/andrejanysa/status/1834253758152269903

  • 从数据集中过滤超过 5 万行以获取最高质量的推理指令https://x.com/calebfahlgren/status/1835703284943749301

请记住，只需点击一下即可下载您的 SQL 结果作为 Parquet 文件并用于数据集！

我们非常希望听听您对 SQL 控制台的看法，如果您有任何反馈，请在以下帖子中留言！

欢迎在帖子中留言！https://hf.co/posts/cfahlgren1/845769119345136

资源

  • DuckDB WASMhttps://duckdb.org/docs/api/wasm/overview.html

  • DuckDB 语法https://duckdb.org/docs/sql/introduction.html

  • DuckDB WASM 论文https://www.vldb.org/pvldb/vol15/p3574-kohn.pdf

  • Parquet 格式简介https://hf.co/blog/cfahlgren1/intro-to-parquet-format

  • Hugging Face + DuckDBhttps://hf.co/docs/hub/en/datasets-duckdb

  • SQL 摘要空间https://hf.co/spaces/cfahlgren1/sql-snippets

英文原文:https://hf.co/blog/sql-console

原文作者: Caleb Fahlgren

译者: smartisan

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/59293.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

modelscope下载Qwen2.5 72B 模型方法

modelscope下载Qwen2.5 72B 模型方法

conda create -n modelscope python=3.10 conda activate modelscopepip install modelscope执行这个python代码： from modelscope.hub.snapshot_download import snapshot_download# 下载模型到当前路径 model_dir = snapshot_download(
阅读更多...
unity 三维数学 ，角度 弧度计算

unity 三维数学 ，角度 弧度计算

弧度 角度*π/180
阅读更多...
【Git】如何在 Git 中高效合并分支：完整指南

【Git】如何在 Git 中高效合并分支：完整指南

目录 引言1. 切换到主分支1.1 切换分支命令1.2 相关命令1.3 切换分支示意图 2. 合并分支2.1 基本合并命令2.2 合并选项2.3 合并流程示意图 3. 解决冲突3.1 解决冲突的步骤3.2 相关命令3.3 解决冲突示意图 4. 本地更新分支4.1 拉取远程更改4.2 更新主分支4.3 拉取远程更新到本地…
阅读更多...
2024年计算机视觉与图像处理国际学术会议 (CVIP 2024)

2024年计算机视觉与图像处理国际学术会议 (CVIP 2024)

目录 大会简介 主办单位，协办单位 组委会 主讲嘉宾 征稿主题 参会方式 会议议程 重要信息 会议官网：iccvip.org 大会时间：2024年11月15日-17日 大会地点：中国 杭州 大会简介 2024年计算机视觉与图像处理国际学术会议(C…
阅读更多...
【D3.js in Action 3 精译_039】4.3 D3 面积图的绘制方法及其边界标签的添加

【D3.js in Action 3 精译_039】4.3 D3 面积图的绘制方法及其边界标签的添加

当前内容所在位置： 第四章 直线、曲线与弧线的绘制 ✔️ 4.1 坐标轴的创建（上篇） 4.1.1 D3 中的边距约定（中篇）4.1.2 坐标轴的生成（中篇） 4.1.2.1 比例尺的声明（中篇）4.1…
阅读更多...
使用 PyCharm 构建 FastAPI 项目：零基础入门 Web API 开发

使用 PyCharm 构建 FastAPI 项目：零基础入门 Web API 开发

使用 PyCharm 构建 FastAPI 项目：零基础入门 Web API 开发 本文提供了一份完整的 FastAPI 入门指南，涵盖从环境搭建、依赖安装到创建并运行一个简单的 FastAPI 应用的各个步骤。通过 FastAPI 和 Uvicorn，开发者可以快速构建现代化的 Web API…
阅读更多...
通过AI进行大数据分析，提示广告投放效果，优衣库的AI实践

通过AI进行大数据分析，提示广告投放效果，优衣库的AI实践

大家好，我是Shelly，一个专注于输出AI工具和科技前沿内容的AI应用教练，体验过300款以上的AI应用工具。关注科技及大模型领域对社会的影响10年。关注我一起驾驭AI工具，拥抱AI时代的到来。 AI工具集1：大厂AI工具【共23款…
阅读更多...
Python小白学习教程从入门到入坑------第二十四课 继承（语法进阶）

Python小白学习教程从入门到入坑------第二十四课 继承（语法进阶）

一、继承 继承就是让类和类之间转变为父子关系，子类默认继承父类的属性和方法 在Python中，继承是一个非常强大的特性，它允许我们创建一个新的类（称为子类），这个新类可以继承另一个类（称为父类…
阅读更多...
【django】RESTful API 设计指南

【django】RESTful API 设计指南

目录 一、协议 二、域名 三、版本（Versioning） 四、路径（Endpoint） 五、HTTP动词 5.1 CRUD操作： 5.2 其他动词： 六、过滤信息（Filtering） 七、状态码（Status Co…
阅读更多...
【综合算法学习】（第十六篇）

【综合算法学习】（第十六篇）

目录 岛屿的最⼤⾯积（medium） 题目解析 讲解算法原理 编写代码 被围绕的区域（medium） 题目解析 讲解算法原理 编写代码 岛屿的最⼤⾯积（medium） 题目解析 1.题目链接：. - 力扣&#xf…
阅读更多...
django的一些文件

django的一些文件

~~~settings.py~~~ # 接口文档相关配置 REST_FRAMEWORK{ DEFAULT_SCHEMA_CLASS: rest_framework.schemas.coreapi.AutoSchema, } ~~~urls.py~~~ from rest_framework.documentation import include_docs_urls # 模块coreapi,只针对drf的接口文档 path(api-docs/, i…
阅读更多...
qt QTabWidget详解

qt QTabWidget详解

1、概述 QTabWidget是Qt框架中的一个控件，它提供了一个标签页式的界面，允许用户在不同的页面（或称为标签）之间切换。每个页面都可以包含不同的内容，如文本、图像、按钮或其他小部件。QTabWidget非常适合用于创建具有多…
阅读更多...
用ChatGPT提升工作效率：从理论到实际应用

用ChatGPT提升工作效率：从理论到实际应用

伴人工智能技术的迅速演进，像ChatGPT这类语言模型已成为提升工作效率的关键工具。这类模型不仅具备处理海量数据的能力，还能自动化许多日常任务，从而提高决策的准确性。本文将深入探讨如何在工作中利用ChatGPT等AI工具提升效率，涵…
阅读更多...
VScode调试

VScode调试

VScode只是一个代码编辑器，下面我们使用VScode调试运行在远端连接Linux服务器的代码。 打断点 编译代码，要确保已经安装gdb，可以使用指令gdb --version 来检查 GDB 是否已安装以及安装的版本，确认安装后在编译时要加上选项&…
阅读更多...
成都睿明智科技有限公司正规吗靠谱吗？

成都睿明智科技有限公司正规吗靠谱吗？

在这个短视频风起云涌的时代，抖音电商以其独特的魅力，成为了无数商家竞相追逐的新蓝海。而在这片浩瀚的商海中，成都睿明智科技有限公司犹如一艘装备精良的航船，引领着众多企业破浪前行，探索抖音电商的无限可能。今天&a…
阅读更多...
Web Broker（Web服务应用程序）入门教程（1）

Web Broker（Web服务应用程序）入门教程（1）

1、介绍 Web Broker 组件（位于工具面板的“Internet”选项卡中）可以帮助您创建与特定统一资源标识符（URI）相关联的事件处理程序。当处理完成后，您可以通过编程方式构建 HTML 或 XML 文档，并将它们传输给客…
阅读更多...
PySpark Yarn集群模式

PySpark Yarn集群模式

目录 简介 一、PySpark简介 二、YARN模式概述 三、配置环境 1. 安装与配置Spark 2. 配置Hadoop和YARN 3. 启动yarn 四、编写PySpark脚本 五、提交PySpark作业到YARN 参数解释： 六、常见问题及解决 七、总结 简介 随着大数据的普及，Spark作为…
阅读更多...
＜HarmonyOS第一课＞HarmonyOS SDK开放能力简介的课后习题

＜HarmonyOS第一课＞HarmonyOS SDK开放能力简介的课后习题

不出户&#xff0c;知天下&#xff1b; 不窥牖&#xff0c;见天道。 其出弥远&#xff0c;其知弥少。 是以圣人不行而知&#xff0c;不见而明&#xff0c;不为而成。 本篇<HarmonyOS第一课>HarmonyOS SDK开放能力简介是简单介绍了HarmonyOS SDK&#xff0c;不需要大家过多…
阅读更多...
【Java并发】乐观锁、悲观锁、CAS、版本号机制

【Java并发】乐观锁、悲观锁、CAS、版本号机制

前言 在现代计算机系统中&#xff0c;处理并发操作时&#xff0c;锁机制是至关重要的。本文将介绍乐观锁、悲观锁以及CAS&#xff08;Compare and Swap&#xff09;这三种常见的并发控制技术&#xff0c;帮助理解它们的原理和应用场景。 1.悲观锁 1.1 定义 悲观锁是一种在访…
阅读更多...
三层交换技术，eNSP实验讲解

三层交换技术，eNSP实验讲解

三层交换技术&#xff0c;eNSP实验讲解 一、简要介绍1、概念2、工作原理3、优点4、应用场景5、与路由器的区别 二、eNSP仿真实验1、步骤一&#xff1a;创建连接&#xff0c;明确参数。2、步骤二&#xff1a;设置PC1和PC2参数3、步骤三&#xff1a;配置交换机&#xff0c;通过命…
阅读更多...
最新文章

Copyright @ 2022~2023