向量数据库原理及选型

向量数据库

  • 什么是向量
  • 什么是向量数据库
    • 原理
    • 应用场景
  • 向量数据库的选型
    • 主流向量数据库介绍
    • 向量数据库对比
      • 主流向量数据库对比表
    • 选型建议

什么是向量

向量是一组有序的数值，表示在多维空间中的位置或方向。向量通常用一个列或行的数字集合来表示，这些数字按顺序排列。

在向量数据库中，向量（Vector） 是一种数学表示形式，用于将数据（如文本、图像、音频等）转换为高维空间中的数值化特征。每个向量由一组有序的数值（浮点数）组成，这些数值描述了数据在多维空间中的位置和特征，使得计算机可以通过数学运算（如计算距离或相似度）来比较和分析数据之间的关系。
在这里插入图片描述

什么是向量数据库

向量数据库（Vector database）、向量存储或向量搜索引擎是一种能够存储向量（固定长度的数值列表）及其他数据项的数据库。向量数据库通常实现一种或多种近似最近邻（Approximate Nearest Neighbor，ANN）算法，使用户可以使用查询向量搜索数据库，以检索最匹配的数据库记录。
在这里插入图片描述
通俗的来说，例如你想喝一杯“类似摩卡（向量[12,13,19,8,9]）但苦味更少”的咖啡：

  1. 传统菜单：只能按名称选（“摩卡在A10单元格”）。

  2. 向量数据库：

    • 每款咖啡用5个数字编码特征（如[甜度, 苦度, 浓度, 奶香, 温度]）。

    • 计算所有咖啡与摩卡的“数字距离”，秒推最接近的（如[10,9,18,9,8]的焦糖拿铁）。

原理

1. 向量表示：

  • 数据（文本、图像、音频等）通过嵌入模型（如BERT、ResNet）转换为高维向量（通常数百到数千维），这些向量捕捉了数据的语义或特征信息。

2. 相似度计算：

  • 使用距离度量（如余弦相似度、欧氏距离）量化向量间的相似性。相似度越高，数据相关性越强。

3.高效索引与检索：

  • 索引结构：采用树结构（KD-Tree）、哈希（局部敏感哈希，LSH）或图索引（HNSW）加速搜索。

  • 近似最近邻（ANN）算法：如FAISS、ScaNN，牺牲少量精度换取高速搜索，适合大规模数据。

  • 分布式架构：通过分片和并行计算（如Elasticsearch的分布式检索）提升扩展性。

4.数据管理：

  • 支持增删改查操作，部分系统提供持久化存储和事务支持，但通常优先考虑性能而非强一致性。

应用场景

  1. 增强检索（RAG）：

    • 结合大语言模型（LLM），从向量数据库中检索上下文信息，提升生成内容的准确性。

  2. 推荐系统：

    • 示例：电商平台根据用户行为向量推荐相似商品。

    • 技术：匹配用户向量与物品向量，计算Top-K相似结果。

  3. 多媒体检索：

    • 图像/视频检索：以图搜图（如Google Images）、视频片段匹配。

    • 音频检索：通过哼唱片段查找歌曲。

  4. 自然语言处理：

    • 语义搜索：用自然语言查询匹配相关文档（如ChatGPT的知识检索）。

    问答系统：从知识库中检索与问题语义相近的答案。

  5. 生物信息学：

    • 基因序列比对：通过向量化DNA序列快速查找相似片段。

    • 蛋白质结构预测：比对蛋白质特征向量。

  6. 异常检测：

    • 金融风控：检测与正常交易模式偏离的异常向量。

    • 工业物联网：识别设备传感器数据中的异常模式。

向量数据库的选型

主流向量数据库介绍

  1. Weaviate

    • 简介：开源/托管的多模态数据库，支持向量与图数据混合存储，内置NLP模型，适用于语义搜索和知识图谱。

    • 亮点：语义搜索、多模态扩展、GraphQL接口。

    • 场景：知识管理、内容推荐、复杂语义查询。

      https://github.com/weaviate/weaviate
      在这里插入图片描述

  1. Qdrant

    • 简介：高性能开源向量数据库，基于Rust实现，支持高效过滤查询和混合检索，适合低延迟场景。

    • 亮点：Rust驱动性能、强过滤能力、轻量级部署。

    • 场景：实时推荐、AI实验室实验、高并发检索。

    • https://github.com/qdrant/qdrant

    • https://qdrant.tech/
      在这里插入图片描述

  1. Milvus

    • 简介：企业级开源向量数据库，支持分布式架构和多种索引算法，专为大规模向量搜索设计。

    • 亮点：可扩展性强、混合查询（向量+标量）、成熟生态。

    • 场景：电商推荐、图像检索、PB级数据处理。

    • https://github.com/milvus-io/milvus

    • https://milvus.io/zh
      在这里插入图片描述

  1. MyScale

    • 简介：全托管云原生数据库，支持SQL与向量混合查询，集成OLAP实时分析能力。

    • 亮点：SQL兼容、分析+检索一体化、云托管免运维。

    • 场景：实时数据分析+搜索、企业级云服务。

    • https://github.com/myscale/myscaledb

    • https://myscale.com/docs/zh/overview/
      在这里插入图片描述

  1. pgvector

    • 简介：PostgreSQL轻量级扩展，为PG生态提供向量支持，适合小型项目快速集成。

    • 亮点：无缝兼容PG、简单易用、低成本。

    • 场景：已有PG系统的向量增强、轻量级RAG应用。

    • https://github.com/pgvector/pgvector
      在这里插入图片描述

  1. Chroma

    • 简介：轻量级开源向量库，专注AI应用集成（如LangChain），简化开发流程。

    • 亮点：API极简、快速实验、专注RAG场景。

    • 场景：小型LLM项目、开发者原型验证。

      https://github.com/chroma-core/chroma?tab=readme-ov-file
      在这里插入图片描述

  1. OpenSearch

    • 简介：开源搜索引擎（AWS维护），通过插件支持向量搜索，兼容Elasticsearch生态。

    • 亮点：混合搜索（文本+向量）、ES生态迁移友好。

    • 场景：AWS环境下的多模态搜索、日志分析增强。

    • https://opensearch.org/docs/latest/

    在这里插入图片描述

  1. TiDB Vector

    • 简介：TiDB的向量扩展，结合HTAP能力，支持事务与分析混合负载。

    • 亮点：事务+向量、分布式架构、企业级扩展。

    • 场景：金融风控、实时分析+检索一体化。

    • https://github.com/pingcap/tidb

    • https://tidb.net/
      在这里插入图片描述

  1. Elasticsearch

    • 简介：成熟开源搜索引擎，通过插件支持向量功能，适合混合搜索场景。

    • 亮点：全文检索+向量、生态完善、企业级支持。

    • 场景：日志分析增强、多模态内容平台。

    • https://www.elastic.co/cn/elasticsearch
      在这里插入图片描述

  1. Couchbase

    • 简介：NoSQL文档数据库，通过插件或自定义实现向量搜索，灵活性高。

    • 亮点：多模态数据管理、高扩展性、企业级存储。

    • 场景：金融、零售行业的多模态数据管理。

    • https://www.couchbase.com/
      在这里插入图片描述

  1. VikingDB

    • 简介：VikingDB 是字节内部的向量数据库产品，支持大规模、高性能、多场景的向量检索，是 AI 原生应用程序的基础设施。

    • 亮点：专注于高性能向量搜索的数据库，高性能，低延迟。

    • 场景：腾讯云用户的图像/视频搜索、广告推荐。

    • https://www.volcengine.com/docs/84313/1254442

  1. AnalyticDB

    • 简介：阿里云向量引擎，支持实时分析与向量检索，针对电商场景优化。

    • 亮点：实时分析、多模态搜索、阿里云无缝集成。

    • 场景：电商推荐、用户行为分析、云原生企业应用。

    • https://help.aliyun.com/zh/analyticdb/

向量数据库对比

主流向量数据库对比表

名称开源/托管核心特性索引算法分布式支持语言支持云原生适用场景社区/生态优缺点
Weaviate开源/托管向量搜索、混合搜索、模块化、可扩展HNSW, IVF✔️Python, GraphQL✔️知识图谱、语义搜索活跃社区，商业托管版优点：开源、可扩展、支持混合搜索、社区丰富；缺点：大型部署需资源较多
Qdrant开源高性能向量相似搜索、过滤功能HNSW✔️Python, Rust, REST✔️高吞吐低延迟场景社区增长快，文档完善优点：高性能、易部署；缺点：生态扩展性较弱
Milvus开源可扩展的向量数据库、分布式部署HNSW, IVF, ANNOY✔️Python, Java, Go等✔️大规模向量搜索、推荐系统活跃社区，Zilliz商业支持优点：高度可扩展；缺点：运维复杂度高
MyScale开源/托管基于ClickHouse的向量搜索支持HNSW, IVF✔️SQL, Python✔️实时分析+向量检索MyScale官方支持优点：高性能、SQL兼容；缺点：社区支持有限
pgvector开源PostgreSQL的向量相似搜索扩展IVFFlat, HNSW❌SQL, Python❌小型项目、PG生态集成PostgreSQL社区优点：无缝集成PG；缺点：不支持分布式
Chroma开源专为AI应用设计的嵌入式数据库HNSW❌Python❌小型项目、LLM增强检索（RAG）新兴社区，简化API优点：易用性高；缺点：扩展性有限
OpenSearch开源搜索和分析套件，支持向量搜索插件HNSW, IVF✔️REST, Java, Python✔️混合搜索（文本+向量）AWS主导，社区中等优点：兼容ES生态；缺点：向量功能需插件
TiDB Vector开源TiDB的向量扩展，支持混合工作负载HNSW, IVF✔️SQL, Python✔️企业级混合负载场景PingCAP社区支持优点：事务+向量；缺点：功能较新
Elasticsearch开源/托管分布式搜索和分析引擎，支持向量插件HNSW✔️REST, Java, Python✔️混合搜索（文本+向量）成熟生态，企业级支持优点：生态强大；缺点：向量非原生
Couchbase部分开源/托管NoSQL文档数据库，原生向量支持有限自定义✔️Java, Python, .NET✔️多模态数据管理企业级支持优点：灵活数据模型；缺点：向量需额外开发
VikingDB开源专注于高性能向量搜索的数据库HNSW✔️Python, REST✔️云原生企业级搜索腾讯云官方支持优点：高性能、低延迟；缺点：社区支持较少
AnalyticDB托管云原生数据仓库，支持大规模数据分析HNSW✔️SQL, Python✔️电商推荐、多模态搜索阿里云官方支持优点：PB级数据处理；缺点：非开源

关键对比维度说明

  1. 索引算法：

    • HNSW：平衡速度与精度，适合大多数场景。

    • IVF：适合大规模数据分片检索。

    • IVFFlat：精度高但速度较慢（pgvector默认）。

  2. 分布式支持：

    • ✔️：适用于企业级海量数据（如Milvus、TiDB Vector）。

    • ❌：适合单机或轻量级场景（如Chroma、pgvector）。

  3. 云原生：

    • 托管服务（如VikingDB、AnalyticDB）无需运维，适合快速部署。

    • 开源方案（如Milvus、Qdrant）需自行搭建集群。

  4. 适用场景：

    • 大规模检索：Milvus、MyScale、TiDB Vector。

    • 轻量级集成：Chroma、pgvector。

    • 云服务：VikingDB（腾讯）、AnalyticDB（阿里）、MyScale。

选型建议

  1. 企业级大规模场景：Milvus、TiDB Vector（兼顾事务与分析）。

  2. 云服务托管：VikingDB（腾讯）、AnalyticDB（阿里）、MyScale。

  3. 轻量级开发：Chroma（RAG）、pgvector（PG生态）。

  4. 高性能与过滤：Qdrant（Rust驱动）、Weaviate（语义+图混合查询）。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/73559.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

以实现生产制造、科技研发、人居生活等一种或多种复合功能的智慧油站开源了

以实现生产制造、科技研发、人居生活等一种或多种复合功能的智慧油站开源了

AI视频监控平台简介 AI视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。用…
阅读更多...
小程序网络大文件缓存方案

小程序网络大文件缓存方案

分享一个小程序网络大图加载慢的解决方案 用到的相关api getSavedFileList 获取已保存的文件列表；getStorageSync 获取本地缓存；downloadFile 下载网络图片；saveFile 保存文件到本地；setStorage 将数据储存到小程序本地缓存&…
阅读更多...
软考系统架构师 — 3 操作系统

软考系统架构师 — 3 操作系统

目录 3.1 考点分析 3.1 操作系统概述 3.1.1 操作系统的功能 3.1.2 操作系统的分类 3.1.3 嵌入式操作系统主要特点 3.2 进程 3.2.1 进程的组成和状态 3.2.2 前趋图与进程资源图（重点） 3.2.3 进程同步与互斥 3.2.4 进程调度 3.2.5 死锁 3.3 线…
阅读更多...
PE，ELF，COFF

PE，ELF，COFF

本文来自 (1)腾讯元宝 (2)程序员的自我修养 PE（Portable Executable）是一种文件格式，主要用于Windows操作系统中的可执行文件（如.exe、.dll、.sys等）。PE格式是Windows操作系统中标准的可执行文件格式，由…
阅读更多...
MySQL 在 CentOS 7 上安装的步骤指南

MySQL 在 CentOS 7 上安装的步骤指南

目录 1. 卸载不需要的环境 2. 获取 MySQL YUM 仓库 3. 安装 MySQL 4. 启动 MySQL 服务 5. 获取临时 Root 密码 6. 登录 MySQL 7. 更改 Root 密码 8. 设置 MySQL 开机自启动 9. 配置 MySQL 编码 10. 重启 MySQL 配置生效 11. 常见问题解决 1. 卸载不需要的环境 如果…
阅读更多...
C++初阶——类和对象（三） 构造函数、析构函数

C++初阶——类和对象（三） 构造函数、析构函数

C初阶——类和对象（三） 上期内容，我们围绕类对象模型的大小计算，成员存储方式，this指针，以及C实现栈和C语言的比较，进一步认识了C的封装特性。本期内容，我们开始介绍类的默认成员函…
阅读更多...
【NLP】 5. Word Analogy Task（词类比任务）与 Intrinsic Metric（内在度量）

【NLP】 5. Word Analogy Task（词类比任务）与 Intrinsic Metric（内在度量）

Word Analogy Task（词类比任务） 定义：Word Analogy Task 是用于评估词向量质量的内在指标（Intrinsic Metric）。该任务基于这样的假设：如果词向量能够捕捉单词之间的语义关系，那么这些关系应该能…
阅读更多...
矩阵幂（矩阵k次幂）

矩阵幂（矩阵k次幂）

矩阵幂 #include<stdio.h> //矩阵乘法 void cf(int a[20][20],int b[20][20],int result[20][20],int n){for(int i0;i<n;i){for(int j0;j<n;j){result[i][j]0;for(int k0;k<n;k){result[i][j]a[i][k]*b[k][j];}}} }void print(int a[20][20],int n){for(int…
阅读更多...
信火一体作战模式运用特点分析及对一体化防空反导能力建设的启示

信火一体作战模式运用特点分析及对一体化防空反导能力建设的启示

文章目录 内容摘要1. 引言2. 信火一体作战模式在现代战争中的新内涵和特征2.1 充当火力和信息要素的作战单元种类更加丰富2.2 信息利用更加凸显异构平台间的数据共享和情报融合2.3 作战环节上更加强调指挥决策的敏捷性和智能化3. 增强防空反导能力的举措建议3.1 强化各类作战单…
阅读更多...
样本是怎么估计总体的

样本是怎么估计总体的

样本是怎么估计总体的 flyfish 1. 什么是样本估计总体&#xff1f; 样本估计总体是指通过样本数据&#xff08;例如100人的身高&#xff09;推断总体参数&#xff08;例如全国人口的平均身高&#xff09;。核心方法包括&#xff1a; 点估计&#xff1a;用样本统计量直接估计…
阅读更多...
自己动手打造AI Agent:基于DeepSeek-R1+websearch从零构建自己的Manus深度探索智能体AI-Research

自己动手打造AI Agent:基于DeepSeek-R1+websearch从零构建自己的Manus深度探索智能体AI-Research

第一章&#xff1a;AI Agent基础与DeepSeek-R1架构解析&#xff08;1/10&#xff09; 1.1 AI Agent技术演进与核心价值 人工智能代理&#xff08;AI Agent&#xff09;经历了从规则驱动到数据驱动的范式转移。早期基于专家系统的符号主义方法&#xff08;如MYCIN医疗诊断系统…
阅读更多...
DeepSeek 助力 Vue3 开发：打造丝滑的表格（Table）之添加列宽调整功能,示例Table14_13可展开行的固定表头表格

DeepSeek 助力 Vue3 开发：打造丝滑的表格（Table）之添加列宽调整功能,示例Table14_13可展开行的固定表头表格

前言：哈喽，大家好，今天给大家分享一篇文章！并提供具体代码帮助大家深入理解，彻底掌握！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏+关注哦 💕 目录 DeepSeek 助力 Vue3 开发：打造丝滑的表格（Table）之添加列宽调整功能,示例Table14_13可展开行的固…
阅读更多...
Gemini Robotics：将人工智能带入物理世界

Gemini Robotics：将人工智能带入物理世界

25年3月来自谷歌的技术报告“Gemini Robotics: Bringing AI into the Physical World”。 大型多模态模型的最新进展&#xff0c;已使数字领域出现卓越的通才能力&#xff0c;但将其转化为机器人等物理智体仍然是一项重大挑战。一般有用的机器人需要能够理解周围的物理世界&am…
阅读更多...
关于离子滤波小记

关于离子滤波小记

粒子滤波&#xff08;Particle Filter, PF&#xff09; 粒子滤波是一种基于蒙特卡洛方法的贝叶斯滤波算法&#xff0c;主要用于解决非线性、非高斯的状态估计问题。它广泛应用于机器人定位、目标跟踪、金融建模等领域。 1. 粒子滤波的基本概念 粒子滤波的核心思想是用一组加权…
阅读更多...
机器语言基础

机器语言基础

机器语言是计算机能够直接识别和执行的二进制代码语言&#xff0c;由0和1组成。以下是关于机器语言的基本介绍&#xff1a; 特点 - 执行效率高&#xff1a;是计算机硬件直接支持的语言&#xff0c;无需翻译&#xff0c;执行速度快&#xff0c;能充分发挥计算机的性能。 - 硬…
阅读更多...
生活中的可靠性小案例11：窗户把手断裂

生活中的可靠性小案例11：窗户把手断裂

窗户把手又断了&#xff0c;之前也断过一次&#xff0c;使用次数并没有特别多。上方的图是正常的把手状态&#xff0c;断的形状如下方图所示。 这种悬臂梁结构&#xff0c;没有一个良好的圆角过渡&#xff0c;导致应力集中。窗户的开关&#xff0c;对应的是把手的推拉&#xff…
阅读更多...
多元时间序列预测的范式革命：从数据异质性到基准重构

多元时间序列预测的范式革命：从数据异质性到基准重构

本推文介绍了一篇来自中国科学院计算技术研究所等机构的论文《Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis》&#xff0c;发表在《IEEE Transactions on Intelligent Transportation Systems》。论文…
阅读更多...
印章/公章识别：PaddleX下的“Seal-Recognition”模型

印章/公章识别：PaddleX下的“Seal-Recognition”模型

最近做项目需要对印章进行识别&#xff0c;并提取其中的印章文字&#xff0c;又不希望这个模型太大&#xff0c;还要方便部署&#xff0c;于是乎这个模型是个不错的选择。 一、模型简介 “Seal-Recognition”模型是PaddleX旗下的一款模型&#xff08;PaddleX 是基于飞桨框架构…
阅读更多...
An effective algorithm for peptide de novo sequencing from MS/MS spectra

An effective algorithm for peptide de novo sequencing from MS/MS spectra

1. 研究背景 数据库搜索方法 需要已知的蛋白数据库&#xff0c;但对于未知蛋白质&#xff0c;无法适用。de novo 测序方法 直接从 MS/MS 数据推断氨基酸序列&#xff0c;非常重要。 2. 现有方法的问题 暴力搜索方法&#xff1a;枚举所有可能的肽序列并与 MS/MS 数据比对&…
阅读更多...
算法专题一：双指针

算法专题一：双指针

1.移动零 题目链接&#xff1a;283. 移动零 - 力扣&#xff08;LeetCode&#xff09; 我们可以定义一个dest&#xff0c;一个cur&#xff0c;dest表示数组中不为零的数的最后一位&#xff0c;cur用来遍历数组 class Solution {public void moveZeroes(int[] nums) {for(int cur…
阅读更多...
最新文章

Copyright @ 2022~2023