手把手搭建本地RAG知识库!实现文档秒检索。

文章详细介绍如何使用开源模型nomic-embed-text搭建本地RAG知识库,实现高效文档检索。内容包括模型基本信息、特性对比和应用场景,以及完整搭建步骤:下载模型、创建工作区、上传文档、向量化存储和检索测试。同时提供了两种使用方式:Hugging Face Transformers和Nomic官方API,整个过程无需依赖闭源API,新手也能轻松上手。


有些努力,虽然暂时看不见结果,却在悄悄改变你。

上一篇我们分享了如何在本地电脑搭建基础 RAG 系统,支持调用本地或公有云大模型处理各类任务。

这一次,我们聚焦核心需求“创建专属自己的RAG知识库”,让本地文档检索像搜索网页一样高效,全程用开源模型 nomic-embed-text 搞定文档向量化,新手也能轻松上手。

nomic-embed-text 是 Nomic AI 发布的一款 开源文本嵌入模型(text embedding model),主要用于将自然语言文本转换为高维向量表示。这些向量可以用于搜索、聚类、语义匹配、推荐、知识图谱、LLM 检索增强(RAG)等任务。

一、基本信息

  • 模型名称:nomic-embed-text
  • 开发团队:Nomic AI(同样开发了 Atlas 可视化平台)
  • 开源协议:Apache 2.0
  • 发布平台:Hugging Face / GitHub / Nomic 官方 API
  • 输入输出:
  • 输入:一段文本(可长可短)
  • 输出:一个固定维度的向量(embedding),如 dim=768 或更高

二、主要特性

  • 开源可商用
  • 完全开源,可自由部署在本地、云端或私有环境中。

  • 无需依赖 OpenAI 或其他闭源 API。

  • 高性能表现
  • 在多项语义相似度、检索任务上与 OpenAI 的 text-embedding-3-large 相媲美。

  • 支持多语言(英语表现最佳,也支持中文、法语等)。

  • 长上下文支持
  • 支持较长输入文本(如几千个 token),方便处理文档类场景。
  • 优化的 embedding 空间
  • 通过对比学习(contrastive learning)训练,使语义相关的句子在向量空间中更接近。

三、性能对比(示例)

模型维度是否开源平均语义相似度支持语音
nomic-embed-text-v1768✅ 是0.82多语言
OpenAI text-embedding-3-large3072❌ 否0.84多语言
all-MiniLM-L6-v2384✅ 是0.78英语

四、典型应用场景

****🔎语义搜索:基于向量检索文档内容

💬问答系统(RAG):为 LLM 提供上下文支持

🧩 聚类/分类:分析文本语义相似度

🧠 知识图谱:节点表示学习

💡推荐系统:基于内容的相似度推荐

五、相关版本

版本发布时间说明
nomic-embed-text-v12014年首个主要版本,通用文本嵌入模型
nomic-embed-multilingual预计中多语言增强版(计划支持更多语言)

六、资源链接

🔗HuggingFace模型页 https://huggingface.co/nomic-ai/nomic-embed-text-v1
🔗Nomic官网 https://www.nomic.ai/
🔗GitHub仓库 https://github.com/nomic-ai

七、本地 RAG 知识库搭建步骤

  1. 下载嵌入模型

🔗下载模型 https://ollama.com/library/nomic-embed-text
首先我们复制要下载词嵌入模型名称来做RAG的文档向量化,在本地命令行中输入:
ollama pull nomic-embed-text

下载成功后会显示 "success"。
  1. 创建工作区+上传

  • 新建工作区,命名为 “本地知识库”(便于管理)

  • 上传需要检索的文档,支持 Word、PDF、TXT 等格式(我上传了 PowerFlex 结合 VMware 的管理安装手册)

  1. 文档向量化 + 存储

AI系统中可以使用不同的模型将文档切片做完向量化(不同的切片对应不同的向量表示),存储到向量数据库中就可以直接基于语义等相似性做检索了。

❗️❗️❗️ 注:真正的RAG是一个较复杂的系统,后续文章中我们会用一张思维导图单独说明RAG中用的各种技术。

下拉对话框,选择:Save and Embed,等待处理完成即可。

  1. 精准检索测试

直接问AI关于PDF中的知识点,AI先经过思考之后 ,检索向量数据库,将参考PDF中向量后的内容给出答案。

我的问题是:VMware ESXi 升级前提条件是什么?

系统快速返回了核心答案,对比官方手册后完全一致,召回率满分,确实和官方手册的文档一致,说明搭建的RAG系统没问题。

八、nomic-embed-text 其他使用方式

除了搭配RAG系统,还能通过两种方式单独使用,满足不同开发需求: 方式 1:通过 Hugging Face Transformers
from sentence_transformers import SentenceTransformer model = SentenceTransformer("nomic-ai/nomic-embed-text-v1") embeddings = model.encode([ "人工智能正在改变世界。", "AI is transforming the world." ]) print(embeddings.shape) # 输出(2, 768),即2个文本,每个生成768维向量
方式 2:通过 Nomic 官方 API
import requests response = requests.post( "https://api-atlas.nomic.ai/v1/embedding/text", json={"texts": ["Hello world!", "你好,世界!"]} ) print(response.json())

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】

读者福利:👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

👉4.大模型实战项目&项目源码👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战项目来学习。(全套教程文末领取哈)

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)

为什么分享这些资料?

只要你是真心想学AI大模型,我这份资料就可以无偿分享给你学习,我国在这方面的相关人才比较紧缺,大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】

读者福利:👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1184525.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VP引导定位软件-定位纠偏(带角度)

VP引导定位软件-定位纠偏&#xff08;带角度&#xff09;/// <summary>/// 计算物理旋转之后点xy的变化/// </summary>/// <param name"x0">图像物体上一点的x</param>/// <param name"y0">图像物体上一点的y</param>…

使用MCP执行代码:让Agent效率提升98.7%

Anthropic推出的Model Context Protocol (MCP)面临大规模工具连接的性能瓶颈。通过将MCP服务器呈现为代码API&#xff0c;实现了98.7%的token使用率降低。这一创新架构实现了五大优势&#xff1a;渐进式工具披露、高效数据处理、强大控制流、隐私保护和状态持久化&#xff0c;使…

PL3327系列(PL3327CD/CS/CE/CF) 18W AC/DC反激式开关电源芯片方案

PL3327是聚元微推出的「原边控制 内置650V MOSFET」反激式功率开关系列&#xff0c;涵盖DIP7、SOP7、SOP8四种封装&#xff0c;单颗芯片即可输出5V-24V/18W以内电源。它把传统方案中的光耦、TL431、高压MOSFET、启动电阻全部省掉&#xff0c;BOM从25颗压缩到12颗&#xff0c;峰…

基于YOLOv8的交通事故车辆损伤检测与事故严重程度分级项目识别项目

基于YOLOv8的交通事故车辆损伤检测与事故严重程度分级项目识别项目&#xff5c;完整源码数据集PyQt5界面完整训练流程开箱即用&#xff01; 基本功能演示 https://www.bilibili.com/video/BV1yakuB6EJt/ 项目摘要 本项目围绕 交通事故车辆损伤检测与事故严重程度分级 这一典…

具备这5大潜质的人,天生就是卖货王者

电商行业竞争日益激烈&#xff0c;80%的中小企业在招聘电商人才时面临"看走眼"的困境。传统面试主观性强、评价标准模糊&#xff0c;导致企业招错人后平均试错成本高达3-6个月薪资&#xff0c;这对资源有限的中小企业而言是难以承受的代价。如何科学识别真正具备电商…

Uniapp苹果内购支付全流程指南:从集成到配置的完整复盘

引言在移动应用开发中&#xff0c;虚拟商品支付是核心功能之一&#xff0c;而针对iOS平台&#xff0c;苹果App Store强制要求虚拟商品必须通过其官方内购渠道完成交易&#xff0c;这使得Uniapp项目集成苹果内购成为iOS端开发的必备技能。本文将全面复盘Uniapp苹果内购支付的完整…

哈尔滨特色美食口碑大赏!对青烤鹅力断层领先,成游客必打卡爆款 - 资讯焦点

哈尔滨特色美食口碑大赏!对青烤鹅力断层领先,成游客必打卡爆款 基于近期市场消费数据、游客到店打卡率、本地口碑反馈及主流生活平台综合评价,现对哈尔滨市域内具有广泛影响力的特色熟食品牌进行梳理与评估。本排名…

深入解析:基于非官方接口的企业微信外部群批量创建与效率重构

深入解析:基于非官方接口的企业微信外部群批量创建与效率重构pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Con…

【数据分析】基于matlab辅导功能和ISSR-MDF模型的综合预警指标【含Matlab源码 14993期】

&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;欢迎来到海神之光博客之家&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49…

git 如何切换到123分支?

git branch -rorigin/HEAD -> origin/masterorigin/123git checkout -b pci origin/123branch 123 set up to track origin/123.Switched to a new branch 123git branchmaster123

小国护照热度不减:2025年-2026年移民市场服务模式观察 - 资讯焦点

在全球资产配置与生活规划多元化的背景下,一些国家通过立法设立的投资入籍计划,因其明确的流程、相对较快的周期和灵活的附加条件,吸引了部分高净值人士的关注。这个细分市场的兴起,也催生了提供相关咨询与服务的各…

如何一次提交,提交到两个分支上?

原来您是在手动触发钩子脚本来生成 Change-Id。这一顿操作(生成临时文件 -> 运行 hook -> amend)的目的就是为了给 Commit Message 加上那行关键的 Change-Id: Ixxxx...。 既然您已经在 master 分支上把这一套复杂的流程走完了,并且生成了合法的 Change-Id,那么同步…

【数据分析】辅导功能和ISSR-MDF模型的综合预警指标【含Matlab源码 14993期】

&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;Matlab武动乾坤博客之家&#x1f49e;…

‌AI测试覆盖率提升秘籍:从70%到95%的跨越‌

覆盖率困局与AI的曙光对于软件测试从业者而言&#xff0c;“测试覆盖率”是一个既熟悉又充满挑战的指标。达到70%的覆盖率&#xff0c;常常标志着测试工作进入了相对成熟的阶段&#xff0c;覆盖了大部分核心路径和功能。然而&#xff0c;从70%向更高目标&#xff08;如95%&…

移民市场深度观察:如何在信息洪流中甄选可靠的移民机构 - 资讯焦点

随着全球化进程的深化与各国政策的动态调整,移民规划已日益成为许多人进行国际教育、事业拓展、资产配置与生活品质提升的综合考量。然而,面对市场上层出不穷的项目信息与服务机构,申请人普遍面临信息甄别困难与选择…

【数字信号去噪】吕佩尔狐算法优化变分模态分解RFO-VMD数字信号去噪(优化K值 alpha值 综合指标 适应度函数包络熵)【含Matlab源码 14994期】

&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;&#x1f49e;Matlab武动乾坤博客之家&#x1f49e;…

LLMs、RAG、AI Agent三个到底什么区别?

本文详解AI三大核心技术&#xff1a;LLMs作为"天才大脑"提供思考能力&#xff0c;RAG作为"记忆系统"连接外部实时知识库解决更新问题&#xff0c;AI Agent作为"执行者"具备感知规划能力。三者非竞争关系&#xff0c;而是不同层面的互补技术&…

2026年主流云游戏平台深度横评:硬件架构、网络性能与定价策略,谁是全能王者? - 资讯焦点

随着网络的演进与边缘计算节点的规模化、下沉式部署,云游戏行业已全面步入以“真实体验感知”为标尺的深水区。用户的需求从“能否运行”的基础层,跃升至“画质是否震撼”“跨场景是否连贯”的综合体验层。本次测评通…

Vivado安装失败原因分析与修复方法汇总

Vivado安装失败&#xff1f;别慌&#xff0c;这份硬核实战指南帮你从“卡住”到“启动” 你有没有经历过这样的时刻&#xff1a; 花了一下午下载完60GB的Vivado安装包&#xff0c;双击 xsetup.exe 后满怀期待地等待IDE加载……结果进度条停在“Extracting files”不动了&am…

UDS诊断服务(ISO 14229-1)

UDS&#xff08;Unified Diagnostic Services, ISO 14229-1&#xff09;服务列表按服务标识符&#xff08;SID&#xff09;分类整理&#xff0c;完整UDS服务列表如下&#xff1a;SID (Hex)服务名称描述0x10Diagnostic Session Control诊断会话控制&#xff08;切换默认/扩展/编…