大模型知识检索(RAG)全解析:从基础到进阶实践

本文详解大模型知识检索(RAG)设计模式,阐述其通过索引、检索、生成三阶段整合外部信息,增强LLM输出准确性。文章分析了RAG面临的工程挑战及未来发展方向,包括Agentic RAG、多模态RAG及与知识图谱融合,并提供了代码实现示例。RAG作为智能体核心认知基座,支撑其从"被动信息补充"向"自主认知决策"跨越,是提升大模型能力的关键技术。


智能体具有自主性、主动性、反应性等核心特质,涉及状态跨步骤维持、工具使用决策、多智能体通信协调、意外情况处理等一系列复杂问题,这些都为其开发带来了显著挑战。显然,这些挑战单靠一个强大的模型是远远不够的,还需要结构、设计、以及一套经过深思熟虑的方法,来指导智能体如何感知、规划、行动和交互。而智能体设计模式作为经实践验证的模板与蓝图,正是应对这些挑战的关键:它们并非僵化规则,而是针对智能体领域标准设计与实现难题的成熟解决方案。本系列文章将解读《智能体设计模式:构建智能系统的实战指南》中的21个设计模式,覆盖结构化顺序操作(提示链)、外部交互(工具使用)等基础概念,到协同工作(多智能体协作)、自我改进(反思)等进阶主题。

本篇文章,将介绍第十四个模式,知识检索(RAG)。

纵怀胸中韬略,仍需斥候探报

古代军师运筹帷幄,自身熟稔兵法韬略(对应 LLM 的基础能力),但战场形势瞬息万变,单凭旧典兵书不足以决胜。此时需依赖 斥候探马的实时情报—— 敌军粮草多少、营寨布防、主将性情,将这些 “外部实时信息” 融入谋略,才能制定出 “因地制宜、因敌施策” 的计策。

同理,大语言模型(LLM)的内蕴之才,往往受限于其训练数据,使其无法获取实时信息、特定的公司数据或高度专业化细节的能力。知识检索(RAG)作为外接之识使得LLM能够访问并整合外部的、当前的、特定上下文的信息,从而增强其输出的准确性、相关性和事实基础。

RAG的基础范式可以被概括为三个核心阶段:索引(Indexing)、检索(Retrieval)与生成(Generation)。

第一阶段:索引

索引是RAG性能的基石,核心是将企业私域文档、实时数据流等非结构化外部知识,通过文档解析提取纯文本、文本分块适配LLM上下文窗口、语义量化(借预训练模型转文本块为向量),最终构建向量索引库,为后续高效检索奠定基础。

第二阶段:检索

检索是用户意图与知识库的连接桥梁,先将用户自然语言查询转成查询向量,再用余弦相似度等方法,在向量索引库中匹配并排序,返回最相关的Top-K知识块,作为生成阶段的事实依据。

第三阶段:生成

生成是RAG价值的最终体现,将检索到的知识块与用户查询整合为增强提示词(含上下文、问题及回答指令),发送给LLM后,由LLM综合、推理这些信息,生成流畅且基于事实的最终回答。

尽管RAG的基础范式逻辑非常清晰,但是在将其从原型转化为稳定、高效的生产系统的工程化实践中,从业人员仍然面临一系列贯穿于数据处理、查询理解、召回匹配和复杂推理全链路的工程挑战。

这些挑战包括:知识单元的完整性与信息密度的抉择,难以精准捕捉模糊、多样的用户意图,召回匹配时难以兼顾语义相关性与关键词准确性,需要探索如何在检索精度与完整性之间取得平衡,应对需要多知识点综合推理的查询实现等。

因此,业界也再考虑其他范式。

吾将上下而求索

业界认为,RAG的未来将沿着Agentic RAG、多模态RAG以及与知识图谱的深度融合这三个方向演进,成为一个能够自主规划信息需求、理解并交互于多元世界、并在机构化知识之上进行深度推理的强大认知内核。

在Agentic RAG方面,即将信息检索的主动权从AI应用开发者手中,移交给Agent本身。一个兼具记忆框架能力的非典型型RAG框架为MemU,引入一个自主代理Agent来管理记忆(知识)。MemU使用类似文件系统的设计,把长期记忆整理成一组Md文件,模型可以直接读取这些文件来思考。在检索上,MemU支持两种方式,一是传统的向量检索,二是基于大模型的非向量检索,直接读取相关文档进行推理,语义准确定更高。

在多模态RAG以及知识图谱方面,Supermemory是一套面向AI应用的通用记忆API,同样也可以认为是下一代的非典型RAG框架。Supermemory通过自研向量数据库、内容解析器、知识图谱以及丰富的SDK/Connector,帮助个人和企业实现夸会话、跨模型、可支持的记忆。

未来的RAG体系大抵会和记忆体系深度融合和绑定,其内在逻辑在于:对智能体而言,记忆的本质是个性化、时序化的信息沉淀,而知识的本质是结构化、通用化的信息集合,二者都是“信息的存储-关联-调用”,核心诉求均是让智能体高效获取有效信息。当然这种融合并非简单的功能得加,而是围绕信息价值最大化形成的逻辑闭环。首先信息形态统一,无论是MemU的Md记忆文件,还是Supermemory的多模态数据,均被纳入结构化管理,打破记忆与知识的存储差异;其次是主动权归一,Agent既主导记忆的归档、更新与遗忘,又根据信息属性选择适配的检索方式(如MemU的双检索模式),实现信息管理-检索调用的自主协同;最后是价值相互反哺,记忆的个性化特质(如用户偏好、交互时序)能指导知识检索的精准度,而知识图谱的结构化关联能优化记忆的组织逻辑,让信息的“存储-调用-迭代”形成正向循环。

最终,这种深度融合将让RAG与记忆体系共生为智能体的核心认知基座,支撑其从“被动信息补充”向“自主认知决策”跨越。

动手实践

演示一下如何从零到一实现知识检索模式,有助于我们加深理解。

import numpy as np 原生实现 RAG+记忆管理融合|无框架|贴合MemU/Supermemory核心逻辑 class RagWithMemory: def init(self): self.memory_knowledge = [] # 统一存储:记忆项+知识项 结构化信息集合 self.vec_lib = [] # 向量索引库,与记忆知识库一一映射 def text2vec(self, text): # 极简语义量化(对应索引阶段-语义转向量) return np.array([hash(w) % 100 for w in text.split()])[:10] def add(self, info): # 记忆/知识统一新增归档|信息形态统一管理 self.memory_knowledge.append(info) self.vec_lib.append(self.text2vec(info)) def cos_sim(self, a, b): # 余弦相似度|检索阶段核心匹配逻辑 return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-6) def retrieve(self, query, top_k=1): # 自主检索|返回高相关记忆/知识 q_vec = self.text2vec(query) scores = [self.cos_sim(q_vec, v) for v in self.vec_lib] idx = np.argsort(scores)[-top_k:][::-1] return [self.memory_knowledge[i] for i in idx] def generate(self, query): # 检索增强生成|最终价值输出 context = self.retrieve(query) return f"基于记忆与知识推理:{query} → {''.join(context)}" 测试:记忆归档+知识检索+增强生成 闭环 rag_mem = RagWithMemory() rag_mem.add("用户偏好:只看科幻类电影,喜欢星际穿越") # 个性化记忆项 rag_mem.add("知识:星际穿越导演是诺兰,核心主题是亲情与时空") # 结构化知识项 print(rag_mem.generate("用户喜欢的电影相关知识是什么?"))

本系列解读并不会直白翻译《智能体设计模式:构建智能系统的实战指南》的内容,而是结合跨学科知识脑暴,和深层次思考,以及代码实践来加深理解。

如何系统的学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新,更多的大模型学习和面试资料已经上传带到CSDN的官方了,有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至:月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长,根据工信部最新数据:

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K(数据来源:BOSS直聘报告)

70%企业存在"能用模型不会调优"的痛点

真实案例:某二本机械专业学员,通过4个月系统学习,成功拿到某AI医疗公司大模型优化岗offer,薪资直接翻3倍!

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程:把ChatGPT从玩具变成生产工具
2️⃣ RAG系统:让大模型精准输出行业知识
3️⃣ 智能体开发:用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你:
✔️ 大厂内部LLM落地手册(含58个真实案例)
✔️ 提示词设计模板库(覆盖12大应用场景)
✔️ 私藏学习路径图(0基础到项目实战仅需90天)





第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1159622.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

onChange 事件来监听 input 的变化,并修改 state大纲可视化

React 表单与事件 本章节我们将讨论如何在 React 中使用表单。HTML 表单元素与 React 中的其他 DOM 元素有所不同,因为表单元素生来就保留一些内部状态。在 HTML 当中&#xff0c;像 <input>, <textarea>, 和 <select> 这类表单元素会维持自身状态&#xff0…

无人机螺旋桨材料与技术解析

无人机螺旋桨是其核心动力部件&#xff0c;其性能由材料、设计技术、与飞行控制系统协同的运行方式共同决定。以下是详细的解析&#xff1a;一、核心材料与特性材料的选择直接影响螺旋桨的强度、重量、振动和耐久性。根据搜索结果&#xff0c;当前主流材料可分为以下几类&#…

深度学习毕设项目推荐-基于python-CNN深度学习识别水面漂浮垃圾

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

JBoltAIV4:为Java企业搭建AI智能化的全链路支撑

在当前企业智能化转型进程中&#xff0c;多数Java技术团队面临共性困境&#xff1a;AI资源分散难整合、海量数据无法高效利用、开发门槛高导致人才缺口大、AI能力难以落地到实际业务场景。针对这些痛点&#xff0c;JBoltAI4系列作为企业级Java AI应用开发框架应运而生&#xff…

深度学习毕设项目:基于python_CNN卷积神经网络训练识别中药基于python_CNN深度学习卷积神经网络训练识别中药

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

2026MBA必备!10个降AI率工具测评榜单

2026MBA必备&#xff01;10个降AI率工具测评榜单 2026年MBA学生必看&#xff1a;降AI率工具测评全解析 在人工智能技术迅猛发展的今天&#xff0c;MBA论文的写作与修改也面临着前所未有的挑战。随着各大高校和学术平台对AIGC&#xff08;人工智能生成内容&#xff09;检测技术的…

LLM Agents:AI领域下一个黄金赛道,6大前沿研究方向助你快速入门

LLM Agents是AI领域热门研究方向&#xff0c;薪资待遇优厚&#xff08;可达108万&#xff09;。基于四大顶会论文分析&#xff0c;总结出六大前沿研究热点&#xff1a;智能体规划、推理、记忆机制、工具使用、多智能体系统及环境交互与具身智能。围绕这些热点发表论文中稿率较高…

算法题 最近的请求次数

933. 最近的请求次数 问题描述 写一个 RecentCounter 类来计算最近的请求次数。 实现 RecentCounter 类&#xff1a; RecentCounter() 初始化计数器&#xff0c;请求数为0。int ping(int t) 在时间 t 添加一个新的请求&#xff08;t 表示以毫秒为单位的时间&#xff09;&#x…

本章节我们将讨论如何在 React 中使用表单。 DOM 元素有所不同

React 表单与事件 本章节我们将讨论如何在 React 中使用表单。HTML 表单元素与 React 中的其他 DOM 元素有所不同,因为表单元素生来就保留一些内部状态。在 HTML 当中&#xff0c;像 <input>, <textarea>, 和 <select> 这类表单元素会维持自身状态&#xff0…

ue 蓝图循环调用用法笔记

事件调完了&#xff0c;调用delay&#xff0c;然后再调用函数即可。

2026年AI智能体将重构工作:15大趋势深度解析,程序员必看指南

2026年AI智能体将从演示迈入"责任落地"时代&#xff0c;通过全工作流编排、多智能体协同和垂直专业化重构工作方式。企业需构建智能体操作系统&#xff0c;实现事实锚定与互操作性&#xff0c;应对安全与治理挑战。人类角色转型为智能体编排者&#xff0c;重点聚焦目…

阿里云渠道商:阿里云弹性伸缩混合管理指南

引言&#xff1a;在混合云架构成为主流的今天&#xff0c;企业常面临同时管理云上 ECS 实例和本地托管实例的挑战。阿里云弹性伸缩&#xff08;Auto Scaling&#xff09;通过智能资源调度&#xff0c;让您统一管理两类资源&#xff0c;实现成本与性能的最优平衡 —— 这正是 “…

牛津大学联合微软发布AUI-Gym,让AI成为UI界面的“设计师+评委“

这项由牛津大学的Kevin Qinghong Lin、新加坡国立大学的Siyuan Hu和微软的Linjie Li、Zhengyuan Yang、Lijuan Wang等研究者联合完成的研究发表于2025年11月&#xff0c;论文标题为"Computer-Use Agents as Judges for Generative User Interface"。感兴趣的读者可以…

小白前端别慌:搞懂JS内置可迭代对象,写代码不再手抖(附实战技

小白前端别慌&#xff1a;搞懂JS内置可迭代对象&#xff0c;写代码不再手抖&#xff08;附实战技小白前端别慌&#xff1a;搞懂JS内置可迭代对象&#xff0c;写代码不再手抖&#xff08;附实战技巧&#xff09;为啥for...of一用就报错&#xff1f;——先别骂浏览器&#xff0c;…

计算机深度学习毕设实战-基于python深度学习的拉链是否完好识别基于python深度学习的拉链是否完好识别

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

【毕业设计】基于深度学习识别水面漂浮垃圾基于python-CNN深度学习识别水面漂浮垃圾

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

黑客自学指南:零基础入门网络安全,一篇直接通关

网络安全&#xff08;黑客&#xff09;自学篇&#xff0c;一文带你从零基础入门到精通&#xff01; 第一阶段&#xff1a;基础操作入门&#xff0c;学习基础知识 入门的第一步是学习一些当下主流的安全工具课程并配套基础原理的书籍&#xff0c;一般来说这个过程在1个月左右比…

数字永生安全:意识上载后的网络安全挑战

数字永生安全&#xff1a;意识上载后的网络安全挑战引言&#xff1a;数字化永生的技术愿景与安全困境随着脑机接口、神经映射和人工智能技术的飞速发展&#xff0c;“数字永生”已从科幻概念逐渐走向技术讨论的前沿。这一概念的核心在于将人类意识、记忆和人格特征从生物大脑中…

深度学习计算机毕设之基于python-CNN深度学习卷神经网络识别水面漂浮垃圾基于python-CNN深度学习识别水面漂浮垃圾

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

大模型入门到精通:2025中国行业发展报告,程序员必读指南

中国大模型行业2024年市场规模达294.16亿元&#xff0c;预计2026年将突破700亿元。行业竞争已从单点技术对决转向多维度体系化较量&#xff0c;形成CBDG四维生态&#xff08;消费者、企业、设备、政府&#xff09;。技术演进方向包括多模态融合、智能体化和具身智能。未来&…