RAG技术通过向量检索结合大模型生成能力,突破了传统搜索引擎依赖精确关键词和大模型知识库有限的局限。它实现语义匹配而非关键词检索,能实时获取最新信息,扩展知识覆盖面,减少错误并确保答案来源可追溯。这种技术结合了信息检索和生成的优点,为企业构建智能问答系统提供了有力解决方案,是AI问答领域的重要突破。
- 引入:为什么传统搜索和大模型都不够好?
1.1 传统搜索引擎的局限
我们每天都使用搜索引擎(比如谷歌、bing、百度)来查找信息。假设你遇到一个问题:“我的智能家居设备连接不上Wi-Fi,怎么办?”
bing搜索
- 问题:如果你输入的关键词不够精准,或者信息不够详细,搜索引擎返回的结果可能就不完全符合你的需求。
搜索引擎通常依赖于精确的关键词匹配,这就要求你明确知道自己想查的具体内容。
如果你对问题描述不够清楚,找到准确的答案就变得困难。
1.2 直接大模型的局限
现在有了像ChatGPT、Kimi、豆包、通义千问等大模型,大家可能会直接问:“那直接找个大模型不行吗?”
- 问题:大模型的确可以根据训练数据回答各种问题,但它的知识库是有限的,而且不能实时更新。
- ChatGPT 01模型
例如,今天的网络设备问题或者技术支持,大模型可能无法给出最准确、最实时的答案,尤其当问题涉及到一些新的技术细节或复杂的实际场景时。
我这边近 2 年+ ChatGPT 付费使用感受就是,当某个知识库大模型相对不完备、且互联网上能搜到资源非常有限的时候,大模型就捉襟见肘了。
比如你公司内部不公开文档、内部论坛相关技术问题(公司不开放外网权限),再厉害的大模型也搞不定。
比如搜索最近濒临倒闭大火的某越汽车的某零部件换修保养,估计就很难找到资料。
1.3 这时候就需要RAG(检索增强生成)技术
那么,有没有一种方法,既能避免搜索引擎要求精确关键词的麻烦,又能克服大模型只能给出过时信息的缺点呢?
答案就是RAG技术,它通过实时检索相关信息,并结合大模型生成能力,给你提供更加精准、实时、丰富的答案。
- 向量检索——RAG技术的核心推动力
RAG 能够在大规模的数据中快速检索最相关的内容,背后起关键作用的就是向量检索。
向量检索的工作原理
向量检索通过将文本转化为向量(数字表示),计算文本之间的相似度,从而找到最相关的信息。
在吴恩达的Coursera《机器学习》课程中,向量化被描述为将原始数据转化为机器学习算法能够理解和处理的数字格式。
《机器学习》课程
例如,文本数据需要被转换成数值向量,以便进行分类、回归等任务。
在该课程中,吴恩达强调向量化是数据预处理中的关键步骤,它使得机器学习算法能够处理多维特征数据并从中提取模式和规律。
这种转化不仅限于文本数据,也适用于图像、语音等其他数据形式,目的是将复杂的信息表示为统一的数值形式,以便进行进一步的分析和建模。
这种方法的优势在于,不仅仅匹配表面上的关键词,而是通过语义匹配来找到真正相关的内容。
- 将问题和文档转化为向量
每个问题和每篇文档都会被转换成一个向量,这个向量表示了文本的语义信息。
Elasticsearch 8.X “图搜图”实战
- 计算向量之间的相似度
RAG通过计算问题向量与文档向量之间的相似度,快速找到最相关的资料。
图片来自网络
3. 通过高效的检索返回答案
向量检索能在海量数据中快速找到相关信息,避免了传统基于关键词的匹配方式,提升了检索的准确性和效率。
- RAG 技术的工作流程
用Elasticsearch做RAG项目流程示意图 3.1 本地知识库向量化存储
在RAG技术的应用中,首先需要将本地知识库进行向量化存储。
这一步是将所有文档、手册、FAQ、历史解决方案等数据转化为计算机能够理解的数字格式(即向量)。
通过这种方式,RAG能够更快速、更精确地检索到与用户问题相关的内容。
如前所述,向量化的知识库让信息不再是原始的文本数据,而是可以通过向量搜索快速定位和检索的资源。这是信息检索效率的保障。
3.2 信息检索(Retrieval)
当我们提出问题时,例如:“我的智能家居设备连接不上Wi-Fi,怎么办?”
RAG会通过向量化存储的本地知识库来进行信息检索。
系统首先根据问题的关键词或语义,快速检索出相关的文档、故障排查手册、用户评论或设备技术规格等最新资料。这种检索方式不再依赖于精确的关键词匹配,而是通过语义理解来找到与问题最相关的信息,确保回答不仅是基于已有知识库,还包含了最新和最相关的数据(取决于我们知识库更新频率)。
3.3 生成回答(Generation)
接下来,RAG 将检索到的相关信息传递给一个大型语言生成模型(如阿里开源的通义千问Qwen-7B、Qwen-14B模型)。
该模型将这些信息综合整理,生成一个清晰、完整且连贯的回答。
通过生成模型,RAG能够结合外部检索到的信息生成一个更有深度和广度的回答。
例如提供Wi-Fi连接问题的具体排查步骤、常见设备设置问题、操作系统兼容性、可能的固件升级建议等,而不是仅仅生硬的、毫无情感的复述知识库中的内容。
- 为什么 RAG 技术这么强大?
4.1 不依赖精确的关键词
传统的搜索引擎需要精确的关键词,而RAG不需要。你只需给出大概的描述,RAG就能通过向量检索找到最相关的信息。
- 例如:前文提及的“智能家居设备 连接不上Wi-Fi”——这个描述虽然不完全准确,但RAG依然能理解并找到相关资料,给出最合适的回答。
4.2 实时获取最新的信息
大模型只能回答基于自己训练时的数据内容,但这些内容通常是固定的,无法获取实时更新的信息。
而RAG通过实时检索知识库,能够为你提供最新的数据和信息。
- 比如,还是刚才的问题“我的智能家居设备连接不上Wi-Fi,怎么办?”时,RAG能基于本地知识库最新的设备故障排查资料,提供最准确、最实用的解决方案,而不是依赖老旧的、过时的技术支持信息。
也就是咱们本地知识库不能一成不变,要不定时更新知识库。
4.3 扩展知识面,覆盖更多领域
RAG 不仅依赖大模型自带的知识库,它还能借助用户更新的所谓“外部知识库”文档、网站、文章等资源进行检索,回答更多专业领域的问题。
- 比如,如果你问某个设备连接问题,RAG可以通过搜索设备手册、厂家论坛、其他用户的常见问题解答等,提供更加深刻的解决方案,
而不是简单地给出常见的“一刀切”答案。
4.4 减少错误
有时,传统大模型可能会“胡乱生成”答案,而RAG通过首先检索相关资料,确保答案来源有据可依。这样不仅减少了错误,也提高了答案的可信度。
4.5 答案来源透明,易于追溯
RAG的答案是基于检索到的资料生成的,所以你可以追溯到这些资料的来源,了解答案的出处。
- 这点对于需要高准确性和高可信度的场景尤其重要,例如技术支持、医疗咨询等。
- 小结
RAG技术结合了信息检索和大模型生成的优点,突破了传统搜索和大模型的局限。
通过向量检索,它能够在模糊的查询中快速找到最相关的答案,同时提供最新、准确的信息。
这使得RAG不仅能处理复杂的查询,还能生成更加精准、丰富的回答。
- 不依赖精准关键词
- 实时更新信息
- 覆盖广泛领域
- 减少错误和偏差
- 答案来源清晰可追溯
如果你希望在企业中构建智能问答系统,或者提升技术支持效率,RAG技术无疑是一个非常有潜力的选择!
AI时代,未来的就业机会在哪里?
答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具,到自然语言处理、计算机视觉、多模态等核心领域,技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。
掌握大模型技能,就是把握高薪未来。
那么,普通人如何抓住大模型风口?
AI技术的普及对个人能力提出了新的要求,在AI时代,持续学习和适应新技术变得尤为重要。无论是企业还是个人,都需要不断更新知识体系,提升与AI协作的能力,以适应不断变化的工作环境。
因此,这里给大家整理了一份《2025最新大模型全套学习资源》,包括2025最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题等,带你从零基础入门到精通,快速掌握大模型技术!
由于篇幅有限,有需要的小伙伴可以扫码获取!
1. 成长路线图&学习规划
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)
3. 大模型视频教程
对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。
4. 大模型项目实战
学以致用,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。
5. 大模型行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
6. 大模型面试题
面试不仅是技术的较量,更需要充分的准备。
在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
为什么大家都在学AI大模型?
随着AI技术的发展,企业对人才的需求从“单一技术”转向 “AI+行业”双背景。企业对人才的需求从“单一技术”转向 “AI+行业”双背景。金融+AI、制造+AI、医疗+AI等跨界岗位薪资涨幅达30%-50%。
同时很多人面临优化裁员,近期科技巨头英特尔裁员2万人,传统岗位不断缩减,因此转行AI势在必行!
这些资料有用吗?
这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
大模型全套学习资料已整理打包,有需要的小伙伴可以
微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费】