Solon AI —— RAG

说明

当前大模型与外部打交道的方式有两种，一种是 Prompt，一种是 Fuction Call。在 Prompt 方面，应用系统可以通过 Prompt 模版和补充上下文的方式，调整用户输入的提示语，使得大模型生成的回答更加准确。

RAG

RAG （Retrieval-Augmented Generation 检索增强生成）是一种结合了信息检索和大模型生成的技术框架，是通过相似度等算法从外部知识库中检索相关的信息，并将其作为 Prompt 输入大模型，以增强大模型处理知识密集型任务的能力。

系统是传统 RAG 和 智能体 RAG 的一个架构图（图片来源网络）。

在这里插入图片描述

知识库

FastGPT 的《知识库基础原理的介绍》说明挺好的，https://doc.fastgpt.cn/docs/guide/knowledge_base/rag/ 。

相对于大模型，我们的系统称为应用。对于应用来说，主要做的是检索工作，就是从知识库（提供文档索检服务的对象）中找到相应的知识（文档）。

为了存储和读取文档，需要用到文档加载器和文档分割器。

  • 文档加载器，比如，纯文本，PDF，Word， Markdown， html， excel 等格式的处理与加载。
  • 文档分割器，当文档太大时，可以按文档的字数，段落，章节，主题等来分块。因此也就有了 JSON 格式拆分，正则表达式拆分，大小分割，拆分流水线等等。

为了查询相关文档，就需要检索算法的加持。主要分为向量检索和传统检索。在实际的应用是可以多种方式结合的，只要能检索到尽可能相关的数据即可。

  • 向量检索：如 BERT向量等，它通过将文档和查询转化为向量空间中的表示，并使用相似度计算来进行匹配。向量检索的优势在于能够更好地捕捉语义相似性，而不仅仅是依赖于词汇匹配。
  • 传统检索：如BM25，主要基于词频和逆文档频率（TF-IDF）的加权搜索模型来对文档进行排序和检索。BM25适用于处理较为简单的匹配任务，尤其是当查询和文档中的关键词有直接匹配时。

示例

这里我们继续使用 demo-ai02 中诊断的例子，尝试模拟一次简单的诊断，相对于demo-ai02，增加了获取病人的历史病人和病人自述相关的知识，用于演示知识库增加的例子。注意这里只是示例，并非真正的诊断流程。

依赖

build.gradle
dependencies {implementation platform(project(":demo-parent"))implementation("org.noear:solon-web")implementation("org.noear:solon-view-enjoy")implementation("org.noear:solon-ai")implementation("org.noear:solon-ai-repo-redis")implementation("org.noear:solon-logging-logback")implementation("org.noear:solon-openapi2-knife4j")implementation("org.noear:solon-web-rx")implementation("org.noear:solon-web-sse")implementation("org.noear:solon-flow")implementation("org.dromara.hutool:hutool-all")testImplementation("org.noear:solon-test")
}
Redis

这里需要用的redis的向量查询，需要安装 redis-stack 版本。

docker run -d --name redis-stack -p 6379:6379 -p 8001:8001 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/redis/redis-stack:latest
模型

这里需要向量化，需要增加嵌入模型，这些选了nomic-embed-text，自己根据实际情况选项，deepseek-r1:32b，也是一样的，根据需要调整。

ollama run deepseek-r1:32b
ollama run qwen2.5:7b
ollama run nomic-embed-text

配置

app.yml

增加嵌入模型和 reids 知识库的配置，其他的模型配置在流程编排中获取。

solon.flow:- "classpath:flow/*"demo.llm:embed:apiUrl: "http://127.0.0.1:11434/api/embed" # 使用完整地址（而不是 api_base）provider: "ollama" # 使用 ollama 服务时，需要配置 providermodel: "nomic-embed-text"repo:redis:server: "127.0.0.1:16379"  # 改为你的 Redis  地址db: 0maxTotal: 200
LlmConfig
package com.example.demo.ai.llm.config;import org.noear.redisx.RedisClient;
import org.noear.solon.ai.embedding.EmbeddingConfig;
import org.noear.solon.ai.embedding.EmbeddingModel;
import org.noear.solon.ai.rag.repository.RedisRepository;
import org.noear.solon.annotation.Bean;
import org.noear.solon.annotation.Configuration;
import org.noear.solon.annotation.Inject;/*** @author airhead*/
@Configuration
public class LlmConfig {@Beanpublic EmbeddingModel embeddingModel(@Inject("${demo.llm.embed}") EmbeddingConfig config) {return EmbeddingModel.of(config).build();}@Beanpublic RedisRepository repository(EmbeddingModel embeddingModel, @Inject("${solon.llm.repo.redis}") RedisClient client) {return new RedisRepository(embeddingModel, client.openSession().jedis());}
}
流程
id: "ai-flow-01"
layout:- id: "开始"type: "start"- id: "病史"type: "execute"task: "@searchTask"- id: "诊断"type: "execute"meta.model: "deepseek-r1:32b"meta.apiUrl: "http://127.0.0.1:11434/api/chat"meta.provider: "ollama"meta.input: "prompt"meta.output: "intention"meta.systemTpl: "## 上下文\n\n#(ctx)\n\n## 任务\n\n根据用户的描述，判断用户最可能的三个健康问题，只要诊断名称，不需要其他解释，用 Markdown 的列表格式返回。\n\n"meta.userTpl: "## 病人自述\n\n#(prompt)\n\n## 历史病情\n\n#(history)\n\n"task: "@intentionTask"- id: "治疗建议"type: "execute"meta.model: "qwen2.5:7b"meta.apiUrl: "http://127.0.0.1:11434/api/chat"meta.provider: "ollama"meta.input: "intention"meta.output: "suggestion"meta.system: "## 角色\n\n你是一个经验丰富的医生\n\n## 任务\n根据用户提供的诊断信息，提供治疗建议"task: "@suggestionTask"- type: "end"

知识库管理

RepositoryController
package com.example.demo.ai.llm.controller;import com.example.demo.ai.llm.service.RepositoryService;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import java.util.List;
import org.noear.solon.annotation.*;/*** @author airhead*/
@Controller
@Mapping("/repository")
@Api("知识库")
public class RepositoryController {@Inject private RepositoryService service;@ApiOperation("addDoc")@Post@Mapping("addDoc")public Boolean addDoc(String content) {return service.addDoc(content);}@ApiOperation("search")@Post@Mapping("search")public List<String> search(String query) {return service.search(query);}
}
RepositoryService
package com.example.demo.ai.llm.service;import java.io.IOException;
import java.util.Collections;
import java.util.List;
import org.noear.solon.ai.rag.Document;
import org.noear.solon.ai.rag.repository.RedisRepository;
import org.noear.solon.annotation.Component;
import org.noear.solon.annotation.Inject;/*** @author airhead*/
@Component
public class RepositoryService {@Inject RedisRepository repository;public Boolean addDoc(String content) {try {Document document = new Document(content);repository.insert(Collections.singletonList(document));return true;} catch (IOException e) {throw new RuntimeException(e);}}public List<String> search(String query) {try {List<Document> list = repository.search(query);return list.stream().map(Document::getContent).toList();} catch (IOException e) {throw new RuntimeException(e);}}public String history() {return "无其他慢性病";}
}

诊断

LlmDiagController
package com.example.demo.ai.llm.controller;import com.example.demo.ai.llm.service.LlmService;
import com.jfinal.kit.Kv;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import org.noear.solon.annotation.*;/*** @author airhead*/
@Controller
@Mapping("/llm")
@Api("聊天")
public class LlmDiagController {@Inject private LlmService service;@ApiOperation("diag")@Post@Mapping("diag")public Kv diag(String prompt) {return service.diag(prompt);}
}
LlmDiagService
package com.example.demo.ai.llm.service;import com.jfinal.kit.Kv;
import org.noear.solon.annotation.Component;
import org.noear.solon.annotation.Inject;
import org.noear.solon.flow.ChainContext;
import org.noear.solon.flow.FlowEngine;/*** @author airhead*/
@Component
public class LlmDiagService {@Inject private FlowEngine flowEngine;public Kv diag(String prompt) {try {ChainContext chainContext = new ChainContext();chainContext.put("prompt", prompt);Kv kv = Kv.create();chainContext.put("result", kv);flowEngine.eval("ai-flow-01", chainContext);return kv;} catch (Throwable e) {throw new RuntimeException(e);}}
}

验证

知识管理

通过接口写入一些文档，这里是一些睡眠的方法。

在这里插入图片描述

知识查询

通过查询睡眠

在这里插入图片描述

诊断服务

在这里插入图片描述

中间的调试信息，我们可以看到我们添加的知识库的信息被追加到提示信息中，提交给大模型。

在这里插入图片描述

小结

示例中没有对文档的拆分和文档不同文档类型的加载，但我们可以看到 Solon-ai 结合 solon-flow 已经能完整的支持 RAG 的知识库的开发了。当然如果要做一个完整的知识库系统还需要很多工作要做。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/71464.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

STM32——USART—串口发送

STM32——USART—串口发送

目录 一&#xff1a;USART简介 二&#xff1a;初始化USART 1.开启时钟 2.代码 三&#xff1a;USART发送数据 1.USART发送数据函数 2.获取标志位的状态 3.代码 4.在main.c内调用 5.串口调试 1.串口选择要与设备管理器中的端口保持一致 2.波特率、停止位等要与前面…
阅读更多...
基于SpringBoot的在线骑行网站的设计与实现(源码+SQL脚本+LW+部署讲解等)

基于SpringBoot的在线骑行网站的设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…
阅读更多...
通义万相2.1：开启视频生成新时代

通义万相2.1：开启视频生成新时代

文章摘要&#xff1a;通义万相 2.1 是一款在人工智能视频生成领域具有里程碑意义的工具&#xff0c;它通过核心技术的升级和创新&#xff0c;为创作者提供了更强大、更智能的创作能力。本文详细介绍了通义万相 2.1 的背景、核心技术、功能特性、性能评测、用户反馈以及应用场景…
阅读更多...
3.3.2 Proteus第一个仿真图

3.3.2 Proteus第一个仿真图

文章目录 文章介绍0 效果图1 新建“点灯”项目2 添加元器件3 元器件布局接线4 补充 文章介绍 本文介绍&#xff1a;使用Proteus仿真软件画第一个仿真图 0 效果图 1 新建“点灯”项目 修改项目名称和路径&#xff0c;之后一直点“下一步”直到完成 2 添加元器件 点击元…
阅读更多...
华为OD机试-最长的密码（Java 2024 E卷 100分）

华为OD机试-最长的密码（Java 2024 E卷 100分）

题目描述 小王正在进行游戏大闯关，有一个关卡需要输入一个密码才能通过。密码获得的条件如下： 在一个密码本中，每一页都有一个由26个小写字母组成的密码，每一页的密码不同。需要从这个密码本中寻找这样一个最长的密码，从它的末尾开始依次去掉一位得到的新密码也在密码本…
阅读更多...
极狐GitLab 正式发布安全版本17.9.1、17.8.4、17.7.6

极狐GitLab 正式发布安全版本17.9.1、17.8.4、17.7.6

本分分享极狐GitLab 补丁版本 17.9.1、17.8.4、17.7.6 的详细内容。这几个版本包含重要的缺陷和安全修复代码&#xff0c;我们强烈建议所有私有化部署用户应该立即升级到上述的某一个版本。对于极狐GitLab SaaS&#xff0c;技术团队已经进行了升级&#xff0c;无需用户采取任何…
阅读更多...
Ajax动态加载 和 网页动态渲染 之间的区别及应用场景

Ajax动态加载 和 网页动态渲染 之间的区别及应用场景

更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 1. Ajax 动态加载2. 动态渲染3. 两者之间的关系和区别3.1 AJAX 动态加载与动态渲染的关系3.2 流程3.3 两者区别4. 实际应用场景4.1 无限滚动4.2 表单提交4.3 单页应用（SPA）4.4 案例5. 总结Ajax 动态加载 和 动态渲染 …
阅读更多...
QT——对象树

QT——对象树

在上一篇博客我们已经学会了QT的坏境安装以及打印一个hello world&#xff0c;但是如果有细心的朋友看了代码&#xff0c;就会发现有一个严重的问题&#xff0c;从C语法看来存在内存泄漏。 上面的代码实际上并没有发送内存泄漏&#xff0c;是不是觉得有点奇怪&#xff1f;大家有…
阅读更多...
深度学习之-“深入理解梯度下降”

深度学习之-“深入理解梯度下降”

梯度下降是机器学习和深度学习的核心优化算法&#xff0c;几乎所有的模型训练都离不开它。然而&#xff0c;梯度下降并不是一个单一的算法&#xff0c;而是一个庞大的家族&#xff0c;包含了许多变体和改进方法。本文将从最基础的梯度下降开始&#xff0c;逐步深入学习&#xf…
阅读更多...
力扣-字符串

力扣-字符串

字符串不能被修改&#xff0c;所以如果有想修改字符串的行为&#xff0c;需要转换为StringBuilder StringBuilder里也有很多封装方法String没有&#xff0c;比如reverse() StringBuilder sb new StringBuilder();// 添加字符串 sb.append("Hello"); sb.append(&qu…
阅读更多...
flink重启策略

flink重启策略

一、重启策略核心意义 Flink 重启策略&#xff08;Restart Strategy&#xff09;是容错机制的核心组件&#xff0c;用于定义作业在发生故障时如何恢复执行。其核心目标为&#xff1a; 最小化停机时间&#xff1a;快速恢复数据处理&#xff0c;降低业务影响。平衡资源消耗&…
阅读更多...
Java TCP 通信：实现简单的 Echo 服务器与客户端

Java TCP 通信：实现简单的 Echo 服务器与客户端

TCP&#xff08;Transmission Control Protocol&#xff09;是一种面向连接的、可靠的传输层协议。与 UDP 不同&#xff0c;TCP 保证了数据的顺序、可靠性和完整性&#xff0c;适用于需要可靠传输的应用场景&#xff0c;如文件传输、网页浏览等。本文将基于 Java 实现一个简单的…
阅读更多...
Ollama+Deepseek-R1+Continue本地集成VScode

Ollama+Deepseek-R1+Continue本地集成VScode

一、OllamaDeepseek-R1Continue本地集成VScode 1&#xff09;安装前知识点 Continue 介绍 详情可参照官网&#xff1a; continue官网 Continue 是 Visual Studio Code 和 JetBrains 中领先的开源 AI 代码助手。 •在侧边栏中进行聊天以理解和迭代代码。 •自动补全&#…
阅读更多...
风虎云龙R87与RH87八卡服务器震撼首发

风虎云龙R87与RH87八卡服务器震撼首发

在科技迅猛发展的今天&#xff0c;人工智能&#xff08;AI&#xff09;领域正以前所未有的速度改变着世界。从内容创作的智能化&#xff0c;到智能客服的广泛应用&#xff0c;AI技术已经深入到我们生活的方方面面。而这一切的背后&#xff0c;都离不开高性能算力设备的强大支撑…
阅读更多...
18.分布式任务调度

18.分布式任务调度

固定的时间点去执行固定的任务&#xff0c;这就是任务调度。
阅读更多...
Element UI-Select选择器结合树形控件终极版

Element UI-Select选择器结合树形控件终极版

Element UI Select选择器控件结合树形控件实现单选和多选&#xff0c;并且通过v-model的方式实现节点的双向绑定&#xff0c;封装成vue组件&#xff0c;文件名为electricity-meter-tree.vue&#xff0c;其代码如下&#xff1a; <template><div><el-select:valu…
阅读更多...
多线程-定时任务线程池源码

多线程-定时任务线程池源码

定时任务线程池 ScheduledThreadPoolExecutor&#xff0c;可以执行定时任务的线程池。这里学习它的基本原理。 定时任务线程池&#xff0c;和普通线程池不同的地方在于&#xff0c;它使用一个延迟队列&#xff0c;延迟队列使用最小堆作为它的数据结构&#xff0c;它会按照任务…
阅读更多...
系统盘还原成正常U盘

系统盘还原成正常U盘

选择格式化,等格式化完毕就完了 点击还原设备的默认值格式化就完了
阅读更多...
Linux系统下安装配置 Nginx 超详细图文教程_linux安装nginx

Linux系统下安装配置 Nginx 超详细图文教程_linux安装nginx

#安装当前路径下所有安装包 rpm -Uvh *.rpm --nodeps --force2.2、安装Nginx 找到Nginx的安装包进行解压 #解压安装包 tar -zxvf nginx-1.24.0.tar.gz进入解压之后的nginx目录下&#xff1a; #进入nginx目录 cd /usr/local/nginx-1.24.0执行配置脚本&#xff0c;–prefix是指…
阅读更多...
【玩转正则表达式】替换与正则表达式的结合

【玩转正则表达式】替换与正则表达式的结合

在文本处理和数据分析的领域中&#xff0c;正则表达式&#xff08;Regular Expressions&#xff0c;简称regex&#xff09;是一种强大而灵活的工具。它能够帮助用户匹配、搜索、替换和编辑字符串中的特定模式。而光能匹配可能在实际使用场景中还不是很足够&#xff0c;有时候我…
阅读更多...
最新文章

Copyright @ 2022~2023