ai-api-union项目,适配各AI厂商api

项目地址:alpbeta/ai-api-union

需求:实现兼容各大模型厂商api的流式对话和同步对话接口,本项目现兼容智谱、豆包、通义、通义版deepseek

设计

一个ChatController类对外暴露这两个接口,入参都为ChatRequest请求类,属性有会话id,大模型标识符和聊天消息列表,其中消息是一个实体类包含,消息id,关联会话id,发送者角色,消息内容,创建时间。

流式对话返回的是响应式变成中的Flux类型,同步调用返回的是Sring类型。

一个ModelService接口,包含流式调用和同步调用两个方法,入参为String字符串,出参与上述一致。

四个大模型api接口分别实现这个接口创建对应的实现类。

简单工厂模式

创建一个工厂类,基于传入的参数创建对应的大模型接口实现类。

工厂方法模式

创建一个工厂抽象类,继承该接口创建各个大模型工厂类,各个大模型工厂类实现大模型接口实现类。

创建一个获取工厂类,基于传入的参数创建对应的大模型工厂,再创建对应大模型接口实现类

示意图

image

实施

创建项目

通过 Spring Initializr 网站快速生成一个包含 Spring Boot 依赖的项目骨架,修改对应的partent版本,创建application.yml 激活dev环境,设置profiels.active:dev,创建application-dev.yml,修改端口为8090,server.port:8090(也可以不修改,默认.properties,偏向于yml)

创建测试controller

项目中如果没有controller类,访问8080端口时会报错,找不到路径;

创建一个ChatController类,增加@RestController @RequestMapping("api/chat")注解

创建testChat方法,方法前添加注解 @GetMapping("/testChat"), 入参为空,出参为String,方法内输入return "test chat";

启动项目,访问http:localhost:8090/api/chat/testChat,页面显示上述方法返回的内容 test chat

创建dto包

创建Message实体类,ChatRequest请求类;

ChatRequest请求类,属性有会话id,大模型标识符和聊天消息列表,其中消息是一个实体类包含,消息id,关联会话id,发送者角色,消息内容,创建时间。基于这些内容创建对应的私有属性,数据类型有Integer,String, TimeStamp, List,在类前加@Data注解,需先引入lombok依赖,引入该注解后,可以自动生成样板代码,如getter, setter, toString, equals, 无参构造函数,不需要显示编写这些方法,提高开发效率。

如需生成清晰的API文档,需引入swagger依赖,或knif4j,再补充对应的配置文件,之后在实体类的类名和属性前通过@Schema(description="xx")备注类和属性名对应的含义。之后通过访问http://项目ip:端口号/doc.html,可以访问对应的接口文档,如果接口的入参和出参有用到@Scheme注解的实体类,会显示对应的备注内容。

创建项目实现接口类

在ChatController类增加syncChat和streamChat方法

两个方法前增加PostMapping注解,路径分别是("/syncChat")和("/stramChat")。入参增加@RequestBody注解,类型为ChatRequest。 出参分别是String和Flux

增加IModelService接口,包含synChat和stramChat方法,入参都为String,出参与上述保持一致

增加各大模型厂商api实现类

智谱接口实现类 ChatGLMServiceImpl,豆包接口实现类 ArkServiceImpl,通义接口实现类DashScopeServeceImpl,通义-deepseek实现类 DeepSeekServiceImple,都实现IModelService接口

引入各模型依赖,并在application.yml中配置api-key和modelname

分别在各模型接口类中实现同步调用和异步调用方法

实现豆包接口示例

在类前增加@Service注解表示为服务类bean容器,通过@Value注解,从配置文件中获取api-key和modelName的值映射到该类对应属性中。豆包大模型的火山引擎提供的ArkService服务类声明为一个私有属性,后续会使用该服务的方法。

该实现类除接口在的两个方法,还增加了初始化和后处理方法,分别通过@PostConstruct和@PreDestory注解,在接口实现类Bean初始化完成后执行ArkService服务类的实例化,在Bean销毁之前关闭ArkService的所有资源。

syncChat同步方法,使用该模型依赖提供的ChatMeaasge类创建消息列表对象,调用对应的add,role,content,build方法完成消息参数构建,再通过ChatCompletionRequest构建请求参数对象,通过arkService.creatChatCompletion方法输入请求参数,获取模型返回结果

stramChat异步调用方法,消息对象和请求对象构建方式与同步调用方式一致,通过arkService.streamChatCompletion方法获取流式响应结果。返回类型为Flowable,需将其转换成Flux,通过Flux.from(.map(response ->{return response...})).filter(content->!content.isEmpty())获取返回结果

其他大模型实现类通过类似方法进行实现,通义与通义deepseek异步和同步返回的方法不一样,前者通过result.getOutput().getText();获取返回结果,后者方法调用更长一些

创建简单工厂实现类

ModelSimpleFactory,基于传入的参数返回不同的模型接口实现类,实现一个createModelService的方法。实现类用到@value注解从配置文件中获取变量值,不能通过new的方式创建模型类,需通过反射机制,通过上下文的getbean方法创建:applicationContext.getBean。

在ChatController类补充syncChat和streamChat方法逻辑

获取请求对象中的模型标识,消息列表。基于标识创建模型服务对象,将消息传入模型服务返回响应的结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/73854.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【QT】QT样式设计

QT样式设计 一、QT工程中添加资源文件1.资源文件:2. 添加步骤:3. 新增资源文件以及删除现有的资源文件4. 使用资源文件 二、QT中的qss语句(样式设计语句)1. 样式设计2.常见的qss语句示例代码: 一、QT工程中添加资源文件 1.资源文件&#xff…

Megatron-LM中的deepseek-v3实现

Megatron-LM:https://github.com/NVIDIA/Megatron-LM/tree/main 使用此仓库构建的著名的库也有很多,如: Colossal-AI, HuggingFace Accelerate, and NVIDIA NeMo Framework.Pai-Megatron-Patch工具是阿里人工智能平台PAI算法团队研发,ai-Megatron-Patch…

[mlr3] Bootstrap与交叉验证k-fold cross validation

五折交叉验证因其无放回分层抽样和重复验证机制,成为超参数调优的首选; 而Bootstrap因有放回抽样的重复性和验证集的不稳定性,主要服务于参数估计(置信区间的计算)而非调优。 实际应用中,可结合两者优势&am…

某大麦手机端-抢票

引言 仅供学习研究,欢迎交流 抢票难,难于上青天!无论是演唱会、话剧还是体育赛事,大麦网的票总是秒光。作为一名技术爱好者,你是否想过用技术手段提高抢票成功率?本文将为你揭秘大麦手机端抢票的核心技术…

最常使用的现代C++新特性介绍

现代 C泛指的是从 C11 之后的 C标准. 从 C11 开始, C标准委员会实行班车制, 没三年发布一个新版本, 如果一个功能在新版本发布之前已经准备好, 则可以加入该版本中, 否则延后到下一个版本. 语言核心 自 C11 开始, 语言语法层面加了许多语法糖, 还有增加了一些新语法.使得 C语…

SQL Server:当在删除数据库时因为存在触发器而无法删除

当在删除数据库时因为存在触发器而无法删除,你可以通过禁用触发器来解决这个问题。下面为你介绍在 SQL Server 里禁用和启用触发器的方法。 禁用数据库中所有表的触发器 你可以使用系统视图 sys.triggers 来查询数据库里所有的触发器,然后生成禁用这些…

【Linux篇】进程入门指南:操作系统中的第一步

步入进程世界:初学者必懂的操作系统概念 一. 冯诺依曼体系结构1.1 背景与历史1.2 组成部分1.3 意义 二. 进程2.1 进程概念2.1.1 PCB(进程控制块) 2.2 查看进程2.2.1 使用系统文件查看2.2.2 使⽤top和ps这些⽤⼾级⼯具来获取2.2.3 通过系统调用…

销售易vs纷享销客:制造行业CRM选型深度解析

“以客户为中心”,顾名思义就是指让客户贯穿企业市场、研发、生产、销售、服务全流程,以客户需求为导向进行经营。CRM作为企业数字化建设基础设施,在企业高质量发展进程中扮演着重要角色。在众多CRM解决方案中,腾讯旗下CRM销售易凭…

【JavaScript】九、JS基础练习

文章目录 1、练习:对象数组的遍历2、练习:猜数字3、练习:生成随机颜色 1、练习:对象数组的遍历 需求:定义多个对象,存数组,遍历数据渲染生成表格 let students [{ name: 小明, age: 18, gend…

代码随想录day31 贪心part05

56.合并区间 以数组 intervals 表示若干个区间的集合,其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间,并返回 一个不重叠的区间数组,该数组需恰好覆盖输入中的所有区间 。 示例 1: 输入:in…

《C++11:通过thread类编写C++多线程程序》

关于多线程的概念与理解,可以先了解Linux下的底层线程。当对底层线程有了一定程度理解以后,再学习语言级别的多线程编程就轻而易举了。 【Linux】多线程 -> 从线程概念到线程控制 【Linux】多线程 -> 线程互斥与死锁 语言级别的…

c++位运算总结

在C中,位运算是对二进制位进行操作的运算,主要有以下几种: 1. 按位与( & ):两个操作数对应位都为1时,结果位才为1,否则为0。例如 3 & 5 , 3 二进制是 0000 0011…

1.1 计算机网络的概念

首先来看什么是计算机网络,关于计算机网络的定义并没有一个统一的标准,不同的教材有 不同的说法(这是王道书对于计算机网络的定义),我们可以结合自己的生活经验去体会这个 定义。 可以用不同类型的设备去连接计算机网络…

用LLama factory时报类似Process 2504721 got signal: 1的解决方法

之前用nohup来远程跑LLama factory微调脚本,是没有问题的,但今天发现运行类似下面这个命令时, nohup llamafactory-cli train examples/train_qlora/qwen_lora.yaml 只要一关闭ssh session,就会终止训练,报类似&…

python常用内置时间函数+蓝桥杯时间真题

1.time 1.1 time.time() 时间戳指:1970年1月1日开始到现在所经过的秒数 import time print(time.time()) # 输出可得1970年1月1日开始到执行此代码所经过的秒数 1.2 time.localtime() 返回一个当前时间的时间对象,具体信息,并且可以单独…

一个用 C 语言打印出所有三位数水仙花数的程序

水仙花数(Narcissistic number)是指一个三位数,其各位数字的立方和等于该数本身。例如:153 是一个水仙花数,因为 (1^3 5^3 3^3 153)。 以下是一个用 C 语言打印出所有三位数水仙花数的程序: 代码实现 …

利用 VSCode 配置提升 vibe coding 开发效率

利用 VSCode 配置提升 vibe coding 开发效率 Vibe Coding(氛围编程)是一种基于AI的编程方法,其核心在于通过自然语言描述软件需求,再由大规模语言模型(LLM)自动生成代码,从而实现对传统手写编程…

练习题:110

目录 Python题目 题目 题目分析 需求理解 关键知识点 实现思路分析 代码实现 代码解释 函数定义: 计算值的总和: 测试函数: 运行思路 结束语 Python题目 题目 定义一个函数,接受一个字典作为参数,返回字…

处理 Linux 信号:进程控制与异常管理的核心

个人主页:chian-ocean 文章专栏-Linux 前言: 在 Linux 操作系统中,信号是用于进程间通信的一种机制,能够向进程发送通知,指示某些事件的发生。信号通常由操作系统内核、硬件中断或其他进程发送。接收和处理信号是 Li…

通信协议之串口

文章目录 简介电平标准串口参数及时序USART与UART过程引脚配置 简介 点对点,只能两设备通信只需单向的数据传输时,可以只接一根通信线当电平标准不一致时,需要加电平转换芯片(一般从控制器出来的是信号是TTL电平)地位…