SpringAI介绍及本地模型使用方法

博客原文地址

前言

Spring在Java语言中一直稳居高位，与AI的洪流碰撞后也产生了一些有趣的”化学反应“，当然你要非要说碰撞属于物理反应也可以，

在经历了一系列复杂的反应方程后，Spring家族的新成员——SpringAI，就此诞生。

需要注意的是，springai目前仍处于试验阶段，可能会出现许多不稳定因素，希望各位使用者能放平心态面对BUG（或者去issues里发表自己的见解）

简介

Spring AI 项目为开发 AI 应用程序提供了 Spring 友好的 API 和抽象类。

其目标是将 Spring 生态系统设计原则（如可移植性和模块化设计）应用于 AI 领域，并将使用 POJO 作为应用程序的构建块推广到 AI 领域。

github仓库：spring-projects/spring-ai: An Application Framework for AI Engineering

目前该项目已经集成了OpenAI、Azure OpenAI、Hugging Face、Ollama等API。

我们一般对于AI类项目嵌入JAVA的做法为：

  1. 开发java后端和前端部分代码

  2. 确定功能需求，如文本生成类项目，即接收部分参数，返回一个String文本

  3. 确定模型主题，如BERT/T5等等

  4. 对模型进行训练或微调，并编写使用方法代码

  5. 使用web框架（如：FastAPI/Flask）开放接口，规范接参收参格式

  6. java使用webclient（也可以用别的）请求接口调用AI服务

  7. 测试联调（你也可以选择一步一测试，都可以）

对于具体的模型对接代码可以参考我的Transformers文章中有详细的对于模型使用和训练的代码：transformer库 | ADulcimer Blog

所以SpringAI也就相当于是集合了大部分厂商的API接口，提供调用，再进行一些java适配和代码优化等等。最终也是通过接惨（文本和key等等）然后传参，被java接收

请注意：springai的API调用并不能让你在离线模式进行大模型的访问，如果你是AI开发人员，那么springai可以让你在java中离线运行本地torch或其他模型，但是相比于python还是较为局限，但如果你只是通过此技术调用大模型API，那么离线模式下是无法实现对话功能的

应该足够清楚的表明了： springAI到底是个什么技术，总结一下：

Spring AI 是一个强大的工具，适合那些已经在使用 Spring 框架的开发者，并且希望将 AI 能力集成到他们的企业级应用中。它的优势在于与 Spring 生态系统的无缝集成和企业级支持，但对于初学者或者需求较简单的 AI 项目来说，它可能过于复杂

Python开AI接口区别

SpringAI在解决复杂问题时，会比传统的AI开接口更加优秀，请注意，这里说的是复杂的业务逻辑，如果是复杂的AI功能，比如，需求不断微调，训练，或者更换模型，对模型进行更改等等等等，Python开接口的方式还是会更加灵活，如果说业务复杂，但AI需求功能单一，则使用SpringAI，如果业务逻辑简单，则都可以使用python接口的方式，因为SpringAI是一个很重的框架

1、企业级架构与可扩展性

  • Spring AI 是构建在 Spring 框架 上的，Spring 本身就是为企业级、分布式、高并发系统设计的框架。因此，如果你的需求涉及到复杂的业务逻辑、大规模的用户交互或者高可用、高并发的环境，Spring AI 提供的 可扩展性 和 可靠性 将使得系统更加稳定。

  • Spring Cloud 和 Spring Boot 等工具，使得它在微服务架构中的表现非常出色，这对于那些需求复杂的系统（如需要多个模块、服务和组件的系统）来说，是一个很大的优势。

2. 集成能力

  • Spring AI 能够无缝集成 Java 生态系统中的其他工具和技术，比如数据库、消息队列、缓存系统、认证与授权、安全等模块。如果你的系统已经在使用 Spring 框架，这使得 Spring AI 能够与现有的基础设施进行更好的集成。

  • 如果需要和传统的 Java 后端服务、企业级应用 或 第三方服务（如支付、ERP 系统） 进行集成，Spring 提供的成熟的解决方案和丰富的生态系统使得这种集成更加顺畅。

3. 高并发和高可靠性

  • Spring 框架和相关工具（如 Spring Boot、Spring Cloud）具有极强的 高并发 支持和 高可用 设计。对于大规模用户请求、海量数据处理等需求，Spring 框架能够通过 多线程、异步处理、负载均衡、服务容错、分布式系统管理等技术 来确保系统的稳定性和高效运行。

  • 在这些场景下，Spring AI 提供的 性能优化 和 容错机制 使得系统更加可靠，而 Python 写的模型可能需要通过额外的优化和工具来应对这些挑战。

4. 生产环境的成熟度与稳定性

  • Spring 框架已经在 生产环境 中得到了广泛的应用，尤其是在 大型企业级应用 中，具有非常高的稳定性和可靠性。Spring 提供了很多企业级功能，如 事务管理、缓存、日志记录、调试工具 等，这些功能对于复杂需求的应用至关重要。

  • 对比之下，传统的 Python 接口通常更多用于 原型开发、快速部署 或 中小规模应用，虽然在灵活性和开发速度上有优势，但在大规模生产环境中的稳定性和可维护性上可能没有 Spring 那么强。

5. 安全性

  • 在涉及到 敏感数据、权限管理、认证与授权 的复杂需求时，Spring 提供了丰富的 安全机制。通过 Spring Security 等工具，可以高效地管理和控制用户权限、进行身份验证、数据加密等，确保系统的安全性。

  • Python 虽然也有相关的库（如 Flask-Security、Django Security 等），但在集成和管理方面可能没有 Spring 的安全框架那么成熟和全面。

6. DevOps 支持与自动化部署

  • Spring 在 DevOps 和自动化部署方面也有很强的支持，Spring Boot 和 Spring Cloud 的集成功能使得部署、监控、日志管理和版本管理等任务更加自动化，极大地提高了运维效率。

  • Python 部署方面也可以使用 Docker、Kubernetes 等工具，但由于 Spring 提供的微服务架构和生产环境支持更加丰富，Spring AI 在大规模应用部署和运维上表现更佳。

7. 维护与支持

  • 对于 大型团队 和 长期项目，Spring 框架提供了成熟的企业级支持，文档和社区也非常强大。对于一些需求复杂、时间长的项目，使用 Spring AI 可以更容易进行 长期维护 和 团队协作。

  • Python 的开发者社区虽然庞大，但在企业级开发、集成和维护方面，可能不如 Spring 框架在行业中的积淀和支持那么全面。

代码部分

根据官方文档，分为两种方式调用，一种是springboot项目，交给spring管理

参考官方文档：transforms（我们以它为例）

（ONNX）变形金刚 ((ONNX) Transformers) _ Spring AI 1.0.0-SNAPSHOT 中文文档(官方文档中文翻译) —— CADN开发者文档中心

参考maven文档：

repo.spring.io

1、Springboot管理
1、引入依赖：
    <repositories><repository><id>spring-milestones</id><name>Spring Milestones</name><url>https://repo.spring.io/milestone</url><snapshots><enabled>false</enabled></snapshots></repository><repository><id>spring-snapshots</id><name>Spring Snapshots</name><url>https://repo.spring.io/snapshot</url><releases><enabled>false</enabled></releases></repository></repositories><dependencyManagement><dependencies><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-bom</artifactId><version>1.0.0-SNAPSHOT</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-transformers-spring-boot-starter</artifactId>
</dependency>
2、编写application.yml配置文件
spring:ai:embedding:transformer:onnx:model-uri: https://huggingface.co/intfloat/e5-small-v2/resolve/main/model.onnxtokenizer:uri: https://huggingface.co/intfloat/e5-small-v2/raw/main/tokenizer.jsoncache:directory: /tmp/ai-embedding-transformerenabled: true

部分的配置详情如下：

Property

Description

spring.ai.embedding.transformer.enabled

启用 Transformer Embedding 模型。

spring.ai.embedding.transformer.tokenizer.uri

Transformer分词器地址

spring.ai.embedding.transformer.tokenizer.options

模型的一些参数，max_length这些

spring.ai.embedding.transformer.cache.enabled

是否启用缓存

spring.ai.embedding.transformer.cache.directory

缓存路径

spring.ai.embedding.transformer.onnx.modelUri

Transformers预训练模型地址

spring.ai.embedding.transformer.onnx.gpuDeviceId

GPU设备ID

这些是一些常用的，具体请参考官方文档

3、搭建controller和service层
import com.adulcimer.ai.service.ToxicityService;
import jakarta.annotation.Resource;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;@RestController
class MyController {@Resourceprivate ToxicityService toxicityService;@PostMapping("/test")public String test() throws Exception {toxicityService.modelTest();return "Hello, World!";}
}import jakarta.annotation.Resource;
import org.springframework.ai.transformers.TransformersEmbeddingModel;
import org.springframework.stereotype.Service;import java.util.Arrays;@Service
public class ToxicityService {@Resourceprivate TransformersEmbeddingModel transformersEmbeddingModel;public void modelTest() throws Exception {float[] embed = transformersEmbeddingModel.embed("Hello World");System.out.println(Arrays.toString(embed));}
}
4、结果

我们已经得到模型的返回值了，成功使用springboot调用了AI模型

具体的业务逻辑也可以轻松嵌入，是不是很轻松？

2、自定义配置

当然你也可以不使用spring的管理

TransformersEmbeddingModel embeddingModel = new TransformersEmbeddingModel();embeddingModel.setTokenizerResource("classpath:/onnx/all-MiniLM-L6-v2/tokenizer.json");embeddingModel.setModelResource("classpath:/onnx/all-MiniLM-L6-v2/model.onnx");embeddingModel.setResourceCacheDirectory("/tmp/onnx-zoo");embeddingModel.setTokenizerOptions(Map.of("padding", "true"));embeddingModel.afterPropertiesSet();List<List<Double>> embeddings = this.embeddingModel.embed(List.of("Hello world", "World is big"));

然后正常使用架构搭建即可

最后

以上部分内容和图片来自于官方文档，本文中已声明原作地址。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/894800.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ip地址是手机号地址还是手机地址

ip地址是手机号地址还是手机地址

在数字化生活的浪潮中&#xff0c;IP地址、手机号和手机地址这三个概念如影随形&#xff0c;它们各自承载着网络世界的独特功能&#xff0c;却又因名称和功能的相似性而时常被混淆。尤其是“IP地址”这一术语&#xff0c;经常被错误地与手机号地址或手机地址划上等号。本文旨在…
阅读更多...
车载以太网__传输层

车载以太网__传输层

车载以太网中&#xff0c;传输层和实际用的互联网相差无几。本篇文章对传输层中的IP进行介绍 目录 什么是IP&#xff1f; IP和MAC的关系 IP地址分类 私有IP NAT DHCP 为什么要防火墙穿透&#xff1f; 广播 本地广播 直接广播 本地广播VS直接广播 组播 …
阅读更多...
Docker 数据卷（Volume）详细介绍

Docker 数据卷（Volume）详细介绍

Docker 数据卷&#xff08;Volume&#xff09;详细介绍 1. 什么是 Docker 数据卷&#xff1f; Docker 数据卷&#xff08;Volume&#xff09;是一种用于 持久化数据 和 容器间数据共享 的机制。由于容器的存储是临时的&#xff0c;容器删除后其中的数据会丢失&#xff0c;因此…
阅读更多...
wxWidgets生成HTML文件，带图片转base64数据

wxWidgets生成HTML文件，带图片转base64数据

编译环境大家可以看我之前的文章，CodeBlocks + msys2 + wx3.2，win10 这里功能就是生成HTML文件，没用HTML库，因为是自己固定的格式，图片是一个vector，可以动态改变数量的。 效果如下： #include <wx/string.h> #include <wx/file.h> #include <wx/ima…
阅读更多...
网络原理一＞数据链路层协议-＞以太网协议

网络原理一＞数据链路层协议-＞以太网协议

目录 以太网协议的结构&#xff1a;类型&#xff1a;ARP请求应答报文&#xff1a;CRC&#xff1a;MTU: 为什么需要mac地址&#xff1a;mac地址和IP地址的区别&#xff1a; 以太网协议的结构&#xff1a; 以太网是数据链路层和物理层的主要协议 源IP&#xff0c;目的IP就不多说…
阅读更多...
疯狂SQL转换系列- SQL for Milvs2.4

疯狂SQL转换系列- SQL for Milvs2.4

鉴于Milvus仍在不停的迭代新版本&#xff0c;推出新功能&#xff0c;其SDK目前并不稳定。目前其2.4版本的SDK接口已与之前的2.2版本有了较大的差别&#xff0c;功能上也有了一定的调整。为此&#xff0c;我们重新提供了针对[Milvus2.4](https://github.com/colorknight/moql-tr…
阅读更多...
售后板子HDMI无输出分析

售后板子HDMI无输出分析

问题&#xff1a; 某产品售后有1例HDMI无输出。 分析&#xff1a; 1、测试HDMI的HPD脚&#xff08;HDMI座子的19pin&#xff09;&#xff0c;测试电压4.5V&#xff0c;属于正常。 2、用万用表直流电压档&#xff0c;测试HDMI的3对数据脚和1对时钟脚&#xff08;板子通过HDM…
阅读更多...
【声音转文字CapsWriter】声音随时转化为文字，CapsWriter提高工作效率

【声音转文字CapsWriter】声音随时转化为文字，CapsWriter提高工作效率

文章目录 前言1. 软件与模型下载2. 本地使用测试3. 异地远程使用3.1 内网穿透工具下载安装3.2 配置公网地址3.3 修改config文件3.4 异地远程访问服务端 4. 配置固定公网地址4.1 修改config文件 5. 固定tcp公网地址远程访问服务端 前言 今天我要给大家安利一个神器——CapsWrit…
阅读更多...
使用 Python 编程语言来实现机器学习小项目教程案例

使用 Python 编程语言来实现机器学习小项目教程案例

以下是一个简单的机器学习小项目教程案例，使用 Python 编程语言和 Scikit-learn 库来实现一个分类任务。我们将使用经典的鸢尾花（Iris）数据集来训练一个分类器，预测鸢尾花的种类。 项目目标 使用机器学习算法对鸢尾花数据集进行分类，预测鸢尾花的类别（Setosa、Versicolor…
阅读更多...
DKG（Distributed Key Generation）协议

DKG（Distributed Key Generation）协议

一、DKG是什么 DKG（分布式密钥生成）提供了一种去中心化的方法，使各个参与方在不相互信任的情况下生成共享密钥，以确保安全通信和多方参与的机密性。 DKG技术的关键思想是使用多方计算（secure multiparty computation）和秘钥共享（secret sharing）的概念。 秘钥共享 则…
阅读更多...
十二、Docker Compose 部署 SpringCloudAlibaba 微服务

十二、Docker Compose 部署 SpringCloudAlibaba 微服务

一、部署基础服务 0、项目部署结构 项目目录结构如下: /home/zhzl_hebei/ ├── docker-compose.yml └── geochance-auth/└── Dockerfile└── geochance-auth.jar └── geochance-system/└── Dockerfile└── geochance-system.jar └── geochance-gateway/…
阅读更多...
使用 Docker(Podman) 部署 MongoDB 数据库及使用详解

使用 Docker(Podman) 部署 MongoDB 数据库及使用详解

在现代开发环境中&#xff0c;容器化技术&#xff08;如 Docker 和 Podman&#xff09;已成为部署和管理应用程序的标准方式。本文将详细介绍如何使用 Podman/Docker 部署 MongoDB 数据库&#xff0c;并确保其他应用程序容器能够通过 Docker 网络成功连接到 MongoDB。我们将逐步…
阅读更多...
Games104——游戏引擎Gameplay玩法系统：基础AI

Games104——游戏引擎Gameplay玩法系统：基础AI

这里写目录标题 寻路/导航系统NavigationWalkable AreaWaypoint NetworkGridNavigation Mesh&#xff08;寻路网格&#xff09;Sparse Voxel Octree Path FindingDijkstra Algorithm迪杰斯特拉算法A Star&#xff08;A*算法&#xff09; Path Smoothing Steering系统Crowd Simu…
阅读更多...
Win11非虚拟机安装ISE14.7

Win11非虚拟机安装ISE14.7

官网下载6.18GB 的 Full Installer for Windows 7/XP/Server解压后运行安装程序不勾选Enable WebTalk to send software, IP ...安装程序卡死在ISE:Configure WebTalk&#xff0c;此时打开任务管理器&#xff0c;在详情中找到xwebtalk&#xff0c;右键结束任务。安装程序继续进…
阅读更多...
从0开始达芬奇（3.8）

从0开始达芬奇（3.8）

剪视频有主次之分&#xff0c;主就是Aroll&#xff0c;次就是Broll。 智能媒体夹&#xff1a; 媒体池的智能媒体夹部分可以很好区分主次。这个相当于智能搜索&#xff0c;当有大量的素材时&#xff0c;可以为这些素材标明信息&#xff0c;下次使用不需要反复看&#xff0c;直…
阅读更多...
【Elasticsearch】parent aggregation

【Elasticsearch】parent aggregation

在Elasticsearch中&#xff0c;Parent Aggregation是一种特殊的单桶聚合&#xff0c;用于选择具有指定类型的父文档&#xff0c;这些类型是通过一个join字段定义的。以下是关于Parent Aggregation的详细介绍&#xff1a; 1.基本概念 Parent Aggregation是一种聚合操作&#x…
阅读更多...
自学Java-面向对象编程入门

自学Java-面向对象编程入门

自学Java-面向对象编程入门 一、静态方法的注意事项二、简易版电影信息展示系统1、测试类2、电影类3、电影操作类 一、静态方法的注意事项 1、静态方法中可以直接访问静态成员&#xff0c;不可以直接访问实例成员 2、实例方法中既可以直接访问静态成员&#xff0c;也可以直接访…
阅读更多...
python算法和数据结构刷题[3]：哈希表、滑动窗口、双指针、回溯算法、贪心算法

python算法和数据结构刷题[3]：哈希表、滑动窗口、双指针、回溯算法、贪心算法

回溯算法 「所有可能的结果」&#xff0c;而不是「结果的个数」&#xff0c;一般情况下&#xff0c;我们就知道需要暴力搜索所有的可行解了&#xff0c;可以用「回溯法」。 回溯算法关键在于:不合适就退回上一步。在回溯算法中&#xff0c;递归用于深入到所有可能的分支&…
阅读更多...
【自学笔记】Python的基础知识点总览-持续更新

【自学笔记】Python的基础知识点总览-持续更新

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 Python基础知识总览1. Python简介2. 安装与环境配置3. 基本语法3.1 变量与数据类型3.2 控制结构3.3 函数与模块3.4 文件操作 4. 面向对象编程&#xff08;OOP&#…
阅读更多...
文件上传到腾讯云存储、签名及设置过期时间

文件上传到腾讯云存储、签名及设置过期时间

将文件上传到腾讯云对象存储&#xff08;COS&#xff0c;Cloud Object Storage&#xff09;可以通过腾讯云提供的 SDK 实现。以下是详细的步骤和示例代码&#xff0c;帮助您完成文件上传操作。 步骤 注册腾讯云账号并创建存储桶&#xff1a; &#xff08;1&#xff09;登录腾讯…
阅读更多...
最新文章

Copyright @ 2022~2023