Spring AI 与 Groq 的深度集成：解锁高效 AI 推理新体验

前言

在人工智能飞速发展的当下，AI 推理的效率和性能成为开发者关注的焦点。Groq 作为一款基于 LPU™ 的超快速 AI 推理引擎，凭借其强大的性能，能够支持各类 AI 模型，并提供对 Tool/Function Calling 的支持，同时还公开了兼容 OpenAI API 的终端节点，这为开发者带来了全新的选择和可能。而 Spring AI 作为 Spring 生态中用于人工智能开发的重要框架，通过巧妙地重用现有的 OpenAI 客户端，实现了与 Groq 的集成，进一步拓宽了其应用场景。本文将深入探讨 Spring AI 与 Groq 的集成过程、配置细节以及相关功能的使用，帮助开发者更好地利用这一组合，构建高效的 AI 应用。
在这里插入图片描述

一、Spring AI 与 Groq 集成的前提条件

1. 创建 API 密钥

要实现 Spring AI 与 Groq 的集成，首先需要获取 Groq 的 API 密钥。开发者可访问指定链接创建 API 密钥，随后将获取到的密钥设置到 Spring AI 项目中定义的 spring.ai.openai.api-key 属性，从而完成身份验证，确保能够正常访问 Groq 的服务。

2. 设置 Groq URL

除了 API 密钥，还需设置 Groq 的 URL。将 spring.ai.openai.base-url 属性设置为 api.groq.com/openai，这一步骤明确了 Spring AI 与 Groq 进行通信的目标地址，为后续的数据交互奠定基础。

3. 选择 Groq 模型

Groq 提供了多种模型可供选择，开发者可以根据具体的应用需求，通过 spring.ai.openai.chat.options.model=<model name> 属性来指定所需的模型，如 llama3-70b-8192、mixtral-8x7b-32768 等。

此外，也可以通过导出环境变量的方式来设置这些配置属性，示例如下：

export SPRING_AI_OPENAI_API_KEY=<INSERT GROQ API KEY HERE>
export SPRING_AI_OPENAI_BASE_URL=https://api.groq.com/openai
export SPRING_AI_OPENAI_CHAT_MODEL=llama3-70b-8192

4. 添加存储库和 BOM

Spring AI 的工件发布在 Maven Central 和 Spring Snapshot 存储库中。开发者需将这些存储库添加到构建系统，以确保能够获取到所需的依赖。同时，为了更好地进行依赖项管理，Spring AI 提供了 BOM（物料清单），将其添加到构建系统中，可保证项目中使用的 Spring AI 版本一致，避免因版本不兼容引发的问题。

二、Spring AI 与 Groq 集成的配置与功能

1. 自动配置

Spring AI 为 OpenAI Chat 客户端提供了 Spring Boot 自动配置功能。若要启用该功能，只需在项目的 Maven 的 pom.xml 或 Gradle 的 build.gradle 文件中添加 spring-ai-starter-model-openai 依赖。同时，在配置属性方面，启用和禁用聊天自动配置通过 spring.ai.model.chat 前缀的属性进行控制。例如，设置 spring.ai.model.chat=openai 表示启用（默认启用），而 spring.ai.model.chat=none 则表示禁用。

2. 聊天属性配置

（1）重试属性

Spring AI 支持为 OpenAI 聊天模型配置重试机制，通过 spring.ai.retry 前缀的属性进行设置。例如，spring.ai.retry.max-attempts 用于设置最大重试尝试次数（默认 10 次）；spring.ai.retry.backoff.initial-interval 定义指数回退策略的初始休眠持续时间（默认 2 秒）等。这些属性能够有效应对网络波动等异常情况，确保请求的可靠性。

（2）连接属性

连接到 Groq 服务的相关属性通过 spring.ai.openai 前缀进行配置，其中 spring.ai.openai.base-url 和 spring.ai.openai.api-key 是必须设置的关键属性，分别对应 Groq 的服务地址和 API 密钥。

（3）其他配置属性

spring.ai.openai.chat 前缀的属性用于为 OpenAI 配置聊天模型实现。例如，spring.ai.openai.chat.options.model 用于指定具体的模型；spring.ai.openai.chat.options.temperature 控制生成完成项的创造性程度；spring.ai.openai.chat.options.maxTokens 设置聊天完成中生成的最大令牌数等。开发者可以根据实际需求灵活调整这些属性，以获得更符合预期的结果。

3. 运行时选项

在运行时，开发者可以通过向 Prompt 调用添加特定于请求的运行时选项，对模型配置进行动态调整。例如，若要覆盖特定请求的默认模型和温度，可以使用以下代码：

ChatResponse response = chatModel.call(new Prompt("Generate the names of 5 famous pirates.",OpenAiChatOptions.builder().model("mixtral-8x7b-32768").temperature(0.4).build()));

这种灵活的配置方式使得开发者能够根据不同的输入和需求，实时优化模型的输出。

4. 函数调用

当选择支持工具/函数的 Groq 模型时，Groq API 端点支持工具/函数调用。在 Spring AI 中，开发者可以使用 ChatModel 注册自定义 Java 函数，使 Groq 模型能够智能地选择输出包含参数的 JSON 对象，进而调用已注册的函数。这一功能为连接 LLM 功能与外部工具和 API 提供了强大的技术支持，极大地拓展了应用的功能边界。例如，在获取天气信息的示例中，当模型需要天气数据时，会自动调用注册的 weatherFunction 函数来获取实时天气信息。
在这里插入图片描述

三、示例代码演示

1. 简单的函数调用示例

@SpringBootApplication
public class GroqApplication {public static void main(String[] args) {SpringApplication.run(GroqApplication.class, args);}@BeanCommandLineRunner runner(ChatClient.Builder chatClientBuilder) {return args -> {var chatClient = chatClientBuilder.build();var response = chatClient.prompt().user("What is the weather in Amsterdam and Paris?").functions("weatherFunction").call().content();System.out.println(response);};}@Bean@Description("Get the weather in location")public Function<WeatherRequest, WeatherResponse> weatherFunction() {return new MockWeatherService();}public static class MockWeatherService implements Function<WeatherRequest, WeatherResponse> {public record WeatherRequest(String location, String unit) {}public record WeatherResponse(double temp, String unit) {}@Overridepublic WeatherResponse apply(WeatherRequest request) {double temperature = request.location().contains("Amsterdam")? 20 : 25;return new WeatherResponse(temperature, request.unit);}}
}

在上述代码中，当模型接收到询问阿姆斯特丹和巴黎天气的请求时，会自动调用 weatherFunction 函数，该函数根据预设的逻辑返回相应的天气信息。

2. `ChatController` 示例

@RestController
public class ChatController {private final OpenAiChatModel chatModel;@Autowiredpublic ChatController(OpenAiChatModel chatModel) {this.chatModel = chatModel;}@GetMapping("/ai/generate")public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {return Map.of("generation", this.chatModel.call(message));}@GetMapping("/ai/generateStream")public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {Prompt prompt = new Prompt(new UserMessage(message));return this.chatModel.stream(prompt);}
}

ChatController 类展示了如何在 Web 应用中使用集成后的 OpenAiChatModel。通过定义 /ai/generate 和 /ai/generateStream 两个接口，分别实现了普通文本生成和流式文本生成的功能，方便前端或其他客户端进行调用。

3. 手动配置示例

var openAiApi = new OpenAiApi("https://api.groq.com/openai", System.getenv("GROQ_API_KEY"));
var openAiChatOptions = OpenAiChatOptions.builder().model("llama3-70b-8192").temperature(0.4).maxTokens(200).build();
var chatModel = new OpenAiChatModel(this.openAiApi, this.openAiChatOptions);ChatResponse response = this.chatModel.call(new Prompt("Generate the names of 5 famous pirates."));// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(new Prompt("Generate the names of 5 famous pirates."));

手动配置示例展示了如何直接创建 OpenAiChatModel 实例，并通过设置相关参数进行文本生成。这种方式适用于需要更精细控制模型创建过程的场景。

四、注意事项

需要注意的是，Groq API 与 OpenAI API 并非完全兼容，存在一定的兼容性约束，且目前 Groq 不支持多模式消息和媒体内容。开发者在使用过程中应充分了解这些限制，避免因兼容性问题导致开发工作受阻。

总结

通过以上对 Spring AI 与 Groq 集成的详细介绍，我们可以看到，这一组合为开发者提供了一种高效、灵活的 AI 应用开发方式。借助 Groq 强大的 AI 推理能力和 Spring AI 便捷的开发框架，开发者能够快速构建出功能丰富的 AI 应用。从集成的前提条件到各类配置属性的设置，再到函数调用等核心功能的实现，以及通过示例代码的直观展示，都为开发者提供了全面的指导。尽管存在一些兼容性限制，但随着技术的不断发展和完善，Spring AI 与 Groq 的集成必将在 AI 开发领域发挥更加重要的作用，助力开发者创造出更多优秀的 AI 应用，推动人工智能技术在各个领域的广泛应用和创新发展。