聊天模型接口（ChatModel）支持：
- 同步调用（call），一次性返回结果
- 支流式调用（stream，基于 reactivestreams 规范）。通过
sse或x-ndjson流式返回结果。 - Tool Call（或 Function Call） 与本地数据互动（需要 llm 支持）
- 提示语多消息输入输出（记忆体）
- 带图片消息
- 与 solon-flow 结合使用
1、聊天模型的构建
- 配置方式构建
solon.ai.chat:demo:apiUrl: "http://127.0.0.1:11434/api/chat" # 使用完整地址（而不是 api_base）provider: "ollama" # 使用 ollama 服务时，需要配置 providermodel: "llama3.2"headers:x-demo: "demo1"
import org.noear.solon.ai.chat.ChatConfig;
import org.noear.solon.ai.chat.ChatModel;
import org.noear.solon.annotation.Bean;
import org.noear.solon.annotation.Configuration;
import org.noear.solon.annotation.Inject;@Configuration
public class DemoConfig {@Beanpublic ChatModel build(@Inject("${solon.ai.chat.demo}") ChatConfig config) {return ChatModel.of(config).build();}
}
- 手动方式构建
@Configuration
public class DemoConfig {@Beanpublic ChatModel build() {return ChatModel.of("http://127.0.0.1:11434/api/chat") //使用完整地址（而不是 api_base）.provider("ollama").model("llama3.2").headerSet("x-demo", "demo1").defaultOptionAdd("stream_options", Utils.asMap("include_usage", true)).build();}
}
2、同步调用（call）
public void case1() throws IOException {ChatResponse resp = chatModel.prompt("hello").call();//打印消息log.info("{}", resp.getMessage());
}
3、异步流式或响应式调用（stream）
流式返回为 org.reactivestreams.Publisher（reactivestreams 规范）
public void case2() throws IOException {Publisher<ChatResponse> publisher = chatModel.prompt(ChatMessage.ofUser("hello")).stream();//return publisher; //使用 solon-web-rx 时可直接返回；或者对接 solon-web-sse 或 websocketpublisher.subscribe(new SimpleSubscriber<ChatResponse>().doOnNext(resp -> {log.info("{}", resp.getMessage());}).doOnComplete(() -> {log.debug("::完成!");}).doOnError(err -> {log.error("{}", err);}));
}
可以直接订阅消费（如上）。也可对接各种流行的响应式框架，比如 mutiny、rxjava 或 reactor：
@Produces(MimeType.TEXT_EVENT_STREAM_UTF8_VALUE)
@Mapping("case2")
public Flux<SseEvent> case2(String prompt) throws IOException {return Flux.from(chatModel.prompt(prompt).stream()).map(resp -> resp.getMessage()).map(msg -> new SseEvent().data(msg.getContent())).doOnError(err->{log.error("{}", err);});
}
4、模型日志
内部默认会打印 llm 请求与响应的日志，分别以 ai-request: 和 ai-response: 开头。日志级别为：DEBUG。
