Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:
最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。
调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。
LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1155108.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机毕业设计springboot基于的乡村有机产品交易平台 基于SpringBoot的“田间直达”有机农产品商城 SpringBoot驱动的“乡味鲜”绿色土特产交易平台

计算机毕业设计springboot基于的乡村有机产品交易平台6842sqf9(配套有源码 程序 mysql数据库 论文) 本套源码可以在文本联xi,先看具体系统功能演示视频领取,可分享源码参考。在“健康中国”与“乡村振兴”双重战略的催化下,城市餐…

从RAG落地失败到用户满意度提升90%:我们靠这一招Query Rewrite,收藏起来避免踩坑!

本文分享了RAG系统落地实践中的关键问题与解决方案。团队发现直接使用用户原始问题进行检索效果不佳,因为用户提问通常口语化、指代不清且含情绪。通过引入Query Rewrite能力,将用户问题转化为系统可理解的检索查询,包括问题拆解和上下文补全…

x64dbg动态分析实战案例:从零实现函数追踪(完整示例)

x64dbg实战:手把手教你实现函数追踪与参数解析你有没有遇到过这样的场景?面对一个闭源的加密程序,你想搞清楚它是如何调用核心加密函数的,但没有源码、没有符号信息,甚至连入口点都找不到。这时候静态分析就像在黑暗中…

GLM-4.6V-Flash-WEB省钱方案:低成本GPU部署实战案例

GLM-4.6V-Flash-WEB省钱方案:低成本GPU部署实战案例 智谱最新开源,视觉大模型。 1. 背景与需求分析 1.1 视觉大模型的落地挑战 随着多模态AI技术的快速发展,视觉大模型(Vision-Language Models, VLMs)在图像理解、图…

深度测评8个AI论文软件,研究生高效写作必备!

深度测评8个AI论文软件,研究生高效写作必备! AI 工具如何改变论文写作的效率与质量 在研究生阶段,论文写作不仅是学术能力的体现,更是时间与精力的双重挑战。随着 AI 技术的不断进步,越来越多的 AI 写作工具开始进入高…

开发者必备:GLM-4.6V-Flash-WEB一键部署实操手册

开发者必备:GLM-4.6V-Flash-WEB一键部署实操手册 智谱最新开源,视觉大模型。 1. 引言 1.1 视觉大模型的演进与应用场景 近年来,多模态大模型在图文理解、视觉问答(VQA)、图像描述生成等任务中展现出强大能力。智谱AI…

计算机毕业设计springboot作物叶片病害诊断系统 基于SpringBoot的农作物叶部病害智能识别与防治平台 SpringBoot+MySQL实现田间作物叶片病害在线诊断与知识共享系统

计算机毕业设计springboot作物叶片病害诊断系统mhjpa8en(配套有源码 程序 mysql数据库 论文) 本套源码可以在文本联xi,先看具体系统功能演示视频领取,可分享源码参考。当全球粮食需求持续攀升,叶片病害却总在关键时刻偷走产量。把…

关于全国GIS应用技术测评考试:你必须知道的事(附真题)

01报考条件有哪些?有没有专业限制?地理信息系统、测绘、土地管理与规划、遥感等相关专业的在校生。从事GIS行业相关教学、科研、管理与应用的在职人员。需要指导GIS项目实施的项目经理、部门经理、高层领导、政府及事业单位领导。本科在读及以下学历者只…

TDengine IDMP让制糖看得清、管得住、跑得稳

(本文由涛思客户成功部门出品) 2025 年 12 月,涛思数据与北京海莱德自动化工程有限公司(简称“海莱德”)正式建立合作伙伴关系。此次合作,海莱德将基于自身行业自动化系统集成能力,结合涛思数据…

[特殊字符] 藏在 Vue3 源码里的 “二进制艺术”:位运算如何让代码又快又省内存?

前言在前端框架竞争白热化的今天,Vue3能稳坐主流框架宝座,除了更简洁的 API 设计,其底层藏着的 “性能黑科技” 功不可没 ——位运算 就是其中最亮眼的一项。它像一位 “隐形的优化大师”,在响应式系统、 虚拟 DOM Diff、任务调度…

富文本编辑器技术选型,到底是 Prosemirror 还是 Tiptap 好 ❓❓❓

在前端开发中,撤销和重做功能是提升用户体验的重要特性。无论是文本编辑器、图形设计工具,还是可视化搭建平台,都需要提供历史操作的回退和前进能力。这个功能看似简单,但实现起来需要考虑性能、内存占用、用户体验等多个方面。在…

【技术收藏】预训练数据选择革命:MATES等6大方法让LLM性能提升,计算量减半

该文系统综述了大语言模型预训练与后训练的数据选择方法,包括模型影响力驱动的MATES、质量与多样性平衡的Quad/QuaDMix/ODiS、多策略集成的multi-actor机制、结构化知识驱动的MASS、任务相关性驱动的BETR,以及后训练中的在线离线数据选择技术。这些方法通…

导师严选2026 TOP9 AI论文写作软件:专科生毕业论文必备测评

导师严选2026 TOP9 AI论文写作软件:专科生毕业论文必备测评 2026年AI论文写作软件测评:为何值得专科生关注 随着人工智能技术的不断进步,AI论文写作工具逐渐成为学术研究中不可或缺的辅助工具。对于专科生而言,撰写毕业论文不仅是…

5V/4A单通道高频率低侧替代LM5114GaN增强型驱动

概述:PC1001 是一款单通道高速驱动器,具有 5V 输出和专用增强型氮化镓(GaN)场效应晶体管(FET)驱动功能。PC1001 可提供非对称峰值电流驱动能力,源电流为 1.4A,灌电流为 4A&#xff0…

多平台社交媒体管理工具优选方案:科握凭AI创作+合规激励,引爆声量销售双增长

一、行业趋势:多平台整合与一线赋能成社媒营销关键普华永道《中国内地及香港地区奢侈品市场洞察:“重塑客户价值,实现可持续增长”》显示,亚太地区已成为全球奢侈品市场的重要增长引擎,预计 2025 年年均复合增速 11%。…

2026 年CBAM 要不要现在就做?先说结论

如果你是出口欧盟的企业, 2026 年你最容易犯的错误不是“什么都没做”, 而是——在错误的阶段,做了错误的事情。 我先把结论放在最前面: 2026 年,大多数企业不需要“启动完整 CBAM 项目”, 但必须开始…

【深度学习】YOLO 模型核心部署格式全解析(PyTorch/ONNX/TensorRT/TFLite)

本位旨在全面掌握 YOLO 模型的四大核心部署格式(PyTorch 模型、ONNX 格式、TensorRT 引擎、TFLite 格式),本文将从格式特性、适用场景、转换实操、推理部署、优劣对比五个维度展开,以 YOLOv8 为例(v5 通用)…

章泽天开播客,网友喊话对话刘强东!列好了一堆问题……

这几年,播客是真的火了,比如罗永浩的十字路口,自开播以来,每一期都会贡献无数个热搜,这也让罗永浩成为长盛不衰的顶流网红。在罗永浩之外,各路有影响力的IP,不是在搞播客,就是在搞播…

基于随机波动率模型与马尔可夫链蒙特卡洛方法的指数期权波动率曲面拟合改进

功能说明 本代码实现随机波动率模型(Stochastic Volatility, SV)结合Johnson-Johnson(JJ)分布假设,通过马尔可夫链蒙特卡洛(Markov Chain Monte Carlo, MCMC)方法对指数期权隐含波动率曲面进行动…

波动率期限结构调整策略在指数期权日历价差中的应用研究

功能与作用说明 本策略通过构建不同到期日的指数期权组合,利用隐含波动率期限结构特征获取套利收益。核心功能包括:1)动态调整远近月合约持仓比例;2)基于波动率曲面变化进行头寸再平衡;3)对冲标…