news 2026/6/15 23:03:41

Debug:mlx-omni-server服务器用qwen3模型出错

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:
最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。
调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。
LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/15 12:39:10

AI人脸隐私卫士效果对比:传统打码与智能打码的差异

AI人脸隐私卫士效果对比:传统打码与智能打码的差异 1. 引言:为何需要更智能的人脸隐私保护? 随着社交媒体、公共监控和数字档案的普及,个人面部信息正以前所未有的速度被采集和传播。传统的“手动打码”方式虽然简单直接&#x…

作者头像 李华
网站建设 2026/6/15 13:55:37

GLM-4.6V-Flash-WEB省钱方案:低成本GPU部署实战案例

GLM-4.6V-Flash-WEB省钱方案:低成本GPU部署实战案例 智谱最新开源,视觉大模型。 1. 背景与需求分析 1.1 视觉大模型的落地挑战 随着多模态AI技术的快速发展,视觉大模型(Vision-Language Models, VLMs)在图像理解、图…

作者头像 李华
网站建设 2026/6/15 19:13:01

Agent Skills解决了什么问题?何时使用?

Agent Skills 可以被看作是给 AI 助手配备的“职业技能培训手册”。简单来说,它的核心目标是让 AI 从一个“通才”变成“身怀绝技的专家”,并且在处理复杂任务时更加稳定、高效。🎯 Agent Skills 到底解决了什么问题?在 Agent Ski…

作者头像 李华
网站建设 2026/6/15 20:10:16

TDengine IDMP让制糖看得清、管得住、跑得稳

(本文由涛思客户成功部门出品) 2025 年 12 月,涛思数据与北京海莱德自动化工程有限公司(简称“海莱德”)正式建立合作伙伴关系。此次合作,海莱德将基于自身行业自动化系统集成能力,结合涛思数据…

作者头像 李华
网站建设 2026/6/15 12:56:45

2026年1月房产中介管理系统哪家好用

随着房产中介行业数字化转型的不断深入,一套高效实用的房产中介管理系统已成为提升运营效率、增强市场竞争力的核心支撑。无论是个人经纪人、夫妻小店,还是中大型连锁中介公司,都需要适配自身业务场景的管理工具。2026年伊始,市面…

作者头像 李华