模型没坏,环境没坏,是我把两个不该默认开的开关都默认开了。
现象
本地跑 Qwen3 35B-A3B MoE,工具一直卡在"等待模型响应",改了任何参数都没用。
第一反应(错的)
显卡不够。8GB VRAM 跑 35B 肯定要 offload,那就加大 offload 比例,把精度降一降,能跑起来就行。
真正的根因
两个不该默认开的开关同时开着:
- 默认 thinking 模式 — 模型每轮都在生成很长的思考链,token 数爆炸
- 74% CPU offload — 大部分层在内存里跑,速度和 GPU 差两个数量级
两个相乘,就是"永远等不到"。
结论
关掉 thinking,把 offload 降到能装进 VRAM 的程度,完整模型跑通,1.7B LM 一个参数都没砍。
为什么写这篇
因为在找到根因之前,我差点用"降级"把问题"解决"掉。
降级是最容易的出路,也是最贵的出路——它把一个明确的 bug 换成了一个模糊的、以后还会咬你的性能问题。
