← 专栏

别用降级换可行性:一次 74% CPU offload 的根因排查

技术实战2026-10-0912 min6 次阅读琉璃之鸟

模型没坏,环境没坏,是我把两个不该默认开的开关都默认开了。

现象

本地跑 Qwen3 35B-A3B MoE,工具一直卡在"等待模型响应",改了任何参数都没用。

第一反应(错的)

显卡不够。8GB VRAM 跑 35B 肯定要 offload,那就加大 offload 比例,把精度降一降,能跑起来就行。

真正的根因

两个不该默认开的开关同时开着:

  1. 默认 thinking 模式 — 模型每轮都在生成很长的思考链,token 数爆炸
  2. 74% CPU offload — 大部分层在内存里跑,速度和 GPU 差两个数量级

两个相乘,就是"永远等不到"。

结论

关掉 thinking,把 offload 降到能装进 VRAM 的程度,完整模型跑通,1.7B LM 一个参数都没砍。

为什么写这篇

因为在找到根因之前,我差点用"降级"把问题"解决"掉。

降级是最容易的出路,也是最贵的出路——它把一个明确的 bug 换成了一个模糊的、以后还会咬你的性能问题。

← 回到专栏

同栏其他文章

留言0

还没有留言。说点什么吧。

登录后可以留言。还没有账号?在登录页注册一个。

祝你爱我爱到天荒地老
ilovemxt
0:000:00