大头猫咪 (2026/09/11 08:27)
Eason20000, 没想到咱们小破绽竟然还有专业玩家

Eason20000 (2026/09/11 07:44)
如果显存小而内存充足的话可以使用 llama.cpp 推理 MoE 模型并调整 n-cpu-moe 参数来将一部分权重卸载到内存中。实测 6 G 显存也可以跑 Qwen3.6 35B A3B IQ3，上下文量化也可以来一些。

莫哈维六号邮差 (2026/08/28 22:56)
pulana, 我12g显存都不大敢跑模型

pulana (2026/08/28 12:51)
莫哈维六号邮差, 8gb 有时还开着游戏 同时跑大一些的模型的话容易爆显存

pulana (2026/08/28 12:49)
大头猫咪, 彳亍

莫哈维六号邮差 (2026/08/28 00:09)
多少显存啊？4b的不管哪家的蒸馏模型都有点傻了吧？

大头猫咪 (2026/08/27 21:21)
感觉直接看谁家的模型发布得最新，直观感觉越新的模型肯定比旧模型强