标题: 搞了几天，终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了 [打印本页]

---

作者: lelivre    时间: 2026-3-20 21:21     标题: 搞了几天，终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了

posted by wap, platform: Android
推理引擎用的是oMLX, 这个目前最快。

本地模型试过了很多个，这个硬件条件下最能用的是：

1. gpt oss 20b 4bit版本，
2. qwen3.5 30b 4bit版本，
3. qwen3.5 9b 4bit版本。

兼顾了速度和质量，还要24GB能装下。

不过我没什么应用场合，感觉有点无聊，不知干啥。

---

欢迎光临 TGFC Lifestyle (http://bbs.tgfcer.com/)

Powered by Discuz! 6.0.0