搞了几天，终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了

posted by wap, platform: Android
推理引擎用的是oMLX, 这个目前最快。

本地模型试过了很多个，这个硬件条件下最能用的是：

1. gpt oss 20b 4bit版本，
2. qwen3.5 30b 4bit版本，
3. qwen3.5 9b 4bit版本。

兼顾了速度和质量，还要24GB能装下。

不过我没什么应用场合，感觉有点无聊，不知干啥。