posted by wap, platform: Android
推理引擎用的是oMLX, 这个目前最快。

本地模型试过了很多个，这个硬件条件下最能用的是：

1. gpt oss 20b 4bit版本，
2. qwen3.5 30b 4bit版本，
3. qwen3.5 9b 4bit版本。

兼顾了速度和质量，还要24GB能装下。

不过我没什么应用场合，感觉有点无聊，不知干啥。

posted by wap, platform: Android
8g的m2一样安装，不过基本上闲置了

千问线上都弱智了，这本地岂不是弱智的跟傻逼一样

posted by wap, platform: iPhone
这种小模型只能做些基础的重复性的工具使用，不用想去做推理研究和制作。不过本地的智能家居，nas下载管理，本地翻译等轻量级任务应该是可以的。

posted by wap, platform: Firefox
nas上也就docker pull一下的事情，没花多长时间。
我大部分时间花在飞书推送上了，然后发现其实是我傻了，它自己能解决。
装好就吃灰了，没需求=没啥用

posted by wap, platform: Android
只有9B那个能跑。前两个模型龙虾很容易内存爆掉，KV CACHE太大

posted by wap, platform: Android

引用:

原帖由 @zhufigo  于 2026-3-21 04:32 PM 发表
只有9B那个能跑。前两个模型龙虾很容易内存爆掉，KV CACHE太大

看你内存大小了，我24GB用下来GPT OSS 20b还是很爽的，一直没爆，如果超出上下文长度，它会告诉你，然后你再新开一个session就行了。这个模型虽然做不到秒回，但是两三秒回还是可以的。

用来玩还是很不错，个资也可以放心聊，因为是本地的，不会上传给别人。

龙虾带动了macmini的销量

posted by wap, platform: MAC OS X
我是16g的m1 imac，用ollama接入openclaw的话，基本所有模型都属于不可用的水平，响应极慢甚至一直不响应，前两天试了omlx，感觉更慢，按说应该是比ollama好一些，但确实也是不可用的水平，不过毕竟是很老的电脑了。配置低的话可以用模型跑一些不接入前端的本地任务，24g的话没试过，感觉响应速度能接受的话也行，我拿qwen3:8b接龙虾写过一些脚本，没有问题，如果是接openwebui的话，其实响应速度确实要快很多

posted by wap, platform: iPhone
最后一行喷了，中年人fomo常态

posted by wap, platform: Android
你可以让龙虾在这帖子里对线

posted by wap, platform: iPhone
喷了，看来以后闲鱼上会有非常多mac mini

posted by wap, platform: Android

引用:

原帖由 @dzgxg  于 2026-3-21 05:56 PM 发表
我是16g的m1 imac，用ollama接入openclaw的话，基本所有模型都属于不可用的水平，响应极慢甚至一直不响应，前两天试了omlx，感觉更慢，按说应该是比ollama好一些，但确实也是不可用的水平，不过毕竟是很老的电脑了。配置低的话可以用模型跑一些不接入前端的本地任务，24g的话没试过，感觉响应速度能接受的话也行，我拿qwen3:8b接龙虾写过一些脚本，没有问题，如果是接openwebui的话，其实响应速度确实要快很多

是这样的，

首先M1确实比M4慢很多，

然后就是模型选择，GPT OSS 20b和Qwen3.5 35B A3b这种MOE模型，每次只有3b左右的激活参数，所以会比8b、9b这种密集模型要快很多。3b vs 9b这样。

posted by wap, platform: MAC OS X

引用:

原帖由 @lelivre  于 2026-3-21 18:46 发表
是这样的，

首先M1确实比M4慢很多，

然后就是模型选择，GPT OSS 20b和Qwen3.5 35B A3b这种MOE模型，每次只有3b左右的激活参数，所以会比8b、9b这种密集模型要快很多。3b vs 9b这样。

所以本地模型接openclaw，以我个人感觉24g内存是底线，16是能接openwebui使用的，因为输出的token量相对少很多，24的话从模型参数到上下文的冗余都大不少。具体还是要看干什么，哪怕是我那老m1，在本地按需调用功能型的小模型也可以干事。24g内存的话可以摸到可玩性的边了，不过没需求的话无所谓

posted by wap, platform: iPhone
养本地龙虾看来买M5的mac得上32g内存了