搞了几天，终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了

zhufigo

大侠

1^# 大中小发表于 2026-3-21 16:32 显示全部帖子

posted by wap, platform: Android
只有9B那个能跑。前两个模型龙虾很容易内存爆掉，KV CACHE太大

TOP

zhufigo

大侠

2^# 大中小发表于 2026-3-21 22:57 显示全部帖子

posted by wap, platform: Android
我是24G的M4 pro，9B模型直接webui速度还行，大约60t/s。上龙虾就慢了，看了下每次对话都差不多20k，让它装个小软件，就用掉2M token，喷了。

TOP