本地部署不联搜索引擎，就是半残

posted by wap, platform: Chrome
不懂就问，win电脑是用cpu还是gpu的算力啊？4070s能随便玩玩嘛？

引用:

原帖由 mamania 于 2025-2-6 11:57 发表
posted by wap, platform: Chrome
不懂就问，win电脑是用cpu还是gpu的算力啊？4070s能随便玩玩嘛？

4070s跑14B应该没问题。

本地部署是为了独自喂养训练，为专项技能服务的，在家搞搜索何必本地化

posted by wap, platform: iPhone
家用电脑14B就到头了，32B和便秘一样急死个人

posted by wap, platform: iPhone
ios装一个叫fullmoon的软件，可以跑小点的模型，1.5b

32B-Q4模型，4060只能跑4tok/s，玩是能玩，但不实用。

posted by wap, platform: Android

引用:

原帖由 @kh2841  于 2025-2-7 13:41 发表
家用电脑14B就到头了，32B和便秘一样急死个人

看啥配置，4090玩32b很轻松