» 您尚未登录:请 登录 | 注册 | 标签 | 帮助 | 小黑屋 |


 18 12
发新话题
打印

搞了几天,终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了

posted by wap, platform: Android
我是24G的M4 pro,9B模型直接webui速度还行,大约60t/s。上龙虾就慢了,看了下每次对话都差不多20k,让它装个小软件,就用掉2M token,喷了。


TOP

posted by wap, platform: Android
本地模型在openclaw里用,上下文才是决定速度的关键,每次聊天基本等于把历史记录都发一遍出去,越来越多,内存少的话就爆了,不开新session的话说个hi它都要等几分钟才回复



TOP

posted by wap, platform: Android
家里养虾不能取代互联网套餐虾。家里可以养,本地干杂活工作量大。
但在外还是得有在外的助手。

首先,复杂的信息整理工作还是在家进行的,工作成果也可以直接访问家里电脑、nas,不一定要这么尚不成熟的网关。
比如,如果需要大量的信息收集整理,比如下载跟踪几十个股票的资料和新闻,不如让家养虾在家自己干活,在外直接nas看一眼。
而且罗列式的界面比问答式的界面高效多了,毕竟是你自己要的内容。

第二,出门在外需要一个顺手的行程助手,包括吃、行、住,比如当天替你安排下周出行,包括酒店机票。那还是用商家的虾算了。
这些破工作没什么难的,难的是信息分离,谁有权至少是收集信息:出差邮件在公司电脑上,订火车票一般是个人12306,还有各种在线会议用各家平台,分立各种日历。
如果信息能全面汇总到系统上,早就有app全套搞定了。
苹果在这方面做得很好了,关键是商务app认,个人app也认。
现在换了虾你还是得给它说一大段话,或者发一堆手机截图。说白了你变缓存了,漏说/发一点就很麻烦。
还不如做好邮件和日历自动化工作。当然如果是小企业,能有录音,那更牛逼。


然后我那新电脑也能调通,本地小ai,接到扣子上以后,问一句你好,反应十秒八秒是有的。当时就没了兴致。

可能还要优化。

我买电脑是因为春节期间在家用小电脑跑Trae搞小程序,挺有意思的,可以让他长期跑。
长期跑的话成本是个问题,尤其前期tk可能还比较贵。所以买个x86的机器,接合本地跑ai和本地调试。
但程序开发,同时浏览文件列表和大量代码,这种ide界面,用虾显然不如向日葵。虾的好处是简讯通知:主人,您的APP更新好了,我们已经杀了一个小龙虾祭天。

再打个比方,你是生产管理者,你希望每天看到小组长们早请示晚汇报呢,还是随时开电脑都有实时的工厂产量/设备/问题状况图表?
所以我觉得,个人自用,又回到向日葵了。

本帖最后由 黄金大表哥 于 2026-3-22 00:26 通过手机版编辑


TOP

 18 12
发新话题