» 您尚未登录:请 登录 | 注册 | 标签 | 帮助 | 小黑屋 |


发新话题
打印

搞了几天，终于在24GB内存的Mac Mini M4比较爽地用上本地龙虾了

lelivre

小侠

帖子
122 
精华
0 
积分
139 
激骚
0 度 
爱车
 
主机
 
相机
 
手机
 
注册时间
2025-3-4 
1# 大 中 小 发表于 2026-3-20 21:21  只看该作者
posted by wap, platform: Android
推理引擎用的是oMLX, 这个目前最快。

本地模型试过了很多个，这个硬件条件下最能用的是：

1. gpt oss 20b 4bit版本，
2. qwen3.5 30b 4bit版本，
3. qwen3.5 9b 4bit版本。

兼顾了速度和质量，还要24GB能装下。

不过我没什么应用场合，感觉有点无聊，不知干啥。

TOP

hoveytao

小侠

帖子
80 
精华
0 
积分
87 
激骚
1 度 
爱车
 
主机
 
相机
 
手机
 
注册时间
2023-12-11 
2# 大 中 小 发表于 2026-3-21 12:02  只看该作者
posted by wap, platform: Android
8g的m2一样安装，不过基本上闲置了

TOP

剑二十三

大侠

帖子
552 
精华
0 
积分
1587 
激骚
14 度 
爱车
 
主机
 
相机
 
手机
 
注册时间
2014-6-11 
3# 大 中 小 发表于 2026-3-21 12:18  只看该作者
千问线上都弱智了，这本地岂不是弱智的跟傻逼一样

TOP

为谁涅槃

魔王撒旦

帖子
8827 
精华
0 
积分
11047 
激骚
1474 度 
爱车
祥瑞 
主机
御免 
相机
家宅 
手机
平安 
注册时间
2011-11-1 
4# 大 中 小 发表于 2026-3-21 12:30  只看该作者
posted by wap, platform: iPhone
这种小模型只能做些基础的重复性的工具使用，不用想去做推理研究和制作。不过本地的智能家居，nas下载管理，本地翻译等轻量级任务应该是可以的。

TOP

lvcha

银河飞将

帖子
38026 
精华
0 
积分
35967 
激骚
2137 度 
爱车
 
主机
 
相机
 
手机
 
注册时间
2002-8-26 
5# 大 中 小 发表于 2026-3-21 12:44  只看该作者
posted by wap, platform: Firefox
nas上也就docker pull一下的事情，没花多长时间。
我大部分时间花在飞书推送上了，然后发现其实是我傻了，它自己能解决。
装好就吃灰了，没需求=没啥用

TOP

发新话题