Board logo

标题: ai外挂，巴掌ai npu服务器 [打印本页]
作者: 黄金大表哥    时间: 2026-3-25 10:43     标题: ai外挂，巴掌ai npu服务器

posted by wap, platform: Android
细节还没详查：

Tiiny AI Pocket Lab
独立运行，类似于随身小nas。1399美元，没有GPU，依赖 190 TOPS NPU 的算力，80GB LPDDR5X（一说是48GB RAM，160Tops NPU，32G ram 30Tops。Soc）  。能跑GPT-OSS-120B（估计是Q4？）。整机功耗65w，14.2 x 8 x 2.53 厘米。
好奇里面是什么芯片，怕不是nv那几个soc？
但问题不再是npu，而是内存了吧。。。

对于有电脑的玩家（办公电脑？），这也是一个选择哈。
https://zhuanlan.zhihu.com/p/1982549516944164717

宣传视频
【Tiiny AI，桌面迷你AI PC【Kickstarter百万美元众筹项目】-哔哩哔哩】
https://m.bilibili.com/video/BV1VZwyzuErb

这位是真的跑了一下（跑了30B的qwen，能一起装2-3个一般模型，随时切换运行是优点）
【这不应该能在本地运行1200亿参数 ~ 1200亿装进口袋？打开后我惊了-哔哩哔哩】
https://m.bilibili.com/video/BV1ZzQ6BzEYe

本帖最后由 黄金大表哥 于 2026-3-25 03:08 通过手机版编辑
作者: ppigadvance    时间: 2026-3-25 10:59

果然来了，我去年就认为肯定会出这种专精AI算力的的大内存设备。拿传统电脑来跑本地模型实际上性价比极低。万把块的设备能跑120B本地模型的话AI实用性又要大增了，尤其对有保密需求的工作。
作者: 黄金大表哥    时间: 2026-3-25 11:02

posted by wap, platform: Android
引用:
原帖由 @ppigadvance  于 2026-3-25 02:59 发表
果然来了，我去年就认为肯定会出这种专精AI算力的的大内存设备。拿传统电脑来跑本地模型实际上性价比极低。万把块的设备能跑120B本地模型的话AI实用性又要大增了，尤其对有保密需求的工作。
小企业/团队至少是nv dgx spark起步，二手有<3w的（不知真假），就算是34999，我觉得也还可以了。
因为上面视频这哥们测了下，dgx虽然内存也是128G，但性能强，并发数量大，别家的并发稍微加点量，不同程度都掉下去了。而且有高速网，有集群跑120B的价值。
Tiiny这种小机器的120B，我估计应该就是地板水平。毕竟是商家吹的极限值，不能当真。参考下游戏主机的最高分辨率，有几个主机游戏作品能卡着最高分辨率做？

这机器对刚买了万/八千块本的略值得，本子内存、硬盘数量有限，外挂整体价格也没那么高。


另外我还看好后摩智能这一类。
跑小模型应该更好吧，实时图像识别，运动姿态控制什么的。以后慢慢进化到跑中模型？

本帖最后由 黄金大表哥 于 2026-3-25 03:17 通过手机版编辑
作者: cc0128    时间: 2026-3-25 17:43

posted by wap, platform: iPhone
这玩意儿不咋样，80gb的ram不是统一内存。
不如直接买amd的 395+ max，也没大多少，贵多少。性能开发环境好一大截。
最后真搞ai开发，还是得spark。。



欢迎光临 TGFC Lifestyle (http://bbs.tgfcer.com/) Powered by Discuz! 6.0.0