posted by wap, platform: Chrome

引用:

原帖由 @nijjkk  于 2023-7-9 14:50 发表
posted by 论坛助手, platform: iPhone

有测评，跑大模型，200瓦零噪音的Mac Studio ultra把800瓦喷气式风扇的13900+4090按在地上摩擦，耗时越长差距越大。

4090才24g显存，原来要8张4090才能跑起来的大模型，现在200瓦的Mac Studio ultra就能跑起来。

所以AI开源圈直接原地爆炸，开源工具都在适配m系列Mac。

能跑起来我信

但跑起来速度能和正常N卡加速比吗， 这个不太可能吧

当然了， 如果只为能跑那是可以得

posted by 论坛助手, platform: iPhone

引用:

原帖由 somesun 于 2023-07-09 15:06 发表
能跑起来我信

但跑起来速度能和正常N卡加速比吗， 这个不太可能吧

当然了， 如果只为能跑那是可以得

新版pytorch支持Mac gpu加速，m2max和4090用cublas速度差不多。

[ 本帖最后由 nijjkk 于 2023-7-9 16:11 编辑 ]

posted by wap, platform: Chrome

引用:

原帖由 @nijjkk  于 2023-7-9 14:50 发表
posted by 论坛助手, platform: iPhone

有测评，跑大模型，200瓦零噪音的Mac Studio ultra把800瓦喷气式风扇的13900+4090按在地上摩擦，耗时越长差距越大。

4090才24g显存，原来要8张4090才能跑起来的大模型，现在200瓦的Mac Studio ultra就能跑起来。

所以AI开源圈直接原地爆炸，开源工具都在适配m系列Mac。

好事啊，虽然你的结论在专业人员看来很浮夸很biased，不过大显存的高价m2总算有事情可干了，老黄多了个潜在竞争对手

但是一般99.9%用户遇到的问题还是一个都没解决

posted by 论坛助手, platform: iPhone

引用:

原帖由 來福時代 于 2023-07-09 16:08 发表
好事啊，虽然你的结论在专业人员看来很浮夸很biased，不过大显存的高价m2总算有事情可干了，老黄多了个潜在竞争对手

...

从我在GitHub和reddit上面爬到的信息来看，在AI这个领域，至少在是小团队范围内，苹果似乎已经绕过了cuda这条护城河。

而且，我在知乎上还看到了m2在oc渲染上表现不错的文章。

那么，在3d领域，Mac的唯一缺点应该就是光追吧？

[ 本帖最后由 nijjkk 于 2023-7-10 08:22 编辑 ]

posted by wap, platform: Chrome
m2 ultra 27tflops，nVidia h100 nvl 134tflops（5倍）
m2 ultra共192g内存GPU与CPU系统共享，nVidia h100 nvl 专用188g（算osx系统很省内存，只要4g就能跑，打平）
m2 ultra最大0.8t/s带宽，nVidia h100 nvl 7.8t/s带宽（9.5倍）
不知道m2拿什么摩擦老黄

posted by 论坛助手, platform: iPhone
针对个人和小团队，苹果主打性价比。

h100一张卡4万usd，还不一定买得到。m2 Mac Studio ultra 满配8k usd。

按照老黄的定位，你应该拿4张4090来对比。

叠到200g显存这个级别，n卡怎么都不会低于2万usd。

——
总感觉苹果在犹豫，作为面向个人消费品的公司，切入工业品生产不符合公司基因，但是AI又实在太香了。

总觉得楼里的观点： mac 只剪视频就是人傻钱多速来23333，win + 4090后各种高大上

posted by wap, platform: Android

引用:

原帖由 @nijjkk  于 2023-7-9 13:44 发表
posted by 论坛助手, platform: iPhone
针对个人和小团队，苹果主打性价比。

h100一张卡4万usd，还不一定买得到。m2 Mac Studio ultra 满配8k usd。

按照老黄的定位，你应该拿4张4090来对比。

叠到200g显存这个级别，n卡怎么都不会低于2万usd。

——
总感觉苹果在犹豫，作为面向个人消费品的公司，切入工业品生产不符合公司基因，但是AI又实在太香了。

不能这么算，也就个人或者微型组织能用用，不然算力不够内存多也没用

posted by wap, platform: Chrome
苹果mac studio是一共192GnonECC内存哎，真的以为跑ai模型不需要系统内存的吗？
另外，和h100比性价比，怎么不和4090比性价比，一套13900k+4090用mac studio顶配8k usd的一半就能买到了好不好

下图是m1pro 32gpu 64g内存和3090 24g显存跑restnet50的测试，m2ultra是76gpu，就算构架给力规模2.4x性能翻三倍，打得过3090么，遑论更强的黄卡

posted by 论坛助手, platform: iPhone

引用:

原帖由 昵称无效 于 2023-07-10 19:09 发表
苹果mac studio是一共192GnonECC内存哎，真的以为跑ai模型不需要系统内存的吗？
另外，和h100比性价...

https://github.com/ggerganov/llama.cpp/pull/1642#issue-1731081905

posted by wap, platform: iPhone
难道好处不是耐用吗？我从12年开始用macbook到现在，开始一台MBA，后来换了18 MBP。

MBP估计还能用到明年再换无风扇的MBA。

posted by 论坛助手, platform: iPhone

引用:

原帖由 Acme 于 2023-07-10 21:41 发表
难道好处不是耐用吗？我从12年开始用macbook到现在，开始一台MBA，后来换了18 MBP。

MBP估计还能用到明...

看具体型号，老的一些产品真的皮实，我12年的饭盒还在服役。

1几年的mbp 触控条坏过。

引用:

原帖由 瑞奇马丁 于 2023-7-5 12:58 发表

幻14能上到4090显卡，Macbook凭什么跟幻14比？

买苹果的人会在意显卡？

引用:

原帖由 Acme 于 2023-7-10 21:41 发表
posted by wap, platform: iPhone
难道好处不是耐用吗？我从12年开始用macbook到现在，开始一台MBA，后来换了18 MBP。

MBP估计还能用到明年再换无风扇的MBA。

+1，14年的macbook pro，最近自己换了电池并且重装了系统，给孩子上网写作业看视频毫无压力，丝般润滑，而且待机恢复到5个小时+，相当满意
老婆公司配的1W多的hp轻薄本3年基本上已经和垃圾一样了，卡成狗……重装系统也不给力，电池只剩下不到半小时，还没法换

引用:

原帖由 nijjkk 于 2023-7-9 14:50 发表
posted by 论坛助手, platform: iPhone

有测评，跑大模型，200瓦零噪音的Mac Studio ultra把800瓦喷气式风扇的13900+4090按在地上摩擦，耗时越长差距越大。

4090才24g显存，原来要8张4090才能跑起来的大模型，现在 ...

233333