TGFC Lifestyle - Powered by Discuz! Board

标题: [电脑] 喷了，64G内存的确是刚刚够用 [打印本页]

作者: Jonsoncao 时间: 2021-1-7 06:02 标题: 喷了，64G内存的确是刚刚够用

开始觉得多了因为3090显存毕竟只有24G，再大的batch也不会把内存撑爆

最近因为圣诞去亲戚家只有一个小笔记本，kaggle的白嫖Xeon+P100只有16G内存，colab类似，有一个AI在线教育的大比赛我12月之前一直在搞目标金牌（现在看来自己之前的模型变baseline银牌都悬）
结果发现云端的白嫖完全无法满足计算需求……

把模型先prototype好回家跑，结果发现幸好有64G

可以一个gradient boosting来个1亿行的数据，再用小batch在GPU上训练网络，还可以再来个CLI中间导出数据 233max

以后别人装机我再也不推荐32G内存了，128G起跳

作者: Mas 时间: 2021-1-7 07:19

posted by wap, platform: 小米
干活的电脑不是工具能吃多大内存就配多大么…

作者: Davidsesd 时间: 2021-1-7 07:36

posted by wap, platform: iPhone
大哥你这种请直接选择至强上REG ECC内存至少256G或者512G堆起来，如果还不够那就升级至强再配合傲腾持久内存

作者: sumeru 时间: 2021-1-7 07:36

直接上顶配Mac Pro，内存最大1.5TB

作者: iceliker 时间: 2021-1-7 08:07

刚买的8g mbp情何以堪

作者: yichen113 时间: 2021-1-7 08:37

感觉16G可以从20岁用到40岁 233

作者: kalberte 时间: 2021-1-7 08:41

lz你的需求有几个人需要？

作者: Wbird 时间: 2021-1-7 08:49

posted by wap, platform: iPhone
臭炼丹师请把硬件留给游戏玩家

炼丹师没丹炼还可以啪啪，游戏玩家没游戏玩只能玩自己！

作者: ｚｈａｏ 时间: 2021-1-7 08:55

posted by wap, platform: Samsung
科学家你来砸场子的吧…

作者: 山寨饭 时间: 2021-1-7 09:10

这有啥值得发帖的

作者: hit_alf 时间: 2021-1-7 09:12

posted by wap, platform: Samsung
这种需求不应该用个人电脑实现吧，应该在服务器或者工作站上跑

作者: fear 时间: 2021-1-7 09:13

作者: kalberte 时间: 2021-1-7 09:42

posted by wap, platform: Chrome
同觉得看不出发帖的点在哪里，我自己都是在公司的服务器集群上跑模型训练，个人电脑干这些怎么配都拉跨

作者: 田中健一 时间: 2021-1-7 09:47

posted by wap, platform: Samsung
我以为楼主发现玩什么游戏需要64g内存了。结果是大家都用不到的地方。

作者: nopaina 时间: 2021-1-7 09:50

posted by wap, platform: Android
也许这就是凡尔赛吧

作者: caicc 时间: 2021-1-7 09:56

posted by wap, platform: Android
64G内存两年前就不够用了，现在都是128G起步，256G刚好

作者: wzjxq 时间: 2021-1-7 11:00

posted by wap, platform: 小米红米
这有什么值得发帖的，这么需要存在感吗
个人家用关心这玩意儿干嘛

作者: Jonsoncao 时间: 2021-1-7 12:39

引用:

原帖由 kalberte 于 2021-1-7 09:42 发表
posted by wap, platform: Chrome
同觉得看不出发帖的点在哪里，我自己都是在公司的服务器集群上跑模型训练，个人电脑干这些怎么配都拉跨

多个GPU配置得好rollout当然在集群上跑爽，但是prototyping，eda，debug当然是在自己的vscode上跑爽，特别需要自己写很多模块没法用现成的code的情况

比如在kaggle打比赛，这次还有一天截止的的模拟AI老师的比赛自己一个transformer的模型训练为了模拟kaggle给的提交答案的API写了一千多行的train loader来穷尽在EDA里面看到的各种情况，然后validation和test的class各不相同非常精巧
很难想象需要随时checkpoint在远程UI拉胯，不能写json来debug的时候怎样确保这些模型是训练正确了的

玩kaggle绝对是用个人电脑最爽。

作者: Jonsoncao 时间: 2021-1-7 12:40

引用:

原帖由 wzjxq 于 2021-1-7 11:00 发表
posted by wap, platform: 小米红米
这有什么值得发帖的，这么需要存在感吗
个人家用关心这玩意儿干嘛

是的，圣诞憋坏了，发帖找存在感，如果妨碍到你了不好意思哦

作者: MIMURA 时间: 2021-1-7 12:55

posted by wap, platform: iPhone
内存当然是越大越好，其次看预算

作者: 億万千 时间: 2021-1-7 12:58

posted by wap, platform: Samsung
查了下，kaggle是一个机器学习比赛平台？
这就是个高性能工作站吧，别人用来渲染你用来搞AI，差不多意思

作者: 铁观音 时间: 2021-1-7 13:23

posted by wap, platform: Android
楼主老凡尔赛了，发帖回帖不是晒优越就是放嘲讽

作者: 现代阴比玩TD3 时间: 2021-1-7 13:37

posted by wap, platform: 小米
喷了，楼主不就是在装逼吗？

作者: sceic 时间: 2021-1-7 13:41

毕竟您都投入P100了，这点内存不算啥啦。

作者: vamp00 时间: 2021-1-7 13:44

装逼装过火了

作者: Jeffrey 时间: 2021-1-7 14:17

posted by wap, platform: 小米
这是ubuntu吗

作者: heven2004 时间: 2021-1-7 14:19

64G够用个屁。照片都装不了多少。。。

作者: cinder 时间: 2021-1-7 14:24

posted by wap, platform: Chrome
还好吧，ls几个那么激动干啥……
就跟打游戏的发个帖说玩某游戏3090性能不够用一样，很正常，也是客观事实，只不过LZ的领域大部分人不懂罢了

作者: ShadowEyre 时间: 2021-1-7 14:47

reg ecc lrdimm单条256GB，8 xeon platinum 8280L 8*12*256 =24TB，低于这个数的都不推荐

[ 本帖最后由 ShadowEyre 于 2021-1-7 14:51 编辑 ]

作者: sunner 时间: 2021-1-7 15:23

posted by wap, platform: Firefox
lz的人设慢慢的就跟亨利靠近了，一开始啪啪啪装了几次，大家傻了，卧槽，真牛，厉害，佩服

实趣的人呢，这时候就应该发点接地气的了，毕竟老百姓占多数么，不介，那多没意思，逼格不能丢，必须继续发正常人听不懂的东西，但鱼香肉丝吃多了也腻，你总这样装，大家就烦了

另外你在我们这些没文化的普通人里也找不到什么存在感，还不如用你的奖金买点豪车好表之类的，发一发让大家羡慕一下

作者: 來福時代 时间: 2021-1-7 16:45

posted by wap, platform: Chrome
还是那个不装会死的装孙操

作者: 飘雪无痕 时间: 2021-1-7 17:37

posted by wap, platform: Samsung
内存不足1T的确没法用

不知道这么说能不能跟上泥潭节奏？

作者: qazqaz 时间: 2021-1-7 17:50

posted by wap, platform: Android
确实，128g内存也就几千块，刚需就上。

作者: 韭菜花 时间: 2021-1-7 17:53

只有32gb的我瑟瑟发抖

作者: squallssck 时间: 2021-1-7 21:13

没错，为此我搬了一台自己的机器到公司，服务器无法方便的plot数据，前期prototype的确在自己的机器上做比较方便。

作者: raidentime 时间: 2021-1-7 21:23

Posted by TGFC·NG
这年头服务器都是虚拟化了，企业级的想了半天和个人电脑没啥区别啊，除非是公司舍不得钱用30系这些个人显卡放服务器才会玩不转吧。。。

作者: ベルゼバブ 时间: 2021-1-7 22:52

posted by wap, platform: Android
强行刚刚够用

作者: ajajaj 时间: 2021-1-7 23:37

posted by edfc, platform: iPhone 12 Pro Max
做科研我觉得64g也不够啊

作者: 脆骨 时间: 2021-1-8 00:04

posted by wap, platform: Chrome
还行，马马虎虎，主要是64G也没DDR5快

作者: DragonHeart 时间: 2021-1-8 01:15

当工具用的电脑，64GB算什么？当然是越多越好啦！

作者: 永不加赋 时间: 2021-1-8 16:15

引用:

原帖由 Jonsoncao 于 2021-1-7 06:02 发表
开始觉得多了因为3090显存毕竟只有24G，再大的batch也不会把内存撑爆

最近因为圣诞去亲戚家只有一个小笔记本，kaggle的白嫖Xeon+P100只有16G内存，colab类似，有一个AI在线教育的大比赛我12月之前一直在搞目标金牌 ...

看预算吧，内存肯定越大越好

欢迎光临 TGFC Lifestyle (http://bbs.tgfcer.com/)