TGFC Lifestyle - Powered by Discuz! Board

标题: [电脑] 硬盘是越大速度越快吗？ [打印本页]

作者: lvcha 时间: 2014-4-9 17:07 标题: 硬盘是越大速度越快吗？

我现在有个需求，写个程序处理1个t左右的数据。
数据是分散在几十万个很小的文件/文件夹里。
买个3t的硬盘会比1t的效率高么？
监控硬盘是不是更适合做这事儿？
企业级呢？

作者: lvcha 时间: 2014-4-9 17:09

或者哪位懂这事的大大直接给个jd链接

作者: Veree 时间: 2014-4-9 17:11

转速更重要机械硬盘里的话，企业级应该是最好的，转速高
如果不计算成本的话，SSD应该会更好吧

作者: lvcha 时间: 2014-4-9 17:13

引用:

原帖由 Veree 于 2014-4-9 17:11 发表
转速更重要机械硬盘里的话，企业级应该是最好的，转速高
如果不计算成本的话，SSD应该会更好吧

计成本。。而且很计。。
感谢

作者: 寂静狼 时间: 2014-4-9 17:15

posted by wap, platform: GALAXY S IV

3t和1t要看，如果只是3t的用3块1t盘片和1t的用1块1t盘片的话速度是一样的

作者: qwased 时间: 2014-4-9 17:19

几十万个零碎文件，还用HDD

作者: qhlixpfh 时间: 2014-4-9 17:24

SSD是越大越快.....

作者: lvcha 时间: 2014-4-9 17:26

引用:

原帖由 qwased 于 2014-4-9 17:19 发表
几十万个零碎文件，还用HDD

那用啥？

作者: flyingheart 时间: 2014-4-9 17:26

几十万个小文件，机械硬盘都等慢慢等

作者: lurandal 时间: 2014-4-9 17:34

posted by wap, platform: Firefox

SSD 1T 4k rmb 100MBps read
HDD 3T 1500~2000 rmb <20MBps read

SSD!

作者: catxing 时间: 2014-4-9 17:38

posted by wap, platform: ZTE (N986)

引用:

原帖由 @lvcha 于 2014-4-9 17:07 发表
我现在有个需求，写个程序处理1个t左右的数据。
数据是分散在几十万个很小的文件/文件夹里。
买个3t的硬盘会比1t的效率高么？
监控硬盘是不是更适合做这事儿？
企业级呢？

3t的效率会比1t的高个那么百分之十几吧，关键词单碟容量，存储密度。

很在意成本的话，那只能以时间换金钱，没办法的。存储性能这东西，历来是贵的要死的，基本是一分钱一分货，二毛钱二分货，三块钱三分货。

如果是自己写的程序的话，想办法优化一下io操作吧。最起码的，多用内存缓冲，批量读批量写，千万避免对一个磁盘同时读同时写。

以前emc做企业级存储的飘过。

作者: lvcha 时间: 2014-4-9 17:38

引用:

原帖由 lurandal 于 2014-4-9 17:34 发表
posted by wap, platform: Firefox

SSD 1T 4k rmb 100MBps read
HDD 3T 1500~2000 rmb

希捷3t的单碟1t 7200只要800啊

作者: lvcha 时间: 2014-4-9 17:41

引用:

原帖由 catxing 于 2014-4-9 17:38 发表
posted by wap, platform: ZTE (N986)

3t的效率会比1t的高个那么百分之十几吧，关键词单碟容量，存储密度。

很在意成本的话，那只能以时间换金钱，没办法的。存储性能这东西，历来是贵的要死的，基本是一分钱一分 ...

哭的就是这点，其实数据是无关联的。
也就是我可以起几十万个线程每个线程去处理一个文件（资源无限的前提）
所以关键就是怎么读磁盘。

作者: gaiden 时间: 2014-4-9 17:43

加钱上SSD

作者: flashback 时间: 2014-4-9 17:47

可以先弄个大内存，每次读足够多的文件进内存，然后在内存里处理，处理完了一波，再读一波。
然后想办法，把碎文件文目录打成包来读，减少读取时间。

好吧，上面是我YY的。。。。。。。。

作者: ffcactus 时间: 2014-4-9 17:51

posted by wap, platform: iPhone

不是

作者: lvcha 时间: 2014-4-9 17:58

目前倾向于买个希捷7200转单碟1t的 3t硬盘

1tssd那个真心舍不得。

作者: EraserKing 时间: 2014-4-9 18:11

打成zip 内存里解压？

作者: lurandal 时间: 2014-4-9 18:17

posted by wap, platform: Android

引用:

原帖由 @lvcha 于 2014-4-9 17:38 发表
希捷3t的单碟1t 7200只要800啊

这种给单位做事的不来个企业级？
或者要1T*2做raid
无论是保修还是维护都要省心

作者: nintenloli 时间: 2014-4-9 18:35

正确的做法应该是只买1个1T的。然后把数据一半放老硬盘一半放新硬盘。io处理能力直接翻倍。花钱又少

作者: ferrerorun 时间: 2014-4-9 18:43

SSD倒是·····普通硬盘怎么可能

作者: 弟弟等等 时间: 2014-4-9 19:12

我猜盘片多的性能会强吧，因为很多个磁头一起工作。。。不知道是不是？？？

作者: zihexing 时间: 2014-4-9 19:44

不组个RAID？

作者: nikutai 时间: 2014-4-9 19:57

两个单碟1T组raid吧。其实单碟1T的机械硬盘很不错了，读写都上200m了吧。

作者: catxing 时间: 2014-4-9 23:26

posted by wap, platform: ZTE (N986)

引用:

原帖由 @弟弟等等于 2014-4-9 19:12 发表
我猜盘片多的性能会强吧，因为很多个磁头一起工作。。。不知道是不是？？？

不是

作者: 不是他 时间: 2014-4-9 23:35

引用:

原帖由 catxing 于 2014-4-9 23:26 发表
posted by wap, platform: ZTE (N986)

不是

多个硬盘比一个硬盘强，是不是？

作者: snakeason 时间: 2014-4-9 23:38

最近也在看硬盘，其实系统盘用ssd，仓库盘用机械硬盘是最性价比的选择吧，经常处理的数据放ssd。

另外台式硬盘3t，西数绿盘和希捷要选的话，哪个比较好？

作者: jinwyp 时间: 2014-4-9 23:52

posted by wap, platform: iPad

用nodejs，stream，io异步加流处理

作者: mting 时间: 2014-4-10 05:01

posted by wap, platform: SONY (Xperia T)

你要细化一下一个是读写比例还有文件能不能固定大小如果不是的花文件大小分布怎么样
最后统计文件总数更具这些就可以计算操作延时
然后根据延迟你设计怎么用缓存
最后这硬盘读写速度其实没太大关系

作者: lvcha 时间: 2014-4-10 09:36

引用:

原帖由 jinwyp 于 2014-4-9 23:52 发表
posted by wap, platform: iPad

用nodejs，stream，io异步加流处理

nodejs不支持多线程。
异步io啥语言都有的吧。java nio

作者: 总是注册不成功 时间: 2014-4-10 10:08

posted by wap, platform: Windows

你的文件多大？如果很小的话组raid0存在性能下降的可能，比较大的话raid0能显著提升性能。

作者: lvcha 时间: 2014-4-10 10:13

引用:

原帖由 总是注册不成功 于 2014-4-10 10:08 发表
posted by wap, platform: Windows

你的文件多大？如果很小的话组raid0存在性能下降的可能，比较大的话raid0能显著提升性能。

很小，几十k到几百k不等

作者: ofanjx 时间: 2014-4-10 10:23

posted by wap, platform: Chrome

普通1TSSD也就4000，企业用就别省了。
或者4 个单碟1T普通硬盘组raid10，稍微省点。。。

作者: frog1222 时间: 2014-4-10 15:25

ssd当系统盘,然后用3个7200转的单碟1t的1tRAID0可破

作者: 未定名 时间: 2014-4-10 15:57

这需求难道不是妥妥的加内存吗，想办法把数据都塞到内存里再操作吧

欢迎光临 TGFC Lifestyle (http://bbs.tgfcer.com/)