我现在有个需求，写个程序处理1个t左右的数据。
数据是分散在几十万个很小的文件/文件夹里。
买个3t的硬盘会比1t的效率高么？
监控硬盘是不是更适合做这事儿？
企业级呢？

或者哪位懂这事的大大直接给个jd链接

转速更重要机械硬盘里的话，企业级应该是最好的，转速高
如果不计算成本的话，SSD应该会更好吧

引用:

原帖由 Veree 于 2014-4-9 17:11 发表
转速更重要机械硬盘里的话，企业级应该是最好的，转速高
如果不计算成本的话，SSD应该会更好吧

计成本。。而且很计。。
感谢

posted by wap, platform: GALAXY S IV

3t和1t要看，如果只是3t的用3块1t盘片和1t的用1块1t盘片的话速度是一样的

几十万个零碎文件，还用HDD

SSD是越大越快.....

引用:

原帖由 qwased 于 2014-4-9 17:19 发表
几十万个零碎文件，还用HDD

那用啥？

几十万个小文件，机械硬盘都等慢慢等

posted by wap, platform: Firefox

SSD 1T 4k rmb 100MBps read
HDD 3T 1500~2000 rmb  <20MBps read

SSD!

posted by wap, platform: ZTE (N986)

引用:

原帖由 @lvcha  于 2014-4-9 17:07 发表
我现在有个需求，写个程序处理1个t左右的数据。
数据是分散在几十万个很小的文件/文件夹里。
买个3t的硬盘会比1t的效率高么？
监控硬盘是不是更适合做这事儿？
企业级呢？

3t的效率会比1t的高个那么百分之十几吧，关键词单碟容量，存储密度。

很在意成本的话，那只能以时间换金钱，没办法的。存储性能这东西，历来是贵的要死的，基本是一分钱一分货，二毛钱二分货，三块钱三分货。

如果是自己写的程序的话，想办法优化一下io操作吧。最起码的，多用内存缓冲，批量读批量写，千万避免对一个磁盘同时读同时写。

以前emc做企业级存储的飘过。

引用:

原帖由 lurandal 于 2014-4-9 17:34 发表
posted by wap, platform: Firefox

SSD 1T 4k rmb 100MBps read
HDD 3T 1500~2000 rmb   

希捷3t的单碟1t 7200只要800啊

引用:

原帖由 catxing 于 2014-4-9 17:38 发表
posted by wap, platform: ZTE (N986)

3t的效率会比1t的高个那么百分之十几吧，关键词单碟容量，存储密度。

很在意成本的话，那只能以时间换金钱，没办法的。存储性能这东西，历来是贵的要死的，基本是一分钱一分 ...

哭的就是这点，其实数据是无关联的。
也就是我可以起几十万个线程每个线程去处理一个文件（资源无限的前提）
所以关键就是怎么读磁盘。

加钱上SSD

可以先弄个大内存，每次读足够多的文件进内存，然后在内存里处理，处理完了一波，再读一波。
然后想办法，把碎文件文目录打成包来读，减少读取时间。

好吧，上面是我YY的。。。。。。。。