谷歌养的蜘蛛确实爬的很快.

许多人觉得搜索引擎的技术多神秘, 实际没那么夸张的.

有兴趣可以搜一下
1.The Anatomy of a Large-Scale Hypertextual Web Search Engine, Google的两个创始人最初在Stanford实现Google的最早原型的论文
2.Efficient Crawling Through URL Ordering, 这就是讲提高spider抓取效率的, 作者之一也是Google的创始人.

文章老了点, 都是98年的, 但不是专门搞搜索引擎的看看也能对基本的原理,算法,实现都有一定了解的, 基本技术现在也没有变的. 当然美国的VC最近对基于NLP的搜索引擎有不少热情,象什么Powerset,  Hakia之类的, 不过那都是以后的事情了, 未来怎么样谁也不敢说.