如何在18天内让Google收录超过55亿个网页

[东方卫士]

昨天报道的两个超级垃圾站，虽然在18天内被Google收录了几十亿个网页，但现在看来已经被Google处以极刑，拔得一毛不剩了。这是必然的结果。但这次事件在互联网上引起来了不小的震动，因为Google暴露出来的问题令人意外和吃惊。

　　Google从今年1月份开始进行大规模的升级，将Bigdaddy作为新的默认数据中心。这项大工程大概于4月底完成。但升级后却出现了不少问题。首先是很多大型网站（比如Digg、维基百科等）发现自己被Google收录的网页数锐减，甚至还有一些直接消失在Google索引里。于是很多人猜测Google的升级工作进行得并不完全成功，以致出现了种种奇异的问题。但一直以来，Google都没有正式回应这些猜测。

　　昨天的事件其实在TW上也有相关报道。TW是个很有影响力的网站，它上面的读者包括了众多搜索引擎高手以及Google的部分员工。而不久前正式被Google聘用为员工的Adam Lasnik也是其中一位读者。Adam Lasnik在Google里扮演的角色是网站协调员，他负责让网站管理员（当然是大型的网站）与Google得到更好的沟通，并且将网站上的第三方反馈意见反映给Google内部团队。Adam Lasnik在看到TW的相关报道后，留言回答，内容大概是（译）：


（事实）并不是看起来那样的。关于所报道的收录50亿个网页的事件……我们发现一些网站：查询会显示奇异的结果，这是由于一个错误的数据处理（bad data push）所引起的。我们现在正在设法修复它。


　　这是Google首次回应用户对近期Google出现的异常的质疑，并承认收录的确出现了某些问题，而这直接导致了上次事件的发生。不过Adam Lasnik的留言至少代表了Google已经注意到当前的问题，并且及时采取了补救措施，包括把事件中的两个超级垃圾站从索引结果中删掉。

　　但要提醒一点，那就是并非所有站点被Google收录的结果数产生变化都是Google本身的技术问题。事实上，对于绝大多数被Google删掉部分收录结果的网站而言，这些被删掉的内容是不合Google相关规定的。这是一个正常的处理过程，与上述事件性质完全不一样。