引用:
作者: 哈啦
對，常常發現百度的機器人耗掉許多頻寬。這是怎麼回事？其他搜尋引擎的機器人都不會如此，是百度的技術不好嗎？
|
正是, 百度偶而會密集的爬入, 而且常是同時兩三個 IP ....
Google, Yahoo 與 MSN 也都是 24 小時不斷的爬我網站, 也沒見吃掉多少頻寬
百度的爬虫不大穩定, 有時幾個月沒事. 有時突然可吃掉整個 MySQL 的效能, 甚至於進入當機狀態. 一分鐘之內衝入 3000 多個點擊 ... 嚇人
兩年前, 我就這樣曾經把它 ban 了半年. 我站也一直排不入列 ...
後來放了它一年多, 我站爬到搜尋 "民宿" 時的第四位 ... 上個月, 它又有三個 IP 衝得我主機當了兩次. 再把它 ban 了 ....
我想, 基本上是它的技術真的有問題. 就算在 robot.txt 中對它的爬虫 設了時間間隔, 也不像它網站上的說明能有效果 . 別家的沒遇過醬的問題..