站長俱樂部:站长论坛


返回   站長俱樂部:站长论坛 > 網站經營區 > 非商業網站人氣流量與收益
Blog 論壇幫助 社區 日曆事件 今日新文章 搜尋

回覆
 
主題工具 顯示模式
  #11  
舊 2006-12-29, 10:49 PM
哈啦 的頭像
哈啦 哈啦 目前離線
論壇管理員
 
註冊日期: 2005-12-25
文章: 2,892
Blog 文章: 1
預設

引用:
作者: icon 查看文章
我覺得吃流量最可惡的是 百度 的機械人 .... 亂爬 亂衝
對,常常發現百度的機器人耗掉許多頻寬。這是怎麼回事?其他搜尋引擎的機器人都不會如此,是百度的技術不好嗎?
__________________
A.一文請勿多貼。
B.請選擇相關屬性的版面發文。
C.各類廣告有專版,請勿隨意發至不相干之版面。
----------------------------------------------
發佈您網站的新聞請到 What's New 新聞發佈網來。
回覆時引用此篇文章
  #12  
舊 2006-12-29, 11:24 PM
icon icon 目前離線
進階會員
 
註冊日期: 2006-02-15
文章: 302
發送 MSN 消息給 icon
預設

引用:
作者: 哈啦 查看文章
對,常常發現百度的機器人耗掉許多頻寬。這是怎麼回事?其他搜尋引擎的機器人都不會如此,是百度的技術不好嗎?
正是, 百度偶而會密集的爬入, 而且常是同時兩三個 IP ....
Google, Yahoo 與 MSN 也都是 24 小時不斷的爬我網站, 也沒見吃掉多少頻寬
百度的爬虫不大穩定, 有時幾個月沒事. 有時突然可吃掉整個 MySQL 的效能, 甚至於進入當機狀態. 一分鐘之內衝入 3000 多個點擊 ... 嚇人

兩年前, 我就這樣曾經把它 ban 了半年. 我站也一直排不入列 ...
後來放了它一年多, 我站爬到搜尋 "民宿" 時的第四位 ... 上個月, 它又有三個 IP 衝得我主機當了兩次. 再把它 ban 了 ....

我想, 基本上是它的技術真的有問題. 就算在 robot.txt 中對它的爬虫 設了時間間隔, 也不像它網站上的說明能有效果 . 別家的沒遇過醬的問題..
回覆時引用此篇文章
回覆

書籤


發文規則
不可以發表新主題
不可以發表回覆
不可以上傳附件
不可以編輯自己的文章

啟用 BB 代碼
論壇啟用 表情符號
論壇啟用 [IMG] 代碼
論壇禁用 HTML 代碼

論壇跳轉

 

所有時間均為 +8。現在的時間是 12:24 PM


本站主機由網易虛擬主機代管
Powered by vBulletin® 版本 3.8.4
版權所有 ©2000 - 2024,Jelsoft Enterprises Ltd.