站長俱樂部:站长论坛

		站長俱樂部:站长论坛 > 搜尋論壇
搜尋結果

顯示結果從 1 到 1 共計 1 條
搜尋花去 0.00 秒。 搜尋: 文章作者: mjj

版面: 主機與頻寬

2007-09-23, 07:05 PM

回覆: 20

[經驗]真的很受不了中國大陸的搜尋引擎

查看: 59,142

作者 mjj

关于大陆地区搜索引擎对于robot.txt的态度至少说百度的Spider是绝对遵守的 ...

关于大陆地区搜索引擎对于robot.txt的态度
至少说百度的Spider是绝对遵守的
它将会于每一次索引你站点资料的时候读取你的robot.txt

以下是搜狗官方的说明
Q. 如何 sogou spider 不抓我的网站？
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。
robots.txt 的规则请参阅...

顯示結果從 1 到 1 共計 1 條

論壇跳轉

所有時間均為 +8。現在的時間是 11:31 AM。