搜索引擎的蜘蛛人（ROBOTS）秘密

3、  常见搜索引擎机器人Robots名字


名称                     搜索引擎

Baiduspider            http://www.baidu.com 

Scooter              http://www.altavista.com 

ia_archiver             http://www.alexa.com 

Googlebot           http://www.google.com 

FAST-WebCrawler http://www.alltheweb.com 

Slurp                  http://www.inktomi.com 

MSNBOT            http://search.msn.com 


4、 robots.txt举例

下面是一些著名站点的robots.txt：

http://www.cnn.com/robots.txt

http://www.google.com/robots.txt

http://www.ibm.com/robots.txt

http://www.sun.com/robots.txt 

http://www.eachnet.com/robots.txt

[