用robots.txt探索Google Baidu隐藏的秘密
发布时间：2006-10-11 11:53:13 来源：驱动之家 网友评论 0 条
出于好奇，尝试了一下百度的robots.txt，比密密麻麻的Google简洁了许多，只有短短几行： 
图3
User-agent: Baiduspider
Disallow: /baidu
User-agent: *
Disallow: /shifen/dqzd.html
第一段就不用说了，第二段也遇到了同样打不开的错误，不过，按以前的资料来看，这是百度曾经的竞价排名的区域核心代理一览表以及地区总代理一览表，出于某些可以理解的原因做了模糊处理。
- 推荐阅讯
- 搜索引擎优化：seo未来的研究方向
- SEO研究：对百度搜索引擎作弊的快速妙方
- 再谈：什么样的网站能赚钱
- SEO看点：建站公司网站的关键字大揭密
- 10天内让google和baidu收录您的网站
- 网站经营与推广的有效方案
- 解密 网站是如何赚钱的
- 如何改进反作弊－对百度封站的几点反思
- 如何让更多的人知道您的网站
- 优化网站的20条重要体会
- 阅读排行
- 1.针对搜索引擎的页面优化一:关键词优化
- 2.网站的搜索引擎优化（SEO）九大秘法
- 3.ALEXA站长全攻略
- 4.一个网站的灵魂 打造完美网站的奇招巧技
- 5.让百度重新收录你的网站的有效方法
- 6.休闲一下:我用Google抓拉登的全过程
- 7.建站基础 将网页上传到服务器
- 8.Google Office轮廓愈加清晰 成形指日可待
- 9.10条优秀的网站设计经验
- 10.Google AdSense推收益分享新模式
- 专题教程
- Windows Server-Windows Server文档-Windows Server新闻-Windows Ser PostgreSQL-PostgreSQL文档-PostgreSQL新闻-PostgreSQL专家
- WebLogic-WebLogic文档-WebLogic新闻-WebLogic专家 FreeBSD-FreeBSD文档-FreeBSD新闻-FreeBSD专家
- Linux-内核 GUI KDE Gnome DNS FTP 安全 安装-Linux专区 Windows-AD IIS ServerCore 虚拟化 安全 HPC-Windows专区
- 大话G游 专题：手机病毒揭密
- ARP攻击防范与解决方案 路由故障处理手册