Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。


深圳seo

　　例子：

　　http://www.seowhy.com/robots.txt  有效

　　http://www.seowhy.com/bbs/robots.txt   无效

　　如果你不能控制根目录的 robots.txt，则你可以通过在深圳 eo优化目录网页中使用标签阻止网页被收录。