关于robots.txt



最近网站在百度、360等搜索引擎找不到了,,,一直找不到原因,这几天我用 site:www.vxia.net 在百度搜索了下,发现了这种情况


QQ图片20140725173529.jpg

由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述



这时我才知道原来robots.txt文件对网站的收录也有影响




登录百度站长后台,检测了下robots.txt 发现所有的都是不允许抓取,不让所有的搜索引擎抓取,肯定就不能收录了!


QQ图片20140725173924.jpg



在网上查了下,发现关于这个robots.txt ,是允许或阻止搜索引擎抓取网站的内容,比如我有个路径,就拿后台路径说吧,我的后台路径不想被别人知道、或者不想被搜索引擎抓取,就可能通过 robots.txt 进行阻止


QQ图片20140725174319.jpg


问了下朋友的网站,发现他的没有这个文件,果断把它删除,删除之后,更新了下,现在又恢复正常了,估计几天后再在百度上查应该就会恢复了



标签: 资源

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.vxia.net/post-180.html

相关推荐

你肿么看?

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。