关于robots.txt - 微夏博客网 - 致力于网络优秀资源的分享、交流!

关于robots.txt

由 ℡若兮相言 于 2014-7-25 17:32 Friday 发表,已有1466人观看。



    最近网站在百度、360等搜索引擎找不到了,,,一直找不到原因,这几天我用 site:www.vxia.net 在百度搜索了下,发现了这种情况


    QQ图片20140725173529.jpg

    由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述



    这时我才知道原来robots.txt文件对网站的收录也有影响




    登录百度站长后台,检测了下robots.txt 发现所有的都是不允许抓取,不让所有的搜索引擎抓取,肯定就不能收录了!


    QQ图片20140725173924.jpg



    在网上查了下,发现关于这个robots.txt ,是允许或阻止搜索引擎抓取网站的内容,比如我有个路径,就拿后台路径说吧,我的后台路径不想被别人知道、或者不想被搜索引擎抓取,就可能通过 robots.txt 进行阻止


    QQ图片20140725174319.jpg


    问了下朋友的网站,发现他的没有这个文件,果断把它删除,删除之后,更新了下,现在又恢复正常了,估计几天后再在百度上查应该就会恢复了



标签: 资源




↓↓↓↓↓你可能在找下面的内容↓↓↓↓↓

特别申明:若无说明,文章均为原创,转载时请注明本文地址,谢谢合作!
本文链接:

发表评论: