查看: 1348|回复: 0

robots.txt协议如何设置禁止搜索引擎抓取?

[复制链接]

30

主题

104

帖子

328

积分

中级会员

Rank: 3Rank: 3

积分
328
发表于 2019-8-7 17:42:25 | 显示全部楼层 |阅读模式
什么情况下要设置禁止搜索引擎抓取自己的网站呢?
公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。还有在我们的网站还未正式上线之前,我们需要做大量的修改工作,如果还未修改完成又没有设置禁止抓取,那么网站就有可能会被收录了,后期我们对网站再进行修改操作,就会对网站造成影响。
搜索引擎第一个访问的文件就是robots.txt,禁止所有搜索引擎访问网站的所有部分 robots.txt写法如下:
User-agent: *
Disallow: /
网站有内容不想让搜索引擎收录,就可以在robots.txt里声明。

DmMmPJEntQnPjzSs.jpg




上一篇:中小企业网站在谷歌排名为什么不高
下一篇:逾期费和违约金你真的了解吗?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站内会员言论和发布内容仅代表个人观点, 并不代表本站同意或支持其观点, 本站不承担由此引起的法律责任,如侵犯版权请与我们联系处理