扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
怎么使用robots协议？对于不知道怎么优化网站的人来说，是非常蒙的，知道了所谓的robots协议，但是不会用，下面创新互联小编就带大家看看如何使用robots协议和注意一些robots协议。
robots.txt语法：
1.基本语法：
User-agent 定义协议的搜索引擎。
Disallow 不允许抓取
Allow 允许抓取
* 通配符，代表所有
$ 结束符
2.详情讲解：
User-agent: * 所有的搜索引擎都要遵守
PS：1.英文的首字母一定要大写。下同。2.问号一定是英文状态下的。下同。3.问号之后一定要有一个空格。下同。
User-agent: Baiduspider 针对百度的协议
Disallow: / 屏蔽全站
Disallow: /can/ 屏蔽can文件下的所有文件
Allow: /can/123 屏蔽can文件下的所有文件，但是允许收录123
Disallow: /*.jpg$ 屏蔽所有的图片文件。
PS：使用通配符，一定要有结束符。不然可能导致正常的路径被屏蔽。
注意事项：
1.基础语法中PS的点。
2.生效时间
robots是我们和搜索引擎之间的一个单方面的协议，不是我们今天写上，明天百度就会遵守。想让百度遵守是需要一个过程的，一般情况下是两个月。但是也不排除当天写，当天生效。所以在更改robots的时候，一定要小心小心再小心。一旦你的robots错了，对整个网站的影响是巨大的。
3.不要随便的屏蔽整站
一些新手在做网站的时候，没有规划，随搭随建，网站不能一下子做好，经常做个半截，所以很多新手就会将我们的网站全部屏蔽掉。如果你真的这么做了，那么我要恭喜你，蜘蛛可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。所以这里给新手的建议就是一定要对网站规划好，一次性搭建完成。等待收录。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网