扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
小编给大家分享一下爬虫如何做反爬措施，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨方法吧！
爬虫常见的反爬措施有三种：
1、header头部信息
解决方法：
加User-Agent值：
如果不加header头，部分网站服务器判断不到用户的访问来源，所以会返回一个404错误来告知你是一个爬虫，拒绝访问，解决办法如下：
headers = {
'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.56 Safari/537.36'
}这样服务器就会把用户当做浏览器了。
加Referer值
这类反爬网站也很常见，例如美团，仅仅加User-Agnet还是返回错误信息，这时就要把Referer值也加到头部信息中：
这样就会返回正常网页了。
加Host值
根据同源地址判断用户是否为爬虫，解决办法为：
加Accept值
之前遇到过这种网站，我加了一圈header头部信息才成功，最后发现是需要加Accept值，这类反爬措施的解决办法为：
2、限制IP的请求数量
这种就更常见了，大部分网站都有此类反爬措施，也就是说网站服务器会根据某个ip在特定时间内的访问频率来判断是否为爬虫，然后把你把你拉进“黑名单”，素质好的给你返回403或者出来个验证码，素质不好的会给你返回两句脏话。此种情况有两种解决办法：
①降低爬虫请求速率，但是会降低效率；
②添加代理ip，代理ip又分为付费的和不要钱的，前者比较稳定，后者经常断线。
添加格式为：
3、Ajax动态请求加载
这类一般是动态网页，无法直接找到数据接口，以某易新闻网站为例：
我想爬取该网页内的新闻图片，发现它的网页url一直不变，但是下拉网页的时候会一直加载图片，那么我们该怎么办呢？
首先按照开头方式打开流量分析工具
点击左上角“垃圾桶”图标清空缓存，然后下拉新闻网页：
会出现一大堆东西，但是不用慌，我们可以根据类型去寻找，一般图片信息肯定实在html、js或json格式的文件中，一个一个点进去看看，很快就找到了结果：
结果中把callback去掉之后就是个json文件，它的url为：
看完了这篇文章，相信你对爬虫如何做反爬措施有了一定的了解，想了解更多相关知识，欢迎关注创新互联-成都网站建设公司行业资讯频道，感谢各位的阅读！
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网