scrapy中如何设置应用cookies的方法(3种)-创新互联-成都快上网建站

scrapy中如何设置应用cookies的方法(3种)-创新互联

本人是python3.6

创新互联-专业网站定制、快速模板网站建设、高性价比十堰网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式十堰网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖十堰地区。费用合理售后完善,10多年实体公司更值得信赖。

总的来说,scrapy框架中设置cookie有三种方式。

第一种:setting文件中设置cookie

当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie

当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie

当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉,使用自定义cookie

所以当我使用settings的cookie的时候,又把COOKIES_ENABLED设置为True,scrapy就会把settings的cookie关闭,

而且我也没使用自定义cookie,导致整个请求根本没有cookie,导致获取页面失败。

总结:

如果使用自定义cookie就把COOKIES_ENABLED设置为True

如果使用settings的cookie就把COOKIES_ENABLED设置为False

第二种:middlewares中设置cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie,配置如下:

request.cookies={
'':'',
'':'',
}

标题名称:scrapy中如何设置应用cookies的方法(3种)-创新互联
文章位置:http://kswjz.com/article/coidjj.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流