扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
1.request:最基本的http请求模块,用来模拟发送请求,就像是在浏览器中输入一个网址然后回车一样,只需要传入uel,timeout等参数就可以实现一个模拟请求。
主要功能:用于模拟发送请求打开和读取URL。
成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:做网站、成都做网站、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的米林网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
2.error:异常处理模块,如果出现请求错误,我们可以捕获这些请求,然后进行重试或其他操作以保证程序不会意外终止。
主要功能:进行异常处理
3.parse:一个工具模块,提供了许多URL处理方法,比如拆分,解析,合并等2
主要功能:用于解析URL
robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬,哪些网站不可以爬,它其实用的比较少。
主要功能:用来解析robots.txt文件
下载模块需要win + r 在终端输入 pip install 模块名 即可完成下载
ps:requests 模块真的非常好用,会简化很多操作,请求,获取等操作往往只需要几行代码就可以完成,真的c!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流