扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要介绍了python中Scrapy数据流是什么，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
创新互联长期为上千多家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为铜陵企业提供专业的网站设计、成都网站制作，铜陵网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。
什么是异步：
工作涉及一次执行多个IO操作。
什么是多线程：
多线程：允许单个任务分成不同的部分运行
相互之间是有一定的相似之处的，那我们接下来解说下 scrapy框架，然后大家自己来抉择下哈~
Scrapy框架是通过命令行来创建项目的，代码的编写还是需要IDE。项目创建之后，项目文件结构如下所示：
scrapy.cfg project/ __init__.py items.py pipelines.py settings.py middlewares.py spiders/ __init__.py spider1.py spider2.py ...复制代码
Scrapy数据流是由执行的核心引擎控制，流程是这样的：
1、爬虫引擎获得初始请求开始抓取。
2、爬虫引擎开始请求调度程序SCHEDULER，并准备对下一次的请求进行抓取。
3、爬虫调度器返回下一个请求给爬虫引擎。
4、引擎请求发送到下载器DOWNLOADER，通过下载中间件下载网络数据。
5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎。
感谢你能够认真阅读完这篇文章，希望小编分享python中Scrapy数据流是什么内容对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，遇到问题就找创新互联，详细的解决方法等着你来学习!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网