扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要讲解了“Python分布式爬虫的方法是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Python分布式爬虫的方法是什么”吧！
成都创新互联-成都网站建设公司，专注网站制作、成都网站制作、网站营销推广，主机域名，网页空间，网站托管有关企业网站制作方案、改版、费用等问题，请联系成都创新互联。
环境、架构：
开发语言：Python2.7
开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。
数据库：MongoDB 3.2.0、redis 3.0.501
（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）
爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。
分布式中有一台机充当Master，安装Redis进行任务调度，其余机子充当Slaver只管从Master那里拿任务去爬。原理是：Slaver运行的时候，scrapy遇到Request并不是交给spider去爬，而是统一交给Master机上的Redis数据库，spider要爬的Request也都是从Redis中取来的，而Redis接收到Request后先去重再存入数据库，哪个Slaver要Request了再给它，由此实现任务协同。
使用说明：
Python需要安装好Scrapy、pymongo、json、base64、requests。
Master机只需要安装好Redis即可（内存要求大点），Slaver机需要安装python环境和MongoDB来存储数据。如果想要将数据都存储到一台机子上，直接改一下爬虫程序（pipeline）里面MongoDB的IP即可，或者建议搭建一个MongoDB集群。Redis和MongoDB都是安装好即可，不需要配置。
将你用来登录的微博账号和密码加入到 cookies.py 文件中，里面已经有两个账号作为格式参考了。
可以修改scrapy里面setting的设置，例如间隔时间、日志级别、redis的IP等等。
以上配置完以后运行 Begin.py 即可。重申Master机不需要跑程序，它的功能是利用Redis进行任务调度。Slaver机跑爬虫，新增一台Slaver机，只需要把python环境和MongoDB搭建好，然后将代码复制过去直接运行就行了。
项目源码
# encoding=utf-8import jsonimport base64import requests"""输入你的微博账号和密码，可去淘宝买，一元七个。建议买几十个，微博反扒的厉害，太频繁了会出现302转移。或者你也可以把时间间隔调大点。"""myWeiBo = [{'no': 'jiadieyuso3319@163.com', 'psw': 'a123456'},{'no': 'shudieful3618@163.com', 'psw': 'a123456'},]def getCookies(weibo):""" 获取Cookies """cookies = []loginURL = r'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)'for elem in weibo:account = elem['no']password = elem['psw']username = base64.b64encode(account.encode('utf-8')).decode('utf-8')postData = {"entry": "sso","gateway": "1","from": "null","savestate": "30","useticket": "0","pagerefer": "","vsnf": "1","su": username,"service": "sso","sp": password,"sr": "1440*900","encoding": "UTF-8","cdult": "3","domain": "sina.com.cn","prelt": "0","returntype": "TEXT",}session = requests.Session()r = session.post(loginURL, data=postData)jsonStr = r.content.decode('gbk')info = json.loads(jsonStr)if info["retcode"] == "0":print "Get Cookie Success!( Account:%s )" % accountcookie = session.cookies.get_dict()cookies.append(cookie)else:print "Failed!( Reason:%s )" % info['reason']return cookiescookies = getCookies(myWeiBo)print "Get Cookies Finish!( Num:%d)" % len(cookies)
感谢各位的阅读，以上就是“Python分布式爬虫的方法是什么”的内容了，经过本文的学习后，相信大家对Python分布式爬虫的方法是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网