本篇文章给大家分享的是有关python爬取免费或付费小说的示例分析,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
为公安等地区用户提供了全套网页设计制作服务,及公安网站建设行业解决方案。主营业务为网站制作、做网站、公安网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
小说相信大家都爱看吧一章接一章具有极大的吸引力 看了还想看,当然付费小说价格也不便宜 看到一半突然收费 猝不及防!在我们程序员这里 收费是不存在的 万物皆可爬
什么是网络爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
环境:Python3.6+Windows
开发工具:你喜欢用哪个就用哪个,你开心就好!
主要思路:
1 获取主页源代码
2 获取章节超链接
3 获取章节超链接源码
4 获取小说内容
5 下载,文件操作
Python代码了解一下
import urllib.request
import re
# 1 获取主页源代码
# 2 获取章节超链接
# 3 获取章节超链接源码
# 4 获取小说内容
# 5 下载,文件操作
# 驼峰命名法
# 获取小说内容
def getNovertContent():
#
html = urllib.request.urlopen("http://www.quanshuwang.com/book/0/269").read()
html = html.decode("gbk")
# 不加括号 不匹配
# 正则表达式 .*? 匹配所有
reg = r'
(.*?) '# 增加效率的
reg = re.compile(reg)
urls = re.findall(reg,html)
# print(urls)
# 列表
# [(http://www.quanshuwang.com/book/0/269/78850.html,第一章 山边小村),
# (http://www.quanshuwang.com/book/0/269/78854.html,第二章 青牛镇)]
for url in urls:
# 章节的URL地址
novel_url = url[0]
# 章节标题
novel_title = url[1]
chapt = urllib.request.urlopen(novel_url).read()
chapt_html = chapt.decode("gbk")
# r 表示原生字符串 \ \\d r"\d"
reg = r' (.*?)