直接先说准备工作：
(1)清楚爬虫工作的流程：

成都创新互联成立与2013年，是专业互联网技术服务公司，拥有项目成都网站制作、成都网站建设、外贸营销网站建设网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元宣汉做网站,已为上家服务,为宣汉各地企业和个人服务,联系电话:028-86922220

向页面发出请求---------获取请求文件---------处理请求文件--------抽取自己想要的内容

(2)要用到的函数与库
主要是requests库： 负责去向页面发出请求
beautiSoup4库：对抓取的页面文档进行解析
re库：匹配所需字段

可能存在的问题：
(1)编码的问题：注意页面中，以及读写的编码
(2)循环读取页面时注意页面访问地址的变化情况

完整代码：

import requests
from urllib3 import request
import re

class Spider:
    def __init__(self):
        # 初始化起始页位置
        self.page = 1
        #爬取开关，如果为True继续爬取
        self.switch = True

    def loadPage(self):
        """
            作用：下载页面
        """
        print("正在下载数据....")
                #这个页面的下载规则
        url = "http://www.neihan8.com/article/list_5_" + str(self.page) + ".html"
        headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
        response = requests.get(url, headers = headers)
                #处理编码
        response.encoding=response.apparent_encoding

        #获取每页的HTML源码字符串
        html = response.text

        #创建正则表达式规则对象，匹配每页里的段子内容，re.S 表示匹配全部字符串内容
        pattern = re.compile('(.*?)