扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章给大家分享的是有关Python多线程退出控制的方法的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。
日常前言
最近接 到一个抢票的爬虫外包，那个网站及其之捞，访问购票地址竟然还要排队，在购票高峰临时升一下服务器配置不行吗…没办法，甲方爸爸的要求还得做啊，其中一个障碍便是目标网站的后端限制了访问频次，俗话说：“上有政策，下有对策。” 立刻想到了多线程 + 多代理的方式进行访问。
但此时问题便来了，多代理还好说，再写个爬虫爬一堆下来就好，多线程可就麻烦多了，多线程一旦发出去了，基本等同于失控的状态，你无法去结束或者是重启一个线程，最多只能是获取线程的信息，没有实际的控制权，而且Python官方也没有提供相应的结束函数。那么接下来，让我们来好好聊聊解决这个问题的思路。
单线程的结束
说实话，会百度在程序世界是一个优秀的习惯，不然怎么会有这么一张表情包呢
但是百度这一次却不尽人意，搜了很久，结果不尽人意，基本上所有的搜索结果都告诉我只有结束单个线程的方法，我也试过循环使用百度的结束函数，但最终都只能是结束的当前的这一个线程，无法达到目标。
贴一段搜到的单线程结束代码示例
def _async_raise(tid, exctype):
tid = ctypes.c_long(tid)
if not inspect.isclass(exctype):
exctype = type(exctype)
res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
if res == 0:
raise ValueError("invalid thread id")
elif res != 1:
ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
raise SystemError("PyThreadState_SetAsyncExc failed")
def stop_thread(thread):
_async_raise(thread.ident, SystemExit) 
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网