扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要介绍了Python之IO多路复用指的是什么,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
十余年的灵寿网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网整合营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整灵寿建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联从事“灵寿网站设计”,“灵寿网站推广”以来,每个客户项目都认真落实执行。
IO multiplexing(IO多路复用)
IO多路复用,有些地方称之为event driven IO(事件驱动IO)。
它的好处在于单个进程可以处理多个网络IO请求。select/epoll这两个是函数,它会不断轮询所有的socket,直到某个socket就绪有数据可达,就会通知用户进程,当用户进程调用了select函数,select是一个阻塞方法,会把进程阻塞住,同时会监听所有select负责的socket,当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用readRecv操作,将数据从内核拷贝到用户进程。
select虽然是阻塞的,但是它的优势在于它可以用一个进程处理多个连接,这个利用非阻塞的轮询方式是无法实现的,当连接数增多时优势就明显,而对于单个连接则跟同步IO区别不大甚至性能还要更低。
select,poll,epoll都是IO多路复用的机制,IO多路复用就是通过机制用一个进程监视多个描述符,一旦某个描述符就绪(可读或者可写或者异常),能够通知进程进行响应的操作。但是select,poll,epoll本质上是同步IO,因为他们都需要在读写事件就绪后自己负责读写,这个过程是阻塞的。
下面用Python的socket编程模拟IO多路复用(IO多路复用+回调+事件循环)
class Fetcher: def connected(self, key): selector.unregister(key.fd) self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host). encode('utf-8')) selector.register(self.con.fileno(), EVENT_READ, self.read) def read(self, key): d = self.con.recv(1024) if d: print(d) self.data += d else: selector.unregister(key.fd) self.data = self.data.decode('utf-8') html_data = self.data.split('\r\n\r\n')[1] print(html_data) self.con.close() def get_url(self, url): ... self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.con.setblocking(False) #设置非阻塞 try: self.con.connect((self.host, 80)) except BlockingIOError as e: pass selector.register(self.con.fileno(), EVENT_WRITE, self.connected)
过程:发送一个socket请求设置为非阻塞,在select函数中注册事件,self.con.fileno表示当前连接在进程中的描述符,EVENT_WRITE表示socket准备是否就绪,self.connected为回调函数,准备完成后就调用。selector.unregister(key.fd)取消注册,发送HTTP请求,再调用selector.register(self.con.fileno(), EVENT_READ, self.read)注册,若当前请求内容可读,则调用read回调函数读取出响应内容。
注明:在windows下会调用select函数,而在linux/unix下则会调用epoll函数。
完整代码如下:
import socket from urllib.parse import urlparse from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE selector = DefaultSelector() class Fetcher: def connected(self, key): selector.unregister(key.fd) self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host). encode('utf-8')) selector.register(self.con.fileno(), EVENT_READ, self.read) def read(self, key): d = self.con.recv(1024) if d: print(d) self.data += d else: selector.unregister(key.fd) self.data = self.data.decode('utf-8') html_data = self.data.split('\r\n\r\n')[1] print(html_data) self.con.close() def get_url(self, url): url = urlparse(url) self.host = url.netloc self.path = url.path self.data = b'' if self.path == "": self.path = '/' self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.con.setblocking(False) try: self.con.connect((self.host, 80)) except BlockingIOError as e: pass #注册 selector.register(self.con.fileno(), EVENT_WRITE, self.connected) def loop(): while True: ready = selector.select() for key, mask in ready: callback = key.data callback(key) if __name__ == '__main__': fetcher = Fetcher() fetcher.get_url('http://www.baidu.com') loop()
感谢你能够认真阅读完这篇文章,希望小编分享Python之IO多路复用指的是什么内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流