扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
int select(int numfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
函数参数
创新互联公司基于分布式IDC数据中心构建的平台为众多户提供成都服务器托管 四川大带宽租用 成都机柜租用 成都服务器租用。
numfds:文件描述符的最大值+1(为了限制检测文件描述符的范围)
readfds:包含所有因为状态变为可读而触发select函数返回文件描述符
writefds:包含所有因为状态变为可写而触发select函数返回文件描述符
exceptfds:包含所有因为状态发生特殊异常而触发select函数返回文件描述符
timeout:表示阻塞超时时限
返回值
当为-1的时候表示出错
当为0的时候表示超时
当大于0则成功
// 新增fd到set中FD_SET(int fd, fd_set *set); // 从set中移除fdFD_CLR(int fd, fd_set *set);// 判断fd是否在set中FD_ISSET(int fd, fd_set *set);// 将set整个清0FD_ZERO(fd_set *set);
基本思路,把要检测的文件描述符加载到 fd_set
类型的集合中,然后调用 select
函数检测加载到集合中的文件描述符;
select
函数监视的文件描述符分为3类,分别是 writefds, readfds, exceptfds
,调用之后select
函数就会阻塞,直到有文件描述符就绪(有数据可读,可写或者except),或者超时(timeout指定等待时间,如果立即返回设为null即可),函数返回;当select函数返回之后,可以通过遍历 fdset
来找到就绪的描述符。
#include#include #include #include #include #include const int MAXSIZE = 1024;int main() { int sockfd = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); //sockfd为服务器的套接字 sockaddr_in sin; sin.sin_family = AF_INET; sin.sin_port = htons(4567); //1024 ~ 49151:普通用户注册的端口号 sin.sin_addr.s_addr = INADDR_ANY; sockaddr_in client_addr; // ...bind 和 listen操作 socklen_t clen = sizeof(sockaddr_in); struct timeval tv; int fds[MAXSIZE]; memset(fds,-1,sizeof(fds)); fd_set fdset; fds[0] = sockfd; while( 1 ) { FD_ZERO(&fdset); int i = 0; int fdmax = fds[0]; for (; i < MAXSIZE; i++) { if (fds[i] != -1) { FD_SET(fds[i], &fdset); if (fdmax < fds[i]) { fdmax = fds[i]; } } } tv.tv_sec = 2; tv.tv_usec = 0; int res = select(fdmax + 1, &fdset, NULL, NULL, &tv); assert(res != -1); if (res == 0) { printf("timeout\n"); } else { int i = 0; for (; i < MAXSIZE; i++) { if (fds[i] == -1) { continue; } if (FD_ISSET(fds[i], &fdset)) { if (fds[i] == sockfd) { int c = accept(sockfd, (struct sockaddr *)&client_addr, &clen); if (c >= 0) { // 找到一个空的设置成新的套接字 for (int k = 0; k < MAXSIZE; k++) { if (fds[i] == 0) { fds[i] = c; break; } } } } else { char buff[256] = {0}; int n = read(fds[i], buff, 255); if (n > 0) { printf("read:%s\n", buff); write(fds[i], "OK", 2); } else if (n == 0) { // 删除套接字 fds[i] = 0; } } } } } } }
这个代码中有不完善的地方:使用数组保存套接字,建议以链表的形式保存链表会更好一些;
优点:跨平台
缺点:
单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,可以通过修改宏定义甚至重新编译内核的方式提升这个限制,但是这样也会造成效率的降低;
每次都要调用 select ,都需要把 fd
集合从用户态拷贝到内核态,在fd很多时开销会很大;
每次调用 select 都需要在内核遍历传递进来的所有fd,在fd很多时开销也很大;
注意,每次调用select之前都要对fdset集合进行 FD_ZERO(&fdset) 操作,即清空。
参考文章
linux的I/O复用技术
int poll(struct pollfd *fds, unsigned int nfds, int timesout);
函数参数:
表示一个pollfd
结构的数组。用来保存想要监听的文件描述符及其注册(绑定)的相应事件
表示监听事件集合的大小
指定poll的超时值。当timeout为-1时,就会一直阻塞,直到某个事件发生;当timeout为0时,表示立即返回。
返回值:
当为-1的时候表示失败,当为0的时候表示超时,当为大于0的整数的时候表示执行成功,表示文件描述符的个数。
不同与select使用三个位图来表示三个fdset的方式,poll使用一个 pollfd的指针实现。
struct pollfd { int fd; /* file descriptor */ short events; /* requested events to watch */ short revents; /* returned events witnessed */};
该结构里包含了要监视等待的event和实际发生的event;
经常检测的事件标记:
POLLIN/POLLRDNORM:可读
POLLOUT/POLLWRNORM:可写
POLLERR:出错
合法的事件标记如下:
POLLIN: 有数据可读
POLLRDNORM: 有普通数据可读
POLLRDBAND: 有优先数据可读
POLLPRI: 有紧迫数据可读
POLLOUT: 写数据不会导致阻塞
POLLWRNORM: 写普通数据不会导致阻塞
POLLWRBAND: 写优先数据不会导致阻塞
POLLMSG SIGPOLL: 消息可用
POLLIN | POLLPRI
等价于select()的读事件,POLLOUT |POLLWRBAND
等价于select()的写事件。POLLIN
等价于POLLRDNORM |POLLRDBAND
,而POLLOUT
则等价于POLLWRNORM
。
从原理上看,select
和 poll
都需要在返回以后,通过遍历文件描述符来获取已经就绪的socket。但是和select不同的是,调用这个函数后,系统不用清空它所检测的socket描述符集合;
因此select函数
适合于只检测少量socket描述符的情况,而poll函数
适合于大量socket描述符的情况;
#include#include #include #include #include #include #include #define OPEN_MAX 100int main(int argc, char *argv[]){ //1.创建tcp监听套接字 int sockfd = ::socket(AF_INET, SOCK_STREAM, 0); //2.绑定sockfd struct sockaddr_in my_addr; bzero(&my_addr, sizeof(my_addr)); my_addr.sin_family = AF_INET; my_addr.sin_port = htons(8000); my_addr.sin_addr.s_addr = htonl(INADDR_ANY); bind(sockfd, (struct sockaddr *)&my_addr, sizeof(my_addr)); //3.监听listen listen(sockfd, 10); //4.poll相应参数准备 struct pollfd client[OPEN_MAX]; int i = 0, maxi = 0; for(;i maxi) maxi = i; } //5.2继续响应就绪的描述符 for(i=1; i<=maxi; i++) { if(client[i].fd < 0) continue; if(client[i].revents & (POLLIN | POLLERR)) { int len = 0; char buf[128] = ""; //5.2.1接受客户端数据 if((len = recv(client[i].fd, buf, sizeof(buf), 0)) < 0) { if(errno == ECONNRESET)//tcp连接超时、RST { close(client[i].fd); client[i].fd = -1; } else cout << "read error:" << endl; } else if(len == 0)//客户端关闭连接 { close(client[i].fd); client[i].fd = -1; } else {//正常接收到服务器的数据 ::send(client[i].fd, buf, len, 0); } //5.2.2所有的就绪描述符处理完了,就退出当前的for循环,继续poll监测 if(--ret <= 0) break; } } } }
int kqueue(void);
生成一个内核事件队列,返回该队列的文件描述符,其它API通过这个描述符操作这个 kqueue
,结构如下:
struct kevent { uintptr_t ident; //事件ID,一般为文件描述符 short filter; //事件过滤器 u_short flags; //行为标示 u_int fflags; //过滤器标识值 intptr_t data; //过滤器数据 void *udata; //应用透传数据};int kevent(int kq, const struct kevent *changelist, int nchanges, struct kevent *eventlist, int nevents, const struct timespec *timeout);
提供向内核注册/反注册事件和返回就绪事件或错误事件;在一个kqueue中,{ident,filter}确定一个唯一的事件;
函数参数:
kq:kqueue的文件描述符
changelist:注册/反注册的事件数组
nchanges:changelist的元素个数
eventlist:满足条件的通知事件数组
nevents:eventlist的元素个数
timeout:等待事件到来时的超时时间
返回值为可用事件的个数
kqueue不光能够处理socket的事件,同时还能处理异步io,信号,文件变化等等;
kqueue有两个部分,分别是kqueue和kevent;kqueue主要是用来描述event的队列,而kevent则是监听的事件;
通过kevent
提供三个主要的行为功能,分别是
注册/反注册
注意kevent
中的neventlist
这个输入参数,当其设为0,且传入合法的changelist和nchanges
,就会将 changelist
中的事件注册到 kqueue 中;
允许/禁止过滤器事件
通过flags EV_ENABLE 和 EV_DISABLE
使过滤器事件有效或者无效,这个功能在使用 EVFILT_WRITE
发送数据时非常有用;
等待事件通知
将 nchangelist 和 nchanges
设置成 null和0
,当kevent非错误和超时返回时,在 eventlist和nevents
中保存可用事件集合。
#include#include #include #include #include #include #include #define PORT 5001#define MAX_EVENT_COUNT 64int createSocket(){ int sock = socket(PF_INET, SOCK_STREAM, 0); if (sock == -1) { printf("socket() failed:%d\n",errno); return -1; } struct sockaddr_in addr; addr.sin_family = AF_INET; addr.sin_port = htons(PORT); addr.sin_addr.s_addr = htonl(INADDR_LOOPBACK); int optval = 1; setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, &optval, sizeof(optval)); optval = 1; setsockopt(sock, SOL_SOCKET, SO_NOSIGPIPE, &optval, sizeof(optval)); if (bind(sock, (struct sockaddr*)&addr, sizeof(struct sockaddr)) == -1) { printf("bind() failed:%d\n",errno); return -1; } if (listen(sock, 5) == -1) { printf("listen() failed:%d\n",errno); return -1; } return sock; }int main(int argc, const char * argv[]){ int listenfd = createSocket(); if (listenfd == -1) return -1; int kq = kqueue(); if (kq == -1) { printf("kqueue failed:%d",errno); return -1; } struct kevent event = {listenfd,EVFILT_READ,EV_ADD,0,0,NULL}; int ret = kevent(kq, &event, 1, NULL, 0, NULL); if (ret == -1) { printf("kevent failed:%d",errno); return -1; } while (true) { struct kevent eventlist[MAX_EVENT_COUNT]; struct timespec timeout = {5,0}; int ret = kevent(kq, NULL, 0, eventlist, MAX_EVENT_COUNT, &timeout); if (ret <= 0) continue; for (int i=0; i 0) { struct kevent changelist[2]; EV_SET(&changelist[0], clientfd, EVFILT_READ, EV_ADD, 0, 0, NULL); EV_SET(&changelist[1], clientfd, EVFILT_WRITE, EV_ADD, 0, 0, NULL); kevent(kq, changelist, 1, NULL, 0, NULL); } continue; } //异常事件 if (flags & EV_ERROR) { close(sock); struct kevent event = {sock,EVFILT_READ,EV_DELETE,0,0,NULL}; kevent(kq, &event, 1, NULL, 0, NULL); printf("socket broken,error:%ld\n",data); continue; } //数据可读 if (filter == EVFILT_READ) { char buffer[data]; memset(buffer, '\0', data); ssize_t recvlen = recv(sock, buffer, data, 0); if (recvlen <= 0) { //链接断开 close(sock); struct kevent event = {sock,EVFILT_READ,EV_DELETE,0,0,NULL}; kevent(kq, &event, 1, NULL, 0, NULL); printf("socket broken!\n"); continue; } printf("%s\n",buffer); } //数据可写 if (filter == EVFILT_WRITE) { char buffer[data]; memset(buffer, 'a', data); ssize_t sendlen = send(sock, buffer, data, 0); if (sendlen <= 0) { //链接断开 close(sock); struct kevent event = {sock,EVFILT_READ,EV_DELETE,0,0,NULL}; kevent(kq, &event, 1, NULL, 0, NULL); printf("socket broken!\n"); continue; } } } } return 0; }
和前面不同的是,kqueue不会像select或者poll一样每隔一段事件就去轮询所有的socket,当socket数量很多,但是很多socket都不活跃的时候,性能是有影响的,而kqueue只会关注事件发生的socket;
创建事件表
int epoll_create(int size);
创建一个epoll的句柄,参数 size 并不是限制了epoll所能监听的描述符最大个数,只是对内核初始分配内部数据结构的建议,不同于select中的给出最大监听的fd+1
。
操作事件表
int epoll_ctl(int epfd, int op, int fd, struct epoll_event* event);
函数参数
epfd:事件表的文件描述符
op:何种操作,包括 EPOLL_CTL_ADD,EPOLL_CTL_DEL,EPOLL_CTL_MOD
,分别实现对fd的监听事件进行添加、删除、修改
fd:需要监听的文件描述符
event:告诉内核需要监听什么事
epoll_event 结构如下:
struct epoll_event { __uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */};//events可以是以下几个宏的集合:EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭); EPOLLOUT:表示对应的文件描述符可以写; EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来); EPOLLERR:表示对应的文件描述符发生错误; EPOLLHUP:表示对应的文件描述符被挂断; EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。 EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里
监听相应事件
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)
函数参数:
epfd:事件表的文件描述符
events:从内核得到事件的集合
maxevents:事件集合的大小(不能大于创建时的size
)
timeout:超时时间
epoll对文件描述符的操作有两种模式:LT(level trigger)和ET(edge trigger)。LT模式是默认模式,LT模式与ET模式的区别如下:
LT模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序可以不立即处理该事件。下次调用epoll_wait时,会再次响应应用程序并通知此事件。
ET模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序必须立即处理该事件。如果不处理,下次调用epoll_wait时,不会再次响应应用程序并通知此事件。
ET模式在很大程度上减少了epoll事件被重复触发的次数,因此效率要比LT模式高。epoll工作在ET模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。
当使用epoll的ET模型来工作时,当产生了一个EPOLLIN
事件后, 读数据的时候需要考虑的是当recv()返回的大小如果等于请求的大小,那么很有可能是缓冲区还有数据未读完,也意味着该次事件还没有处理完,所以还需要再次读取:
void handle_rev() { while(rs){ buflen = ::recv(activeevents[i].data.fd, buf, sizeof(buf), 0); if(buflen < 0){ // 由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可读 // 在这里就当作是该次事件已处理处. if(errno == EAGAIN){ //EAGAIN经常出现在当应用程序进行一些非阻塞(non-blocking)操作(对文件或socket)的时候 break; } else{ return; } } else if(buflen == 0){ // 这里表示对端的socket已正常关闭. } if(buflen == sizeof(buf){ rs = 1; // 需要再次读取 } else{ rs = 0; } } }
有时候epoll不一定比select和poll的效率高,比如这样的场景下:当活动连接数比较高的时候此时epoll会经常触发回调函数 ,此时在性能上还是有一定的损失.epoll适用于连接数量多,但是活跃的连接少.
epollserver::epollserver(int af, int type, int protocol) : norserver(af, type, protocol) { this->_epollfd = ::epoll_create(MAX_SIZE); if (this->_epollfd == INVALID_SOCKTE) { cout << "epoll create failed" << endl; } } epollserver::~epollserver() { this->close(this->socket()); }void epollserver::wait_events() { struct epoll_event _events[EPOLL_EVENTS_NUM]; this->add_event(this->socket(), EPOLLIN); while (true) { int ret = ::epoll_wait(this->_epollfd, _events, EPOLLEVENTS, -1); this->handle_events(_events, ret); } }void epollserver::handle_events(struct epoll_event* events, int num) { for (int i = 0; i < num; i++) { int socket = events[i].data.fd; // 服务器本身 if (socket == this->socket()) { this->handle_accept(); } else if (events[i].events & EPOLLIN) { this->handle_read(socket); } else if (events[i].events & EPOLLOUT) { this->handle_write(socket); } } }void epollserver::handle_accept() { this->accept(); }void epollserver::handle_read(int socket) { int nread; char buf[MAX_SIZE]; nread = ::read(socket, buf, MAX_SIZE); if (nread == SOCKET_ERROR) { cout << "read error:" << endl; this->close(socket); //记住close fd delete_event(socket, EPOLLIN); //删除监听 } else if (nread == 0) { fprintf(stderr,"client close.\n"); this->close(socket); //记住close fd delete_event(socket, EPOLLIN); //删除监听 } else { cout << "read message is :" << buf; //修改描述符对应的事件,由读改为写 modify_event(socket, EPOLLOUT); } }void epollserver::handle_write(int socket) { int nwrite; char buf[MAX_SIZE]; nwrite = ::write(socket, buf, strlen(buf)); if (nwrite == -1){ cout << "write error:" << endl; this->close(socket); //记住close fd delete_event(socket, EPOLLOUT); //删除监听 }else{ modify_event(socket, EPOLLIN); } memset(buf,0, MAX_SIZE); }bool epollserver::add_event(int socket, int state) { struct epoll_event ev; ev.events = state; ev.data.fd = socket; if (!epoll_ctl(this->_epollfd, EPOLL_CTL_ADD, socket, fd, &ev)) { cout << "epoll add event failed" << endl; return false; } return true; }bool epollserver::delete_event(int socket, int state) { struct epoll_event ev; ev.events = state; ev.data.fd = socket; if (!epoll_ctl(this->_epollfd, EPOLL_CTL_DEL, socket, fd, &ev)) { cout << "epoll delete event failed" << endl; return false; } return true; }bool epollserver::modify_event(int socket, int state) { struct epoll_event ev; ev.events = state; ev.data.fd = socket; if (!epoll_ctl(this->_epollfd, EPOLL_CTL_MOD, socket, fd, &ev)) { cout << "epoll modify event failed" << endl; return false; } return true; }
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流