nginx模块开发（19）—进程模型之epoll
1、进程模型
（1）通过上图可知，nginx的子进程都是从Ngx_worker_process_cycle开始，并一直不停的处于事件和定时事件Ngx_process_events_and_timers中。
static void
ngx_worker_process_cycle(ngx_cycle_t *cycle, void *data)
{
。。。
for ( ;; ) {//核心循环，接收信号 and 处理事件
if (ngx_exiting) { //kill –QUIT
….
}
ngx_log_debug0(NGX_LOG_DEBUG_EVENT, cycle->log, 0, "worker cycle");
ngx_process_events_and_timers(cycle);
。。。
}
}
（2）在ngx_process_events_and_timers函数中，最重要的莫过于对锁ngx_accept_mutex的争夺，争夺锁的函数为ngx_trylock_accept_mutex。
void
ngx_process_events_and_timers(ngx_cycle_t *cycle)
{
。。。
//ngx_use_accept_mutex表示是否需要通过对accept加锁来解决惊群问题
//当nginx worker进程数>1时且配置文件中打开accept_mutex时，这个标志置为1
if (ngx_use_accept_mutex) {
if (ngx_accept_disabled > 0) {
ngx_accept_disabled--;
//此处ngx_accept_disabled其实是进程的最大连接数（配置文件中指定）的1/8减去剩余连接数的差，当>0时，表示连接有点多了，于是放弃一次争锁定机会
} else {
//获得accept锁，多个worker仅有一个可以得到这把锁
//获得锁不是阻塞过程，都是立刻返回，获取成功的话ngx_accept_mutex_held被置为1，拿到锁，意味着监听句柄被放到本进程的epoll中了，如果没有拿到锁，则监听句柄会被从epoll中取出
if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) { //important
return;
}
//拿到锁的话，置flag为NGX_POST_EVENTS，
//这意味着ngx_process_events函数中，任何事件都将延后处理，会把accept事件都放到ngx_posted_accept_events链表中，epollin|epollout事件都放到ngx_posted_events链表中
if (ngx_accept_mutex_held) { //得到了锁
flags |= NGX_POST_EVENTS;
//占用了accept锁的进程在处理事件的时候是先将事件放入队列，后续慢慢处理，以便尽快走到下面释放锁。
} else { //没有得到锁
//没争得锁的进程不需要分两步处理事件，但是把处理事件的timer更新为ngx_accept_mutex_delay
if (timer == NGX_TIMER_INFINITE
|| timer > ngx_accept_mutex_delay)
{
timer = ngx_accept_mutex_delay;
//default = 500ms,与accept_mutex_delay指令有关
}
}
}
}
delta = ngx_current_msec; //705437799
//下面这个函数就是处理事件的函数（包括新连接建立事件），网络IO事件等等
(void) ngx_process_events(cycle, timer, flags); //ngx_epoll_process_events
。。。
//然后再处理正常的数据读写请求。因为这些请求耗时久，
//所以在ngx_process_events里NGX_POST_EVENTS标志将事件都放入ngx_posted_events链表中，延迟到锁释放了再处理
if (ngx_posted_events) {
if (ngx_threaded) {
ngx_wakeup_worker_thread(cycle);
} else {
ngx_event_process_posted(cycle, &ngx;_posted_events);
}
}
}
（3）其次ngx_epoll_process_events函数主要用于等待网络IO事件发生，并等待被唤醒。
static ngx_int_t
ngx_epoll_process_events(ngx_cycle_t *cycle, ngx_msec_t timer, ngx_uint_t flags)
{
。。。
events = epoll_wait(ep, event_list, (int) nevents, timer); //等待事件来唤醒
err = (events == -1) ? ngx_errno : 0; //events=1,err=0
if (flags & NGX_UPDATE_TIME || ngx_event_timer_alarm) {
ngx_time_update();
}
if (err) {//0
。。。
}
if (events == 0) {//即这个是由于timeout引起的
。。。
}
ngx_mutex_lock(ngx_posted_events_mutex);
for (I = 0; I < events; i++) { //events指的是当前的事件数，一一遍历
c = event_list[i].data.ptr;
instance = (uintptr_t) c & 1;
c = (ngx_connection_t *) ((uintptr_t) c & (uintptr_t) ~1);
rev = c->read; //here
if (c->fd == -1 || rev->instance != instance) {
/*
* the stale event from a file descriptor
* that was just closed in this iteration
*/
ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
"epoll: stale event %p", c);
continue;
}
revents = event_list[i].events;
。。。。
if ((revents & EPOLLIN) && rev->active) {//here
if ((flags & NGX_POST_THREAD_EVENTS) && !rev->accept) {
rev->posted_ready = 1;
} else {
rev->ready = 1;
}
if (flags & NGX_POST_EVENTS) {
queue = (ngx_event_t **) (rev->accept ?
&ngx;_posted_accept_events : &ngx;_posted_events);
ngx_locked_post_event(rev, queue);
} else {
rev->handler(rev); //ngx_http_init_request 真正的入口
}
}
wev = c->write; //here
if ((revents & EPOLLOUT) && wev->active) {
if (c->fd == -1 || wev->instance != instance) {
/*
* the stale event from a file descriptor
* that was just closed in this iteration
*/
ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
"epoll: stale event %p", c);
continue;
}
if (flags & NGX_POST_THREAD_EVENTS) {
wev->posted_ready = 1;
} else {
wev->ready = 1;
}
if (flags & NGX_POST_EVENTS) {
ngx_locked_post_event(wev, &ngx;_posted_events);
} else {
wev->handler(wev);
}
}
}
ngx_mutex_unlock(ngx_posted_events_mutex);
return NGX_OK;
}
（4）最后是ngx_http_init_request，这是子进程处理用户请求的真实入口。
2、epoll说明
epoll是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率，因为它不会复用文件描述符集合来传递结果而迫使开发者每次等待事件之前都必须重新准备要被侦听的文件描述符集合，另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。epoll除了提供select/poll那种IO事件的电平触发（Level Triggered）外，还提供了边沿触发（Edge Triggered），这就使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。它主要有以下优点：
（1）支持一个进程打开大数目的socket描述符：select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是1024。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，二是可以选择多进程的解决方案（传统的Apache方案），不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。不过 epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子，在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看，一般来说这个数目和系统内存关系很大。
（2）IO效率不随FD数目增加而线性下降：传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是“活跃”的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对“活跃”的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有“活跃”的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个“伪”AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境，epoll的效率就远在select/poll之上了。
（3）使用mmap加速内核与用户空间的消息传递：这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你像我一样从2.5内核就关注epoll的话，一定不会忘记手工 mmap这一步的。
（4）内核微调：这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool（skb_head_pool）的大小--- 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数（TCP完成3次握手的数据包队列长度），也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。
epoll_create函数
函数声明：int epoll_create（int size）
函数说明：该函数生成一个epoll专用的文件描述符。它其实是在内核申请一空间，用来存放你想存储的socket fd。size就是你在这个epoll fd上能存眷的最大socket fd数目。
nginx实例：ep = epoll_create(cycle->connection_n / 2);
epoll_ctl函数
函数声明：int epoll_ctl（int epfd， int op， int fd， struct epoll_event *event）
函数说明：该函数用于把握某个epoll文件描述符上的事务，可以注册事务，批改事务，删除事务。
1）epfd：由 epoll_create 生成的epoll专用的文件描述符；
2）op：要进行的操纵例如注册事务，可能的取值EPOLL_CTL_ADD 注册、EPOLL_CTL_MOD 修 改、EPOLL_CTL_DEL 删除
3）fd：接洽关系的文件描述符；
4）event：指向epoll_event的指针；
若是调用成功返回0，不成功返回-1
nginx实例：epoll_ctl(ep, op, c->fd, ⅇ)
epoll_wait函数
epoll_wait(ep, event_list, (int) nevents, timer)
函数声明：int epoll_wait（int epfd，struct epoll_event * events，int maxevents，int timeout）
函数说明：该函数用于轮询I/O事务的产生；
1）epfd：由epoll_create 生成的epoll专用的文件描述符；
2）epoll_event：用于回传代处理触发事务的数组；
3）maxevents：每次能处理出发的事务数；
4）timeout：守候I/O事务产生的超时；
运行原理：等侍注册在epfd上的socket fd的事务的产生，若是产生则将产生的sokct fd和事务类型放入到events数组中。并且将注册在epfd上的socket fd的事务类型给清空，所以若是下一个轮回你还要存眷这个socket fd的话，则须要用epoll_ctl（epfd，EPOLL_CTL_MOD，listenfd，&ev;）来从头设置socket fd的事务类型。
nginx实例：events = epoll_wait(ep, event_list, (int) nevents, timer)