tornado以异步IO的方式提高性能,对于有多条长连接的情况比较适合,比如聊天室。同步/异步阻塞/非阻塞这两对概念比较难理解。epoll/kqueue是Linux内核用于异步IO的机制。

阻塞:比如等快递,假设快递没到你啥也干不了,这时你还不如去睡觉,因为你知道快递员到时候会打电话叫你。这种因为等快递而啥也干不了的状态就是阻塞,好处就是你可以轻松地去睡觉。对应到操作系统就是阻塞的线程一直在等待,也就是说这个线程只能同时处理这一个IO流,如果想要同时处理多个流,要没多进程,要么多线程,但是两者的性能都不高。因为线程被阻塞所以并不在系统的调度队列中,所以资源消耗很少。

非阻塞忙轮询:这就相当于你每隔一段时间就跟打电话给快递员问他快递到了没。对应到操作系统中,这种方式同时处理多个IO流,但是比较消耗资源,因为做了很多无效的遍历。

while true {
	for i in stream[]; {
		if i has data
		read until unavailable
	}
}

为了了解阻塞是如何进行的,我们来讨论缓冲区,以及内核缓冲区,最终把I/O事件解释清楚。缓冲区的引入是为了减少频繁I/O操作而引起频繁的系统调用,当你操作一个流时,更多的是以缓冲区为单位进行操作,这是相对于用户空间而言。对于内核来说,也需要缓冲区。 假设有一个管道,进程A为管道的写入方,B为管道的读出方。

  1. 假设一开始内核缓冲区是空的,B作为读出方,被阻塞着。然后首先A往管道写入,这时候内核缓冲区由空的状态变到非空状态,内> 核就会产生一个事件告诉B该醒来了,这个事件姑且称之为“缓冲区非空”。
  2. 但是“缓冲区非空”事件通知B后,B却还没有读出数据;且内核许诺了不能把写入管道中的数据丢掉这个时候,A写入的数据会滞留> 在内核缓冲区中,如果内核也缓冲区满了,B仍未开始读数据,最终内核缓冲区会被填满,这个时候会产生一个I/O事件,告诉进程 A,你该等等(阻塞)了,我们把这个事件定义为“缓冲区满”。
  3. 假设后来B终于开始读数据了,于是内核的缓冲区空了出来,这时候内核会告诉A,内核缓冲区有空位了,你可以从长眠中醒来 了,继续写数据了,我们把这个事件叫做“缓冲区非满”。
  4. 也许事件Y1已经通知了A,但是A也没有数据写入了,而B继续读出数据,知道内核缓冲区空了。这个时候内核就告诉B,你需要阻塞了!,我们把这个时间定为“缓冲区空”。 这四个情形涵盖了四个I/O事件,缓冲区满,缓冲区空,缓冲区非空,缓冲区非满(说的内核缓冲区)。这四个I/O事件是进行阻塞同步的根本。

那有没有一种机制,既可以同时处理多个IO流,又可以避免忙轮询呢?epoll/kqueue就是干这个的。阻塞模式下,内核对于I/O事件的处理是阻塞或者唤醒,而非阻塞模式下则把I/O事件交给其他对象。

为了避免CPU空转,可以引进了一个代理(select)。这个代理可以同时观察许多流的I/O事件,在空闲的时候,会把当前线程阻塞掉,当有一个或多个流有I/O事件时,就从阻塞态中醒来,于是我们的程序就会轮询一遍所有的流。

while true {
	select(streams[])
	for i in streams[] {
		if i has data
		read until unavailable
	}
}

如果没有I/O事件产生,我们的程序就会阻塞在select处。但是依然有个问题,我们从select那里仅仅知道了,有I/O事件发生了,但却并不知道是那几个流(可能有一个,多个,甚至全部),我们只能无差别轮询所有流,找出能读出数据,或者写入数据的流,对他们进行操作。

但是使用select,我们有O(n)的无差别轮询复杂度,同时处理的流越多,每一次无差别轮询时间就越长。

epoll可以理解为event poll,不同于忙轮询和无差别轮询,epoll之会把哪个流发生了怎样的I/O事件通知我们。此时我们对这些流的操作都是有意义的。(复杂度降低到了O(k),k为产生I/O事件的流的个数,也有认为O(1))

while true {
	active_stream[] = epoll_wait(epollfd)
	for i in active_stream[] {
		read or write till unavailable
	}
}

部分整合自: 知乎