随机种子

随机种子(Random Seed)是计算机专业术语,一种以随机数作为对象的以真随机数(种子)为初始条件的随机数。一般计算机的随机数都是伪随机数,以一个真随机数(种子)作为初始条件,然后用一定的算法不停迭代产生随机数。1 也就是说,如果我们知道种子,既可以用相同的随机数生成器生成相同的随机数。如: In [31]: random.seed(666) In [32]: random.randint(1,100) Out[32]: 59 In [33]: random.seed(666) In [34]: random.randint(1,100) Out[34]: 59 In [35]: random.randint(1,100) Out[35]: 56 百度百科 ↩︎

July 5, 2019 · 1 min · Egbert Ke

Python 中的迭代器和生成器

Python的迭代器和生成器属于比较难理解的内容,不常使用的话又容易忘记。最近在看一些代码的时候经常看到__iter__和yield,发现如果想深入理解的话并不简单。 迭代器 Python中,能够通过for…in循环遍历的对象都是可迭代对象iterable objects, 如list, dict等。迭代器是指实现了迭代协议的对象, 可通过next()函数调用并返回下一个值,直到最后抛出StopIteration错误。可迭代对象不一定是迭代器,可通过iter()函数将可迭代对象变成迭代器。 如: class yrange: def __init__(self, n): self.i = 0 self.n = n def __iter__(self): return self def next(self): if self.i < self.n: i = self.i self.i += 1 return i else: raise StopIteration() 运行结果: >>> y = yrange(3) >>> y.next() 0 >>> y.next() 1 >>> y.next() 2 >>> y.next() Traceback (most recent call last): File "<stdin>", line 1, in <module> File "<stdin>", line 14, in next StopIteration 生成器 生成器简化了迭代器的创建。如:...

July 4, 2019 · 1 min · Egbert Ke

WSGI的理解

WSGI(Web Server Gateway Interface)是描述Python应用和服务器之间标准接口的协议。若应用开发者和服务器开发者都实现这个协议,则双方都只需要专注自己所需要开发的功能,而不用考虑应用/服务器兼容的问题。 目前WSGI协议已经得到广泛实现, WSGI应用/框架有flask, django等,WSGI服务器有uWSGI(其实现的uwsgi协议是传输协议,主要用于与反向代理的通信), gunicorn等。 WSGI在PEP333中发布,主要内容为1: WSGI application are callable python objects (functions or classes with a call method that are passed two arguments: a WSGI environment as first argument and a function that starts the response. the application has to start a response using the function provided and return an iterable > where each yielded item means writing and flushing. The WSGI environment is like a CGI environment just with some additional keys that are either provided by the server or a middleware....

July 4, 2019 · 2 min · Egbert Ke

epoll/kqueue 的理解

tornado以异步IO的方式提高性能,对于有多条长连接的情况比较适合,比如聊天室。同步/异步,阻塞/非阻塞这两对概念比较难理解。epoll/kqueue是Linux内核用于异步IO的机制。 阻塞:比如等快递,假设快递没到你啥也干不了,这时你还不如去睡觉,因为你知道快递员到时候会打电话叫你。这种因为等快递而啥也干不了的状态就是阻塞,好处就是你可以轻松地去睡觉。对应到操作系统就是阻塞的线程一直在等待,也就是说这个线程只能同时处理这一个IO流,如果想要同时处理多个流,要没多进程,要么多线程,但是两者的性能都不高。因为线程被阻塞所以并不在系统的调度队列中,所以资源消耗很少。 非阻塞忙轮询:这就相当于你每隔一段时间就跟打电话给快递员问他快递到了没。对应到操作系统中,这种方式同时处理多个IO流,但是比较消耗资源,因为做了很多无效的遍历。 while true { for i in stream[]; { if i has data read until unavailable } } 为了了解阻塞是如何进行的,我们来讨论缓冲区,以及内核缓冲区,最终把I/O事件解释清楚。缓冲区的引入是为了减少频繁I/O操作而引起频繁的系统调用,当你操作一个流时,更多的是以缓冲区为单位进行操作,这是相对于用户空间而言。对于内核来说,也需要缓冲区。 假设有一个管道,进程A为管道的写入方,B为管道的读出方。 假设一开始内核缓冲区是空的,B作为读出方,被阻塞着。然后首先A往管道写入,这时候内核缓冲区由空的状态变到非空状态,内> 核就会产生一个事件告诉B该醒来了,这个事件姑且称之为“缓冲区非空”。 但是“缓冲区非空”事件通知B后,B却还没有读出数据;且内核许诺了不能把写入管道中的数据丢掉这个时候,A写入的数据会滞留> 在内核缓冲区中,如果内核也缓冲区满了,B仍未开始读数据,最终内核缓冲区会被填满,这个时候会产生一个I/O事件,告诉进程 A,你该等等(阻塞)了,我们把这个事件定义为“缓冲区满”。 假设后来B终于开始读数据了,于是内核的缓冲区空了出来,这时候内核会告诉A,内核缓冲区有空位了,你可以从长眠中醒来 了,继续写数据了,我们把这个事件叫做“缓冲区非满”。 也许事件Y1已经通知了A,但是A也没有数据写入了,而B继续读出数据,知道内核缓冲区空了。这个时候内核就告诉B,你需要阻塞了!,我们把这个时间定为“缓冲区空”。 这四个情形涵盖了四个I/O事件,缓冲区满,缓冲区空,缓冲区非空,缓冲区非满(说的内核缓冲区)。这四个I/O事件是进行阻塞同步的根本。 那有没有一种机制,既可以同时处理多个IO流,又可以避免忙轮询呢?epoll/kqueue就是干这个的。阻塞模式下,内核对于I/O事件的处理是阻塞或者唤醒,而非阻塞模式下则把I/O事件交给其他对象。 为了避免CPU空转,可以引进了一个代理(select)。这个代理可以同时观察许多流的I/O事件,在空闲的时候,会把当前线程阻塞掉,当有一个或多个流有I/O事件时,就从阻塞态中醒来,于是我们的程序就会轮询一遍所有的流。 while true { select(streams[]) for i in streams[] { if i has data read until unavailable } } 如果没有I/O事件产生,我们的程序就会阻塞在select处。但是依然有个问题,我们从select那里仅仅知道了,有I/O事件发生了,但却并不知道是那几个流(可能有一个,多个,甚至全部),我们只能无差别轮询所有流,找出能读出数据,或者写入数据的流,对他们进行操作。 但是使用select,我们有O(n)的无差别轮询复杂度,同时处理的流越多,每一次无差别轮询时间就越长。 epoll可以理解为event poll,不同于忙轮询和无差别轮询,epoll之会把哪个流发生了怎样的I/O事件通知我们。此时我们对这些流的操作都是有意义的。(复杂度降低到了O(k),k为产生I/O事件的流的个数,也有认为O(1)) while true { active_stream[] = epoll_wait(epollfd) for i in active_stream[] { read or write till unavailable } } 部分整合自: 知乎

July 3, 2019 · 1 min · Egbert Ke

tmux简单记录

Session 新建session tmux new -s sessionname 退出当前session prefix + d 进入session tmux at -t sessionname 关闭session tmux kill-session -t sessionname 列出所有session tmux ls Window 新建window prefix + c 切换window: prefix + p/n 列出所有window: prefix + w 删除当前window: prefix + & Pane 切分pane prefix + "/% 切换pane: prefix + o 删除当前pane: prefix + x 重启pane: prefix + : 输入 respawn-pane -k,然后 Enter prefix 默认为ctrl + b, 可自定义

July 2, 2019 · 1 min · Egbert Ke