对于非常耗时的请求，Tornado提供了异步的方法应对( 比如 AsyncHTTPClient 和 time_out ), 但对于大多是的场景，比如连接数据库，这两个方法并不适用。翻看源代码的时候发现Tornado提供了一Resolvernetutil, 其中有个用线程池实现的非阻塞的Resolver,  用线程池可以解决大部分耗时请求的问题， 参考这段代码可以实现一个通用的解决方案，并且做到与tornado结合。这里用到了 concurrent.futures 这个包， 对于Python 3.2之前的版本可以直接import concurrent.futures， 3.2之前的需要安装futures 这个包( pip install futures)代码很短， 大致如下，from concurrent.futures import ThreadPoolExecutorfrom tornado.ioloop import IOLoopfrom tornado.concurrent import run_on_executorclass AsyncUtils:def __init__(self,num_worker=10):self.io_loop = IOLoop.current()self.executor = ThreadPoolExecutor(num_worker)@run ...继续阅读 (301)

对于非常耗时的请求，Tornado提供了异步的方法应对( 比如 AsyncHTTPClient 和 time_out ), 但对于大多是的场景，比如连接数据库，这两个方法并不适用。翻看源代码的时候发现Tornado提供了一Resolvernetutil, 其中有个用线程池实现的非阻塞的Resolver,  用线程池可以解决大部分耗时请求的问题， 参考这段代码可以实现一个通用的解决方案，并且做到与tornado结合。这里用到了 concurrent.futures 这个包， 对于Python 3.2之前的版本可以直接import concurrent.futures， 3.2之前的需要安装futures 这个包( pip install futures)代码很短， 大致如下，1 2 3 4 5 6 7 8 9 10 11 12 13fromconcurrent.futuresimportThreadPoolExecutorfromtornado.ioloopimportIOLoopfromtornado.concurrentimportrun_on_executor  classAsyncUtils:def__init__(self,num_worker=10):self.io_loop=IOLoop.current()self.execut ...继续阅读 (32)

工作大半年，忙，一直都没更新博文（其实是借口啦）闲暇时也多少搞一些小玩具，准备把搞这些东西的一些笔记整理成博文，挖此坑为证：最近在写一个操作系统，状况大致如下:bootloader: 能启动了，能在Real-Mode下打印一个helloworldprotect-mode: 能进入保护模式了，完成了一些初始化，并打印了helloworldexception: 完成中断服务程序， 并做出相应的处理irq: 能捕获硬件中断，比如键盘事件，系统时钟事件多任务: 研究中paging: 研究中filesys: 研究中posix:感觉好遥远了final:移植各种开源项目………想做的：node.jshaskell把自己的博客换成由node.js驱动写一个能在手机里跑的小玩具 ...继续阅读 (30)

工作大半年，忙，一直都没更新博文（其实是借口啦）闲暇时也多少搞一些小玩具，准备把搞这些东西的一些笔记整理成博文，挖此坑为证：最近在写一个操作系统，状况大致如下:bootloader: 能启动了，能在Real-Mode下打印一个helloworldprotect-mode: 能进入保护模式了，完成了一些初始化，并打印了helloworldexception: 完成中断服务程序， 并做出相应的处理irq: 能捕获硬件中断，比如键盘事件，系统时钟事件多任务: 研究中paging: 研究中filesys: 研究中posix:感觉好遥远了final:移植各种开源项目………想做的：node.jshaskell把自己的博客换成由node.js驱动写一个能在手机里跑的小玩具 ...继续阅读 (17)

Python有个很好用的库SimpleHTTPServer直接敲python -mSimpleHTTPServer就能立刻搭建起一个简易的Server，如果当前目录下没有index.html 或者 index.htm， 则默认将本地所有文件列出来。近来初学Tornado，用Tornado写一个有类似功能的小脚本作实验#!/usr/bin/env pythonimporttornado.ioloopimporttornado.webimporttornado.httpserverimporttornado.escapeimporttornado.templateimportosclassMainHandler(tornado.web.StaticFileHandler):deftranslate_path(self,path): path=path.split('?',1)[0]path=path.split('#',1)[0]path=os.path.normpath(tornado.escape.url_unescape(path))words=path.split('/')words=filter(None,wo ...继续阅读 (50)

Python有个很好用的库SimpleHTTPServer直接敲python -mSimpleHTTPServer就能立刻搭建起一个简易的Server，如果当前目录下没有index.html 或者 index.htm， 则默认将本地所有文件列出来。近来初学Tornado，用Tornado写一个有类似功能的小脚本作实验#!/usr/bin/env pythonimporttornado.ioloopimporttornado.webimporttornado.httpserverimporttornado.escapeimporttornado.templateimportos classMainHandler(tornado.web.StaticFileHandler):deftranslate_path(self,path): path=path.split('?',1)[0]path=path.split('#',1)[0]path=os.path.normpath(tornado.escape.url_unescape(path))words=path.split('/')words=filter(N ...继续阅读 (19)

每次看英文文档的碰上生词都要去打开一次google translate，在墙内打开google的网站又不是那么给力，而且也用不到星际译王这种大部头。刚好最近在看学写shell脚本，就写了个terminal版的google translate，纯当练习使用shell脚本。原理很简单，就是伪装成浏览器，在url里带上关键词然后去请求页面，将结果解析出来就ok了#!/usr/bin/env bashif["$#"-lt"3"];thenecho'usage translate ftom_lang to_lang word'echo'Ex: gtrans en zh-cn hehe'exitfi#headers#这堆http的请求头还是有必要添加的，不然给你返回些意想不到的结果出来UserAgent="Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.81 Safari/537.1"Referer="http://translate.google.com/"AcceptEncoding="gzip,deflate"AcceptCharset="UTF-8,*;q=0.5"Accept="text/html,*/*;q=0.1"#query#这里把空格替换掉 ...继续阅读 (38)

每次看英文文档的碰上生词都要去打开一次google translate，在墙内打开google的网站又不是那么给力，而且也用不到星际译王这种大部头。刚好最近在看学写shell脚本，就写了个terminal版的google translate，纯当练习使用shell脚本。原理很简单，就是伪装成浏览器，在url里带上关键词然后去请求页面，将结果解析出来就ok了#!/usr/bin/env bash if["$#"-lt"3"];thenecho'usage translate ftom_lang to_lang word'echo'Ex: gtrans en zh-cn hehe'exitfi #headers#这堆http的请求头还是有必要添加的，不然给你返回些意想不到的结果出来UserAgent="Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.81 Safari/537.1"Referer="http://translate.google.com/"AcceptEncoding="gzip,deflate"AcceptChar ...继续阅读 (30)

昨天更新过系统，更新着更新着貌似出了什么问题，当时也没多留意，今日开机， 悲剧了Unable to find root device /dev/disk/by-uuid/…估计是更新内核的时候出了岔子。在强大的google和的帮助下我的Arch终于得以复生。启动安装光盘首先得想办法进入archlinux的备用系统，无奈手上无光盘，但庆幸的是机子上有一光盘镜像，grub2也仍建在(还好当初给boot另外分了一个区)， grub2是可以引导启动镜像文件的。参照wiki上的方法按c进入grub2的控制台set isofile="archlinux-2011.08.19-core-i686.iso"loopback loop (hd0,msdos6)/$isofilelinux (loop)/arch/boot/i686/vmlinuz archisolabel=ARCH_201108 img_dev=/dev/sda6 img_loop=$isofile earlymodules=loopinitrd (loop)/arch/boot/i686/archiso.imgboot挂载一些必要的目录挂载rootmkdir /mnt/archmount /dev/sda7 /mnt/arch挂载启动分区(如果是独立分区的话)mount /dev/sda9 /mnt/arch/boot ...继续阅读 (52)

昨天更新过系统，更新着更新着貌似出了什么问题，当时也没多留意，今日开机， 悲剧了Unable to find root device /dev/disk/by-uuid/…估计是更新内核的时候出了岔子。在强大的google和的帮助下我的Arch终于得以复生。启动安装光盘首先得想办法进入archlinux的备用系统，无奈手上无光盘，但庆幸的是机子上有一光盘镜像，grub2也仍建在(还好当初给boot另外分了一个区)， grub2是可以引导启动镜像文件的。参照wiki上的方法按c进入grub2的控制台set isofile="archlinux-2011.08.19-core-i686.iso"loopback loop (hd0,msdos6)/$isofilelinux (loop)/arch/boot/i686/vmlinuz archisolabel=ARCH_201108 img_dev=/dev/sda6 img_loop=$isofile earlymodules=loopinitrd (loop)/arch/boot/i686/archiso.imgboot挂载一些必要的目录挂载rootmkdir /mnt/archmount /dev/sda7 /mnt/arch挂载启动分区(如果是独立分区的话)mount /dev/sda9 /mnt/arch/boot ...继续阅读 (15)

首先得鄙视一下这个但疼的插件名 ‘pentadactyl’。 google翻译的结果为五趾,也算多少搭上了边吧。在pentadactyl是vimperator的分支项目，两者功能几乎一样，但是pentadactyl利用了firefox4.0新的js引擎的特性，速度大幅提升（之前装过vimperator, 有点小卡) 。对于pentadactyl 我的理解就是一个中间层，我们的操作传入到这个中间层，然后经过中间层处理后将命令传给Firefox。关于安装：firefox的addons里面就有，不过我的firefox是14.0的，安装后有bug，连帮助都打开不了，因此安装了官网的nightly-built 版本。关于基本的使用：首先是如何绕过这个中间层:下一个按键将忽略用户定义的映射而是使用内建的设置下一个按键将跳过pentadactl直接传入给firefox相当于暂时关闭Pentadactyl，按下将恢复定位和移动:几乎和vim一样h,j,k,l 分别对应了上下左右gg,G 到顶或到底0,$ 到最左或最右移动半面移动整面[count]% 到当前页面的 count%打开与关闭网页:o 在当前页面打开url(http://xiaoxins.com)或者是本地文件(/home/)O 同o，但是会事先帮你填写上当前页面的地址t 新的标签页中打开url 或者本地文件T 同 ...继续阅读 (115)

首先得鄙视一下这个但疼的插件名 ‘pentadactyl’。 google翻译的结果为五趾,也算多少搭上了边吧。在pentadactyl是vimperator的分支项目，两者功能几乎一样，但是pentadactyl利用了firefox4.0新的js引擎的特性，速度大幅提升（之前装过vimperator, 有点小卡) 。对于pentadactyl 我的理解就是一个中间层，我们的操作传入到这个中间层，然后经过中间层处理后将命令传给Firefox。关于安装：firefox的addons里面就有，不过我的firefox是14.0的，安装后有bug，连帮助都打开不了，因此安装了官网的nightly-built 版本。关于基本的使用：首先是如何绕过这个中间层:<A-b> 下一个按键将忽略用户定义的映射而是使用内建的设置<C-v> 下一个按键将跳过pentadactl直接传入给firefox<C-z> 相当于暂时关闭Pentadactyl，按下<Esc>将恢复定位和移动:几乎和vim一样h,j,k,l 分别对应了上下左右gg,G 到顶或到底0,$ 到最左或最右移动半面移动整面[count]% 到当前页面的 count%打开与关闭网页:o 在当前页面打开url(http://xiaoxins.com)或者是本地文件(/home ...继续阅读 (12)

超级难得的宿舍几个哥都同意出去玩，目的地桂林，从网上随便搜了个旅社，骗上猥琐磊凑足四个人，经历各种囧之后总算在青年节这天晚上登上了前往阳朔的大巴。之前对桂林的印象只有两个，一个是第五套人民币的二十块钱的背面，另一个是小学的时候学的小竹排在画中游。六个小时的车程，一路上各种怪山。到达的时候已是深夜两点，住的地方离西街挺近，旁边就是一家青年旅社，从窗外望过去可以看到一座很高的山。第二天的行程: 野人谷-》一个忘记叫什么的溶洞-》遇龙河的竹筏-》西街的各种high野人谷什么的不提，无非就是些展示当地民族风俗之类的，每个地方都有，看的多了也就麻了。自由男神们有木有之后是去一个忘记叫什么的溶洞，从水路进去，一路要换好几搜船黑漆漆的如果突然跑上一条蛇出来那不给吓死洞里面时不时会有水滴掉下来，相机要小心翼翼的护好中午去一个看得到月亮山的地方吃饭。这些是团队的合照，好多MM的说来套小清新的诺哥的眼镜在这里掉了，四个人找了半天死活找不到，回来后在一张随意拍的照片里不到30s就发现了那该死的眼镜，悲摧+各种囧~~~下午去遇龙河飘竹筏，20块钱的背面就是这个地方了。由于前两天刚下过雨，水里都是上游冲下来的泥沙，漓江变成了黄河。山不错，如果水清点就perfect了。这张看起来没那么黄岸边有卖花伞的小贩，赶紧抓拍一张磊神终于和他的小马在一起了诺神的动作超像太祖，不愧是太祖的老乡晚上有印象刘三姐，不过没去看， ...继续阅读 (39)

超级难得的宿舍几个哥都同意出去玩，目的地桂林，从网上随便搜了个旅社，骗上猥琐磊凑足四个人，经历各种囧之后总算在青年节这天晚上登上了前往阳朔的大巴。之前对桂林的印象只有两个，一个是第五套人民币的二十块钱的背面，另一个是小学的时候学的小竹排在画中游。六个小时的车程，一路上各种怪山。到达的时候已是深夜两点，住的地方离西街挺近，旁边就是一家青年旅社，从窗外望过去可以看到一座很高的山。第二天的行程: 野人谷-》一个忘记叫什么的溶洞-》遇龙河的竹筏-》西街的各种high野人谷什么的不提，无非就是些展示当地民族风俗之类的，每个地方都有，看的多了也就麻了。自由男神们有木有之后是去一个忘记叫什么的溶洞，从水路进去，一路要换好几搜船黑漆漆的如果突然跑上一条蛇出来那不给吓死洞里面时不时会有水滴掉下来，相机要小心翼翼的护好中午去一个看得到月亮山的地方吃饭。这些是团队的合照，好多MM的说来套小清新的诺哥的眼镜在这里掉了，四个人找了半天死活找不到，回来后在一张随意拍的照片里不到30s就发现了那该死的眼镜，悲摧+各种囧~~~下午去遇龙河飘竹筏，20块钱的背面就是这个地方了。由于前两天刚下过雨，水里都是上游冲下来的泥沙，漓江变成了黄河。山不错，如果水清点就perfect了。这张看起来没那么黄岸边有卖花伞的小贩，赶紧抓拍一张磊神终于和他的小马在一起了诺神的动作超像太祖，不愧是太祖的老乡晚上有印象刘三姐，不过没去看， ...继续阅读 (15)

首先推荐一本书《C++高级编程》，花了一个下午的时间在看这本书，感觉这本书翻译的相当不错，讲的也通俗易懂。说来惭愧，虚函数是一个我一直很迷惑的东西，但后来发现这个确实是C++中非常强大的一个特性。书上建议把所有的成员函数都声明成虚函数，至少析构函数必须是虚函数。先运行两段试验的代码：1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28#includeusingnamespacestd;classSuper{public:voidfoo(){cout<<"Super Foo"<<<"Super Bar"<<<"Sub Foo"<<<"Super Foo"<<<"Super Bar"<<<"Sub Foo" ...继续阅读 (31)

首先推荐一本书《C++高级编程》，花了一个下午的时间在看这本书，感觉这本书翻译的相当不错，讲的也通俗易懂。说来惭愧，虚函数是一个我一直很迷惑的东西，但后来发现这个确实是C++中非常强大的一个特性。书上建议把所有的成员函数都声明成虚函数，至少析构函数必须是虚函数。先运行两段试验的代码：1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28#include <iostream>usingnamespacestd; classSuper{public:voidfoo(){cout<<"Super Foo"<<endl;}voidbar(){cout<<"Super Bar"<<endl;}}; classSub:publicSuper{public:voidfoo(){cout<<"Sub Foo"<<endl;}}; intmain(){Sub sub ...继续阅读 (13)

一直有架设一个本地ubuntu源的想法，google之，发现竟然比我想象中的容易的多原理很简单，就是把官方的源的所有的原封不动都搬到本地，然后跑个apache把这些东西挂到网上安装apt-mirrorsudo apt-get install apt-mirror安装之后在/etc/apt/下会多出个mirror.list 这个就是这个工具的配置文件了，编辑这个文件set mirror_path $base_path/mirrorset skel_path $base_path/skelset var_path $base_path/var# mirrors use ustc# 本地用ustc的ipv6源deb http://mirrors6.ustc.edu.cn/ubuntu/ natty main multiverse restricted universedeb http://mirrors6.ustc.edu.cn/ubuntu/ natty-backports main multiverse restricted universedeb http://mirrors6.ustc.edu.cn/ubuntu/ natty-proposed main multiverse restricted universedeb http://mirrors6.ustc. ...继续阅读 (29)

一直有架设一个本地ubuntu源的想法，google之，发现竟然比我想象中的容易的多原理很简单，就是把官方的源的所有的原封不动都搬到本地，然后跑个apache把这些东西挂到网上安装apt-mirrorsudo apt-get install apt-mirror安装之后在/etc/apt/下会多出个mirror.list 这个就是这个工具的配置文件了，编辑这个文件set mirror_path $base_path/mirrorset skel_path $base_path/skelset var_path $base_path/var# mirrors use ustc# 本地用ustc的ipv6源deb http://mirrors6.ustc.edu.cn/ubuntu/ natty main multiverse restricted universedeb http://mirrors6.ustc.edu.cn/ubuntu/ natty-backports main multiverse restricted universedeb http://mirrors6.ustc.edu.cn/ubuntu/ natty-proposed main multiverse restricted universedeb http://mirrors6.ustc. ...继续阅读 (9)

这两天帮小虾童鞋架设服务器，主要是配置openvz并分配vps。以下为这两天所做的一点简单的工作服务器的一些信息:CPU:2.93G Intel 赛扬处理器内存:512M硬盘:160G系统:CentOS 6快速安装openvz:由于接的是校园网，而openvz的源在国外的服务器，先设置本机的代理:export proxy_http=scut.tk:1998(xiaoxia 的sogou代理)安装openvz的源和证书cd /etc/yum.repos.dwget http://download.openvz.org/openvz.reporpm --import http://download.openvz.org/RPM-GPG-Key-OpenVZ安装openvz内核yum install vzkernel个人感觉openvz是对原有的内核再进行了一次包装，安装后会多出一个带openvz的启动项，打开引导程序的配置文件，我这里是/boot/grub/grub.conftitle CentOS (2.6.32-042stab039.10)root (hd0,0)kernel /vmlinuz-2.6.32-042stab039.10 ro root=/dev/mapper/VolGroup-lv_root rd_LVM_LV=VolGroup/lv_root rd_LVM_LV ...继续阅读 (36)

这两天帮小虾童鞋架设服务器，主要是配置openvz并分配vps。以下为这两天所做的一点简单的工作服务器的一些信息:CPU:2.93G Intel 赛扬处理器内存:512M硬盘:160G系统:CentOS 6快速安装openvz:由于接的是校园网，而openvz的源在国外的服务器，先设置本机的代理:export proxy_http=scut.tk:1998(xiaoxia 的sogou代理)安装openvz的源和证书cd /etc/yum.repos.dwget http://download.openvz.org/openvz.reporpm --import http://download.openvz.org/RPM-GPG-Key-OpenVZ安装openvz内核yum install vzkernel个人感觉openvz是对原有的内核再进行了一次包装，安装后会多出一个带openvz的启动项，打开引导程序的配置文件，我这里是/boot/grub/grub.conftitle CentOS (2.6.32-042stab039.10)root (hd0,0)kernel /vmlinuz-2.6.32-042stab039.10 ro root=/dev/mapper/VolGroup-lv_root rd_LVM_LV=VolGroup/lv_root rd_LVM_LV ...继续阅读 (14)