写这个文章的原因是因为今晨解决了一个电影FM网友经常访问网站502的问题。最近电影FM粉丝交流群越来越活跃了，感谢Rachel妹纸每周举行的猜电影活动。热衷电影的网友可以加入电影FM的交流QQ群：471644884。最近电影FM的访问量也上升了，高峰时候接近2w一天的IP。今晚美女主持人Kiki来访电影FM时，登录的时候遇到了502，其实我今天访问的时候也出现过一次。为什么会这样呢？因为电影FM没有网站备案（做电影推荐也需要视听许可证？？？搞不懂），所以前端流量入口的机器放在阿里云的香港主机，后端也就是网站程序运行的主机在邻近的深圳机房。阿里云的主机之间互相访问速度还是可以的，就是香港主机的线路偶尔也会抽风（比较慢）。当然这些都问题不大，最大问题是香港和深圳的主机之间，多了一道墙。如果我们访问墙外的网站，如果带有敏感词，会被墙挡下来，并且1分钟内都无法访问，不过只是单个人的，还不至于影响所有人。现在问题是墙的工作室双向的，假如有个人在墙外输入了敏感词，墙就会把香港主机和深圳主机的连接挡下来，这时候会让所有用户都上不了网站了。所以为了解决这个问题，要么抛弃墙熟悉的HTTP通信，要么使用HTTPS加密传输（墙绝对不会解密HTTPS）。所以我最后决定在香港和深圳主机之间使用自签名的HTTPS。回归正题，先生成一个RSA的key，加密算法选择aes也行，des3也行。这里使用1024位的d ...继续阅读 (23)

今天研究数据库里的微信群二维码图片，很多人上传的图片并不是正确的群二维码，而是个人微信、公众号或者是一个手机充值流量的入口。为了把这些不合格的二维码挑选出来，只能一个个识别了。找了网上一些接口的，测试了一下不但限制频率为一秒2个，还很多识别不出来，看报错用的是zxing这个库，最后只能想其他方法。在CentOS7上安装了zbar，没有找到el7的rpm，只好自己编译。研究出编译时使用一些参数可以避免安装一些不必要的包。为了virtualenv里的python能用，编译时候要指定安装到/usr。编译文件不多，一下就完了。步骤如下：./configure –disable-video –without-qt –without-gtk –without-x –prefix=/usrmakesudo make install应该还需要安装ImageMagick，libjpeg-devel，zlib-devel之类的库，python环境里需要安装zbar和PIL。上测试代码：import zbar from PIL import Image scanner = zbar.ImageScanner() scanner.parse_config('enable') img = Image.open('./test.jpg').conv ...继续阅读 (118)

被这个问题困扰了一天，今天做微信开发，流量一大，django占用CPU很大，这个比较好解决，加进程加硬件即可。然而数据库连接开始报Too many connections，查了网上一些文章，直接改/etc/my.cnf加入max-connections=3000，无果。又查，在mysql里输入set GLOBAL max-connections=3000，数值是变了，然并卵。刚才找到一个文章，才想起原来是CentOS7的systemd限制了服务进程的NOFILE，导致每次启动mysql服务后，查询max-connections一直是214，这个数字可能是默认的最大值吧。解决方法如下：编辑 /usr/lib/systemd/system/mysqld.service，加入：LimitNOFILE=infinity LimitMEMLOCK=infinity困扰整天的问题终于解决，撰文记下。参考文献：http://www.nethings.eu/quick-picks/mysql-max-connections/ ...继续阅读 (30)

平常在在 /etc/sodoers 添加管理员时，一般这样写：xiaoxia    ALL=(ALL)    ALL虽然看不懂这句里面三个ALL表示什么意思，每次都这样写。最近在公子龙七的强烈推荐下，玩起了树莓派2（一个信用卡大小的微型计算机，不用200块就能买到），官方的raspbian系统（发展debian）不能用root，但sudo不需要密码。看了一下它的sudoers文件。Mark下来。xiaoxia    ALL=(ALL)    NOPASSWD:    ALL还是看不懂这三个ALL表示什么意思，也懒得去翻阅了，UNIX世界里学海无涯。有了这个东西，平常在我个人的MacBook Air上操作网卡路由表之类的方便多了 😀PS，我的树莓派已经成为家里的路由，通过一行iptables使其具备智能分流功能，能加快一些国外网站的访问速度。果然是研发人员必备神器！已经成功推荐荣哥大神等购买。早知有这个，当初何必折腾MIPS 64M内存的路由器。附图：有玩过树莓派的同学欢迎交流！ ...继续阅读 (43)

已经一年半载没有写博客了，搞得上来不知道写些什么。博客上的内容还时不时有人评论，大部分我还是会一一回复的。有些人会关注我的博客用什么主机，我的博客现在是用Linode的主机，因为现在很便宜，而且配置不差。另外比较多的是问手撕包菜的源代码能否提供，能否出售。今天我写这个文章就是把手撕包菜的网站开源了，包括网站页面，DHT爬虫和搜索引擎相关部分。2年前的那篇跟磁力搜索相关的文章在这里：写了个磁力搜索的网页 － 收录最近热门分享的资源作为最早在国内研究和实践DHT爬虫的人，我的灵感是来自芬兰Helsinki大学的这篇论文：Real-World Sybil Attacks in BitTorrent Mainline DHT英文好的同学应该很容易读懂，跟我写的不到300行的爬虫代码大致原理一样。初次接触DHT网络的可以结合我之前的文章阅读，或者拜读Kevin Lynx的博客。所以具体原理在这里就不再阐述了。手撕包菜一开始只是为了纯粹的技术研究，没有去想这个搜索引擎能给网民带来什么样的福利。当时采集了大量的数据，发现有一半以上的资源为限级内容，于是试图去对资源进行分类并且做了很多这方面的工作。譬如，基本上能通过一套规则能筛选出限级内容，对资源进行分类，如果是视频还能匹配出是哪一部影片。可惜，这些工作我主观上认为对生活应用并没有太大价值，于是就放弃了深入的研究。或许是因为网民使用此类搜索引擎大 ...继续阅读 (90)

之前还没有编译过Windows上的Python，打包发布一般使用py2exe和pyinstaller，生成的文件至少有3MB。而且Python只有VS的Project文件，也就是说，如果自己要用GCC来编译，就需要自己编写或者修改Makefile了。我是在Debian上安装了Mingw32之后，修改默认的Makefile来让它支持编译成Windows版本，而且源代码有大幅度改动，所以这里就不把过程写出来了，我也忘了做了多少修改。编译方法可以参考我的上一篇博文。建议有VS的同学还是选择VS编译比较方便，不用改动那么多。图是我编译好的Python环境，运行以前写的Sogou代理脚本。这次我使用的是Python2.3这个版本，编译出来的文件用UPX压缩过之后，体积还是小的很可观。对比如下：Python2.3（Windows）:   不带库 412KB，带基本标准库 695KBPython2.6（Linux）:   不带库 800KB，带基本标准库 1.3MBPython3.3（Linux）：不带库 1MB，带基本标准库 2.1MB这次Windows的Python2.3版本，编译了下面的内建模块：标准库文件都打包进了libpy.dll，这不是一个动态链接库文件，而是一个zip压缩包，里面有标准库编译好的pyc。编译好的Python.exe也改名成为runapp.exe了。而且默认参数运行的 ...继续阅读 (73)

昨天在研究如何在嵌入式Linux上搭建Python运行环境，因为有了Python之后，很多工具例如GoAgent之类的东西就可以用上场了。昨天成功编译了Python2.6，参考了网上很多方法，但最后无果而终，现在总结了一套自己的编译方法，基本上可以秒杀所有Python版本的交叉编译，这里做一个总结。我的编译环境是Debian64位 无桌面版本，体积很小巧，安装在办公室电脑虚拟机里，在家里也可以远程编译代码。首先在Python网站下载最新版源代码，这里我使用Python 3.3版本。解压下，有下面这堆东西。接着，编辑Modules/Setup.dist，把需要用到的模块，去掉注释。因为我打算把_socket，math，time，md5，sha1，select等模块静态编译进去（这样就不用lib-dynload里的一堆so文件都可以使用那些功能了）。为了支持中文的decode和encode，下面两个模块也要编译进去。如果你把zlib去掉了注释，要先交叉编译zlib，把编译出来的两个头文件和一个libz.a放到/usr/local/或者其他编译器能够发现的地方。下面在configure之前，需要做一些小动作，不然会提示出错。root@dev:~/Python-3.3.2# echo ac_cv_file__dev_ptmx=no > config.siteroot@dev:~/Pytho ...继续阅读 (47)

在Wordpress上消失了一段时间，其实我最近几个月都比较宅。相信最近大家都了解过新出的一款很NB的路由器叫极路由，功能很强大，8G的可存储空间，可以安装路由apps也可以下载资源，据说翻墙插件还很给力。对新鲜事物一直保持着高度兴趣的我，却没有机会买到这款路由，而且据说价钱会越来越贵，说不定之后还有收费的apps。想在路由器上翻墙嘛，自己动手实践一下就可以了在之前的《路由器上写CMCC自动登录验证脚本》  这篇文章中，我尝试了在使用openWRT的WR703N上接入8G的U盘也实现了在路由上安装和运行Python应用。不过当时很有目的性的玩玩，所以没有怎么深入探究底层的东西。昨天在ziv同学的陪同下，搞来了两个Tenda的路由器，老板邓先生帮我刷了Tomato的固件。话说，以前我的703N也是在他这里网购的，不过这次路过实体店了。在他的店里，看着他轻轻松松的拆掉里面的电子元件，然后放到一个地方进行编程，接着又轻轻松松的安装回去。我呆呆的看着，觉得很酷。突然想起初中的时候，自己拆开一个mp3.5为了刷固件，短路两条引脚结果太暴力被我弄断了，为了修好到处找店铺想方设法焊接上那块芯片上的引脚，到最后还是放弃了。邓先生说这个Tenda的路由只能刷Tomato的固件，刷openWRT固件的路由价格贵，稳定性也不高，所以我就看着便宜的捡了70块钱的Tenda回去。晚上就开始上手刷机，没有阅读 ...继续阅读 (107)

好吧，又很疯狂地做了一个东西：http://bt.shousibaocai.com/more平常我们高端用户都会用到BT工具来分享一些好玩的资源，例如ubuntu 13.04的ISO安装盘，一些好听的音乐等。这个时候我们会进入一个叫做P2P的网络，大家都在这个网络里互相传递数据，这种分布式的数据传输解决了HTTP、FTP等单一服务器的带宽压力。以往的BT工具（包括现在也有）在加入这个P2P网络的时候都需要借助一个叫Tracker的中心服务器，这个服务器是用来登记有哪些用户在请求哪些资源，然后让请求同一个资源的用户都集中在一起互相分享数据，形成的一个集群叫做Swarm。这种工作方式有一个弊端就是一旦Tracker服务器出现故障或者线路遭到屏蔽，BT工具就无法正常工作了。所以聪明的人类后来发明了一种叫做DHT（Distributed Hash Table）的去中心化网络。每个加入这个DHT网络的人都要负责存储这个网络里的资源信息和其他成员的联系信息，相当于所有人一起构成了一个庞大的分布式存储数据库。在DHT里定位一个用户和定位一个资源的方法是一样的，他们都使用SHA－1产生的哈希值来作标识。具体如何工作的呢？举个形象点的例子，把DHT网络比作一个朋友圈子，你想进入这个圈子必须要有一个人带领你进去，通常会有一些特定人负责介绍你进入这个圈子。当你被A带进这个朋友圈，此刻你就只认识A而已。但 ...继续阅读 (44)

在搭建支持HTTPS的前端代理服务器时候，通常会遇到让人头痛的证书问题。根据HTTPS的工作原理，浏览器在访问一个HTTPS站点时，先与服务器建立SSL连接，建立连接的第一步就是请求服务器的证书。而服务器在发送证书的时候，是不知道浏览器访问的是哪个域名的，所以不能根据不同域名发送不同的证书。用过GoAgent的人都知道需要给浏览器导入证书才能使用HTTPS正常登录Twitter等网站。SNI（Server Name Indication）是为了解决一个服务器使用多个域名和证书的SSL/TLS扩展。一句话简述它的工作原理就是，在连接到服务器建立SSL连接之前先发送要访问站点的域名（Hostname），这样服务器根据这个域名返回一个合适的证书。目前，大多数操作系统和浏览器都已经很好地支持SNI扩展，OpenSSL 0.9.8已经内置这一功能，据说新版的nginx也支持SNI。Github上有一个小巧的支持SNI的代理服务器，https://github.com/dlundquist/HTTPS-SNI-Proxy我down下来，在一个VPS上编译（需要安装pcre的开发库），写了一个简单的配置文件，把所有访问443端口的HTTPS请求都进行代理。启动sni_proxy之后，修改本地的hosts文件，把twitter.com映射为服务器的IP地址，比如我的是184.82.206.107 ...继续阅读 (37)

电影来了这个电影资源搜索网站火起来了，曾有一段时间因为太多人访问我的博客，访问量高于平常十多倍，Apache、PHP和MySQL这三个庞大的东西搭建的庞大的wordpress博客就直接挂掉了，直接挂掉了，挂掉了，了。。。从上一篇博文的评论中看出似乎很多同学都比较关注爬虫的源代码。我也给大家回复，当时写的文件比较乱，爬虫文件也很多，没时间整理，所以就直接发技术博文来说一下我个人对爬虫的研究收获。所以嘛，也就注定了我这篇文章只能跟爬虫相关了。我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！当时的文章链接:通过友情链接进行博客Feed的搜集，你的博客收录了吗本来也答应了网友把博客种子搜集的那个爬虫代码也公开的，唉，可惜我一直在服务器上用screen和vim来写代码，后来不久那个VPS就出故障了，提供商也没有给我修好。所以现在那个博客搜索引擎已经没有了。。。永远的没有了。。。只有等待新的出现！回到用Python写爬虫的话题。Python一直是我主要使用的脚本语言，没有之一。Python的语言简洁灵活，标准库功能强大，平常可以用作计算器，文本编码转换，图片处理，批量下载，批量处理文本等。总之我很喜欢，也越用越上手，这么好用的一个工具，一般人我不告诉他。。。因为其强大的字符串处理能力，以及urllib2，coo ...继续阅读 (24)

好吧，做了一个很疯狂的东西！http://movie.readself.com/平常我想要看电影的时候，总是需要在Google或者Baidu里搜索很长时间才能找到一个下载链接。比如说，我想看《黑天鹅》，我就去Google里搜索：ext:mkv Black Swan然后就搜出种子或者下载链接了。那么这一个过程，是否可以简化呢？是否可以预先搜集好每个影片的下载链接，然后存到数据库里，方便我想看电影的时候直接调出来下载呢？所以就这样萌生了写个爬虫的想法！最初还是听说荣哥写了一个爬虫放在学校的服务器爬了3个小时，就把100万首音乐资料全部下载了。我后来本想跟随荣哥的足迹的，但突然觉得电影对于我来说比音乐更重要些。预祝荣哥顺利踏上去谷歌山景城总部的愉快旅程结合我之前做博客搜索引擎的经验，这次做一个电影资源搜索引擎吧！除了自己使用之外，还可以推荐给身边的各位朋友使用。私底下分享即可！为了搜集这些电影资料，写了n多个爬虫，分别干不同的事情，整合了几个站点的资源。幸好教育网网速还行，每次基本上都可以用几个小时就爬完我需要的影片信息。不同站点的资源的整合，也写了不少程序来智能匹配。比如说，我现在有100多万的电影下载地址或者种子，我怎么跟我的影片信息库关联起来呢？按照我以往做文本分析的经验，通过计算链接和影片信息之间的联系程度，取关联程度最高的一个进行匹配。尽管如此，我发现还是有5%左右的影片的下载 ...继续阅读 (21)

今晚已经是大学的最后一个中秋节啦！路过生活区球场，看到月亮不是一般的大和圆！可惜都给我这手机毁了……足球场上的新生情侣呀，成双躺在软软草坪上，也不是一般的幸福！回想一下大学四年，好像只有一年的中秋节是在家里度过的，忘了是不是大一的那一次了！本来还以为今年也可以回家里去，结果还是，车站太恐怖，没买上车票。想了一下，还是改天再回去吧！收到来自北京的neptune同学的月饼，好精美啊！这个是邮寄的包装盒，好大的一个，我还以为里面非常有分量，结果一抱起来，才那么点重量……昨天下午一觉醒过来，就看到宿舍里有几个人商量着去abc唱K，好吧，这么爽的事情，哪能没有我呢！RayRain同学果断还是最能唱Jay Chou的歌。今晚跟隔壁宿舍的同学在室内打煲，吃的还是很不错的，照片就没啦！ ...继续阅读 (20)

有时候庆祝生日并非一件愉快的事情。记错了日期并不可怕，可怕的是它使你最深信不疑的信念一秒崩落。当记忆不再可靠，只能抽丝剥茧，从现实寻回最初的真相，然而真相又是否能如想象中般美好？毫无疑问，我是这部片的摄影师啦！ ...继续阅读 (10)

经常切换到新环境下工作，例如VPS变更了，电脑换了，OS换了等。无论是哪个发行版的Linux，还是哪个版本的OSX或BSD，只需要配置一下Bash和Vim这两个使用最频繁的工具就OK。听说“天然呆小萌兔”去了Google，难怪最近一直那么萌的了，她说她的部门只有一个人用Emacs，Vim还是目前主流。公司给她配了一个Macbook和一个Linux PC，这么爽我也不想在学校里呆了……Vim配置Vim作为最主要的编辑器，无论是代码、脚本、文本还是二进制文件，都会用到它。一般通过编辑 ~/.vimrc来设置自己的Vim配置，保存后重启Vim就能生效。如果提示按Enter键才能使用Vim，说明配置文件有错了。more如果去到一个陌生的环境，没有自己的Vim配置在身边，则只需要记住下面这一行，再加上syntax on打开语法高亮，足够进行大部分的开发工作。set nu sts=4 ts=4 sw=4 et si ainu是显示行号，ts是tabstop，sts是softtabstop，sw是shiftwidth，这三个参数是指代啥我都忘了，就知道是和tab制表符相关的。et是expandtab，即把自动把一个tab扩展为空格。si是smart indent，ai是auto indent，有何区别呢？完整的Vim配置，如下：set nu sts=4 ts=4 sw=4 et si aiset ...继续阅读 (9)