关于打算造个轮子，先备份下简单的设计手册吧。Minder是一个分布式启停进程服务，主要用于以下目的。命令或远程RPC调用启动和停止进程当进程挂掉，可以拉起来进程获得机器对应的系统信息，如CPU，内存，硬盘等等设计方案一（不采用）分为Server和Client端ServerServer在每台机器上都需要安装，Server是个常驻进程，负责真正的启停进程，同时需要一个Check线程，用于判断进程状态，当程序挂掉以便重启进程，重启进程可以在配置里有个次数限制。ClientClient就是一个工具，用于向指定的Server发送请求，Server收到请求，启动进程。因为协议使用RPC，为了方便，使用脚本语言编写更好。程序流程Client发送请求，根据Client命令，判断是启动还是停止进程，假设是start进程，那么通过RPC的stub_client发送到Server的stub_server，之后调用对应的startProcess函数，通过fork+exec启动进程，同时Server需要有个Loop线程，判断进程的状态，以便重启进程。因为一个Server需要启动不同的服务，同时Server也可能会挂掉，所以Server需要持久化进程的信息，以便Server挂掉后恢复这些进程信息。细节想象下我们启动进程都需要哪些参数？12345678910111213141516{"processI ...继续阅读 (11)

随着索引数据的增大以及请求的增多，分布式搜索是最好的一种解决方案，主要解决两个问题，其一是能让单台机器load所有索引数据到内存中，其二是请求延时大，解决请求latency问题。我之前为团队写了篇专利，内容是关于分布式搜索解决方案的，所以粗略的看了下大部分开源的搜索引擎是怎么实现分布式的，后面的文章我会简单说下常见的搜索引擎的分布式解决方案。首先我们先说下几个简单概念，分布式搜索都是M*N（横向切分数据，纵向切分流量）这个维度去解决问题的，虽然不同产品或场景概念不完全相同，读者可以简单认为一份完整的数据，被均分为M份，每一份被称为一个分配（Shard或者Partition），然后提供对每个Shard提供N份副本（Replica）。那么分布式的设计就围绕着以下问题：如何选择合适的分片(Shard)，副本(Replica)的数量如何做路由，即怎么在所有Shard里找到一份完整的数据（找到对应的机器列表）如何做负载均衡如果提高服务的可扩展性如何提高服务的服务能力（QPS），当索引和搜索并发量增大时，如何平滑解决如何更新索引，全量和增量索引的更新解决方法如果提高服务的稳定性，单台服务挂掉怎么不影响整体服务等等下面就说下常见的搜索引擎的分布式解决方案，因为开源的搜索产品基本上都没有在工作中用过，对代码细节并不是太了解，只是研究了下其原理，所以理解的会有些偏差，看官们如果发现错误直接指出即可。 ...继续阅读 (12)

搜索引擎服务收到一个Query后，一般引擎这边是这么搞得，解析语法，生成后缀表达式，即查询搜索树（Search Tree）。搜索查询树负责求交、求并和过滤。所以这个地方也是性能关键点。所以在解析语法后，一般要做查询搜索树优化，减少求交，求并和过滤操作的次数，以此来提高搜索服务的QPS和查询Latency。因为同事在负责新实时索引的性能优化，我正好负责将全量索引格式迁移到新实时索引上面，即实时索引的代码即支持全量索引也支持实时索引，减少运维和代码维护成本。我在查阅代码的同事，顺便与同事沟通了一些优化方法，进入全量索引代码里发现老的全量索引里已经有一些优化方法了，这些方法应该是市面上常见的方法，多数人也是应该知道的，这里记录下吧。主流优化操作主要包括以下四种：全AND操作如果父子节点都是AND，则可以合并，如（A & B）& (C & D)，优化后为 A & B & C & D ，能提早发现交为空，并退出，如下图所示。优化后为：全OR操作如果父子节点都是OR，则可以合并。如 （A | B）| (C | D)，优化后为 A | B | C | D，能提早发现为满并退出。如下图所示：优化后为：将子节点的OR上提如 (A | B) & (C &D)，优化后为 A |(B & C | D)，查找次数减少。优化后为：按照D ...继续阅读 (11)

打算闲暇时光写点靠谱的东西比如名字服务、KV存储等基础服务类软件，所以周末就先从封装一些基础库开始。上周末写了个C++日志库，支持多线程，性能也还不错，今天就做了下测试和修改了下bug。这里说下该库的使用方法，以及实现思路以及一些性能调优方法。欢迎交流和指教。源码地址https://github.com/armsword/dlog使用方法将etc文件下的dlog.json扔到可执行文件的当前目录（当然只要能让可执行文件找到dlog.json即可），每个函数包含logger文件夹下的Log.h头文件，在主函数里调用DLOG_INIT初始化一次，之后在每个需要打印log的文件里调用DLOG_LOG即可。如实例所示：1234567891011121314#include<dlog/logger/Log.h>#include<unistd.h>usingnamespacedlog::logger;intmain(){DLOG_INIT();DLOG_LOG(WARN,"test the log level using log lib!");DLOG_LOG(DEBUG,"Hello World, %d",2016);DLOG_LOG(INFO,"test Log C/C++ lib");DLOG_LOG(ERROR,"Hello everyone, thi ...继续阅读 (12)

简单说下，2011年左右的Paper，Paper里说Twitter的实时索引和检索系统叫做Earlybird，Paper中主要讲了2件事，第一个就是支持Twitter的实时索引的倒排索引结构是怎么样的，第二个就是利用Java并发模型，处理并发读写。该引擎功能：低延时、高吞吐能力；能处理突发峰值（Weibo的特性）；突出时效性，时间越近，排名应该越靠前；该实时引擎支持AND、OR、NOT以及短语查询，实时性大约10S，查询latency 50ms；该实时引擎，基于Lucene，使用Java开发，理由是：利用已存在的Lucene代码，并用来做全量索引；适用于Twitter以JVM为中心的开发环境；利用Java和JVM提供容易理解的并发模型；其实上面几条理由与阿里很多开发项目类似，但是阿里的搜索引擎是C++编写的，质量也是非常不错的，叫问天(HA3)。索引构建过程：Earlybird处理三种信号：静态信号，初次建立索引时被添加；共鸣信号，动态更新的，比如tweet转发次数；搜索用户信息，用来个性化排序；用户发布tweet，之后被发送到一个队列，叫做Ingestion Pipeline里。这些tweet会被分词，并被加上一些meta信息，比如语言等；为了处理大容量，tweet按照哈希算法，分发到各个Earlybird服务上，之后将tweet实时地建立索引；如上图所示，有一个Updater服 ...继续阅读 (18)

前言简单说下问题情况，Proxy即作为客户端又有服务端功能，其接受QS（Query Server）的请求，之后向BS（索引服务）发送请求，然后根据BS的返回结果Merge后返回给QS。不能泄露太多东西，所以本文主要是整理一些知识点和问题查找思路。问题和现象：Proxy机器上出现大量的CLOSE_WAIT。Proxy失去服务能力，内存使用不为0，CPU使用率为0。机器报警，TcpListenOverFlows。123456789101112131415命令查看：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a inS)printa,S[a]}'结果：TIME_WAIT31927CLOSE_WAIT1570ESTABLISHED40TIME_WAIT：表示主动关闭，通过优化系统内核参数可容易解决。CLOSE_WAIT：表示被动关闭，需要从程序本身出发。ESTABLISHED：表示正在通信注：以上数据非真实线上情况，只为举例一些知识点TCP握手图TIME_WAIT:Linux系统下，TCP/IP连接断开后，会以TIME_WAIT状态保留一定的时间（2MSL：max segment lifetime），默认为4分钟，然后才会关闭回收资源。当并发请求过多的时候，就会产生大量的 TIME_WAIT状态的连接，无 ...继续阅读 (47)

刚入职，我在索引这个组，需要熟悉下之前的搜索索引模块的代码，以便后续开发。我在新申请的测试机器上编译代码部署索引这个模块就报错了。定位出现问题的地方，代码大致流程是这样子的：12345678910if(conf->use_memlock_for_mmap){// add MAP_LOCKED to lock the bufferattr_hash =(AttrIndexInfo*)mmap(NULL, fsize, PROT_WRITE | PROT_READ, MAP_SHARED | MAP_LOCKED, fd, 0);} else {attr_hash =(AttrIndexInfo*)mmap(NULL, fsize, PROT_WRITE | PROT_READ, MAP_SHARED, fd, 0);}而参数里配置了use_memlock_for_mmap 选项，于是代码就走到第一个mmap逻辑处。使用ulimit -a查看下系统属性：1234567891011121314151617[armsword@search-querybs1~]$ ulimit -acore file size (blocks, -c)4194304data seg size (kbytes, -d) unl ...继续阅读 (61)

再过几个小时就2016年了，对2015年做个小的总结吧。2015年，结束了20年的学业生涯，我完成了从学生到职场人士的转变。2015年4月上旬我离开了北邮，5.1后，正式入职，目前已有着接近8个月的工作经验。20年的学生时光有着太多太多的故事，不打算长篇大论，这里就简单总结下我研究生期间做的让自己记忆深刻的事情以及这几个月在阿里所做的事情吧。研究生时光研究生期间很认真的补计算机基础，由于太努力以及自己不怎么锻炼，导致后期脊椎出了点小问题，并且后期身体免疫力下降，大病了一场，持续了大半年之久，入职时都没好利索。前期努力没有白费，校招时候没怎么努力就拿到想要的工作Offer。研究方向从信息安全转向到做搜索引擎相关工作研发，并且希望今后自己能在搜索相关方向有所建树。校招目标公司从微软（由于微软裁员）转到阿里杭州（研二暑假七月份转变的），并在2014年9月份顺利拿到校招Offer，早早结束了校招。在原神马搜索商搜的负责人张栋的帮助下，校招转岗到阿里巴巴移动事业群-神马搜索-核心引擎部门，这里感谢张栋老师。在校期间不满导师人品，要求辞退换导师，没被批准，被中心记过一次。要求导师给实验室提高补助，新的补助策略是我定的，基本工资500一月，加班费另算（记得是100一天），最后导师通过了提案，实验室师弟师妹每月收到的补助提高了一倍多，而此时我早已离开实验室，并且我在校实验室期间没有一个月补助超过3 ...继续阅读 (59)

前段时间把《程序员的自我修养—链接、装载与库》这本书看完了，期间有些地方不是太明白，当时网络搜索了下，今天把当时看到的东西摘抄下，基本文中大部分内容都是拷贝下面提到的参考链接里的东西，自己在组织下，以备以后需要时查看。地址分为三类，逻辑地址，线性地址和物理地址。在《深入理解linux内核》中其把地址分为三类：逻辑地址（汇编语言中操作数地址或指令的地址，对于80x86的CPU，逻辑地址是段+段内偏移地址）、线性地址（也叫虚拟地址）和物理地址。但在Stott Maxwell的《Linux Core Kernel Commentrary》中确是这样分的：逻辑地址（也叫虚拟地址）、线性地址和物理地址。按照386CPU总设计师John Crowford的解释，虚拟地址是保护模式下段和段内偏移量组成的地址，而逻辑地址就是代码段内偏移量，或称进程的逻辑地址。其实对于linux来说，这三种说法都没错，由于linux下并不主张将程序分段，而是主张分页，所以即使是在80x86的体系结构下，段的基地址也是0。因此逻辑地址、线性地址、虚拟地址在linux中其实是相同的。所以对于linux下的ELF可执行文件来说，代码段的起始地址0x08048000既是逻辑地址，也是线性地址也是虚拟地址。1.X86的物理地址空间布局以x86_32，4G RAM为例：物理地址空间的顶部以下一段空间，被PCI设备的I/O内存映 ...继续阅读 (13)

在TCP/IP中能够实现传输层功能的、具有代表性的协议是TCP和UDP。TCPTCP是面向连接的、可靠的流协议。流就是指不间断的数据结构，你可以把它想象成排水道中的水流。当应用程序采用TCP发送消息时，虽然可以保证发送的顺序，但还是犹如没有任何间隔的数据流发送给接收端。TCP充分地实现了数据传输时各种控制功能，可以进行丢包时的重发控制，还可以对次序乱掉的分包进行顺序控制。而这些在UDP中都没有。此外，TCP作为一种面向有连接的协议，只有在确认通信对端存在时才会发送数据，从而可以控制通信流量的浪费。根据TCP的这些机制，在IP这种无连接的网络上也能够实现高可靠性的通信。TCP为提供可靠性传输，实行“顺序控制”或“重发控制”机制。此外还具备“流控制（流量控制）”、“拥塞控制”、提供网络利用率等众多功能。TCP通过检验和、序列号、确认应答、重发控制、连接管理以及窗口控制等机制实现可靠性传输。通过序列号与确认应答提高可靠性在TCP中，当发送端的数据到达接收主机时，接收端主机会返回一个已收到消息的通知。这个消息叫做确认应答（ACK）。TCP通过肯定的确认应答（ACK）实现可靠的数据传输。当发送端将数据发出之后会等待对端的确认应答。如果有确认应答，说明数据已经成功到达对端。反之，则数据丢失的可能性很大。在一定时间内没有等到确认应答，发送端就可以认为数据已经丢失，并进行重发。由此，即使产生了丢包 ...继续阅读 (24)

Emacs开发环境配置Vim开发环境配置首先，我们先看下自己的VIM都安装了什么插件，命令：:scriptnames我们先配置下vimrc文件，vim ~/.vimrc ，我们先设置让其显示行号和高亮代码，添加如下代码：set nu! “显示行号syntax enable “语法高亮syntax onTagList功能：有点像VC里面的工作区，里面列出了当前文件的所有的宏，全局变量，函数名等。CTRL+W 连续2下可以左右切换。下载taglist压缩包, 下载地址：http://www.vim.org/scripts/script.php?script_id=273，然后把解压的两个文件taglist.vim 和 taglist.txt 分别放到$HOME/.vim/plugin 和 $HOME/.vim/doc 目录中。之后在～/.vimrc中添加如下几条命令：let Tlist_Auto_Open = 1let Tlist_Ctags_Cmd = ‘/usr/bin/ctags’let Tlist_Show_One_File = 1let Tlist_Exit_OnlyWindow = 1此时，我们打开一个.c文件查看，发现左边多出一个workspace，当不想出现此工作区时，使用:Tlist可以关闭和打开。Ctags功能：ctags的作用是为系统头文件及自己的程序头文件 ...继续阅读 (17)

之前看过一些开源程序的源码，也略微知道些Apache的CGI处理程序架构，于是用了一段时间，用C写了一个简单的CGI Server，代码算上头文件，一共1200行左右，难度中等偏上。麻雀虽小，五脏俱全。如果把程序里所涉及的HTTP协议，Linux下POSIX编程等等搞清楚，我想找工作中肯定是有足够的竞争力的，当然我也只是皮毛而已，不再班门弄斧了，下面简单的说下程序流程吧。再说程序流程之前，我先简单说下CGI吧，CGI这个东西比较老了，N年之前，没有PHP JSP等等动态脚本之前，这个是非常火的。只要能支持输入输出的程序，都可以编写CGI脚本，比如Apache就集成了CGI服务器功能，你可以使用Python编写简单的CGI脚本，可以参照前几天我发的文章，点击此处，现在CGI 脚本基本上使用的比较少了，但是在一些对效率要求比较高的设计里还是可以看到一些身影，比如腾讯的QQ相册，QQ空间里就可以看到（你可以打开QQ空间，查看源码-查找CGI），他们的脚本应该是C/C++编写的，效率，你懂的，如果你想更多的了解CGI脚本相关，可以点击此处，推荐了解一些，但是不值得深入学习，那个精力不如学习PHP/Python了。。。其实说白了，CGI 扮演的就是在服务器和特定解释器之间输入输出协议的角色，每个来自用户的请求，Web服务器都会唤起特定语言解释器的命令行，执行CGI脚本。现在来介绍下此CGI ...继续阅读 (26)

之前我写过一篇文章，介绍过怎么下载百度音乐无损音乐，但是前几天有网友给我邮件说这个方法现在不能使用了。我今天正好回实验室改论文，弄完后，研究了下，发现之前的无损音乐下载方法确实不能使用了，之后用了几十分钟又分析了下，终于找到新方法了，因为我听见外面打雷了，貌似要下雨，我简单的说下方法吧：1、之前是从http://music.baidu.com/入手的，现在发现从此处入手已经找不到方法了。由于我又不是太懂JS语法，于是用了几十分钟，没分析到地址放弃。2、灵光一闪，从http://fm.baidu.com/入手，在Chrome下抓包，细心分析后，果然发现蜘丝马迹，如下图所示：见左图那个灰色的链接，我们打开链接看下，嘿，发现了许多歌曲信息哦，如下图所示：由于是FM，所以songIDs有一大串，咱们试试构造下，以黑蝙蝠中队为例，其有三种音乐格式，第一种是可以直接下载的，第二三种是收费的：我们构造下不同格式的音乐试试看，以无损音乐flac格式和921kbps为例：构造的链接为：http://music.baidu.com/data/music/fmlink?songIds=966991&type;=flac&rate;=921将songLink后的地址格式化为正常网页地址，如下所示：http://yinyueshiting.baidu.com/data2/music/33809115/966 ...继续阅读 (28)

哈希被广泛使用在很多领域，如数据存储，加密，计算机视觉（几何哈希），此处就简单整理下几个常见的Hash函数的实现，有空陆续补充吧。BKDR Hash Function1234567891011121314151617// 本算法由于在Brian Kernighan与Dennis Ritchie的《The C Programming Language》一书被展示而得名，是一种简单快捷的hash算法。// 也是Java目前采用的字符串的Hash算法（累乘因子为31）。// 此哈希函数用的最多templatesize_t BKDRHash(const T *str){register size_thash=0;while(size_t ch = (size_t)*str++){hash=hash*131+ ch; // 也可以乘以31、131、1313、13131、131313..// 可将乘法分解为位运算及加减法可以提高效率，如将上式表达为：hash=hash<<7+hash<<1+hash+ ch;}returnhash;}其中累乘因子也可以为131、1313、13131，比如下述代码就使用了33。1234567unsignedinttimes33(char*str){unsignedintval =0;while(*str)val = (val <<5) + val + (*s ...继续阅读 (22)

用了2-3天时间，学了下前端开发方面的基础知识，没怎么看教程，就是想实现某些功能或者遇到问题就去搜索解决，遇到了一些坑，但是收获也挺大的，于是随手写了个Chrome插件，可用来下载百度无损音乐的，比较简单，懒得讲啥原理了，这里只分享下已注释源码和使用方法吧。程序地址点击下载插件使用方法本插件支持Chrome浏览器和UC桌面浏览器，其他Webkit内核的浏览器应该也支持，但是我没做测试。Linux系统下安装方法Linux下直接下载此插件，之后解压后，在BDMusicDownloader文件夹下发现一个src.crx文件，将其拖入到Chrome浏览器-设置-扩展程序界面即可，当打开如以http://music.baidu.com/song/开头的链接时，即下载音乐地址，会自动弹出插件，点击下载即可。如图所示：Windows下安装方法从程序地址里下载安装插件，解压文件夹，注意，因为Chrome在Win下的安全限制，所以此文件夹不能删除，之后同上所示，但不是拖入src.crx文件，而是选中开发者模式-加载正在开发的插件-BDMusicDownloader，之后选中src文件，打开即可。如图以UC桌面浏览器为例：说句题外话，UC桌面浏览器真的还蛮好用的，支持Chrome插件（废话，使用的都是同一个内核），但是自带科学上网，打开Github速度就挺快的，推荐使用。需要改进的地方因为我前端经验太 ...继续阅读 (18)

租了两年多的服务器要过期了，不打算续费了，于是就研究了下将博客从WordPress迁移到静态博客上，后来选择了hexo静态博客，node.js编写，并且同时使用Github和Gitcafe托管博客。在迁移过程中，删除了部分难修改且目前无意义的博客，并且链接我也没改成与之前一样，就这样吧，反正我也不在乎流量，就当个记事本用。这里简单记录下将WordPress迁移到静态博客和将博客同时托管到Github和Gitcafe过程。Ubuntu下安装node.js12345sudo apt-getupdatesudo apt-getinstall -ypython-software-properties software-properties-commonsudoadd-apt-repositoryppa:chris-lea/node.jssudo apt-getupdatesudo apt-getinstall nodejs安装hexo1npminstall-g hexo创建hexo文件夹随便找个文件夹，之后执行以下命令，hexo会自动在该目标文件夹下建立网站所需要的所有文件。1hexoinit安装依赖包1npminstall执行以下命令，在浏览器输入localhost:4000查看12hexo generatehexoserver将博客从wordPress迁移到hexo中安装WordPre ...继续阅读 (20)

前段时间事情太多了，忙着写毕业论文，考试，然后又被抽到了盲审，不过好在有惊无险，最后也在学院提交三月中旬申请答辩成功，如果盲审顺利的话，4月份就可以毕业了。不过这段时间总算可以看代码、看书了，感觉自己操作系统方面有些不扎实，索性买了本孙钟秀的《操作系统教程》看，之后顺便阅读和分析了jwSMTP源码，这里写篇文章记录下。本文不想对代码细节作太多分析，因为代码比较好读，并且文章末尾我会放出我注释过的源码链接，所以此文多介绍下原理吧。jwSMTPjwSMTP是一个由C++编写的发送邮件的库，支持Linux、Windows等平台。可使用HTML或纯文本方式发送邮件。也可添加附件，支持多个收件人。并且支持LOGIN和PLAIN两种服务器验证方式。两种调用方式第一种方式1234567mailer mail(“myfriend@friend.com”,// who the mail is too“someone@somewhere.net”,// who the mail is from“Thereisalways roomforFooBar”,// subject for the email“Foo\nBar”,// content of the message“ns.somewhere.net”);// the nameserver to contact// to query for an ...继续阅读 (116)

团队师兄给我说，我们团队统一使用Emacs编程，因为那边是结对编程，所以作为一枚Emacs门外汉，还是需要在明年入职前，熟悉下Emacs的基本操作的，今天折腾了一小会，感觉要比Vim复杂好多，并且总是感觉自己手不够大，命令也要比Vim难记住，索性写篇笔记记录下吧。安装EmacsUbuntu已支持最新版本，命令直接安装即可：sudoapt-get install emacs即可成功安装，目前是GNU Emacs 24.3.1版本。熟悉快捷键在Emacs的快捷键中，C表示Ctrl键，M表示Alt键，快捷键C-x C-f代表的含义就是：先按下Ctrl不放，然后按下x键；接着放手，再按下Ctrl键不放，最后按下f键。启动后会看到一个欢迎界面，按q关闭它即可进入普通编辑器模式。常用的快捷键如下所示：新建文件：C-x C-f保存文件：C-x C-s退出文件：C-x C-c选中：C-@复制：M-w剪切：C-w粘贴：C-y撤销：C-x u删除一行：C-k搜索：向前搜索 C-s，向后搜索 C-r上移：C-p下移：C-n左移：C-b下移：C-f移动到行首：C-a移动到行尾：C-e切换Buffer：C-x b显示Buffer列表：C-x C-b跳转到最后一行：C-End跳转到第一行：C-Home跳转到指定行我自己定义了M-x快捷键。为了阅读源代码，安装了Global插件sudo apt-getinsta ...继续阅读 (14)

1.什么是Cache和LRU Cache狭义的Cache指的是位于CPU和主存间的快速RAM， 通常它不像系统主存那样使用DRAM技术，而使用昂贵但较快速的SRAM技术。 广义上的Cache指的是位于速度相差较大的两种硬件之间， 用于协调两者数据传输速度差异的结构。除了CPU与主存之间有Cache， 内存与硬盘之间也有Cache，乃至在硬盘与网络之间也有某种意义上的Cache── 称为Internet临时文件夹或网络内容缓存等。CPU中Cache能极大提高存取数据和指令的时间，让整个存储器(Cache和内存)既有Cache的高速度，又能有内存的大容量；操作系统中的内存Page中使用的Cache能使得频繁读取的内存磁盘文件较少的被置换出内存，从而提高访问速度；数据库中数据查询也用到Cache来提高效率；即便是Powerbuilder的DataWindow数据处理也用到了Cache的类似设计。Cache的算法设计常见的有FIFO(first in first out)和LRU(least recently used)。LRU是Least Recently Used的缩写，意思是最近最少使用，它是一种Cache替换算法。Cache的容量有限，因此当Cache的容量用完后，而又有新的内容需要添加进来时， 就需要挑选并舍弃原有的部分内容，从而腾出空间来放新内容。LRU Cache 的替换原则 ...继续阅读 (16)

在Socket编程时，为了处理大量客户的连接请求，需要使用非阻塞I/O和端口复用，select、poll和epoll是Linux API提供的I/O复用方式。其实在*nix下的网络并发方法向来不缺，比如典型的Apache模型（Process Per Connection，简称PPC），TPC（Thread Per Connection）模型，这两种模型思想类似，就是利用了多进程、多线程概念，让进来的每一个连接去干别的事情去。但是连接多了以后，首先需要较大的内存，且进程/线程切换开销会非常大，因此这类模型能接受的最大连接数都不会太高。Linux 2.6中加入了epoll之后（据说Windows下使用的是IOCP，但是我没使用过），在高性能服务器领域中得到广泛的应用，主要原因就是高效。在讲epoll之前，我们先总结下select、poll，因为epoll其实也就是他们的增强版本，比如select是一个系统调用，而epoll是个模块，由三个系统调用组成，内核中由文件系统实现。<1> selectselect的第一个参数为fdset集合中最大描述符值加1，select对应于内核中的sys_select调用，sys_select首先将第二三四个参数指向的fd_set拷贝到内核，然后对每个被SET的描述符进行poll，并记录在临时结果中(fdset)，如果有事件发生，select会将临时结果写 ...继续阅读 (20)

大学时候刚接触编程时候，用的是微软系列的编译器，现在虽然经常在linux 下折腾代码，但是还是认为微软系列的编译器对用户来说，真的是太方便了。现在许多人都是啥vim党，emacs党派，各种秀操作，秀技巧，还有索性从来不用鼠标，其实我感觉对于普通人来说，这是没什么意义的，鼠标和图形发明出来就是为了更好的工作和生活，何乐而不为呢，用了2天的Sublime Text 2，我感觉很棒，这里推荐下。 以上是瞎唠叨两句，主要是我想用gdb看下C++的虚函数表，折腾了半天还没折腾明白，我记得当我刚接触VC6.0的时候，在Memory窗口很容易找到虚函数表啊。下面写点无逻辑的关于GDB调试虚函数的文章吧，本文无逻辑可言，可能一些关键点是给自己备忘用的。1234567891011121314151617181920212223242526272829303132333435363738394041#include#includeusingnamespacestd;classBase{public:virtualvoidA(){printf("This is Base A\n");}voidB(){printf("This is Base B\n");}};classD:publicBase{public:voidA(){printf("This is D A\n");}voidB(){printf( ...继续阅读 (15)

我们知道知名的Web网站压力测试工具有Webbench、ab、http_load、siege等等，这种工具的源码都不是太长，所以，我用了一下午和晚上时间仔细了分析了Webbench的源码，并且写下这篇博客记录下。我们先看下一般Webbench是怎么做压力测试的吧，方法很简单，如下所示：12345678910#模拟200次请求，持续时间5秒的压力测试 -c后为并发数， -t 后为持续时间[imlinuxer@imlinuxer webbench-1.5]# webbench -c200-t5http://localhost/index.phpWebbench-SimpleWebBenchmark1.5Copyright(c)RadimKolar1997-2004,GPLOpenSourceSoftware.Benchmarking:GEThttp://localhost/index.php200clients, running5sec.Speed=156804pages/min,128496336bytes/sec.Requests:13067susceed,0failed.那Webbench的原理是怎么样的？其实也是很简单的，就是根据提供的参数构造HTTP请求Header，然后使用fork，创建指定大小（webbench提供的参数-c 后的数字，上文为200）个子进程，每个子进程利 ...继续阅读 (27)

喊了几天学习Web开发，为了毕业论文，今晚上计划也是看看CSS呢，但是实在是没忍住，读了下经典的tinyhttp的源代码，这款代码还是颇有名气的，网上这么评论的：tinyhttpd是一个超轻量型Http Server，使用C语言开发，全部代码只有500、600行，附带一个简单的Client，可以通过阅读这段代码理解一个Http Server的本质。其实，代码颇简单，适合刚学习Web Server的童鞋学习，因为我之前写过CGI Server，所以，我还是认为此代码写的一般，并且我在Ubuntu下编译遇到了不少错误，我都懒得写详细分析了，所以随便写下吧，后面的Github地址里有详细的分析。源码下载地址：http://sourceforge.net/projects/tinyhttpd/make编译后会有不少错误和警告，我这里说下怎么改正错误：1、Makefile文件里的：gcc -W -Wall -lsocket -lpthread -o httpd httpd.c ，修改为：gcc -W -Wall -o httpd httpd.c -lpthread2、481行的 int client_name_len 改为 socklen_t client_name_len3、436行 改动与上面相似，改为socklen_t类型即可。4、34行改为voidaccept_request(voi ...继续阅读 (238)

需要用C 写个CGI，所以，我先用python简单的写了一点代码，来验证自己的想法。由于第一次写cgi程序，所以配置环境不是太熟，遇到了一些小问题，折腾了个把小时才搞明白，这里记录下让python支持cgi时，Apache配置文件的设置。1.先创建cgi-bin文件夹Ubuntu下的Apache默认WWW地址为/var/www，在此目录下创建cgi-bin文件夹，即/var/www/cgi-bin2.使用python编写cgi程序，我们简单的写个hello world吧，hello.py1234567891011#!/usr/bin/pythonprint"Content-type:text/html\r\n\r\n"print''print''print'Hello Word - First CGI Program'print''print''print'Hello Word! This is my first CGI program'print''print''然后将cgi-bin文件夹下的内容权限设置为755，即chmod 755 hello.py3.访问hello.py，即127.0.0.1/cgi-bin/hello.py这时候会出现 错误提示：You don’t have permission to access /cgi-bin/ on this server.4.修 ...继续阅读 (25)

智能指针类与普通指针一样，但它借由自动化内存管理保证了安全性，避免了诸如悬挂指针、内存泄露和分配失败等问题。智能指针有好几种实现方式，STL和Boost库里都有实现，比如使用句柄类和引用计数方式。我们现在使用引用计数定义智能指针，智能指针类将一个计数器与类指向的对象相关联。使用计数跟踪该类有多少个对象共享同一指针。使用计数为0时，删除对象。使用计数有时也称为引用计数（reference count）。使用一个计数变量，并将其置一，每新增一个对象的引用，该变量会加一，移除一个引用则减一，即当对象作为另一对象的副本而创建时，复制构造函数复制指针并增加与之相应的使用计数的值。当对一个对象进行赋值时（=操作符），覆写=操作符，这样才能将一个旧的智能指针覆值给另一指针，旧的引用计数减一，新的智能指针的引用计数则加一。示例如下：1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768templateclassSmartPointer{public:SmartPointer(T*ptr){ref=ptr;ref_count = (unsigned*)malloc(sizeof(unsigned));* ...继续阅读 (14)

一致性hash算法在分布式系统里面使用比较广，我也只是听说过这个概念，今天看到一个一致性hash开源库，随手写篇文章，记录下吧。假如我们使用普通的哈希方式来处理负载均衡，到目标机器的映射使用的算法为：hash(o) mod n (n表示机器的总数)如果需要增加或减少一台机器的时候，算法就变为 hash(o) mod (n + 1) / hash(o) mod (n - 1)不仅需要重新编写代码，当服务器做了大量变更，大量的o会重定向不同的服务器而导致了缓冲不被命中，所以此时，就提出了一致性hash算法。一致性哈希算法：简单的说，哈希函数将o映射到 0 ~ 2^32 - 1的值区间，将这些数字头尾相连，然后将它们组织成一个闭合的圆环。如图一所示：要实现一致性哈希算法，思路就是下面2个步骤：<1>将数据通过一定的hash算法映射到环上："><1>将数据通过一定的hash算法映射到环上：hash(object1) = key1;。。。hash(object4) = key4;<2>将机器通过哈希算法映射到环上"><2>将机器通过哈希算法映射到环上假如有三台cache机器，A，B，C，一般情况下hash计算是采用机器的IP或者机器唯一的别名作为输入值。hash(cache A) = key A;。。。hash(cache B) = key C;然后顺时针方向计算，将所有object（数据） ...继续阅读 (26)

使用python写过几个小玩具，基本上都与爬虫、Web相关的，自己也积累了下经验，也看过很多文章，一直想总结下，可惜现在要忙于找工作，实验室活也比较多，也就落下了。感觉如果时间长不记录，也就懒散了，并且许多东西我写完过个两天，我自己都记不住当时怎么想的了。0、HTTP协议基本上常见的Web开发里，Web内容都是通过HTTP协议进行传输的（虽然咱不懂Web开发，但是基本的计算机网络知识还是了解的），通过TCP连接服务器的80端口，爬虫其实质就是通过模拟浏览器发送HTTP请求，至于HTTP请求相关知识，点击这里。1234HTTP通常通过创建到服务器80端口的TCP连接进行通信HTTP协议的内容包括请求方式（method）,url，header，body，通常以纯文本方式发送HTTP返回内容包括状态码，header，body，通常以纯文本方式返回header以及body间以CRLF(\r\n)分割1、最基础的抓取网站内容使用python编写一个网络爬虫是非常简单的，如下例所示：12importurllib2content = urllib2.urlopen('http://armsword.com').read()但是实际工作中，这样肯定是不行的，你会遇到各种各样的问题，如下：网络出现错误，任何错误都可能。例如机器宕了，网线断了，域名出错了，网络超时了，页面没有了，网站跳转了，服务被禁了 ...继续阅读 (41)

这几天在用C语言实现一个轻量级 CGI Server，还差一小部分就完成了，昨天晚上在实现URL Decode功能，怎么也实现不了，当时感觉累了，智商就跟不上了，今天起床后，重新实现了该部分代码，发现是我对URL 编码和解码部分理解不够深入，这里记录下。我这里简单说下原理，不懂的看下参考资料里的详细解释，URL链接里的中文是以UTF-8编码的，URL 链接里的编码规则为：将空格转换为加号（+）。对0-9,a-z,A-Z之间的字符保持不变。对于所有其他的字符，用这个字符的当前字符集编码在内存中的十六进制格式表示，并在每个字节前加上一个百分号（%）。如字符“+”用%2B表示，字符“=”用%3D表示，字符“&”用%26表示，而“我爱你中国”用%e6%88%91%e7%88%b1%e4%bd%a0%e4%b8%ad%e5%9b%bd表示。所以，对于%e4%b8%ad我们想解码的话，只需要把e4 b8 ad 各字符分别转换为对应的二进制即可，即，e = 1110 4 = 0100 等等，之后组合起来，按照UTF-8编码对应的规则，即可解释出对应的中文（或其他语言），详细原理可以查看参考链接。我们这里写下C语言实现的Encode代码，Decode我就懒的打了。12345678910111213141516171819202122232425262728293031323334353637383 ...继续阅读 (19)

Redis全名叫做Remote Dictionary Server，从全称就可以看出dict是Redis里重要的数据结构，看了下dict.c里的源码，简单分析下。dict.c主要是实现了哈希功能，实际上实现哈希（字典）常见的方法有几种：<1>比如我们数据结构课上学的数组和链表法，但是这种方法适用于元素个数不多的情况下<2>使用复杂的平衡树(B-等等)，性能比较不错，比如MySQL里的索引就使用了这种方法<3>哈希表，兼顾了高效和简单性，Redis选择了这种方法。我们就解读下dict.c里源码里的数据结构吧，我们知道hash表的性能由hash表的大小和解决冲突的方法决定。Redis里使用了两个哈希表(ht[0])和哈希表(ht[1])，hash[0]是字典主要使用的hash表，而hash[1]主要对0号哈希表进行rehash时才使用。读者可能不明白这个地方啥意思？其实就是，程序每次申请几个字节（默认为4字节），当key/value数量达到规定时，程序申请的4字节就翻一倍（这里使用了慢迁移），那什么时候rehash呢？我们知道size == used（根据下面的dictht结构体）时，达到最理想状态，所以当used/size > 1时，就进行rehash。我们先看看dict.h里定义的几个结构体吧：dict:1234567typedefstructdict{dictType *type ...继续阅读 (24)

很久之前就看过AE库了，不过这东西好久不看，也忘得差不多了，正好要找工作了，简历上写了之前的项目用过这个AE事件库，索性我就又把AE库看了一遍，本来表达能力就差，复习下吧。先上张图，下图左侧是ae.c文件里所有的函数，一目了然。AE事件库包含文件事件和时间事件，其包含2个源文件ae.c和ae.h，当然还有四个不同的多用复用封装的文件：ae_epoll.c、ae_select.c、ae_evport.c、ae_kqueue.c。一般常用的是ae_select.c（跨平台用），linux下多用ae_epoll.c。我们就以ae_epoll.c为例吧。我们先说说文中用到的几个结构体：aeEventLoop 核心数据结构，每个aeEventLoop对应一个event loop。12345678910111213/* State of an event based program */typedefstructaeEventLoop {intmaxfd;/* 现在注册的最大文件描述符 */intsetsize;/* 跟踪文件描述符的最大数量 */longlongtimeEventNextId;//下一个timer的idtime_t lastTime;/* 用来诊断系统时间偏差 */aeFileEvent *events;/* 用于保存epoll需要关注的文件事件的fd、触发条件、注册函数 * ...继续阅读 (33)