Google 使用的技术一般都自带光环，吸引程序员的注意，基础设施方面的东西就更是如此，年初 Google 发布了篇论文介绍内部的负载均衡器的实现，让我们有机会一睹可能是全球最好的负载均衡器。通常情况下的负载均衡要在灵活性和性能之间做权衡，用户态软件层面有 ...继续阅读 (49)

Docker 的出现使开发测试生产环境的统一变得更加容易，然而在使用 docker 搭建这一整套流水线之后，却发现它运行的却不能像丝般润滑，总是感觉没有直接本地开发测试来的效率高。为了能达到一个高效流水般的持续构建，我们来看一下这个过程中 docker 的使用以及 ...继续阅读 (35)

机房断电后各种服务该怎么恢复呢？首先当然是恢复供电机器重启，但是上面的服务该怎么办，派人去手工重启么？一个服务还好，但是一个机房这么多服务敲命令要累死了，怎么办？写个脚本执行启动命令，放到开机启动脚本 rc.local ...继续阅读 (39)

一直对 docker 提供的容器感到好奇，不知道究竟是如何实现隔离和保证安全的，之前 docker 本来是用 lxc 来提供容器功能的，但是由于对内核代码有一丝恐惧没敢去看，后来听说 docker 为了实现跨平台兼容自己实现了一套 native 的容器就是 ...继续阅读 (24)

最近看了 Brendan Gregg 大神著名的 Linux Performance Observability Tools，这么好的资料不好好学习一下实在是浪费了，又找到了大神的 ...继续阅读 (47)

既然有一致性哈希，就肯定还有不一致哈希，为啥平时没人说不一致哈希呢？因为常见的哈希都是不一致的，所以就不修饰了，到了一致性哈希才特殊加个描述词修饰一下。哈希一般都是将一个大数字取模然后分散到不同的桶里，假设我们只有两个桶，有 2、3、4、5 四个数字，那么模 2 分桶的结果就是：这时我们嫌桶太少要给哈希表扩容加了一个新桶，这时候所有的数字就需要模 3 来确定分在哪个桶里，结果就变成了：可以看到新加了一个桶后所有数字的分布都变了，这就意味着哈希表的每次扩展和收缩都会导致所有条目分布的重新计算，这个特性在某些场景下是不可接受的。比如分布式的存储系统，每个桶就相当于一个机器，文件分布在哪台机器由哈希算法来决定，这个系统想要加一台机器时就需要停下来等所有文件重新分布一次才能对外提供服务，而当一台机器掉线的时候尽管只掉了一部分数据，但所有数据访问路由都会出问题。这样整个服务就无法平滑的扩缩容，成为了有状态的服务。要想实现无状态化，就要用到一致性哈希了，一致性哈希中假想我们有很多个桶，先定一个小目标比如 7 个，但一开始真实还是只有两个桶，编号是 3 和 6。哈希算法还是同样的取模，只不过现在分桶分到的很可能是不存在的桶，那么就往下找找到第一个真实存在的桶放进去。这样 2 和 3 都被分到了编号为 3 的桶， 4 和 5 被分到了编号为 6 的桶。这时候再添加一个新的桶，编号是 4，取模方法不 ...继续阅读 (24)

这部神剧有太多可说的了，恰巧追剧的这段时间在看心理学导论的东西，就当回票友从心理学的角度分析一下。第一季中两个创始者为了让 host 获得自己的意识绞尽了脑汁，而在真实世界心理学家对人类意识的探索也存在很久了，最为大众知道名字的心理学家大概就是弗洛伊德了，他开创的精神分析理论也在这部剧中有着种种的体现。精神分析理论将人格分为三个层次：本我（id），自我(ego)和超我(supereog)。本我就是原生状态不受任何约束，只想吃喝玩乐贪污腐败，发生不正当关系，自我开心至上的状态，就是本本来来的自己。而超我是有着社会主义核心价值观，全心全意为人民服务，操守道德水准高到天际线的理想状态的自己。然而这两种状态是冲突的，所以真实情况下的自我，是不断在两者的矛盾冲突中调和的状态，今天贪污一下，明天为人民服务一下这个样子。而当本我和超我的矛盾冲突无法在自我这里得到调解的话，心理问题就出现了。对于 host 来说，本我是那个按着故事线固定行进的状态，超我就是那个觉醒后能够支配自己的状态，而本我就是处在这两者之间，一会儿觉得我好像想起来了什么，一会儿又回到 loop 中去了。而当他们实在想不透的时候就会出各种各样的故障，如剧中所说几年来越来越多的 host 觉醒了，但大部分都精神分裂被退休了。当本我和超我出现冲突时最常用的方法就是压抑一方，对人类来说一般是压抑本我的欲望，而对 host 来说则变成了认 ...继续阅读 (29)

Google 使用的技术一般都自带光环，吸引程序员的注意，基础设施方面的东西就更是如此，年初 Google 发布了篇论文介绍内部的负载均衡器的实现，让我们有机会一睹可能是全球最好的负载均衡器。通常情况下的负载均衡要在灵活性和性能之间做权衡，用户态软件层面有 Haproxy 和 Nginx 这样的老牌负载均衡软件，他们一般配置和使用起来都比较容易，但是由于需要数据包从网卡到内核再到软件一层层向上处理，再一层层向下转发，堆栈比较深单机性能通常都比较一般。为了提高单机性能，减少堆栈层级就有了 Linux 里华人之光的 LVS，工作在内核层的负载均衡器，性能有着数量级的提高，然而配置起来相对也比较复杂而且对网络条件要求也有特殊要求。那 Google 有什么秘密的配方来达到高性能呢？一般来说负载均衡器本身就是后端服务横向扩展的一个接入点，对于一般站点一个负载均衡器就够了，然而应对 Google 这种级别的流量，负载均衡器本身也要能横向扩展，还要处理负载均衡器的高可用，Google 又是如何做到的呢？以我们访问 www.google.com 为例，第一步 DNS 服务器会根据请求的位置返回一个离请求地理位置最近的 VIP 地址，先在 DNS 这一层做一个横向扩展。接下来请求达到 VIP 对应的路由器，路由器通过 ECMP 协议，可以将请求平均分配到下面对等的多个负载均衡器上，这样在路由器这一层 ...继续阅读 (38)

题图是一个双盲试验。计算机最早作为一门科学自然要用严谨的科学方法来做实验得出结论。而当计算机进入工业界，敏捷高速的迭代取代了严谨的科学步骤，但是回过头来我们又能从科学研究的步骤中吸取到哪些经验来改善我们在工业界的产品质量呢？一个典型的研究过程首先要寻找问题，然后提出针对问题的一种假设，为了验证假设的正确就要设计实验了，之后需要实施实验并收集数据，根据数据之后就要做结论看假设是不是正确的，如果假设恰好是正确的，那么恭喜就可以发论文接收同行评审了，论文最后都要装模作样的写一下 future work，尽管大多数情况 future work 都是做不了的 work，但万一有能 work 的就可以形成个闭环继续研究下去了。做产品也是类似的过程，先要发现一个生活中的问题，没有问题也要编一个出来好去忽悠。然后就要想这个是不是云计算能解决啊，大数据能解决啊人工智能能解决啊，这样可以再忽悠一票。接下来就需要具体的设计代码实现了。做出来了自然要进行测试或者招一批早期用户来内测，收集一下用户的反馈和使用体验，来验证最早的解决方案并不是忽悠人。再之后根据用户的数据和反馈就可以发现下一步的问题和 future work，就可以再去忽悠来形成一个闭环（逃所以说尽管形式不一样但是做科研和做产品还是有相通的地方。科研中的设计实验和之后的分析数据中由很多有意思的方法对开发测试的过程都很有启发。科研实验中很重要的一 ...继续阅读 (28)

上一篇《上帝是个程序员》介绍了上帝为了防止人肉智能破解对基因的种种加密，然而这并不能阻止人肉智能破解的步伐，我们居然也取得了一些进展。我们先定一个小目标，比如实现星际旅行，最大的问题可能还不在于航天飞机，而是在于人的寿命。离我们最近的半人马座有 4 光年的距离，就算飞船达到了十分之一光速一个来回也是 80 年，而这个速度也已经是现阶段最快飞行器速度的将近两千倍了。所以星际旅行不能只靠航天飞船了，还要靠生物学家。看过《三体》的同学都知道，星际旅行冬眠下就可以了嘛，而这居然是有科学依据的。一些虫子正常的寿命只有 20 多天，但是当气候条件发生恶劣变化时它们会自动进入一种假死状态，停止一切的进食活动和新陈代谢，这种状态可以维持四五个月，等气候适宜的时候再恢复过来。这样从时间跨度上讲虫子的生命被延长廊五至六倍，对于人来说这就是四五百年的时间，五百年前那还是明王朝呢。虫子的基因量相对于人来说要少很多，培养起来也比较简单，我们用暴力破解的手段一段一段的敲除掉基因，看看什么时候虫子丧失冬眠的能力，也有机会找到控制冬眠的基因。当然从虫子到人还有很漫长的道路，不过科学家已经在做很多类似的实验，包括灵长类和小鼠身上都已经可以诱发冬眠来延长寿命的现象。当然冬眠的时候人也失去了行动能力，这样延长寿命好像也挺无聊的，除了星际旅行冬眠还有另一个用途。就像《三体》里罗辑大魔王被破壁者用定向基因病毒攻击，当时的医 ...继续阅读 (12)

上帝是个程序员，那他用什么编程语言呢?尘世间的程序员在潮流的忽悠下，各种语言都要做人工智能，上帝老人家用 DNA 写出了人这么个产品，顺便实现了目前为止最高级的人肉智能。作为人肉智能的我们，总想着反编译自己这个生成品，试图破解生命的缘由。经过层层实验我们发现人的各种性状都是由基因控制的，人的生老病死都脱离不了基因。基因就像一份程序代码，而每个生命就像是这份代码运行时的一个进程，有着运行时的种种变化和各种可能，但都无法脱离基因的束缚。那些编码在基因里的身体缺陷就仿佛代码里的 bug，而那些异于常人的天赋又像是那些令人叹为观止的代码片段。人肉智能一旦发现自己的能力都编码在这些 DNA 片段中，自然想要了解学习并为己所用。而上帝老人家作为久经考验的程序员，这些代码混淆、反破解、故意的代码质量劣化这些技术都玩的溜溜的，即使是俄国人也搞不定。首先人家编译出来的人肉码就不是二进制的，是由 A、T、C、G 四对碱基组成的四进制码，先在维度上就对人肉智能进行了一次高维碾压。一般的反编译好歹还知道我运行在什么样的 CPU 上，知道这个 CPU 对应的指令集，这样就可以从编译结果往下走，至少能暴力翻译成机器指令，虽说不一定能看懂，但程序入口函数入口一些功能的代码大致还是能分出来的。然而你知道人肉这个 CPU 的指令集么?这就彻底堵死了往下走的道路，只能通过上层的性状和基因进行关联来翻译了。好在我们发现 ...继续阅读 (18)

题图为 SpaceX CRS-1 火箭发射，就是发出去又被回收的那个。初入阿里时，听前辈讲某年双十一开始前几分钟需要紧急上线（要知道为了保证双十一的稳定基本上国庆时就不允许做发布了），这时候以振飞为首的技术保障部老大们围着一个女 PE，盯着上线。上线完成后一切正常，那个 PE 就昏过去了。从技术角度讲，这次上线可能技术难度并不大，操作步骤可能和平时也类似，但压力之大绝对是难以想象的。甚至那个时候技术都是次要的了，能抗住压力抖着手把熟悉的步骤完成才是最重要的。据说完成上线的那个 PE 后来被表彰了。这两天看《硅谷钢铁侠-埃隆马斯克的冒险人生》，又发现了他所创建的两个公司中发生的两起惊心动魄的上线。一个是特斯拉刚出 Model S 时，经常会出现些小问题把手不能弹出，雨刷速率异常等，这种问题通常都是需要送修的，但是特斯拉的做法是趁车主睡觉的时候通过网络连接到问题车辆进行软件更新。车主第一天还在抱怨有问题，睡一觉起来发现没了，就是这么神奇。但是这种做法其实是风险很大的，可以对比一下之前阿里云误删文件的风波，安全的 agent 升级把用户文件删除了，那还只是个机器，这可是辆可以载人的车啊，里面万一有人怎么办？不知道特斯拉的工程师在更新的时候会不会手抖？不过看书上的介绍他们似乎很乐于这种事情，一开始还是修复 bug，后来牵引力控制功能、更快的充电速度、智能语音也通过这种方式开始推送了，用户似 ...继续阅读 (9)

软件开发有一个传说，越早发现问题最后产品的质量越有保障。软件开发中保障质量的主要方法有两个，Code Review 和测试。然而 Code Review 通常在代码已经大致成型之后，而测试又在更靠后的阶段，那么在看似事后的手段中投入大量精力来保证软件质量是不是本末倒置呢？这些看似不合理的流程的设立其实有着更深层面的原因，如果一个人身体是车床，技术是工艺流程，软件是车床上的产品，那么人和机器有什么区别呢？人不是完美的，人会犯错误，人有着复杂的心理变化，这些心理起伏会对整个结果产生影响。一个简单的例子，如果开发的流程引入了 Code Review 和测试，写代码的人就会写的更加小心。我们对看不见的客户碰到问题而抱怨可以视而不见，但被身边的人指出来你这里有问题就心里亚历山大，为了避免这种窘境就需要在写代码过程中注意这里会不会被人揪出问题。所以这些看似后期的流程会在前期就发生巨大的作用，甚至他们最大的作用其实并不在测试过程中发现了多少问题，而在于有测试这件事对开发过程产生的心理影响。车床上的产品在流入市场前也会经过测试，软件测试和这种测试还有一些微妙的区别，由于软件产品和人是直接相关的，而这种测试也不可避免的把人加进来，把人加入这个流程事情就复杂了。当找到一个 bug 如果交给机器人处理，机器会按照预订路线处理。而如果是人本能反应会是抗拒的，尽管指出的是软件的问题，而负责人产生的心理反应会 ...继续阅读 (9)

一年前装自信的挖了个坑为啥我要从阿里离职今年来填一下坑。最主要体验就是公司起个鸟的名字还是有好处的，这样每次见人都能说我们是个鸟公司，公司里都是一群鸟人这个段子 （逃刚开始的那段时间本来了解 docker 的人就少，在这里做碰到的问题可能之前完全就没有人遇到过，很多东西只能自己解决，慢慢姿势水平也就提高上去了，然后发现跳没有人跳过的深坑和爬坑的过程是成长最快的阶段。以前迷信 docker 不懂还天天和别人吹，现在用多了，坑也趟过去了天天骂这东西整天只想搞个大新闻也不弄点实在的。然后看着年轻人还在坑里躺着，不由的心说你们这些年轻人毕竟图样图森破，我作为一个长者还是闷声发大财吧。这一年来用 docker 和周边产品基本上是一步一坑，磨合到现在总算稳定一段时间了，现在居然也敢拿出去给人看了，当票友当再长的时间也只能是个票友，还是要专业的来搞才能进入新的层次。由于做的东西还算新鲜，加上公司也需要有人出去显摆一下，也能出去讲东西了。以前只能给几个人讲东西，现在三五百人的场子也算讲过了。小公司的好处就是会有很多公司级别的机会落在你头上，而且会有公司级别的力量帮你完成这件事情。要是从 BAT 挑一个人讲一样的东西可能很难才会轮上。出去讲的好处除了可以认识很多人，同时还把自己 marketing 出去（基本上每次讲完都会有份薪水翻番随时等着你来的邀约，以后公司黄了也不怕了），最重要的是终于可以给几 ...继续阅读 (10)

Docker 的出现使开发测试生产环境的统一变得更加容易，然而在使用 docker 搭建这一整套流水线之后，却发现它运行的却不能像丝般润滑，总是感觉没有直接本地开发测试来的效率高。为了能达到一个高效流水般的持续构建，我们来看一下这个过程中 docker 的使用以及 docker 自身存在着哪些问题，我们又该如何克服这些问题，达到如丝般的润滑。我们首先来分解一下现在常见的一种利用 docker 做持续部署的流程：开发者提交代码触发镜像构建构建镜像上传至私有仓库镜像下载至执行机器镜像运行在这五步中，1 和 5 的耗时都比较短，主要耗时集中在中间 3 步，也就是 docker build， push， pull 的时间消耗，我们就来分别看一下如何加速这三个步骤。Docker build选择国外构建由于 dockerhub 的官方镜像再国外，而这些基础镜像的软件源都在国外，国内构建的时候网络会是很大的瓶颈，有能力在国外机器进行构建，并且可以通过专线和国内进行传输的话，还是优先将构建节点放在国外，会省很多无谓的在网络上的纠缠，并且很多软件源国外的也要更稳定写，更新也更及时。如果只能在国内进行构建的话，建议使用国内的镜像，或者自己在私有仓库存一份官方镜像，并且对镜像进行改造，做一份软件源都在国内的基础镜像，把构建过程中的网络传输都控制在国内或者内网，这样就不用和网络进行纠缠了。善用 .dock ...继续阅读 (21)

Borg 是在传说中流传已久的 Google 内部集群管理系统，现在火热的 Mesos 和 Kubnetes 都是源自于 Borg。今年 Google 把论文放出来了，第一遍读感觉通篇细节没有什么太多值得玩味的，在这个行当干了一阵再读发现细节是魔鬼，每个细节都对应这一个实际中难解的问题，再读第三遍，不得不做一些笔记了。这篇论文发布在 EuroSys'15,可以去这里下载。虽说 EuroSys 已经算是极好的会议了，但是以 Google 的规模和 Borg 的名气没有中 OSDI/SOSP 大概是论文写得不好吧。建议从事容器和集群管理相关的同学都仔细看看这篇论文。概述集群管理带来的好处大致都是那些东西（1）隐藏了底层故障的细节（2）高可靠高可用（3）在线离线任务混部，提高资源使用率。这套系统 Google 发展了十多年，从论文角度来看不是第一个这样的集群管理系统了，Mesos 和 Yarn 都很早就把论文放出来了。但是其实这两个系统都深受 Google 的影响，而且 Brog 可以调度上万台机器的集群，是现阶段唯一一个达到这个规模的系统。机器情况介绍了一堆 cell，cluster，site 的概念，一个中等规模的 cell 有 10k 异构机器，一个 cluster 通常包含一个这样的 cell 和一些规模稍小的其他用途 cell，多个 cluster 构成了一个 site。机器的 ...继续阅读 (27)

Dockone 7月刊的约稿，首发于http://dockone.io/article/503.Dockone 7月刊阅读地址。在去年的 DockerCon 上，Docker 1.0 正式发布并提出了『Containers Everywhere』的口号。一年过去了 Docker 如燎原之火在全世界迅速流行起来，Docker 公司也顺利融得巨资。然而 Docker 本身的问题也逐步暴露出来：安全方面的缺陷、集群管理的困难、存储和网络方面的问题都成为 Docker真正走向 everywhere 的阻碍。另一方面 Docker 和他的战友 CoreOS 因为容器标准之争而走向分裂，Google、IBM、Red Hat、VMware 等巨头也采取两边观望的态度。Docker 的发展一度被笼罩在割裂和不确定的乌云下。又一年的 DockerCon 如约而至，我们欣喜地看到 Docker 将网络和安全部分的模块，进行剥离和重构，成立新的子项目，并公布了发展的路线图。全新的插件框架和试验性发布使得 Docker 未来的发展更加开放，更加具有想象力。而 Docker 和 CoreOS 两家公司的 CEO 在大会上握手言欢，共同推出了开放式容器项目（OCP），将笼罩在 Docker 上最大的不确定因素一扫而空。大会最后又提出了 Ready for Production 的口号。我们真的准备好了么？诚然 ...继续阅读 (21)

为啥我要从阿里离职？本来想起个宽泛点的标题，这个标题感觉太像要爆大料了，但是关注我的人应该也知道我在哪个厂，所以也就无所谓了。相对比来说估计大多数人其实不太关注我而是关注阿里这个公司，那我就先说说我眼中的阿里好了。我眼中的阿里阿里没有在外面自己宣传中好的那么妖孽，也没有各种传言消息中坏的那么邪乎，总体来说还是个互联网大公司的模样，大家有的优点也都有，大家有的通病也少不了。在我接触的厂外人中既有把阿里当成天堂，无论如何什么岗位都非进不可的；也有黑起来黑的暗无天地，明天就要关门倒闭的。我想说的是没有必要过分神话或者黑化阿里，阿里是个普通的大公司，需要理智和清醒的看待。我也试着从不到一年的供职经历谈一下我的感受。阿里并不是一家技术导向型的公司，这几年随着双十一以及引入的一批业界大牛，阿里的技术口碑传的神乎其神，但说到底这还是一家业务为主导向的公司。这点倒是没有什么问题，企业还是要靠业务吃饭的，而技术也只是解决业务问题的手段。而阿里的强点在我看是在销售、运营、公关以及整体战略方面，技术目前看还算不上核心优势。在阿里这个体量下技术的选择和使用也是趋于保守的，再加上诸多的历史遗留因素一些外面很火热的新技术以及新的技术管理工具在阿里内部推广还是有一定阻力的。毕竟很多情况下稳定是第一要素，技术选型以及使用上不会像小公司和创业公司那么灵活。在大数据和云计算领域，阿里有着很好的先发优势以及知名度，但是 ...继续阅读 (25)

机房断电后各种服务该怎么恢复呢？首先当然是恢复供电机器重启，但是上面的服务该怎么办，派人去手工重启么？一个服务还好，但是一个机房这么多服务敲命令要累死了，怎么办？写个脚本执行启动命令，放到开机启动脚本 rc.local 里好了。可是掉的不止你一个服务，可能你启动依赖的服务也掉了，启动的还比你晚，启动根本就起不来怎么办？一个简单粗暴的方式，不断重试就好了。在 cron.d 下面放个任务每分钟执行一次，一看服务进程不存在就尝试重启。一方面不考虑依赖问题，另一方面还顺道解决了服务 crash 后的自恢复。可实际中有的服务在依赖没启动时是可以起来的，但是工作会不正常，而且不能再依赖启动之后自动恢复，还是需要手动重启。严重的时候不正常的服务还会导致依赖它的服务异常，这该怎么办呢？看样子似乎是无法摆脱依赖顺序而随心所欲的启动程序。那么就只能所有的服务各自汇报自己的服务上下游给一个人，然后那个人画一个启动流程图，告诉大家先干这个，再干那个么？嗯，一个如果机房里业务固定还好，如果不固定，今天加一个新应用，明天减一个旧应用，那么图就要改一遍。应用改个依赖，图又要改一遍，而且要这个画图的人时刻了解服务依赖的变化，想想就头疼。那么就没有个自动化的方法么？可以先参考一个类似的问题，systemd 是如何解决单机上开机程序之间的依赖问题。程序之间的依赖本质上来讲就是需要进行进程间的通信，而开机程序的进程间通 ...继续阅读 (20)

统计一下 2014 年博客的整体情况，顺便夹带写如何用第三方服务和推广的私货。虽说不能和知名博主们去比，不过能看到成长总是欣慰的。致谢首先要感谢这些为我的博客提供服务的兄弟们。感谢Gitcafe提供的 page 服务以及域名映射，你们的服务很优秀，尽管除了这神奇的土地上独有的问题，但是你们的应对使事情变得可控。感谢七牛提供的存储及图片外链服务，几经辗转终于在国内找到优秀靠谱的服务。感谢Google Analytisc为本片博文提供的数据，以及长久来的统计服务。感谢dnspod的域名解析，你们的切换速度越来越快了。还有Godaddy的域名，已经打算继续打赏你们了。流量分布尽管用了百度统计插件做 backup，但由于是中途用的，全年完整的数据只在 Google Analytics 上有。通过两者的对比发现 Google 统计的数量要低一些，对此只能亲切问候长城作者了。由于今年有几篇投机取巧的文章，再加上恬不知耻的四处推文章，日均 pv 居然过百了。不过访问深度连 2 都没到，很多人都是点进来看了一下就走了，没有吸引人去看其他文章，可见博客的质量还有待提高。流量已经覆盖到了南极洲外的所有大洲，不过当然主要还在亚洲，不过看到有非洲的兄弟们还是很新奇。流量来源最多的国家，当然是伟大的社会主义中国了。不过黑暗的资本主义国家已经能占据接近 14% 的流量了，尤其是万恶的美帝居然爬到了第二的位置。 ...继续阅读 (23)

统计一下 2014 年博客的整体情况，顺便夹带写如何用第三方服务和推广的私货。虽说不能和知名博主们去比，不过能看到成长总是欣慰的。致谢首先要感谢这些为我的博客提供服务的兄弟们。感谢Gitcafe提供的 page 服务以及域名映射，你们的服务很优秀，尽管除了这神奇的土地上独有的问题，但是你们的应对使事情变得可控。感谢七牛提供的存储及图片外链服务，几经辗转终于在国内找到优秀靠谱的服务。感谢Google Analytisc为本片博文提供的数据，以及长久来的统计服务。感谢dnspod的域名解析，你们的切换速度越来越快了。还有Godaddy的域名，已经打算继续打赏你们了。流量分布尽管用了百度统计插件做 backup，但由于是中途用的，全年完整的数据只在 Google Analytics 上有。通过两者的对比发现 Google 统计的数量要低一些，对此只能亲切问候长城作者了。由于今年有几篇投机取巧的文章，再加上恬不知耻的四处推文章，日均 pv 居然过百了。不过访问深度连 2 都没到，很多人都是点进来看了一下就走了，没有吸引人去看其他文章，可见博客的质量还有待提高。流量已经覆盖到了南极洲外的所有大洲，不过当然主要还在亚洲，不过看到有非洲的兄弟们还是很新奇。流量来源最多的国家，当然是伟大的社会主义中国了。不过黑暗的资本主义国家已经能占据接近 14% 的流量了，尤其是万恶的美帝居然爬到了第二的位置。 ...继续阅读 (27)

作为一个 nginx 的初学者记录一下从零起步的点滴。基本概念Nginx 最常的用途是提供反向代理服务，那么什么反向代理呢？正向代理相信很多大陆同胞都在这片神奇的土地上用过了，原理大致如下图：代理服务器作为客户端这边的中介接受请求，隐藏掉真实的客户，向服务器获取资源。如果代理服务器在长城外的话还能顺便帮助我们实现翻越长城的目的。而反向代理顾名思义就是反过来代理服务器作为服务器的中介，隐藏掉真实提供服务的服务器，原理大致如下图：这么做当然不是为了实现翻越长城，而是为了实现安全和负载均衡等一系列的功能。所谓安全指客户端的请求不会直接落到内网的服务器上而是通过代理做了一层转发，在这一层就可以实现安全过滤，流控，防 DDOS 等一系列策略。而负载均衡指我们可以水平扩展后端真正提供服务的服务器数量，代理按规则转发请求到各个服务器，使得各个服务器的负载接近均衡。而 nginx 就是目前流行的这样一个反向代理服务。安装在 Ubuntu 下，可以舍去编译安装的过程，直接 apt-getsudo apt-get install nginx安装好之后可以直接通过：sudo service nginx start来启动 nginx 服务，nginx 默认设置了 80 端口的转发，我们可以再浏览器访问 http://locallhost 来进行检查。初始配置nginx 的默认配置文件位于/etc/ngin ...继续阅读 (28)

作为一个 nginx 的初学者记录一下从零起步的点滴。基本概念Nginx 最常的用途是提供反向代理服务，那么什么反向代理呢？正向代理相信很多大陆同胞都在这片神奇的土地上用过了，原理大致如下图：代理服务器作为客户端这边的中介接受请求，隐藏掉真实的客户，向服务器获取资源。如果代理服务器在长城外的话还能顺便帮助我们实现翻越长城的目的。而反向代理顾名思义就是反过来代理服务器作为服务器的中介，隐藏掉真实提供服务的服务器，原理大致如下图：这么做当然不是为了实现翻越长城，而是为了实现安全和负载均衡等一系列的功能。所谓安全指客户端的请求不会直接落到内网的服务器上而是通过代理做了一层转发，在这一层就可以实现安全过滤，流控，防 DDOS 等一系列策略。而负载均衡指我们可以水平扩展后端真正提供服务的服务器数量，代理按规则转发请求到各个服务器，使得各个服务器的负载接近均衡。而 nginx 就是目前流行的这样一个反向代理服务。安装在 Ubuntu 下，可以舍去编译安装的过程，直接 apt-getsudo apt-get install nginx安装好之后可以直接通过：sudo service nginx start来启动 nginx 服务，nginx 默认设置了 80 端口的转发，我们可以再浏览器访问 http://locallhost 来进行检查。初始配置nginx 的默认配置文件位于/etc/ngin ...继续阅读 (18)

一直对 docker 提供的容器感到好奇，不知道究竟是如何实现隔离和保证安全的，之前 docker 本来是用 lxc 来提供容器功能的，但是由于对内核代码有一丝恐惧没敢去看，后来听说 docker 为了实现跨平台兼容自己实现了一套 native 的容器就是 libcontainer 。既然是新项目那么代码量和复杂度应该都不会太高吧，抱着这个想法我就翻看 libcontainer 的代码读一读。准备工作首先自然要下到代码才能读，建议去下完整的 docker源码，不要只下 libcontainer 的源码。不然就会像我一样读的时候碰到一个坑掉里面爬了半天。接下来就要有一个代码阅读器了，由于 go 语言还是个比较新的语言，配套的工具还不是很完善，不过可以用liteide（自备梯子）这个轻量级的 golang ide 来兼职一下。打开之后可以看到 docker 的目录结构大致是这样的。那么我们所关注的 libcontainer 在哪里呢？藏得还挺深的在 \verdor\src\github.com\libcontainer\。进去之后就会发现有个显眼的 container.go 在向你招手，嗯第一个坑马上就要来了。container这段代码初看起来还是很浅显的。代码缩水后如下type Container interface { ID() string RunState() ...继续阅读 (34)

第一篇在这里第一篇讲了一些最基础的命令了，接下来在研究研究高级的命令：sarnetstatpidstatstracetcpdumpblktraceiotopslabtopsysctl/procsarsar 是 System Activity Reporter 的意思，这是一个强大到发指的工具，在第一篇中提到的那些工具的功能（cpu、 mem、 disk、 net），基本上 sar 都可以覆盖到，不信的话可以试一下 sar -A 1 1 看一下它都统计了哪些东西。此外 sar 可以周期性的执行统计，很多系统级别的监控都是通过 sar 来做的。淘宝还专门自己开发了一个tsar在原有的系统级别的监控上增加了对应用的监控。netstat这个命令也是和网络相关的，可以查看 socket 的连接信息，比如建立了哪些 TCP 连接，他们的状态是怎样的，一个进程有多少链接。通常这个命令后面都会跟着 grep 或者 awk 的命令进行进一步处理。以至于有的 awk 的教程都会以 netstat 的输出处理作为样例，比如耗子叔叔的awk 简明教程。此外这个命令还有一个 -s 的参数可以统计不同的协议的数据包信息。pidstat其实要不是看到大神说有这个命令，我还以为这个命令是 ps 的全称。其实展示的东西也和 ps 类似，主要的区别在于 ps 只是一次提供系统进程状态的一个快照，pidstat# 可以 ...继续阅读 (75)

第一篇在这里第一篇讲了一些最基础的命令了，接下来在研究研究高级的命令：sarnetstatpidstatstracetcpdumpblktraceiotopslabtopsysctl/procsarsar 是 System Activity Reporter 的意思，这是一个强大到发指的工具，在第一篇中提到的那些工具的功能（cpu、 mem、 disk、 net），基本上 sar 都可以覆盖到，不信的话可以试一下 sar -A 1 1 看一下它都统计了哪些东西。此外 sar 可以周期性的执行统计，很多系统级别的监控都是通过 sar 来做的。淘宝还专门自己开发了一个tsar在原有的系统级别的监控上增加了对应用的监控。netstat这个命令也是和网络相关的，可以查看 socket 的连接信息，比如建立了哪些 TCP 连接，他们的状态是怎样的，一个进程有多少链接。通常这个命令后面都会跟着 grep 或者 awk 的命令进行进一步处理。以至于有的 awk 的教程都会以 netstat 的输出处理作为样例，比如耗子叔叔的awk 简明教程。此外这个命令还有一个 -s 的参数可以统计不同的协议的数据包信息。pidstat其实要不是看到大神说有这个命令，我还以为这个命令是 ps 的全称。其实展示的东西也和 ps 类似，主要的区别在于 ps 只是一次提供系统进程状态的一个快照，pidstat# 可以 ...继续阅读 (41)

最近看了 Brendan Gregg 大神著名的 Linux Performance Observability Tools，这么好的资料不好好学习一下实在是浪费了，又找到了大神的ppt 和 演讲（需爬墙），于是把相关的命令和概念连预习，学习，复习走了一遍。首先学习的是大神提出的 Basic Tool 有如下几个：uptimetop （htop）mpstatiostatvmstatfreepingnicstatdstatuptimeuptime 比较重要的能显示当前系统的负载状态，但是这个负载究竟是什么意思呢？查了一些资料负载指的是当前可运行的程序加上正在运行的程序再加上等待 IO 的程序，比如现在运行着一个，一个等待运行，还有一个等待 IO 那么负载就是3. uptime 后面三个数分别是 1min， 5min 和 15min 的负载平均值，由于内核用了一个指数平滑的平均算法，这个值不能直接反应当前等待的进程数。此外这个值没对多核进行 normalization 所以单核情况下当负载是 1 的时候说明 cpu 满载了，但是对于 4 核 cpu 刚到满负载的 25%。 一般情况下这个值越大就说明等待 CPU 的进程越多，如果大于核数就说明有进程在等待 CPU，需要看一下程序的问题或者考虑加机器了。另外即使负载过载了也不一定说明 CPU 的利用率高，因为很可能是大量的请求 IO 的进 ...继续阅读 (23)

尽管之前久闻Docker的大名了，但是天资愚钝，对其到底是个啥东西一直摸不清，最近花了一段时间整理了一下，算是整理出一点头绪来。官网的介绍是这样的：Docker is an open platform for developers and sysadmins to build, ship, and run distributed applications....其实看完这句话还是不明白究竟是啥的，下面就慢慢解释。不过长话短说的话，把他想象成一个用了一种新颖方式实现的超轻量虚拟机，在大概效果上也是正确的。当然在实现的原理和应用上还是和VM有巨大差别的，并且专业的叫法是应用容器（Application Container）。为啥要用容器？那么应用容器长什么样子呢，一个做好的应用容器长得就好像一个装好了一组特定应用的虚拟机一样。比如我现在想用Mysql那我就找个装好Mysql的容器，运行起来，那么我就可以使用 Mysql 了。那么我直接装个 Mysql 不就好了，何必还需要这个容器这么诡异的概念？话是这么说，可是你要真装Mysql的话可能要再装一堆依赖库，根据你的操作系统平台和版本进行设置，有时候还要从源代码编译报出一堆莫名其妙的错误，可不是这么好装。而且万一你机器挂了，所有的东西都要重新来，可能还要把配置在重新弄一遍。但是有了容器，你就相当于有了一个可以运行起来的虚拟机，只要你能运行容 ...继续阅读 (29)

尽管之前久闻Docker的大名了，但是天资愚钝，对其到底是个啥东西一直摸不清，最近花了一段时间整理了一下，算是整理出一点头绪来。官网的介绍是这样的：Docker is an open platform for developers and sysadmins to build, ship, and run distributed applications....其实看完这句话还是不明白究竟是啥的，下面就慢慢解释。不过长话短说的话，把他想象成一个用了一种新颖方式实现的超轻量虚拟机，在大概效果上也是正确的。当然在实现的原理和应用上还是和VM有巨大差别的，并且专业的叫法是应用容器（Application Container）。为啥要用容器？那么应用容器长什么样子呢，一个做好的应用容器长得就好像一个装好了一组特定应用的虚拟机一样。比如我现在想用Mysql那我就找个装好Mysql的容器，运行起来，那么我就可以使用 Mysql 了。那么我直接装个 Mysql 不就好了，何必还需要这个容器这么诡异的概念？话是这么说，可是你要真装Mysql的话可能要再装一堆依赖库，根据你的操作系统平台和版本进行设置，有时候还要从源代码编译报出一堆莫名其妙的错误，可不是这么好装。而且万一你机器挂了，所有的东西都要重新来，可能还要把配置在重新弄一遍。但是有了容器，你就相当于有了一个可以运行起来的虚拟机，只要你能运行容 ...继续阅读 (18)

注：该文原文为Why You Should Care About Docker，由 CHRIS DAWSON 编写。当我在Dockercon上陶醉于那些令人激动地议题时，我想到了一个问题：我该如何向在波特兰家中的妻子去解释 Docker 呢？我的妻子这时正在照料我们只有18个月大的生病的孩子。是什么让 Docker 这么有吸引力，以至于让我在 30 岁高龄时依旧奔波了 600 英里去参加这个大会？现在会议中大多数关于 Docker 的新闻都需要你了解诸如 cgroup、systemd 和 LXC 这样复杂的技术。如果你在 Stack Overflow 或者 Server Fault 这种网站的排名低于 1000 的话，去参加这样一场会议会让你很快赶到绝望。我希望能够跳过那些技术，直接告诉你为什么 Docker 会让你赶到兴奋。为什么 Docker 能够让你的工作更简单，能够简化商业应用的流程，能够让一个公司更强大。Docker 可以加速新技术的采用，即使是在那些保守的企业昨天吃中午饭的时候，我和两个在财富 500 强的金融服务公司工作的程序员聊天。他们向我讲述了在他们公司使用新的技术是一件多么困难的事情。公司里的安全专家只会对那些新技术说 “no” ，他们与那些更激进的想要使用新技术的程序员们的斗争已经成为了一种常态。Docker 作为一种标准的交付系统，把资源分配以及安全隔离的责 ...继续阅读 (24)