通常我们会使用多台memcached构成一个集群，通过客户端库来实现缓存数据的分片(replica)。这会带来2个主要问题：memcached机器连接数过多不利于做整体的服务化；缺少可运维性。例如想对接入的客户端做应用级隔离；或者对缓存数据做多区域(机房)的冗余实现一个memcache proxy，相对于减少连接数来说，主要可以提供更多的扩展性。目前已经存在一些不错的memcache proxy，例如twitter的twemproxy，facebook的mcrouter。稍微调研了下，发现twemproxy虽然轻量，但功能较弱；mcrouter功能齐全，类似多区域多写的需求也满足。处于好玩的目的，之前又读过网络库xnio源码，我还是决定自己实现一个。more这个项目简单取名为kvproxy，通过简单的抽象可以实现为memcache或redis等key-value形式的服务proxy。 这是一些预想中的feature。在目前的阶段，主要关注于其性能。因为memcached本身的RT非常小，所以这个proxy的性能就要求比较高。这里主要先关注下核心功能的实现。架构如下图：Service，用于抽象key-value服务，如memcache；MemcacheService是其实现之一ServerLocator，用于定位memcached机器列表，例如ConstantLocator则是从配置 ...继续阅读 (20)

Xmemcached是一个memcached客户端库。由于它提供的是同步API，而我想看下如何增加异步接口。所以就大致浏览了下它的源码。主要结构针对memcache客户端的实现，主要结构如下：XMemcachedClient是应用主要使用的类，所有针对memcache的接口都在这里Command用于抽象二进制协议或文本协议下各个操作，这里称为Command。CommandFactory用于创建这些commandMemcachedSessionLocator用于抽象不同的负载均衡策略，或者说数据分布策略。在一个memcached集群中，数据具体存放在哪个replica中，主要就是由这个类的实现具体的，例如KetamaMemcachedSessionLocator实现了一致性哈希策略MemcachedConnector包装了网络部分，与每一个memcached建立连接后，就得到一个Session。command的发送都在MemcachedConnector中实现各个Session类/接口，则涉及到Xmemcached使用的网络库yanf4j。这个库也是Xmemcached作者的。moreCommand 类的实现中有个关键的CountDownLatch。在将Command通过session发送出去之后，就利用这个latch同步等待，等到网络模块收到数据后回调。Command会和sessi ...继续阅读 (13)

XNIO是JBoss的一个IO框架。最开始我想找个lightweight servlet container库，于是看到了undertow，发现其网络部分使用的就是XNIO。所以干脆就先把XNIO的源码读下。XNIO文档非常匮乏，能找到都是3.0的版本，而且描述也不完全。Git上已经出到3.5.0。我读的是3.3.6.Final。使用方式可以参考SimpleEchoServer.java，不过这个例子使用的API已经被deprecated，仅供参考。使用方式大致为：创建服务，提供acceptListener在acceptListener中accept新的连接，并注册连接listener在连接listener回调中完成IO读写more主要概念Channel，基本上同Java NIO中的Channel一致，一个server socket是一个channel，accept出来的连接也是channelChannelListener，监听Channel上的IO事件，应用代码与XNIO交互的地方XnioWorker，维护IO线程池及应用任务线程池项目结构源码分为两个项目: xnio-api及nio-impl。xnio-api属于API层；nio-impl是基于NIO的实现。通过Java service provider动态地找到nio-impl这个实现。可见XNIO还可以用其他方式来实现。or ...继续阅读 (11)

在JVM中，JIT (Just-in-Time) 即时编译指的是在Java程序运行过程中JVM优化部分指令为本地指令，从而大幅提升性能。在上一篇文章写一个玩具Java虚拟机中实现了一个基本可以运行Java字节码的JVM。本篇文章描述我是如何在这个玩具JVM中实现JIT的。推荐文章“How to JIT - an introduction”，介绍了JIT的基本实现原理。作者把JIT分为两个阶段：运行期生成机器代码(本地指令)执行机器代码生成机器代码很好理解，就是一个JVM指令到机器指令的翻译；而执行机器代码，原理上是利用了OS提供了API可以分配可以执行的内存，然后往这块内存中写入机器码，从而实现运行期可以执行动态生成的机器码功能。我们可以利用这个原理来实现JIT，但是未免太底层了点，需要做很多工作来完成这件事情。我们可以利用libjit来简化实现。这个作者博客里还有些libjit的教程，其中part 1值得阅读。 简单来说，libjit对机器指令做了抽象，利用它的API来描述一个函数包含了哪些指令，实现了什么功能。然后具体的指令生成以及指令执行则交给libjit完成。例如以下使用libjit的代码：12345678// t = ujit_insn_store(F, t, u); // 类似 mov 指令// u = vjit_insn_store(F, u, ...继续阅读 (19)

本文描述了一个用Java实现的玩具JVM，用Java实现的好处是可以不用处理JVM中的垃圾回收。Java虚拟机是基于栈的虚拟机。栈虚拟机的特点是所有临时操作数都存放在栈中。编译器生成的指令都会围绕着这个栈展开，相对而言，解释执行这些指令会比较容易。基于栈的虚拟机可能会生成如下指令：123push 3 # 把立即数3压栈push 4 # 把立即数4压栈add # 从栈中弹出两个操作数进行相加，结果压回栈中Java .class文件存储的主要就是编译后的指令，一个玩具JVM，简单来说就是解释执行这里面的指令。接下来就说说为了让这个JVM跑起来需要实现哪些功能。class 文件解析推荐一下Java class viewer，里面有个工具可以可视化class文件内容。另外我直接复用了他解析class文件的代码。class文件描述的信息是以class为单位的，一个类如果有嵌套类，这个嵌套类也会生成为单独的class文件。从c/c++程序员的视角来看，class文件的生成有点类似编译，编译器在编译期间只做依赖符号存在与否的检查。所有引用其他class的地方，不同于c/c++，java class的引用都是在运行期定位的。这里看看一个简单的类class文件结构是怎样的：more123456789package test;public class Simple {private ...继续阅读 (13)

网上有不少解析RequireJS源码的文章，我觉得意义不大。阅读源代码的目的不是为了熟悉代码，而是为了学习核心实现原理。相对RequireJS的源码，kitty.js的实现更简单，更容易理解。本文正是抄了kitty.js的实现，是一个更精简的RequireJS，用于理解RequireJS的实现原理。github dummy-requirejs。这个实现仅支持核心feature：12require(deps, callback) // deps 是依赖数组define(id, deps, factory) // factory是一个函数例子参考git中rect.js/main.js。从实现来看，require/define是基本一致的，require的callback等同于define的factory：都会要求deps被加载且被执行，获得deps的exports作为整个module传入callback/factory。不同的是，factory的返回值会被作为define出来的模块的export，可被视为模块本身；而callback返回值被忽略。从用法来看，define仅是定义了模块，这个模块可能被作为deps被其他模块依赖，但define传入的factory此时是不执行的；而require则会触发各个模块的factory执行。more实现主要实现分为3部分内容，其中关键的地方在于模块 ...继续阅读 (11)

整个Web页面是基于ReactJS的，js打包用的webpack，现在想在Web页面端实现一种插件机制，可以动态载入第三方写的js插件。这个插件有一个约定的入口，插件被载入后调用该入口函数，插件内部实现渲染逻辑。插件的实现也使用了ReactJS，当然理论上也可以不使用。预期的交互关系是这样的：12345678910// 主页面load('/plugin/my-plugin.js', function (plugin) {plugin.init($('#plugin-main'), args)})// 基于ReactJS的插件function init($elem, args) {ReactDOM.render((<Index />), $elem)}export {init}在主页面上支持这种插件机制，有点类似一个应用市场，主页面作为应用平台，插件就是应用，用户可以在主页面上选用各种插件。问题目前主页面里ReactJS被webpack打包进了bundle.js，如果插件也把ReactjS打包进去，最终在载入插件后，浏览器环境中就会初始化两次ReactJS。而ReactJS是不能被初始化多次的。此外，为了插件编写方便，我把一些可重用的组件打包成一个单独的库，让主页面和插件都去依赖。这个库自然也不能把ReactJS打包进来。何况还有很多三方库，例如underscore、Re ...继续阅读 (20)

最近写一个爬虫要从这个网页爬取内容。以往爬取网页内容复杂点的，一般就是处理下页面内容动态载入，动态载入的内容可能会要求复杂奇怪的参数，或者找到这个动态载入的HTTP接口在哪里麻烦点。但是这个网页不同。类似：1<td><span name="record_yijiaof:feiyongzldm" title="pos||"><span id="5d299905633d4aa288b65f5bf74e414c" class="nlkfqirnlfjerldfgzxcyiuro">专</span><span id="546c73d012f74931aa5d45707121eb50" class="nlkfqirnlfjerldfgzxcyiuro">实</span><span id="e0285e05974b4577b23b2ced8e453005" class="nlkfqirnlfjerldfgzxcyiuro">新</span><span id="82b9e003de4e4577aa7617681a0d3777" class="nlkfqirnlfjerldfgzxcyiuro">用</span><span id="417aaf4c6ad14b7781db0 ...继续阅读 (16)

线上的服务退出时coredump，显示堆栈为：google一下发现有人遇到过，产生这个core的条件为：使用TLS时注册了destructor (pthread_key_create)，这个回调函数会在线程退出时被调用这个destructor符号位于.so中在线程退出时，这个.so已经被dlclose我们的程序模型中，类似于一个Web App server，有一个线程池包装了IO处理，将请求派发给应用插件，处理完后回应给客户端。应用插件是一个.so，被动态载入(dlopen)，该.so由于实现需要引入了较多的第三方.so(隐式载入)。初步排查时，整个实现是没有问题的，线程池是在.so close前关闭的。没有线索，于是尝试找到该TLS是哪个模块引入的。通过gdb断pthread_key_create，以及不为空的destructor回调可以确定几个模块，但范围不够小，这些模块基本还是些基础模块，如zookeeper/mxml以及网络模块。多看了几个core，发现这个回调的偏移地址都是固定的960，如上图中的0x7f0f26c9f960。.so被载入时，基址是会变的，但偏移是不会变的，例如通过nm查看.so中的符号时：12$nm lib/libsp_kit.so | grep loadConfig00000000002de170 T _ZN8sp_basic14SortRailCon ...继续阅读 (42)

Java中隔离容器用于隔离各个依赖库环境，解决Jar包冲突问题。问题应用App依赖库LibA和LibB，而LibA和LibB又同时依赖LibBase，而LibA和LibB都是其他团队开发的，其中LibA发布了一个重要的修复版本，但是依赖LibBase v2.0，而LibB还没有升级版本，LibBase还不是兼容的，那么此时升级就会面临困难。在生产环境中这种情况往往更恶劣，可能是好几层的间接依赖关系。隔离容器用于解决这种问题。它把LibA和LibB的环境完全隔离开来，LibBase即使类名完全相同也不互相冲突，使得LibA和LibB的升级互不影响。众所周知，Java中判定两个类是否相同，看的是类名和其对应的class loader，两者同时相同才表示相等。隔离容器正是利用这种特性实现的。KContainer这里我实现了一个demo，称为KContainer，源码见github kcontainer。这个container模仿了一些OSGI的东西，这里把LibA和LibB看成是两个bundle，bundle之间是互相隔离的，每个bundle有自己所依赖的第三方库，bundle之间的第三方库完全对外隐藏。bundle可以导出一些类给其他bundle用，bundle可以开启自己的服务。由于是个demo，我只实现关键的部分。KContainer的目录结构类似：1234567891011121 ...继续阅读 (29)

Java GC相关的文章有很多，本文只做概要性总结，主要内容来源于<深入理解Java虚拟机>。对象存活性判定对象存活性判定用于确定一个对象是死是活，死掉的对象则需要被垃圾回收。主要包括的方法：引用计数可达性分析可达性分析的基本思想是：通过一系列的称为”GC Roots”的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链，当一个对象到GC Roots没有任何引用链项链时，则证明此对象是不可用的。在Java中有很多种类的对象可以作为GC Roots，例如类静态属性引用的对象。垃圾收集算法确定了哪些对象是需要回收之后，就可以运用各种垃圾收集算法收集这些对象，例如直接回收内存，或者回收并移动整理内存。主要包括：标记清除(Mark-Sweep)算法：首先标记出需要回收的对象，然后统一回收被标记的对象复制(Copying)算法：将可用内存分块，当一块内存用完后将存活对象复制到其他块，并统一回收不使用的块。Java中新生代对象一般使用该方法标记整理(Mark-Compact)算法：基本同标记清除，不同的是回收时是把可用对象进行移动，以避免内存碎片问题分代收集，将内存分区域，不同区域采用不同的算法，例如Java中的新生代及老年代more如上，Java Hotspot虚拟机实现中将堆内存分为3大区域，即新生代、老年代、永久代。新生代中又分了eden、surv ...继续阅读 (20)

之前在公司里维护了一个名字服务，这个名字服务日常管理了近4000台机器，有4000个左右的客户端连接上来获取机器信息，由于其基本是一个单点服务，所以某些模块接近瓶颈。后来倒是有重构计划，详细设计做了，代码都写了一部分，结果由于某些原因重构就被终止了。JCM是我业余时间用Java重写的一个版本，功能上目前只实现了基础功能。由于它是个完全分布式的架构，所以理论上可以横向扩展，大大增强系统的服务能力。名字服务在分布式系统中，某个服务为了提升整体服务能力，通常部署了很多实例。这里我把这些提供相同服务的实例统称为集群(cluster)，每个实例称为一个节点(Node)。一个应用可能会使用很多cluster，每次访问一个cluster时，就通过名字服务获取该cluster下一个可用的node。那么，名字服务至少需要包含的功能：根据cluster名字获取可用的node对管理的所有cluster下的所有node进行健康度的检测，以保证始终返回可用的node有些名字服务仅对node管理，不参与应用与node间的通信，而有些则可能作为应用与node间的通信转发器。虽然名字服务功能简单，但是要做一个分布式的名字服务还是比较复杂的，因为数据一旦分布式了，就会存在同步、一致性问题的考虑等。What’s JCMJCM围绕前面说的名字服务基础功能实现。包含的功能：管理cluster到node的映射分 ...继续阅读 (33)

servlet作为一个web规范，其本身就算做一个web开发框架，但是其web action (响应某个URI的实现)的实现都是基于类的，不是很方便，并且3.0之前的版本还必须通过web.xml配置来增加新的action。servlet中有一个filter的功能，可以配置所有URI的功能都经过filter。我们可以基于filter的功能来实现一个简单的web框架。在这个框架中，主要改进URI action的映射，就像play framework中route的配置：GET /hello com.codemacro.webdemo.test.TestController.hello GET /route com.codemacro.webdemo.test.TestController.route POST /hello com.codemacro.webdemo.test.TestController.sayHello即把某个URI映射到类接口级别。基于servlet实现web框架的好处不仅实现简单，还能运行在所有支持servlet容器规范的web server上，例如Tomcat、Jetty。本文提到的web framework demo可以从我的github 上取得：servlet-web-framework-demo功能这个w ...继续阅读 (25)

编程语言中的反射(Refection)指的是可以在程序运行期动态加载一个类。与之相关的是自省(Introspection)，这个指的是程序自己可以获取一个类型的描述信息，例如获取一个类的所有接口定义、一个接口的所有形参。当编程语言有了这些语言特性之后，可以在很大程度上解决代码耦合问题，所以在Java的世界里，可以看到很多库/框架使用了反射技术。类似Spring的Bean容器实现就是大量运用了反射机制。Bean容器维护了一些Bean对象，简单来说就是一些普通对象。Bean容器可以根据配置创建这些对象，创建时如果这些对象依赖了其他对象，Bean容器还会负责将依赖的对象注入到目标对象中，也就是所谓的依赖注入(dependence injection)。放在模块设计中，又衍生出控制反转(IoC, Inverse of Control)概念，用于描述应用程序在使用一个框架时，不是框架来控制/限制应用程序的架构模式，而是由应用程序来控制框架。本文就简单描述下Bean容器是如何使用反射来实现的，最终代码参考github ioc-sample类的动态加载可以简单地使用Class.forName，传入某个class的完整名：publicClass ...继续阅读 (18)

Apache Drill可用于大数据的实时分析，引用一段介绍：受到Google Dremel启发，Apache的Drill项目是对大数据集进行交互式分析的分布式系统。Drill并不会试图取代已有的大数据批处理框架（Big Data batch processing framework），如Hadoop MapReduce或流处理框架（stream processing framework），如S4和Storm。相反，它是要填充现有空白的——对大数据集的实时交互式处理简单来说，Drill可接收SQL查询语句，然后后端从多个数据源例如HDFS、MongoDB等获取数据并分析产出分析结果。在一次分析中，它可以汇集多个数据源的数据。而且基于分布式的架构，可以支持秒级查询。Drill在架构上是比较灵活的，它的前端可以不一定是SQL查询语言，后端数据源也可以接入Storage plugin来支持其他数据来源。这里我就实现了一个从HTTP服务获取数据的Storage plugin demo。这个demo可以接入基于GET请求，返回JSON格式的HTTP服务。源码可从我的Github获取：drill-storage-http例子包括：select name, length from http.`/e/api:search` where $p=2 and $q='avi' select name, ...继续阅读 (29)

无锁有序链表可以保证元素的唯一性，使其可用于哈希表的桶，甚至直接作为一个效率不那么高的map。普通链表的无锁实现相对简单点，因为插入元素可以在表头插，而有序链表的插入则是任意位置。本文主要基于论文High Performance Dynamic Lock-Free Hash Tables实现。主要问题链表的主要操作包含insert和remove，先简单实现一个版本，就会看到问题所在，以下代码只用作示例：structnode_t{key_tkey;value_tval;node_t*next;};intl_find(node_t**pred_ptr,node_t**item_ptr,node_t*head,key_tkey){node_t*pred=head;node_t*item=head->next;while(item){intd=KEY_CMP(item->key,key);if(d>=0){*pred_ptr=pred;*item_ptr=item;returnd==0?TRUE:FALSE;}pred=item;item=item->next;}*pred_ptr=pred;*item_ptr=NULL;returnFALSE;}intl_insert(node_t*head,key_tkey,value_tval){node_t*pred,*item,*new_item ...继续阅读 (36)

接上篇使用RCU技术实现读写线程无锁，在没有GC机制的语言中，要实现Lock free的算法，就免不了要自己处理内存回收的问题。Hazard Pointer是另一种处理这个问题的算法，而且相比起来不但简单，功能也很强大。锁无关的数据结构与Hazard指针中讲得很好，Wikipedia Hazard pointer也描述得比较清楚，所以我这里就不讲那么细了。一个简单的实现可以参考我的github haz_ptr.c原理基本原理无非也是读线程对指针进行标识，指针(指向的内存)要释放时都会缓存起来延迟到确认没有读线程了才对其真正释放。中的描述：Each reader thread owns a single-writer/multi-reader shared pointer called “hazard pointer.” When a reader thread assigns the address of a map to its hazard pointer, it is basically announcing to other threads (writers), “I am reading this map. You can replace it if you want, but don’t change its conten ...继续阅读 (37)

在一个系统中有一个写线程和若干个读线程，读写线程通过一个指针共用了一个数据结构，写线程改写这个结构，读线程读取该结构。在写线程改写这个数据结构的过程中，加锁情况下读线程由于等待锁耗时会增加。可以利用RCU (Read Copy UpdateWhat is rcu)的思想来去除这个锁。本文提到的主要实现代码：gistRCURCU可以说是一种替代读写锁的方法。其基于一个事实：当写线程在改变一个指针时，读线程获取这个指针，要么获取到老的值，要么获取到新的值。RCU的基本思想其实很简单，参考What is RCU中Toy implementation可以很容易理解。一种简单的RCU流程可以描述为：写线程：old_ptr = _ptr tmp_ptr = copy(_ptr) // copy change(tmp_ptr) // change _ptr = tmp_ptr // update synchroize(tmp_ptr)写线程要更新_ptr指向的内容时，先复制一份新的，基于新的进行改变，更新_ptr指针，最后同步释放老的内存。more读线程：tmp_ptr = _ptr use(tmp_ptr) dereference(tmp_ptr)读线程直接使用_ptr，使用完后需要告诉写线程自己不再使用_ptr。读线程获取_ptr时，可能会获取 ...继续阅读 (18)

现象线上的服务出现coredump，堆栈为：#0 0x000000000045d145 in GetStackTrace(void**, int, int) () #1 0x000000000045ec22 in tcmalloc::PageHeap::GrowHeap(unsigned long) () #2 0x000000000045eeb3 in tcmalloc::PageHeap::New(unsigned long) () #3 0x0000000000459ee8 in tcmalloc::CentralFreeList::Populate() () #4 0x000000000045a088 in tcmalloc::CentralFreeList::FetchFromSpansSafe() () #5 0x000000000045a10a in tcmalloc::CentralFreeList::RemoveRange(void**, void**, int) () #6 0x000000000045c282 in tcmalloc::ThreadCache::FetchFromCentralCache(unsigned long, unsigned long) () #7 0x0000000000470766 in tc_malloc () ...继续阅读 (153)

关于JVM和其上的byte code，网上其实有足够多的资料了，我这里就简单做个提纲和介绍，权当记录吧。stack-based VMJava byte code运行在JVM上，就像机器指令运行在物理机上，是需要遵循这个机器的指令规范的。所以认识JVM byte code，是需要稍微了解下JVM的。JVM是一个基于栈(stack-based)的虚拟机。很久以前我还写过类似简单的虚拟机。基于栈的虚拟机其操作数和指令运算的中间结果全部都在一个虚拟栈中，与之对应的是基于寄存器(register-based)的虚拟机，其操作数和指令运算结果会存放在若干个寄存器（也就是存储单元）里。x86机器就可以理解为基于寄存器的机器。byte code其实和x86汇编代码本质一样，无非是对应机器制定的一堆指令，这里可以举例说明下两类虚拟机的不同：# stack-based push 1 # 压立即数1到栈顶 push 2 # 压立即数2到栈顶 add # 弹出栈顶2个数相加，将结果3压到栈顶 # register-based mov ax, 1 # 写立即数到寄存器ax add ax, 2 # 取ax中的值1与立即数2进行相加，存放结果到ax关于两类实现的比较，网上也有不少资料，例如Dalvik 虚拟机和 Sun JVM 在架构和执行方面有什么本质 ...继续阅读 (24)

有时候在线上使用gdb调试程序core问题时，可能没有符号文件，拿到的仅是一个内存地址，如果这个指向的是一个STL对象，那么如何查看这个对象的内容呢？只需要知道STL各个容器的数据结构实现，就可以查看其内容。本文描述了SGI STL实现中常用容器的数据结构，以及如何在gdb中查看其内容。stringstring，即basic_stringbits/basic_string.h：mutable_Alloc_hider_M_dataplus;...const_CharT*c_str()const{return_M_data();}..._CharT*_M_data()const{return_M_dataplus._M_p;}...struct_Alloc_hider:_Alloc{_Alloc_hider(_CharT*__dat,const_Alloc&__a):_Alloc(__a),_M_p(__dat){}_CharT*_M_p;// The actual data.};size_typelength()const{return_M_rep()->_M_length;}_Rep*_M_rep()const{return&((reinterpret_cast<_Rep*>(_M_data()))[-1]);}...struct_Rep_base{size_type_M_leng ...继续阅读 (29)

linux下使用动态库，基本用起来还是很容易。但如果我们的程序中大量使用动态库来实现各种框架/插件，那么就会遇到一些坑，掌握这些坑才有利于程序更稳健地运行。本篇先谈谈动态库符号方面的问题。测试代码可以在github上找到符号查找一个应用程序test会链接一个动态库libdy.so，如果一个符号，例如函数callfn定义于libdy.so中，test要使用该函数，简单地声明即可：// dy.cpp libdy.sovoidcallfn(){...}// main.cpp testexternvoidcallfn();callfn();在链接test的时候，链接器会统一进行检查。同样，在libdy.so中有相同的规则，它可以使用一个外部的符号，在它被链接/载入进一个可执行程序时才会进行符号存在与否的检查。这个符号甚至可以定义在test中，形成一种双向依赖，或定义在其他动态库中：more// dy.cpp libdy.soexternvoidmfunc();mfunc();// main.cpp testvoidmfunc(){...}在生成libdy.so时mfunc可以找不到，此时mfunc为未定义：$ nm libdy.so | grep mfun U _Z5mfuncv但在libdy.so被链接进test时则会进行检查，试着把mfunc函数的定义去掉，就会得到一个链接错误：./l ...继续阅读 (22)

zookeeper配置为集群模式时，在启动或异常情况时会选举出一个实例作为Leader。其默认选举算法为FastLeaderElection。不知道zookeeper的可以考虑这样一个问题：某个服务可以配置为多个实例共同构成一个集群对外提供服务。其每一个实例本地都存有冗余数据，每一个实例都可以直接对外提供读写服务。在这个集群中为了保证数据的一致性，需要有一个Leader来协调一些事务。那么问题来了：如何确定哪一个实例是Leader呢？问题的难点在于：没有一个仲裁者来选定Leader每一个实例本地可能已经存在数据，不确定哪个实例上的数据是最新的分布式选举算法正是用来解决这个问题的。本文基于zookeeper 3.4.6 的源码进行分析。FastLeaderElection算法的源码全部位于FastLeaderElection.java文件中，其对外接口为FastLeaderElection.lookForLeader，该接口是一个同步接口，直到选举结束才会返回。同样由于网上已有类似文章，所以我就从图示的角度来阐述。阅读一些其他文章有利于获得初步印象：深入浅出Zookeeper之五 Leader选举，代码导读zookeeper3.3.3源码分析(二)FastLeader选举算法，文字描述较细主要流程阅读代码和以上推荐文章可以把整个流程梳理清楚。实现上，包括了一个消息处理主循环，也是选举 ...继续阅读 (26)

Paxos协议/算法是分布式系统中比较重要的协议，它有多重要呢？<分布式系统的事务处理>：Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法，那就是Paxos，其它的算法都是残次品。<大规模分布式存储系统>：理解了这两个分布式协议之后(Paxos/2PC)，学习其他分布式协议会变得相当容易。学习Paxos算法有两部分：a) 算法的原理/证明；b) 算法的理解/运作。理解这个算法的运作过程其实基本就可以用于工程实践。而且理解这个过程相对来说也容易得多。网上我觉得讲Paxos讲的好的属于这篇：paxos图解及Paxos算法详解，我这里就结合wiki上的实例进一步阐述。一些paxos基础通过这里提到的两篇文章，以及wiki上的内容基本可以理解。more算法内容Paxos在原作者的《Paxos Made Simple》中内容是比较精简的：Phase 1(a) A proposer selects a proposal number n and sends a prepare request with number n to a majority of acceptors.(b) If an acceptor receives a prepare request with number n greater than that ...继续阅读 (24)

在一个分布式环境中，同类型的服务往往会部署很多实例。这些实例使用了一些配置，为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理这些应用服务的配置问题。应用场景可概括为：zookeeper的一种应用就是分布式配置管理(基于ZooKeeper的配置信息存储方案的设计与实现)。百度也有类似的实现：disconf。Diamond则是淘宝开源的一种分布式配置管理服务的实现。Diamond本质上是一个Java写的Web应用，其对外提供接口都是基于HTTP协议的，在阅读代码时可以从实现各个接口的controller入手。分布式配置管理分布式配置管理的本质基本上就是一种推送-订阅模式的运用。配置的应用方是订阅者，配置管理服务则是推送方。概括为下图：其中，客户端包括管理人员publish数据到配置管理服务，可以理解为添加/更新数据；配置管理服务notify数据到订阅者，可以理解为推送。more配置管理服务往往会封装一个客户端库，应用方则是基于该库与配置管理服务进行交互。在实际实现时，客户端库可能是主动拉取(pull)数据，但对于应用方而言，一般是一种事件通知方式。Diamond中的数据是简单的key-value结构。应用方订阅数据则是基于key来订阅，未订阅的数据当然不会被推送。数据从类型上又划分为聚合和非聚合。因为数据推送者可能很多，在整个分布式环境中，可能有多个推送者在推送相 ...继续阅读 (30)

最早的时候是在程序初始化过程中开启了一个timer(timer_create)，这个timer第一次触发的时间较短时就会引起程序core掉，core的位置也是不定的。使用valgrind可以发现有错误的内存写入：==31676== Invalid write of size 8 ==31676== at 0x37A540F852: _dl_allocate_tls_init (in /lib64/ld-2.5.so) ==31676== by 0x4E26BD3: pthread_create@@GLIBC_2.2.5 (in /lib64/libpthread-2.5.so) ==31676== by 0x76E0B00: timer_helper_thread (in /lib64/librt-2.5.so) ==31676== by 0x4E2673C: start_thread (in /lib64/libpthread-2.5.so) ==31676== by 0x58974BC: clone (in /lib64/libc-2.5.so) ==31676== Address 0xf84dbd0 is 0 bytes after a block of size 336 alloc'd ==31676== at 0x4A05430: c ...继续阅读 (27)

zookeeper中节点数量理论上仅受限于内存，但一个节点下的子节点数量受限于request/response 1M数据(size of data / number of znodes)zookeeper的watch机制用于数据变更时zookeeper的主动通知。watch可以被附加到每一个节点上，那么如果一个应用有10W个节点，那zookeeper中就可能有10W个watch（甚至更多）。每一次在zookeeper完成改写节点的操作时就会检测是否有对应的watch，有的话则会通知到watch。Zookeeper-Watcher机制与异步调用原理本文将关注以下内容：zookeeper的性能是否会受节点数量的影响zookeeper的性能是否会受watch数量的影响测试方法在3台机器上分别部署一个zookeeper，版本为3.4.3，机器配置：Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz 16G java version "1.6.0_32" Java(TM) SE Runtime Environment (build 1.6.0_32-b05) OpenJDK (Taobao) 64-Bit Server VM (build 20.0-b12-internal, mixed mode)大部分实验JVM堆大小使用默认，也就是1/4 RAM：jav ...继续阅读 (34)

静态库的链接基本上同链接目标文件.obj/.o相同，但也有些不同的地方。本文简要描述linux下静态库在链接过程中的一些细节。静态库文件格式静态库远远不同于动态库，不涉及到符号重定位之类的问题。静态库本质上只是将一堆目标文件进行打包而已。静态库没有标准，不同的linux下都会有些细微的差别。大致的格式wiki上描述的较清楚：Global header ----------------- +------------------------------- File header 1 ---> | File name File content 1 | | File modification timestamp ----------------- | Owner ID File header 2 | Group ID File content 2 | File mode ----------------- | File size in bytes ... | File magic +-------------------------------File header很多字段都是以ASCI ...继续阅读 (29)

git不同于类似SVN这种版本管理系统，虽然熟悉常用的操作就可以满足大部分需求，但为了在遇到麻烦时不至于靠蛮力去尝试，了解git的原理还是很有必要。文件通过git管理的文件版本信息全部存放在根目录.git下，稍微看下：$ ls .git COMMIT_EDITMSG HEAD branches description index logs packed-refs FETCH_HEAD ORIG_HEAD config hooks info objects refsgit除了提供给我们平时常用的一些命令之外，还有很多底层命令，可以用于查看以上部分文件表示的东西。三个区域/三类对象理解git里的三个区域概念非常重要。git里很多常用的命令都是围绕着这三个区域来做的。它们分别为：working directory，也就是你所操作的那些文件history，你所提交的所有记录，文件历史内容等等。git是个分布式版本管理系统，在你本地有项目的所有历史提交记录；文件历史记录；提交日志等等。stage(index)，暂存区域，本质上是个文件，也就是.git/indexmoregit中还有三类常用对象（实际不止三种），理解这三类对象也很重要。分别为：blob，用于表示一个文件tree，用于表示一个目录，索引到若干文件或子目录commi ...继续阅读 (20)

本来是几年以前写的一篇博客：C++陷阱：构造函数中的多态。然后有同学在评论中讨论了起来，为了记录我就在这里单独写一篇，基本上就是用编译器的实现去证明了早就被大家熟知的一些结论。默认构造函数/析构函数不是在所有情况下都会被生成出来的。为此我还特地翻出《Inside C++ object model》：2.1 Default Constructor ConstructionThe C++ Annotated Reference Manual (ARM) [ELLIS90] (Section 12.1) tells us that “default constructors…are generated (by the compiler) where needed….”后面别人还罗列了好些例子告诉你哪些情况才算needed。本文我就解释构造函数中的多态评论中的问题。more实验代码如下：#includeclassBase{public:Base(){Init();}//virtual~Base(){printf("Base dtor\n");Release();}virtualvoidInit(){printf("Base::Init\n");}virtualvoidRelease(){printf("Base::Release\n");}};classDerive ...继续阅读 (36)