riak_sysmon是利用 BIF 函数 system_monitor 来监控 Erlang vm 产生的消息状态的项目。下面结合使用来分析一下其源码。由于使用 system_monitor，那么 riak_sysmmon 仅能做到如下四类事件的捕获：1. 进程的 heap 超过预设的 heap_word_limit。2. gc 的收集时间过长超过预设的 gc_ms_limit。3. 繁忙的文件或者套接口 port。4. Erlang 节点之间的网络通信烦忙。riak_sysmon 启动之后，会产生两个 gen 进程。其一为 riak_sysmon_filter，这个进程会做如下工作：1. 读取app或者config里的阀值（heap_word_limit，gc_ms_limit等）。2. 根据阀值来启动 system_monitor ，让 vm 发现有超过阀值的状态，发消息给 riak_sysmon_filter 进程。3. riak_sysmon_filter 对这些消息进行过滤，然后 notify 给另外一个 riak_sysmon_mgr 的  gen_event 进程，通知其做出相应的行为。开始之时，riak_sysmon_mgr 是没有 handler 来处理对应事件的，需要用户自己写一个 module 来处理消息事件。 我们可以利用项目自带的一个 example 来 ...继续阅读 (16)

继续上一次的 sys 模块升级的话题，我们再讨论一下升级基本原理，了解一下 code 和 code_server 模块。简单升级上文也说到过，如果升级不改动 State 里的内容，你可以在不 suspend gen 进程的情况下快速升级。在集群的每个节点内（当然也可以通过 rpc）拷贝 beam 到线上的 ebin 目录。code:purge(Module).code:load_file(Module).让代码触发 Fully qualified function calls，走到新的 beam 代码。如果你想省略后 2，3 两步，可以利用 mochiweb 的 reloader 模块进行自动加载，其原理也是发现 beam 文件时间戳的变化调用 2，3 两步。升级的原理结合 code_server 代码来研究一下升级的原理。erlang 可以同时允许两套代码同时加载运行在虚拟机内部运行，一套被成为老版本代码，一套被成为当前版本代码，即为最新代码。升级调度的命令一般在 code 模块，它其实是 code_server 模块的接口，上面的 purge、load_file 实际上都是向 code_server 进程发送相应的话 call 消息，erlang 一般都这么玩。code_server 是一个 gen_server like 的进程，但却没有使用behaviour，因为是 ker ...继续阅读 (16)

sys 模块主要有两大用途：统计跟踪目标 gen 进程、代码热升级，尤其后者非常重要，下面从 erlang 源码层面来讲述这两大工作原理。代码热升级代码热升级能做到 gen 进程不停（自然其中已经打开的 socket，file 都不需要关闭，保证100%的在线率）的情况下自动载入新的代码，这点对于其它程序语言来说是件非常难的事情,而对于 erlang 确只是简单几行代码就能解决问题。演示代码这里有演示代码，你可以自行运行。热升级的原理和步骤1. 首先 gen 进程启动并处于正常工作状态处理业务逻辑，现在需要对代码进行升级，修改原来的内部State状态。2. 修改代码，编译出新的beam文件。compile:file(Mod).注意不能使用 c(Mod)。 c命令实际包含一个编译、加载、清理老代码作用，这里还不能加载哦, 否则老的内存状态运行在新的代码肯定报错，因为 State 不一致。3. 利用 sys:suspend 函数使得 gen 进程陷入一种挂起状态这种挂起状态的 gen 进程仅仅会处理 system 和 ‘EXIT’ 两类的消息，而不会处理业务逻辑。sys.erl ==== suspend_loop(SysState, Parent, Mod, Debug, Misc, Hib) ->     case Hib of     true ->     ...继续阅读 (19)

MySQL协议分析,主要参考MySQL Forge上的wiki和源码.协议的全图见这里, 给同事分享的ppt见这里,下载见这里MySQL协议分析View morepresentationsfromruoyi ruanpacket number在做proxy的时候在这里迷糊过,翻了几遍代码才搞明白，细节如下：客户端服务端的net->pkt_nr都从0开始.接受包时比较packet number 和net->pkt_nr是否相等,否则报packet number乱序,连接报错;相等则pkt_nr自增.发送包时把net->pkt_nr作为packet number发送,然后对net->pkt_nr进行自增保持和对端的同步.接收包sql/net_serv.c:my_real_read898 if (net->buff[net->where_b + 3] != (uchar) net->pkt_nr)发送包sql/net_serv.c:my_net_write392 int3store(buff,len); 393 buff[3]= (uchar) net->pkt_nr++;我们来几个具体场景的packet number, net->pkt_nr的变化连接0 c ———–> s 0  connect0 c <—-0 ...继续阅读 (29)

supervisor实际上是基于gen_server的系统进程，监控子进程的退出状态并设置一定的重启机制。init在这个例子里Mod模块是一个sup程序,它的启动会调用supervisor:start_link,而start_link实际上调用的gen_server:start_link并存入Mod模块的名字和参数.从前面的文章我们可以知道, spawn出来的gen进程会先调用supervisor:init函数. 接着把gen进程设置为系统进程, 这样就可以捕获子进程退出信号, 然后根据Args里的Mod模块名和参数,再次调用到Mod:init.Mod的init函数返回的是一个{ok, SupFlags, StartSpec}的元组. SupFlags是supervisor管理的进程的启动策略和可重启的范围窗口，StartSpec是一个列表,保存多个子进程的MFA等信息.接下来的init_state函数会把SupFlags, StartSpec存储在gen进程的State里, gen进程在整个生命周期一直围绕着这个State. 我们来看看State的结构,明白这个结构,supervisor就很好理解了.-record(state, {name, strategy, children = [], dynamics = ?DICT:new(), intensity, period, r ...继续阅读 (30)

gen_fsm和gen_server非常的类似, 在gen进程递归调用loop函数的过程中，除有StateData还额外有一个StateName的atom, 它决定了下次执行的函数. 另外一个不同之处是, gen_server程序是由调用进程向gen进程发送消息, 一种cs模式的调用关系，而gen_fsm程序中这个发送消息的通常都是gen进程本身.init初始化过程和gen_server很类似,  区别是init返回必须获得一个当前状态StateName, 这样才能继续接下来的事件处理.如果在Mod:init返回的是{ok, State, Timeout}{ok, State, Timeout} -> proc_lib:init_ack(Starter, {ok, self()}), loop(Parent, Name, State, Mod, Timeout, Debug);则在loop函数的阻塞是有超时的，不会永久阻塞等待消息。loop(Parent, Name, StateName, StateData, Mod, Time, Debug) -> Msg = receive Input -> Input after Time -> {'$gen_event', timeout} end, decode_msg(Msg,Parent, Name, StateName, Stat ...继续阅读 (36)

阅读OTP源码可以帮助你写出更好、更健壮的erlang程序.下面一系列文章就gen_server、gen_fsm、supervisor的源码进行分析, 从erlang级别解释其工作原理, 所有的完整流程图在这里, 第一次写erlang方面博文有错误请帮忙指出.为什么从gen_server它开始, 因为gen_fsm和它很类似, 而supervsisor本身是一个gen_server.init图示为一个叫Mod的模块, 它是一个gen_server程序, 绿色方格为调用进程（客户进程）, 黄色方格为spawn出的gen进程（服务进程）. 不同的泳道表示函数所隶属的模块, 通过这个图可以清晰的看出各个模块至之间的相互调用, 图是使用gliffy所画。从左上角的start(Args)开始，gen_server的程序Mod的开始函数都会调用gen_server:start(或者start_link)来创建一个服务进程，gen_server:start内部实际上调用的是gen模块。gen模块是很多behaviour的基础,对于gen进程的启动和同步操作进行了封装.gen模块使用proc_lib:start来更加安全的spawn出gen进程，然后阻塞在sync_wait这个函数里,等待gen进程的回应.spawn出的gen进程会执行到Mod模块的init函数。然后会把{ok, Pid}发送给调 ...继续阅读 (24)

基本类型如何使用元表在lua里只能为表设置元表,而在c程序里面可以为基本类型进行元表操作,但上篇博文提到了普通类型的很多操作是不会走到元表,下面的例子针对数字类型,添加多种事件,只有部分事件会生效.下面的例子在c代码里对数字类型添加元表对__add,__len都设置事件.mct.c ====================== #include #include #include //__add event function static int add(lua_State *L) { lua_pushinteger(L, 200); return 1; } //__len event function static int len(lua_State *L) { lua_pushinteger(L, 111); return 1; } int main(int argc, char* argv[]) { lua_State *L = lua_open(); luaopen_base(L); //integer type metatable lua_pushnumber(L, 1); lua_newtable(L); lua_pushcfunction(L, add); lua_set ...继续阅读 (21)

表是如何调度到元表的呢,上篇博文的例子我们看到当键值未能被查找到之后会调用__index事件对应的函数.现在举一个”__add”事件来遍历重要环节的源码.当然从luaV_execute开始.lvm.c ============= void luaV_execute (lua_State *L, int nexeccalls) { .... switch (GET_OPCODE(i)) { case OP_ADD: { arith_op(luai_numadd, TM_ADD); continue; } ....arith_op是个宏,会针对操作数进行类型判断,如果是数字类型就会立即进行相加,这就是为什么基本类型即便设置了加减等事件函数后还是没有效果,例如你为数字的加法设置了__add事件后数字相加不会掉用这个元表方法,后面会举一个例子.继续当发现操作数字为非数字类型后,就会调用Airth函数.#define arith_op(op,tm) { \ TValue *rb = RKB(i); \ TValue *rc = RKC(i); \ if (ttisnumber(rb) && ttisnumber(rc)) { \ ...继续阅读 (19)

lua metatable(以下简称元表)类似c++的operator overloads,可以对复合结构进行操作,在lua里最常见的就是对表的操作.举例来说，当两个表作加法操作的时候,Lua会检查表的元表中是否有”__add”事件是否对应一个函数(metamethod)。如果存在Lua会调用这个函数来执行一次表的加法操作.__index和__newindex是表常常要添加的事件,用于处理键值在表无法被查找到之后的处理.hoterran@~/Projects/lua$ cat meta_test.lua t = {} t.a = 1 print(t.a) print(t.b) setmetatable(t, {__index = function(x) return "test" end}) print(t.b) hoterran@~/Projects/lua$ lua meta_test.lua 1 nil test可见当键值”b”在表内无法查找到之后会调用__index事件对应的匿名函数,后面我们从源码角度分析这个例子.接下来源码角度分析各种类型的元表.对于基本类型的元表,每类类型只有一个元表,某类类型共享同一个元表,基本类型的元表未设置之前都为空.lstate.c ================ struct global_State{ .... struct ...继续阅读 (14)