前段时间继续做了rubytt这个小项目，遇到一些问题。我想做一个自动检测未定义变量的功能，发现如果只是做静态分析，是很难做出来的。还有涉及到各种 gem 包的分析，这些工作量较大。可以看出在这个PR里我甚至用上了一些硬编码。然后我想做一个自动分析代码复杂度的功能，比如某些函数太长，或者逻辑太多之类的。这个我实现起来很快，也是比较简单的遍历语法树，递归统计逻辑操作和幅值操作的总数之类的。不过这些在 rubocop 里面都实现了，其中Cyclomatic complexity可用来衡量代码的复杂度。我仔细看了看 rubocop 的内容，这个项目里面做的检查还挺全的，不过很多都是风格类的检查。在我下一个项目一开始我就引入了 rubocop ，对于保证代码质量还是挺有帮助的。对于之前老的项目，如果不是一开始就保持代码风格和静态分析的检查，后面要追加就非常耗时了，往往大家也没有时间来做各种重构。rubytt 暂时告一段落，作为一个业余项目还是花费了些时间，造轮子的过程中收获不少。 ...继续阅读 (10)

最近看费曼的书《发现的乐趣》，里面有一段描述非常好玩:好，弗兰克先生开始实施他的计划了，与此同时，他也得了一种病——『计算机病』。现在每个使用计算机的人都知道这个毛病，那种病非常厉害，会干扰整个工作。这是我们面临的一个严重问题。所谓『计算机病』就是你一『玩』上计算机，就会上瘾。计算机真的非常奇妙，你手上操作着那些 x 转换开关，这样弄得到某个偶数，那样弄得到某个奇数。如果你够聪明，很快你就能在一台机器上做越来越复杂的计算。只不过，没多久，整个系统就瘫痪了。他对工作不再上心了，也不再管理手下，整个系统运转得很慢很慢。但是，真正麻烦的是，他一直坐在一间办公室里，琢磨怎么让制表机自动打印出反正切值，然后机器就开始打印，成排成排地打印，扑哧，扑哧，扑哧，一边打印一边还自动用积分计算反正切值，整张表都是方正切值计算结果。其实，这毫无意义，因为我们人手一份反正切表。不过，如果你用过计算机，你就会理解他为什么得这种病。计算机能让你知道自己究竟能做多少事情，这也是一种乐趣。他第一次接触这机器，就染上了这种病，这个可怜的家伙——整个项目都是他发起的，可他却得了这种病。其实很多程序员都有这种病，可以概括为一句话『沉迷于工具』，计算机也是工具，这位弗兰克先生还未解决眼前的问题时就丢掉了方向。好奇心是程序员必不可少的东西，而如果管不住自己的好奇心就会耽误事。对于非程序员来说，这件事情看起来就是『某个杀猪佬 ...继续阅读 (6)

rubytt是一个 Ruby 程序的静态分析器，这个项目从16年年初一直到年底，断断续续持续了近一年。这里稍微总结一下自己的开发过程。0. 缘由14年开始，从我进入 DJI 之后开始接触 Rails 开发。Ruby 之前也接触过，不过都是写一些小脚本之类的东西。我们几乎用 Rails 写各种系统，开发的效率很快。对于经常变动的 Web 开发 rails 还是挺好的。在我经历过的一个对正确性要求很高的项目里，有一次系统出现一个致命的问题。我们6个开发人员在小黑屋里面足足找了一个下午。最后却发现不过是一个 type 错误引入的，导致后台任务一直执行错误。后来稍微多想了想，这样的类型错误应该是在开发阶段就及时发现的。 Rails 项目没有测试是不行的，所以我们后续补充了更多单元测试。另外我所使用过的静态语言几乎都能及早避免这样的错误，特别是在使用过 OCaml 这样的强类型语言后，我对类型有了更强的偏好。于是想我能不能做一个自动检测出类似 bug 的工具。据我所知王垠的rubysonar可以做类型分析，于是我 checkout 出来看了看代码。Java代码不是特别复杂，也发现了两个问题并提交了PR。然后觉得这个东西还是比较好玩，干脆就自己另起一个项目来玩玩。1. rubytt 的开发首先得给这个坑起一个名字，想了想就 rubytt 吧，其实就是"ruby to type&quo ...继续阅读 (5)

最近又读了本张宏杰的书《饥饿的盛势》。张宏杰的书今年看了好几本，讲述历史都挺生动，特别是对人物内心的剖析很到位。很多时候作者是站在历史人物的角度去分析，书里所展现的历史人物特别鲜活。很多历史人物都被脸谱化或者自带几个标签，这人不是好的则是坏的。可是人都是复杂的、多面的，真实的历史事件又会有各种偶然因素。这本书看完后，对乾隆印象具体了很多。乾隆盛世的背后，隐藏着这位皇帝仁慈和残暴、宽容和计较。乾隆作为为数不多的自律而有头脑的皇帝，几乎是创记录地维持帝国专制统治近60年。雍正仓促去世，乾隆在25岁的盛年继位，继位过程光明正大，水到渠成。上任之后就改变了帝国的航向。乾隆把被雍正折腾得要死的各种皇室宗族放出，给予产业和爵位，一下子扫除皇室王宫对雍正乾隆一族的怨恨。为了争取官僚集团对自己的效忠，他仿效祖父，宽大待下，从实际角度考虑问题，解决困难。对农民也采取了仁政，停捐纳，重视农业，赢取农民的爱戴。乾隆精通驭臣之术，虽然初征的时候执行仁政，他对于权利的集中却丝毫没有松懈过，时刻警惕名称、后宫、宦官等一切可能干扰权利的因素。张廷玉是雍正时的老臣，对大清可谓鞠躬尽瘁，雍正点名其可配太庙。而乾隆因为各种鸡毛蒜皮的小事和张廷玉斗，最后把人弄得晚节不保。这章读起来真的是好生动啊，这个宇宙第一的皇帝心眼小得夸张！原配皇后富察氏的两个皇子的相继去世、富察氏后来也病死，这对乾隆影响很大。皇帝权利再大也抵不过 ...继续阅读 (3)

Nginx 限流可以通过几种方式实现：1. Nginx自带的流量控制模块ngx_http_limit_req 根据特定的key(通常为IP) 控制访问频率ngx_http_limit_req_module 控制连接数通过修改Nginx的配置文件，然后reload。这种方式配置比较简单，然而 reload 对于当前访问量比较大的服务器开销也有一些。 根据新浪的经验，每一次的 reload 对 Nginx 的 QPS 与耗时的影响通常会持续 8~10s，考虑到一次扩容会有频繁的变更，这对在线业务来说是不堪承受之重。因此，要避免对 Nginx 进行 reload。2. 使用lua-resty-limit-traffic 流量控制代码和文档。这个库分为limit_conn 和 limit_req模块，limit_req限制某个 ip 或者 server 的访问频率，limit_conn 限制连接数。lua-resty-limit-traffic 的原理是使用 Nginx 的 shared_dict，建立一个 hashtable，根据目前连接数或者访问请求记录相关信息。对于每一个Nginx请求都有一系列执行阶段，每个阶段可以增加 hook，access_by_lua是处理前调用的hook, log_by_lua 是处理完成后调用的 hook。进入的时候通过 ip 作为 key 找到shar ...继续阅读 (7)

前些天在家偶然翻到一部日本电影《黄昏的清兵卫》，看完后觉得非常符合个人口味。顺着同类型的电影又看了《隐剑鬼爪》。两部电影都是由山田洋次导演，主要故事都是围绕德川幕府末期的武士展开。剧情其实有些类似，一个武士，一个柔弱女主，甚至是同一个仆从，在“义务”和“义理”的冲突下来一场厮杀。武士爱着女主，却因为种种“理”而不能靠近。突出武士阶层的隐忍和不可避免的没落。看完电影后，又顺着看了多人推荐的《菊与刀》。二战后美国急需了解日本，特别是日本人民的习俗和心理特征，因为日本在西方人看来太过特别，他们在战争中所体现的凶残程度也是前所未有的。《菊与刀》正是在这样的历史背景下由本尼迪克所写。据说作者本人并没有去过日本，而是通过书籍和调研来完成。这本书也许有的方面写得有所夸张。看完这本书后，对上面两部电影有了更深些的理解。日本崇尚秩序，上级对下级的命令是无法抗拒的。这也解释了为什么二战时日本士兵凶暴残忍得像禽兽一般，而当天皇下诏投降书后，日本人绝大部分立马放弃抵抗，站在街头服服贴贴迎接盟军。在《隐剑鬼爪》中，藩府上级要求片桐出卖朋友交出叛党名单，片桐出于“义”而拒绝。但藩府换成“命令”的时候，他还是会去执行。“义务”和“义理”发生冲突的题材是很多日本故事和电影的基础。剧中人为履行义务忍受了一切，无论不幸、遗弃、疾病还是死亡，都未能使他们偏离。他们认为。所谓强者恰恰在于敢于抛弃个人幸福而去履行义务。他们 ...继续阅读 (4)

In an normal release, Rails app's unit testing will avoid most errors. But for the urgent code publishing, we have got several time of typo error. Code syntax error may cause server crash for a little while(Passenger web server and we using./tmp/restart.txtto restart). We use Capistrano to publish code, so I plan to add a syntax checking before publishing code. The method is writing a task to bundle exec rails runner, this will report most ruby syntax error(except the undef variables in some functions, runner will load .rb files).namespace:appdodesc"check all the ruby code"task:check ...继续阅读 (32)

最近我们部门内部组成了一个算法读书小组，每周大家轮流分享自己的学习心得。为了方便学习我还写了一个小的 内部OJ，看起来还挺还好玩的。界面风格学习了青岛大学的 OJ，后台使用 Docker 来做沙盒跑测试输出结果。顺便学习了实际使用Docker。唯一麻烦点的是选了一个阿里的主机，最开始更新起来比较慢。还是用亚马逊的比较好。讨论形式还在摸索，我们现在每周选择一两个主题，会有两个分享人主讲，另外在 OJ 上弄几道题目大家做。总的来说还是可以提高一些东西，算法方面的知识，比如分享、表达的技巧。等 OJ 完善得差不多了再分享出来。另外业务时间也在 HackerRank 上做了一些题目，刚开始是为了熟悉 OCaml，专门用 OCaml写FP 方面的题目。 最近两周也顺便参加了一些比赛。这些比赛有的是和一些公司合办的，有的是各个主题的。比如有周赛，从周一到周五每天一个问题。个人觉得这个比较适合已经工作了的程序员，因为可以在空闲时间慢慢思考。等比赛结束之后也可以看其他人的解法和代码。我最近写得比较多，又找到了在学校时写程序的乐趣了。而且熟悉了之后用 OCaml实现算法还是挺快的。我的一些代码放在了这里，感兴趣的可以参考。 ...继续阅读 (35)

After reading the first simple Scheme interpreter ofbootstrap-scheme, I have some interests on studying various programming languages and interpreters. It’s really fun to implement tiny programming languages. For learning a new programming language, a simple Scheme interpreter is a good starting project. Because in this small project we need to know some core aspects of a new programming language, including the basic I/O operations, abstraction methods for expression representation, recursive for eval, and unit testing. Also mini Scheme is so easy for parsing, we can focus on data representati ...继续阅读 (17)

最近看了几本书，大多都是觉得有些意思就从亚马逊上买了。自从我的Kindle坏了之后，我就基本只买纸质书了。虽然纸质书携带不够方便，看起来更够味。别逗了，费曼先生! *****这是我最推荐的一本，断断续续看了两遍。这本书虽然是翻译的，但是质量很够水准，费曼聪明的坏教授形象跃然纸上。费曼作为物理学家也挺逗的，从小喜欢发明各种东西、恶作剧，折腾电子器件，好玩。青年时期开始折腾物理，在暑假期间顺便当了一段时间『化学家』。后面又对破解密码锁、画画、打鼓、学习外语产生浓厚兴趣，并极其投入。贯穿其中最让人敬佩的是费曼的好奇心好韧性。整本书都是在用一种诙谐平叙事写法，不过突然怀念自己的妻子那段特别感人，他的妻子去世那段时间正是在研发原子弹期间：当我返回的时候他们都来问我发生了什么事儿，“她死了，工作进行的怎么样？”他们立刻明白了，我不想为此终日哀伤。我显然要做些安慰心理的事：现实是重要的。我一定要理解，从生理学上说，阿琳究竟是怎么了；我没哭，直到几个月之后。当时我在橡树岭，我正走过一家百货商店的橱窗，里头挂着女士服装，我想阿琳或许喜欢其中一件。此时此刻，我不盛悲戚。他谢绝芝加哥大学高薪聘请的那段挺逗：“我将有能力做我一直想做的事 ——- 找个迷人的情妇，为她买一座漂亮的房子，给她买好东西……用你们给的这份薪水，我必定真的会这么做，我知道那会是什么结果，我会为她操心，挂念她在干什么，我们会吵架。我回 ...继续阅读 (22)

什么是惰性求值惰性在函数式编程语言中很常见，他的通俗解释就是一个变量或者表达式，不到必要的时候不会被eval。比如函数在传递参数的时候，参数的值可以不确定。这种方式叫做call-by-name, 首先很明显这可能会造成一部分performance差异，如果一个表达式没有用到，那么计算出其结果是毫无意义的。而惰性求值是memoized的call-by-name, 叫做call-by-need。 从技术实现上来说，一个表达式在计算其结果之前其状态是Deferred或者Delayed的，在计算之后将其结果存储下来并修改状态为Value，之后再取就没有必要重新去计算。用一些OCaml代码来说明：#letv=lazy(print_string"performing lazy computation\n";sqrt16.);;valv:floatlazy_t=#Lazy.forcev;;performinglazycomputation-:float=4.#Lazy.forcev;;-:float=4.关键字lazy表示延迟计算这个表达式， Lazy.force表示求值。可以看到第一次force的时候会打印出performing…信息，后面的force就直接返回了value。为了更好的理解这个概念，我们可以实现一把Lazy。首先定义一个lazy_state:#type'alazy_state= ...继续阅读 (21)

Subtypingsubtyping解决的问题是多态，OO的一个基本要素。we say that S is a subtype of T, written S <: T, to mean that any term of type S can safely be used in a context where a term of type T is expected. This view of subtyping is often called the principle of safe substitution.这章只是以record来作为例子说明，直白的所一个类型S是另外一个类型的T的子类型，意思是任何使用T的context，我们可以安全的使用S。对于record类型来说，field数量多的是field数量少的子类型，因为这样任何从T要取得的field都可以从子类型里面取到。对于函数类型来说，如果S1->S2,T1->T2, S1是T1的子类型，S2是T2的子类行，那么S1->S2是T1->T2的子类型。引入Top类型，是所有类型的父类，对应很多编程语言里面的Object(OOP里面常见的伎俩)，Go里面我就这样定义：typeObjectinterface{}引入Bottom类型似乎就没什么大用处了，还增加了typecheker的复杂度。Ascription and Casti ...继续阅读 (14)

ReferencesSide effectIn particular, besides just yielding results, evaluation of terms in these languages may assign to mutable variables (reference cells, arrays, mutable record fields, etc.), perform input and output to files, displays, or network connections, make non-local transfers of control via exceptions, jumps, or continuations, engage in inter-process synchronization and communication, and so on. In the literature on programming languages, such “side effects” of computation are more generally referred to as computational effects.引用指向的对象可以是基本类型、组合类型，甚至是函数，把指向函数的ref放进对应的record，就变成一个简单的 ...继续阅读 (18)

最近掉进另外一个PL的坑里面，就是想读一下这本书，顺便继续熟悉一下Ocaml。下面的记录是阅读过程中的一些摘录和理解。1-2章是数学预备部分，理论部分有些地方比较难懂，主要是一些数学符号看久了眼花。 解释器的实现大多只用看syntax.ml和core.ml，就是语法和具体eval，typeof函数。Untyped Systemsarith是一个无类型的解释器，是后面所有章节的基础。printtm_Term用了Format模块来格式化打印。The Untyped Lambda-Calculus浅显易懂的Lambda-Calculus解释，同时列举了一些lambda calculus扩展其他语言部分的例子。An ML Implementation of the Lambda-Calculusshifting和substitution的实现挺难看懂的，本质上是把context里面的变量用index来替换，处理变量查找的一种实现而已。eval部分是非常地简洁，我觉得ML系的语法看起来比Scheme都舒服紧凑。Just because you’ve implemented something doesn’t mean you understand it. —Brian Cantwell S ...继续阅读 (23)

前些天花了一些时间读这本书《计算的本质：深入剖析程序和计算机》。总的来说这本书非常不错。虽然讲述的是一些看似理论的东西， 里面有不少短小的Ruby程序，读起来还是非常有趣的。回想当年大学的时候有一门课程叫做形式语言与自动机，当时觉得这门课真是太没劲了。理论的东西终究需要一些实践才能掌握，早早读到这样的书就好了。首先第一部分介绍了一些基本Ruby语法，十来页的介绍就够了。Ruby的语法真的是非常直观，人性化的。两年前我被Ruby吸引，现在我每天大部分时间都敲着Ruby代码，用Ruby很省事！对Ruby来说数据也是程序是很常见的，这本书使用Ruby来做示例是很好的选择。什么是程序？这是一个可以从各个角度深入的问题，程序是程序员表达自己脑海中的思想的形式。我们需要从编程语言开始，语言的语法和语义完整地定义了一门编程语言。这本书开始以小步语义来解释一个简单的语言，这样就得到一个的解释器程序。小步语义提供了一种轻松的方式来模拟计算的中间过程。随后介绍了大步语义，我觉得这两者之间的关联有些像自顶向下和自底向上。然后介绍了treetop这个工具，自定义grammar来实现一个简单的语法解释器。第三章开始介绍自动机，从最简单的确定性有限自动机开始(DFA)，然后是非确定性自动机(NFA)和正则表达式。我原来上学的时候大多在手动画这些状态图，远没这些简单的代码好玩。 有输入，有状态，有输出，这些状态 ...继续阅读 (21)

我到了一个做无人机的公司工作，叫做大疆创新(DJI)。最近内部有一些推广活动，有感兴趣的朋友了解一下。大疆精灵这页面我隔壁小伙子做的，看起来还不错 :)Phantom系列是公司卖得最好的一款产品，市场主要在欧美。这个东西挺好，比如能拍出这样的照片：stacy-s-breathless-moment。https://www.skypixel.com/#/photos这里是大量用户上传的航拍照片。从不同的视角来欣赏地球，自有另一番风景。当然如果以后还能做得更好，或许可以这样自拍了:DJI 云拍Inspire是下半年出的产品，这个还是挺惊艳的。设计很前卫，4k镜头，操作灵敏且稳定性极佳。不过价格也不便宜，接近2w了。“悟” INSPIRE PHILIP BLOOMDJI Inspire 1 – “Soar”This is the most amazing drone we’ve seen yet顺便，再分享一个好东西给大家。 大家都知道我们外面有个墙，红杏出墙就是个梯子。我用了一段时间了，挺方便的。 所以在这里推荐一下，可以用这个链接注册。 ...继续阅读 (16)

Again, one article just for writing practice. :)Rust-langrelease alpha 1.0 today. Rust aims to be a systems level programming language to replace C and C++. I hit Rust-lang about two month ago, and found it’s a funny language. Then I read some Rust code and also wrote a hobby project with it.There are several feature attract me:Write low-level code with safety guaranteesRust have the concept of onwership. For the resource in computation(this is usually refer to memory, file handler etc), the should be an owner. Rust try to solve the common errors caused by pointers in C/C++, such like dangling ...继续阅读 (14)

之前看EOPL感觉收获挺大，最近又花业余时间看了看编译相关的东西，这是我看lcc的时候顺手记下的一些自己的理解。这本书《A Retargetable C Compiler》还挺大头的。lcc代码量不是特别大，更复杂的是tinyCC，tinyCC甚至可以直接运行C代码。alloc.c为了尽量的少调用系统调用，在alloc基础上封装了一下。sym.c用来存储symbol，注意scope的表示方法。input.c为了减少读取文件的开销，用一个buffer来缓存源文件内容。cp表示当前读取出来的字符位置，limit表示缓存的结尾字符位置，如果fillbuf一次以后仍然cp == limit则表示读取文件到EOF了。注意这里的fread读取的时候是通过stdin的，但是在main.c/main_init函数的时候通过freopen将源文件重定向到了stdin。fillbuf其实读取的时候是永远先把内容读取到buffer[MAXLINE+1]的位置，如果发现cp < limit就把前面剩下的内容往前移动，这样永远保证buffer足够下一次预读取,这里有点巧妙。比较复杂的部分是处理resynch，input处理的内容是经过C语言预处理器的，这部分没有包含在这个编译器内。lex.c一个完全是手写的C语言Parser，虽然只是兼容C99，但手写还是比较复杂的。码农约架比写Parser是个体现实力的比 ...继续阅读 (24)

最近花了一些时间研究机器的部署，主要是实践了网络安装服务器和OpenStack部署。网络安装Ubuntu如果有多台服务器，网络安装似乎是唯一的选择。基本原理就是在局域网里面配置一个host，里面配置好一个HDCP服务和TFTP服务，用Apache弄一个系统镜像供服务器下载。 当然这里面有许多许多的坑，一个一个爬出来感觉还是挺好的。我把一些记录在了这个Gist里面。 Kickstart用来自动化安装过程，这样安装过程中就不会弹出等待用户输入的对话款。总的来说就是：dhcp + tftp + web服务器 + ubuntu镜像 + kickstart : 局域网自动部署弄这些似乎有点回到从前的感觉，我在05年左右大二的时候开始折腾系统。那时候Ubuntu正在作推广，在校学生可以免费申请光盘。因此，从4.04开始所有的Ubuntu盘我都有一份， 经常乐此不疲地安装。当然也安装过各种Linux其他发行版。有时候出现问题还会找一些学长来帮忙弄。现在想来挺浪费时间的，应该花时间来多学些基础的东西。弄完这网络安装以后我就想，如果当年整个男生宿舍弄这么一个安装系统的服务器，那可是能节省很多同学的时间啊！OpenStack 安装部署OpenStack号称下一个Linux，分为很多独立的部件组成，看起来是一套很复杂的系统。我们主要是想利用OpenStack来构建私有云。 OpenStack的安装涉及到 ...继续阅读 (23)

Keep writing some simple thing in English, for I will have less chance for writing English words in daily working.I will always run eshell for shell tasks, because this is really like the normal buffer in Emacs, so all the command for Emacs will keep working for this buffer. This is convenient for some actions.The problem annoying me is that if the size of buffer for eshell is too big, Emacs will gets more and more slow. Emacs essentially is a sole process program. So I have some digg and written a trivial elisp code like this solved the problem.(defunclear-and-send-input()(interactive)(if(>(c ...继续阅读 (24)

Scheme-Brained Hare在我学Go的时候开始了一个自己的业余小项目，就是这个GoScheme，打算用Go来写一个Scheme解释器，因为重写轮子是学习新东西的好手段。 现在基本完成了，当然只是一些基本的语法支持，没有宏。我只是用这个项目来熟悉Go的语法，Go来做这种项目没有特别大的优势，这个项目用C来实现代码量会更少一些。比如这里个里面的基本数据对象包括各种类型，boolean, symbol, fixnum, proc等等，又都是一个Object类型。如果是C可以用union类型来表示，然后通过Object*实现接口上的统一操作各种数据，类似的代码像这样子：typedefstructobject{object_typetype;union{struct{charvalue;}boolean;struct{char*value;}symbol;struct{structobject*car;structobject*cdr;}pair;// ..........}data;}object;Go里面没有Union这种类型，所以我用了reflect来实现这些东西，看起来还不是那么简洁。Go的自带的一些toolset还可以，比如testing，format，coverage等，可以减少一些琐碎的事。另外，以后项目里配一下travis-CI可以做集成测试。Go更适合做一些需要 ...继续阅读 (23)

最近一直在用Go做开发，我们打算整一套和Rails对应的Go开发框架。一些代码在我们的Github小组里有。这里的几个项目都用到了代码生成的方法，生成Go文件，最后的整个web程序被编译成一个可执行文件。 我们正在用一个项目来验证这个想法。其中：1. xuanwu(玄武)根据thrift文件产生对应MVC里面的Model。生成的go文件里面，一个thrift类型对应一个go里面的type struct，生成的代码中包含一些基本的方法，比如FindByID等等，这都是根据thrift文件定义的对象属性自动生成的。这里用到了ptsd来解析thrift文件，自己定义模板来生成Go代码。我后来加了crud.py和crud.tmpl来生成Controller的代码，这样MVC里面Model和Controller就都有了。不过对于Go这样的静态语言，生成代码这套方案有个难解决的问题就是如何在生成的代码基础上实现用户自定义。我们现在的解决办法是另外写一个对应的fix文件，在里面写入自己要重写的函数，另外写一个程序根据gen文件和fix文件来做一个基于函数定义的diff，如果用户定义了就忽略自动生成的函数。好绕的方法，不过因为Go库里面自带的的parser和AST，做这么一个diff程序还挺简单的。2. gorazor(白虎)功能是MVC里面的view engine，从C#里面的razor模仿而来 ...继续阅读 (16)

有一段时间没有更新了，我最近辞职了。正好接着这段时间在家把婚结了，然后准备去深圳。从2011年6月底入职到5月中旬，在上海待了三年。仍然记得刚入职那种带点小兴奋激动的心情。 说实话在上海的这三年日子过得很安逸，以至于最近一年安逸得让自己不安，如果白天不做什么事晚上是很难睡着的。在这段时间里，我遇到的都是一些很好的同事，我从他们身上学到了东西，这个环境可能是我能遇到的最自由的工作环境了。 但是我很自然而悲哀地会发现EDA行业不是我想待的，我没有激情在这个行业里面不断提高自己。我发现，上海是个不错的工作城市，虽然我去上海的时候并没有打算要在那长待。 我发现，这个世界确实是参次不齐，即使是在这么小的一个世界里。 我发现，团队的分享很重要，这是团队是否还在进步和有活力的一个标志。 我发现，测试很重要，软件都是tuning出来的(借用老罗的话)。 我发现，我还是挺喜欢写代码的，并打算再好好写上好多年。我当然不光只想写代码，并且想写一些有用的、好玩的、有价值的代码，我希望能看到用户能怎样使用我们的东西。(当然这不能说我们在上海写的代码没有用，事实上那些软件还是应该归属于高精尖一类的:)。只是在那个行业里R&D;并不直接和用户打交道，R&D;并不怎么用自己开发出来的产品)。 我发现，家庭是迟早都要考虑的一个因素，而且是很重要的一个因素。当我前不久再次看到王小波的那句话：『我活在这世上，无非是想要 ...继续阅读 (16)

一个比较大的项目一般都由一群人协作开发，开发人员可能活动于各个模块之间。前两天突然想起如果把一个工程的所有commit数据提取出来，然后按时间顺序动态演示出来可能会比较好玩。从这个过程中我们可以看到一个项目是如何进化的，各个开发者到底在折腾哪些模块。比如这是一个多个开发者参与的一个项目展示图，其实是3D动态的。我写了两个脚本来做这件事情，代码放在这里了。第一个脚本是Ruby写的gitstat.rb，用来提取git的commit数据，这些信息包括：提交者名字，日期，增加的行数，删减的行数，相关的模块。所有这些数据都按照提交的时间排序，然后输出到一个文本文件里。 使用方法是:$./gitstat.rb -l eventmachine,tinyrb -o log.txt-l后面是模块名字列表，如果不加-l脚本会自己检测出当前文件夹下所有的.git，每一个目录当做一个模块。log.txt的格式看起来像这个样子：Francis 2008-07-28T16:57:15+00:0011eventmachine Francis 2008-07-28T17:03:46+00:0020eventmachine Francis 2008-07-29T23:34:53+00:0031eventmachine Macournoyer 2008-07-31T23:34:52+00:00 ...继续阅读 (28)

这几天不断听到一个词“心血漏洞”，近年来影响最严重的互联网漏洞。今天小小地研究了一把，顺便把引起一些思考记录下来。到底是什么样的代码有一些C语言和开发经验的朋友看看这个Fix就能了解些具体细节了。 在网络传输中有一个叫做心跳的概念，简单来讲就是客户端发送一个简单的心跳包给服务端，服务端又返回给客户端，然后客户端检查传回来的内容是否是预期，这样就知道了当前的TLS通信是否正常。这个Bug不是协议的问题，而是具体实现的时候的遗漏了相关的逻辑。这个函数dtls1_process_heartbeat就是处理这块代码的，先读出长度和包类型，然后申请一段内存空间做一个memcpy，其中长度为write_length, 而这里遗漏的就是这个长度的合法性检查。/* Read type and payload length first */hbtype=*p++;n2s(p,payload);pl=p;unsignedchar*buffer,*bp;unsignedintwrite_length=1+2+payload+padding;buffer=OPENSSL_malloc(write_length);bp=buffer;/* Enter response type, length and copy payload */*bp++=TLS1_HB_RESPONSE;s2n(payload,bp) ...继续阅读 (18)

概述很多学习计算机的同学都知道有一本号称魔法书的经典教材叫作《SICP》，《计算机程序的构造和解释》，MIT的计算机入门课程用的教程。这本书内容广泛而深邃，从出版几十年来影响了很多程序员。今天介绍另外一本我认为也是魔法书的教材，叫做《Essential of Programming Language》，简称EOPL，当然能获得简称的书都是不简单的。这本书虽然也年代久远，但是知名度不如SICP高。其作者是Dan Friedman，就是那位王垠同学的导师。这位程序语言领域的大牛写过很多Scheme相关的书籍，比如《The Little Scheme》系列，这个系列广受好评，可能很多人都读过。我读的是EOPL3，据说这个版本稍微有点冗长，不过我还没读过前面的版本，所以对此不好评价。 EOPL主要关注程序语言的方方面面，一共分为9章。这本书的讲解方式是先稍微概述主题，然后会有相关语法的定义，然后是关键代码的实现。这里同样采用了Scheme来讲解。用Scheme的好处的我们可以站在一个更抽象的角度来编写程序(Scheme如此强大，可以定义自己的语法，比如这里面的define-datatype和sllgen)。你可以看到这本书在反复折腾各种解释器，里面都是在往一个简单的解释器添加各种特性。预备基础阅读这本需要一些简单的Scheme基础，不过对于有一些编程经验的人来说不难。我推荐这本Teach ...继续阅读 (20)

随机数代表着不确定性，其在计算机中广泛使用，比如用作加密的key、密码的生成、模拟，扑克游戏中，还有一些经典的算法(比如Monte Carlo)依赖随机数的产生。以下是一些随机数相关的问题简单总结。随机数产生，真随机数和伪随机数生成器随机数的产生是一个很有趣的问题。我们希望只通过计算机来产生随机数的时候会有一些困难，计算机擅长做确定的事情，按照制定的指令去依次执行。 有两种产生随机数的方法，真随机数和伪随机数，这两种有各自的优点和缺点。伪随机数生成器(PRNG)，顾名思义产生的不是严格意义上的随机数，一般是通过一些数学公式(或者计算好的表)来产生。比如简单的Linear congruential generator，可以用来产生伪随机数。伪随机数的行为是可被预测的，但是在统计意义上来说是随机的。因为这个特点其所以使用范围有限，比如一些模拟程序。而且伪随机数有可能出现固定的周期，比如下面这两幅图分别是通过真正的随机数产生器和Windows下面的PHP的伪随机数生成器产生的Bitmap，可以清楚地看到右边的那副图有规律可循。另外如Borland随机数生成器Random的实现:longlongRandSeed=####;unsignedlongRandom(longmax){longlongx;doublei;unsignedlongfinal;x=0xffffffff;x+=1;Ran ...继续阅读 (14)

LeetCode这个题目想出来一个好办法，题目的意思是输入一组字符串，把他们按照Anagrams归组出来， Anagrams的意思是字母相同，排列不同的两个字符串。比如： aabc baac cbaa这些都是anagrams的。如果两个字符串是满足这种关系的，那么把字符串排序后的结果一定相同。因此想到用一个map去存来。classSolution{public:vectoranagrams(vector&strs;){typedefmap>Dict;vectorres;DictS;for(inti=0;i(1,strs[i]);}else{S[tmp].push_back(strs[i]);}}for(Dict::iteratorit=S.begin();it!=S.end();++it){vector&vec;=it->second;if(vec.size()<=1)continue;res.insert(res.begin(),vec.begin(),vec.end());}returnres;}}; ...继续阅读 (24)

正则表达式匹配是一个经典问题，这里有一个问题。 实现isMatch，其中.表示任意一个字符，*表示0个或者任一个前面的字符：isMatch("aa","a")→falseisMatch("aa","aa")→trueisMatch("aaa","aa")→falseisMatch("aa","a*")→trueisMatch("aa",".*")→trueisMatch("ab",".*")→trueisMatch("aab","c*a*b")→true这是一个正则表达式问题的简化版本只有.和*，可以用递归来解决。正则表达式涉及到自动机理论，顺便再复习一下当年没好好学的东西。查找一番后发现了这篇Russ Cox写的文章非常好(这家伙写了不少文章，xv6里也有他的代码，现在在为Go项目工作)。于是我也尝试着用DFA来解决这个问题。DFA和NFA的概念首先对于没一个正则表达式都有一个对应的DFA可以来表示, DFA是Deterministic Finite Automaton的简称，还有NFA(Non-deterministic Finite Automata)。NFA对于一个字符的输入有可能存在多个以上的状态转移，而DFA对于没一个输入只存在一个选择。所以每一个NFA都可以转化为一个DFA，但是一个DFA可以转化为多个NFA。我们来看一个例子:对于正则表达(a|b)*abb的NFA和 ...继续阅读 (47)

我发现带着问题去看内核代码比较容易理解。如果一个父进程显示的设置SIGCHLD为Ignore，子进程将自己清理自己。#include#include#include#include#includeintmain(){structsigactionsa;memset(&sa;,0,sizeof(sa));sa.sa_handler=SIG_IGN;sigaction(SIGCHLD,&sa;,NULL);intpid=fork();if(pid>0){printf("parent:%d\n",getpid());sleep(30);}else{printf("child:%d\n",getpid());sleep(4);}printf("finished\n");return0;}我们可以顺便看看内核里面是怎么写的，linux/kernel/exit.c里面这部分是负责进程退出的，我截取了相关的代码：/** Send signals to all our closest relatives so that they know* to properly mourn us..*/staticvoidexit_notify(structtask_struct*tsk,intgroup_dead){boolautoreap;forget_original_parent(tsk);write_ ...继续阅读 (33)