这个领域里,什么都特别快.

三个月前看到Bengio组的BinaryConnect. 脸草的同事都很喜欢模型加速/压缩的主题,因此立刻就重现了结果开始改进. 当时就说要做成Binary Activation,并且搞一个GPU runtime. 正当同事们回家过年,我在yy这学期parallel大作业要不就写这个runtime的时候,昨天看到Bengio新的paper挂出来,已经都做完了. 更夸张的是,在前天arxiv挂了另一篇文章,方法基本一样.

三个月,能专心做的话并不难,然而我要应付作业,要去oculus写代码,还有其他好玩的东西在分心. 想着有空慢慢做的时候,别人已经不等你了.

一个月前Yuandong学长说可以来FAIR跟他做围棋. 目前的CNN方法很promising,问题本身也很酷,觉得是个好项目. 然而过几天DeepMind出来说,我们早都做差不多了,三月份韩国比赛,指不定就problem solved了. 我都不知道该期待李世乭赢还是输.

看了一篇博文和Yuandong学长的专栏, 感慨万千. DeepMind的paper看下来,很多人说没看到新鲜的东西. 用CNN做估值不算难以想到的idea, 用SL和RL像是他们试了试不同模型挑了个最好的. 然而DeepMind有一帮有时间的人,有钱有系统,能以极致的规模把问题给solve掉, 上了nature封面. 而我们只能在家里看paper.

这就是"恨自己没有三头六臂"的感觉了,别人都跑的太快. 大半年前,我在脸草敲着theano头疼的高阶张量打算加速刚写好的affine transform layer的时候, Jaderberg发了Spatial Transformer的arxiv, 把手头正在做的东西全做完了, 速度合理结果丰富. 也是差不多的感觉. 还有KFC做完之后乔治发现了Tensor Train Network, idea有类似之处, 正说着"还好这次比你发的早", 结果发现人家已经中了NIPS, 也是差不多的感觉.

然而另一方面,我又庆幸自己看的见这一切发展的这么快,同时还能勉强跟得上一些部分.

图灵最遗憾之处,在于他没能看到他捣鼓的那个机器,被发展成了什么样. 豆瓣有一段图灵传的书评,每看一次都唏嘘不已:

今天0点到来的时候，我在CogSci和别人讨论问题。我说，我插一句，我的时区现在是2012年6月23日0点，艾伦图灵100岁生日快乐。

正在讨论问题的人，除了我之外，还有一个研究量子计算的学者，一个机器学习的，一个数学的。他们都停下来，祝你生日快乐。你会兴奋嘛？百年之后，晚辈们在搞这些好玩的东西。

可你却是最悲伤的故事。

科学家的幸福，就是自己栽一棵树，然后有人伺候它。最大的幸福，则是自己能活着，看到这棵树长大。莱特兄弟的第一架飞机，飞行距离还不如现代飞机的翼展，但是奥维尔·莱特在临终前，看到了超音速飞机上天。彼时彼刻，他回想自己当年那个破玩意儿，一定会兴奋地笑起来。

可是你呢。你给计算机科学播下种子，然后你走了，什么都没来得及看到。你播的种子，全都发芽了，开花了，请你看看呀！晚辈们，没负你呀！

Marvin Minsky前些日子才去世. 他最后几年里,看到如今的AI,不知道会怎么想呢.

普通如我, 作为仅仅看了两年paper的半个researcher, 也已经对如今的一切兴奋不已了. 即使很可能做不出什么significant的贡献,单单是对未来技术的幻想,也足以支撑我继续关注着research. 十年后,想想自己十年前看的傻paper,一定也会笑起来.

这是一个特别快的领域. 在这里, 黎曼不需要等一百年才能看到物理世界居然符合他的几何; 希尔伯特不需要穿越到百年后询问黎曼猜想是否得证; 爱因斯坦不需要等一百年去确认上帝掷不掷色子,或是引力波究竟是否存在; 图灵不需要等一百年来看看计算机的发展; 丘成桐不会等上几十年也不知道宇宙是否符合Calabi-Yau流形.

的确,这些问题比AI更重要,我崇拜做这些问题的人. 但遗憾的是这些问题太慢, 有几个人愿意做有生之年看不到答案的问题.

十个小时后, LIGO将召开发布会, 宣布引力波的观测结果. 一个所有人期待了几十年,如今终于发现的结果.

一个月后, Google AlphaGo将对阵围棋世界冠军李世乭. 一个所有人以为十年后才会发生,却提前发生了的棋局.

这是一个好的时代.