今天上午纠结了好久，最后还是下决心去买了一本书。还是国内好啊，以前买书的时候从来不纠结。美国的书真心贵...想想这个前后纠结的过程，还是蛮有意思的，所以写写玩玩。1. 购买行为取决于商品带来的效用？传统的经济学讲供求曲线，就是随着价格的上涨，需求量会增加。供给曲线我们不管，单单说需求曲线。之所以有需求曲线，是假设对每个个体来说，购买该样商品会带来一定的效用（utility）。比如最简单的食品，至少吃东西能果腹，这就是最基本的生存需求了。每个人会对消费同一样东西有不用的（预期）效用，比如我觉得这本书给我带来的阅读价值可能有200块，所以它标价100块我也会去购买。换一个完全对机器学习不感兴趣的人，他可能觉得这本书对他的效用就是0，所以哪怕只有10块钱他也不会去买。众多个体的效用分布就组成了需求曲线（即整个群体来讲，可以接受价格与购买人数的分布图）。如果按照上述理论，我应该没有任何犹豫的、自从我知道这本书给我带来的效用（200块）大于他的售价100块的时候，我就应该去买了。可是我为什么在剁手之前还是纠结了很久呢？1.0 单个消费者的消费决策纠结的原因之一可以用传统经济学来解释：我是一个消费者，而且我有着预算约束。预算约束就是说，我这个月工资只有1000块，然后我500块要付房租，然后300块要吃饭，这些都是刚性的，那么我只有200块可以自由支配来买其它东西。那么我这个月既想买书，又想买 ...继续阅读 (104)

以前只知道算回归系数的话，要么直接去解，要么就是做qr分解，要么就是梯度下降。今天重温Mostly Harmless Econometrics （36页，脚注）才发现还有一个小的技巧：当然大多数情况下这也没啥帮助，因为要先算残差，比如有三个x的话要先算出来有两个x的时候的残差。可是在除了x只有一个虚拟变量的时候就很管用了，可以直接算出来x的系数，因为y~(0,1)这样的回归系数直接就是1和0两个组的均值差，这样就可以很方便的算残差了。mark。 ...继续阅读 (107)

名字叫做reveal.js，和以前提过的那个impress.js有点像，但是风格不太一样。比较喜欢的几点：除了横向翻页（大部分slides都是这样）之外，还有纵向翻页，这样可以先建立章节，然后每一章下面纵向排列若干小节，章和章之间切换会比较快，脉络也比较清楚。esc可以切换到缩略图，很方便找某一个slide；同样还有放大缩小功能（alt＋单击），随时可以放大这个不错。据说触摸屏通适....我手机上还没试过。简单的点击出现下面内容和各种切换的过渡效果。自带若干配色模版。背景可用图片、视频和gif动图。演讲者自己可以有自己的view（类似powerpoint）b键自动黑屏最最最最关键的是，这货可以直接放js的动态图形，比如d3什么...而且还有什么比能直接在文本编辑器里面写slides更帅更赏心悦目的事情了么？ ...继续阅读 (85)

好像一直没怎么正儿八经的写shell....今天不得不动手写了。反正就是摸着石头过河吧。for i in {1..20} do mydate=$(date -v-"${i}d" +"%Y/%m/%d") echo "------Now importing:"$mydate"--------" done这样就实现了一个简单的for循环。do 和done完成一个循环...date是给日期的，mac和linux貌似语法有点不一样，date -v-1d 这样是往前减一天。后面那个是日期的格式。然后等号旁边不能有空格，这个和r差别好大。然后如果command中间要引用变量，需要${}一下，有点像r的paste()然后eval(parse())。1..20相当于r的1:20，给出一个整数序列。echo就是打印到屏幕上了。暂时就这些，至少现在用起来是正常的哈哈。 ...继续阅读 (73)

This content is password protected. To view it please enter your password below:Password: ...继续阅读 (92)

昨天捣鼓了一天这个东西，随便写点笔记。arvo：除了著名的hdfs文件，hadoop上常用的另一种序列化存储的文件格式就是arvo。简单的讲，这货就是由一个定义好的schema来读取的二进制文本文件。arvo schema：很像json...比如这里这个：{ "type" : "record", "name" : "Tweet", "namespace" : "com.miguno.avro", "fields" : [ { "name" : "username", "type" : "string", "doc" : "Name of the user account on Twitter.com" }, { "name" : "tweet", "type" : "string", "doc" : "The content of the user's Twitter message" }, { "name" : "timestamp", "type" : "long", "doc" : "Unix epoch time in seconds" } ], "doc:" : "A basic schema for storing Twitter messages" }定义好schema之后可以用java去build...arvo to HIVE：可以 ...继续阅读 (101)

following this thread: http://blogs.helsinki.fi/bioinformatics-viikki/documentation/getting-started-with-r-programming/installingrlatest/#CentOSInstalling the latest R on CentOS:Add the latest EPEL repository which you can find fromhere. Don’t forget to add the 64 bit f you are using a 64 bit OS. I have a CentOS release 5.8, 64 bit (Check theUbuntu installation sectionof this document if you don’t know your Linux distribution or whether it is 64 or 32 bit ) and I used the following script to add the proper repository:$ sudo rpm -Uvh http://www.nic.funet.fi/pub/mirro ...继续阅读 (97)

本文只代表我自己的不成熟的思考，请勿过度解读。试想如下两个场景。场景一：我们做了一个随机试验（random experiment），通过各种实验数据分析我们得出了结论是ATE(平均效果)为1％的提升，对应的p-value是0.09。所以这个东西10%显著，应该推广。场景二：我是一个风险投资者，我现在有100个项目可以投或者不投，每个项目都有其预期收益和对应的风险。我需要通过各种投资组合实现收益的最大化。正常的来讲，上面两个场景分属于两个领域：实验分析和金融投资分析。好像之间并没有太大的关系。如果大家做实验分析就知道，大部分paper关心的都是如何得到一个干净的average treatment effect estimate，哪怕是为了降低variance做一些variance和consistency之间的trade-off，我也是在大原则不变的情况下。第二类文献我不是特别熟，但是通过有限的金融投资学的知识，我大概知道做法就是一个线性或者非线性、随机或者非随机（这里的随机是stochastic而不是random）的最优化过程、关注的更多是一些本身不可控的因素。可是为什么我突然把这两者放在一起？今天突然讨论起type i 和type ii error，然后就不自主的联系到decision making...然后突然间觉得好像有哪里不对...互联网公司大家特别特别的依赖a/b test ...继续阅读 (91)

最近的几点感慨：衡量一份工作好不好，最重要的可能就是周围的人，尤其当你在一个大公司里面的时候。其他的薪水啊，work-life balance啊，工作内容啊，之类之类的，不是不重要，只是没那么重要——反正哪里也不会很差？最近半年好像越来越认同stats的一些看法了，思考的角度也越来越stats，呃。前两天和boss无意说起贝叶斯和频率派，我们最后达成共识就是，open mind的人都是经历过一些transformation的，无论是从哪个方向到哪个方向，抛弃偏执放下身段认同另一个观点，其实是一件很了不起的事情。太多的时候我们被迫习惯（路径依赖）、被过去的自己所约束、特别怕失去曾经被洗脑的那些犹如信仰般存在的观点，其实回过头去看都没那么重要。经历transformation其实是件蛮好玩的事儿。锻炼和自己完全不同背景不同观点的人交流的能力也是一件蛮有意思的事儿。因为这个过程需要你去换位思考、很多时候不是为了说服对方什么，只是倾听另外一种不同的观点和人生。存在必有道理，所以去听听为什么那些观点存在其实也是蛮有意思的。坚持自己的观点固然重要，但是也要明白为什么别人认同或者不认同，尤其是别人不认同的时候他们的想法又是什么。很多事情都是come with a cost，不能觉得什么都是理所应当的，很多时候坚持己见只是忽略了背后隐藏的cost...最后就是无论开心或者失落，总不要对外界关上沟通 ...继续阅读 (75)