重要更新：在@老赵的提醒下，如果在请求中加入“Accept-Encoding: gzip, deflate”，下面的问题就会自动消失。具体见文章末尾。两年前我用C#写了一个爬虫类，一直在用。今天终于出错了。让我代码出错的页面是：http://www.hacker.org/challenge/solvers.php?id=1这个页面非常之强大，好多简单的爬虫都失效了，比如这段C#代码：WebClient webClient = new WebClient(); webClient.DownloadData("http://www.hacker.org/challenge/solvers.php?id=1")还有php的curl（参考示例），以及Python的opener等，如果直接调用，都会中枪。当然，一般的浏览器都能毫无压力正常打开这个页面。用上述简易方式下载网页，最后都只能下载到 72k 的内容，但是实际上，这个页面有200多K。剩下的这个内容为什么不能直接抓取到呢？下面来分析一下这朵奇葩，并且给出解决方案。用wget下载这个页面时，出现了这样的提示：$ wget http://www.hacker.org/challenge/solvers.php?id=1–2012-07-05 16:46:30– http://www.hacker.org/chal ...继续阅读 (20)

这是一个月前的比赛了。一直 YY 着能拿到奖金，直到膝盖中了一箭：事情发生在比赛的最后一天，神一般的提交都诞生于那天，直接破灭了我保住第五的希望。最后一晚上的苦逼挣扎由于编码速度太慢，也没完成理想中质的飞跃。总而言之就是好久不编程，高估了自己的实力，最后花了不少时间没刷到奖。简单介绍一下比赛的题目。这次马拉松是一个压缩问题。有一个 pH 测试仪的阵列，摆成 X*Y （其实就是 900*900）的方阵。仪器运行 L（L在60左右）个时间单位，每个时刻记录一下 pH 值。也就是说，一次实验一共记录了 X*Y*L 个实验数据。现在的任务是，压缩这些值，压缩率越高越好。比较有意思的是，比赛允许有损压缩，但是复原以后的值和原值的差、以及差的平方和都有误差限制。我的方法观察数据发现，pH 测试仪里面每个测试点得到的测试结果，在总体上是连续的，不会有太大的变化。于是对于每个测试点的 L 个测试结果，可以采样若干点，并用插值算法对完成复原。于是就形成了这样的算法框架：原始序列： d[0] ... d[L-1]抽样其中的某些点：d[x_0], d[x_1] ... d[x_n]用不精确的方式存储：d[x_1]-d[x_0], d[x_2]-d[x_1] ... d[x_n]-d[x_{n-1}], 以及d[x0]。 (x_0 = 0, x_n = L-1)最后插值产生没存储的点由于存储的那些数据是使 ...继续阅读 (21)

辛卯年乙未月己巳日，大局已定。仿三国演义，记下赛事五回。第一回 山中有寨柠檬香，邪道异术出山狂第二回 绝世秘籍未相传，独门小式败探花第三回 光阴有痕巧破译，大象无形气莫测第四回 山穷水尽疑无路，九易参数又一村第五回 强强联合遇强敌，人品爆发显王道作为程序员，先说说“第〇回”的故事。比赛前半年，dora神发现了有个叫KDD Cup的比赛，做数据挖掘的，而且有奖金。在研一迷茫的生活中，发现一个既是我当时最有兴趣的数据挖掘方向的，又是有奖金的比赛，肯定是高兴的不得了，果断写入TODO-list。第一回 山中有寨柠檬香，邪道异术出山狂转眼间就到了“第一回”的时间，比赛开始了。KDDCup 2011的题目是音乐推荐，Track1是做用户对音乐打分的预测，Track2是预测某首歌用户会不会去听，而且喜欢听。我们几个对数据挖掘和推荐系统都完全没经验的人凑在一起组了个队，也就是所谓的“山寨出山”。起名字想找个通俗好记的，Apple有公司了；Orange也有个公司了，而且还是之前某年KDD Cup的赞助商。还有什么容易拼写的水果呢？回头看到师兄桌子上放了一瓶柠檬香型洗洁精，就是它了，定名为“Lemon”。Track1的数据太大，为了方便计算，我尝试性的算了下Track2。一开始什么都不会，就想想，到底我听歌的时候有什么规律呢……果然想到一个主意，应该有很多人只喜欢某几个特定歌手的歌。于是用这个假设写 ...继续阅读 (17)

科研间隙，突然想验证一下@郑渊洁提出的公蓝北京、风蓝北京。遂从twitter上抓取美帝使馆数据，并做了一些简单的统计分析。统计数据为从去年11月21日至今的共100多天的空气质量数据与风力数据。先上图。在PM2.5随时间变化情况图中，我将数据分为工作日和非工作日统计（考虑节假日调休）。很明显，天亮期间休息天的空气质量要明显好于工作日的，从侧面体现了“公蓝北京”。在这样的统计规律下，把户外锻炼的时间安排到周末也是非常合适的~另外有个值得注意的，晚间的空气比白天明显要差，网上能找到很多介绍，如大气对流、植物的净化作用等等。不管怎样，在数据面前，早起锻炼和晚上睡觉前跑个步，都是不合理的。刮风前后PM2.5的变化图中，刮 x 级风的定义为，在-1、0小时风力小于x级，在1、2小时风力为x级。其中3、4、5、6+分别有55、32、37、44个统计样本。图中发现，3级风对PM2.5几乎没有影响，4级风有微弱的作用。当然，6级及以上的大风对PM2.5的减弱效果相当明显。为什么4级开始的风才对PM2.5有效果呢？4级风最低速度为每小时19.8千米，大约为北京四环的宽度。于是无责任地猜测，四环内的车辆等制造PM2.5的速度大于3级风吹走PM2.5的速度。风速/PM2.5关系图中，对风速做了一个0/1高斯分布的随机扰动，使图片更直观。从总体趋势看，风越大，空气质量就越好。当然空气质量还对时间有累计效应 ...继续阅读 (7)