实时性在大数据处理也被广泛讨论。对现有得数据进行实时的可视化是一件非常有趣，也是非常有用的一件事情。在这套系统的构建中往往需要这样几个步骤：数据收集数据分析和计算数据存储数据的可视化数据收集大部分情况下，要收集的信息都是存储在文件里面的，首先就是要从文件里面读取数据。在这里如何实时的读取文件的数据很重要。常用的方法往往是linux中得tailf命令。这时需要考虑tailf命令是否支持文件切割的跟踪，tailf命令对于大量数据写入的情况下是否会有瓶颈。收集之后的数据需要存储，现在来看，比较好的办法就是写入到hadoop中。这就是涉及到写入格式问题。是先对原始数据进行初步的解析（比如日志文件），还是原文存入，在后续需要的时候再做解析。我的看法是先存入数据，然后在已经存储的数据上进行解析和计算。原因很简单，在数据高并发写入的情况下，CPU，I/O，网路都是很大的考验。数据量可能达到上万，几十万每秒的级别。如果是在存储之前做过多的解析工作，不但导致整个收集流程复杂度增加，而且对于整套收集系统的稳定性也是很大的考验。当然这里说的存到hadoop，是为离线计算做准备的。而利用hadoop的map reduce去进一步分析显得更加有意义。数据分析和计算在实时环境中，收集的数据是需要实时进行计算的。收集数据的工具和实时计算的工具如何对接是一个比较重要的问题。如果使用scribed作为数据收集的工具 ...继续阅读 (24)

只是睡了一个小时，朦胧之中被什么东西吵醒了，于是起身上了一趟厕所。回来之后，同寝室的同学鼾声如雷，于是再也睡不着了。脑子里面浮现出很多场景和画面。那是在ISIMA。回国不到两天的时间，我竟然会想念起ISIMA了。睡不着的状态，想起了在ISIMA的生活。我一直觉得人躺在床上的时候，对于回忆会显得特别清晰。现在是凌晨3点钟，我穿着一条裤衩，坐在靠门的桌子旁边，微热的天气，戴上耳机，敲击着键盘，我的脑袋显得非常清醒。在ISIMA的时候，现在应该还在那个公寓楼下的自习室里面上着网，不远处还会坐着那个小姑娘，修改论文。现在突然显得有些美好了。很多时候，早上醒来或者还没有醒来的时候，都会听到一声清脆的声音：“项超”，然后我会应一声，“你在干嘛“，“我刚醒啊”，“哦”。曾经有多少次这样熟悉的对话。或许也会有很多次，我起得早，先去了ISIMA自习，没有听到那清脆的叫声。“我想吃饭”，于是，便会开始兴高采烈的做饭，可是每次感觉她总是吃一点点，然后就说吃饱了，然后我一个人吃着。一起做饭，吃的最多的就是青椒炒鸡蛋，黄瓜炒鸡蛋，还有那个白色的小蘑菇，欧尚的0.99欧专区是每次买菜的时候都会去逛的地方。对了还有西红柿鸡蛋汤。最开始的时候还有土豆丝炒着老干妈。“你做饭的技术的确是很不错”，我常常用那个煮的锅来做饭，基本上每次都是很成功，好的时候都没有粘锅的，她自己煮过一次，焦了，据说原因是楼下的火太旺了。后来 ...继续阅读 (24)

三个月，或许很长，或许很短，但是无论怎样，这段时间悄然而过。犹记得初到克莱蒙费朗的那个微雨的下午。微冷，学长带着我们沿着TR线去ISIMA，想象着在离开学校之前老师向我们描述的那离宿舍不远处的ISIMA。雨水顺着斜坡向下流淌着。这里的空气好清新。我们几个人像是从远方来的异客，对一切都充满着好奇。看到ISIMA之后，便是去超市告诉我们怎么购物，买锅，买碗，还有碟子，憧憬着以后自己做饭，自己烧菜。那个微雨的傍晚，雨滴儿敲打着窗台，眼前是一排排的矮房子，远处的山还没有见到绿色，我想第二天醒来应该就是在这边的生活的开始吧。开始的那段时间，总是穿着羽绒服，这边的山区总是不期然就会迎来一场雨，微冷，微冷，微冷。这似乎是成了一种味道，微冷的味道。在ISIMA有一个小小的实验室，我们几个人每天的工作就是在那里面对着自己的笔记本。我本也是没有什么打算的人，只是想放空自己的心去迎接另外一种生活，只是不想待在哈尔滨，那种每天会想起，但是又不想去面对的日子。在这边，每天自己买菜烧饭，晚上可以一个人待在属于自己的房间里，甚至我都不想去接触网络。不想去了解这个世界发生了什么。我以为心永远会是那么安静的。而因此也会流泻出很多自认为有价值的东西吧。现在回想起来，似乎那种离开网络的时间才持续了不到一周，后来的时光里，晚上很多时候都会去宿舍楼下的自习室上网，而且不亦乐乎。而自己真正用笔和手在纸质的本子上写东西的时间真 ...继续阅读 (27)

目前的PaaS平台很火，在用的很爽的时候也遇到不少的限制。因为自己写了一个基于Tornado框架的应用，想要用它原生的ioloop。下面分别从heroku，appfog，openshift这三个PaaS平台来谈谈。heroku这个是我目前实际部署的PaaS平台。使用git管理。官方的git代码推送需要使用到ssh，但是在github上有一个名叫heroku-push的项目做为heroku命令行工具的一个插件，可以直接调用heroku push命令，就可以把代码推送到服务器上面，而不用使用ssh来操作，这页符合了我的现实情况，因为我目前只是能够通过wifi连接上网，而我所在的地方的wifi网络限制了22端口。所以我没有办法直接使用ssh命令，当然会有ssh端口代理什么的办法，但是个人觉得折腾起来太费劲了。heroku上使用gunicorn来管理web服务程序，这一点appfog也是一样的，幸好在gunicorn里面有一项是针对Tornado的，所以在这里我能够用上了它自带的ioloop。相对来说heroku对使用gunicorn比较自由一些，在后来尝试appfog的时候证实了这一点。当我再次想使用websocket的时候，发现heroku不支持websocket。不止是heroku，基本上所有的PaaS服务都不支持websocket服务，包括GAE。不过dotcloud似乎是支持we ...继续阅读 (59)

我不算是个接触计算机比较早的人，反而是半道撞上的。说来惭愧，在上大学之前我对于电脑的认识只会开机和关机，连怎么上网都不会，记得第一次上网吧是高考填志愿，当时和表哥一起去网吧填的志愿。恰巧的是那个时候我填的第一个志愿就是计算机，然后就不知不觉在这个专业学习了四年，平时闲暇的时候就喜欢看效果联播，订阅互联网周刊，极客公园，36氪等，那里每天都会有新的关于IT界的新闻和新的创业公司。每天查看那些可以让我了解到在这个领域里又有什么新的花样出现。平时我也会从自己的实际生活去想，那些我想要的却没有的东西是不是可以通过编程来解决呢。最早的想法是在大一，那个时候学校整一个科技创新项目，要求同学们3哥或者5个组成一个小组，然后想出一个idea，并且将它实现。现在回想，凭那个时候的我们，连基本的编程逻辑都没有搞明白就想着要做出那些奇怪的想法实在是有点扯。不过在当时我有这么一个想法，就是写一个自动聊天的机器人。因为当时刚入大一，对周围都比较陌生，那时候学校也不让带电脑。晚上熄灯之后就会显得特别无聊，拿着手机在QQ上一遍又一遍的翻，这时就想，要是有一个人可以说说话就好了。如果我给它发送一个消息，它就可以听懂并且回复我，最好在言语间把我往正能量的方向引导。但是当时自己的能力太差了，什么都不会，连一个基本的聊天工具都不知道什么原理。但是从现在的眼光来看，这种应用主要的技术难点就在于对语句的分析，而这种分析在现 ...继续阅读 (19)

在tornado3发布之后，强化了coroutine的概念，在异步编程中，替代了原来的gen.engine， 变成现在的gen.coroutine。这个装饰器本来就是为了简化在tornado中的异步编程。避免写回调函数， 使得开发起来更加符合正常逻辑思维。一个简单的例子如下：class MaindHandler(web.RequestHandler): @asynchronous @gen.coroutine def post(self): client = AsyncHTTPClient() resp = yield client.fetch(https://api.github.com/users") if resp.code == 200: resp = escape.json_decode(resp.body) self.write(json.dumps(resp, indent=4, separators=(',', ':'))) else: resp = {"message": "error when fetch something"} self.write(json.dumps(resp ...继续阅读 (34)

同步和异步同步这个词在很多场景下都会出现，例如：我要把我的手机通讯录同步到云端。这个同步指的是要把两个对象中的数据保持一致的意思。实际的操作可能就是上传和下载。另外还有同步卫星，同步直播啊。这些概念都有保持一致或者保持实时的意思。而在程序编码领域，同步在不同地方表达的意思也有点偏差。在操作系统领域，同步表示进程之间的协作。而在web开发领域，同步往往意味着顺序执行，表现的状态就是阻塞。这和进程之间的协作所表达的意思略有不同。同步的反面即为异步，而异步和非阻塞几乎是服务器端开发挂在嘴边的词。据我观察，真正对其内在工作原理进行深入了解的人却不多。我大三的时候接触NodeJS。社区对其口号喊的最响的就是：它是异步的，事件驱动的，函数回调的。当时初入互联网开发的我迷糊了好长一段时间，却找不到最本质的原理。的确照着官方文档画葫芦，谁都会画。但是对原理性的东西懂得多一些，写代码的时候，自己的心里就会有底一些。于是一年多来，不间断地就会关注这方面的话题，渐渐积累了一些知识。记录一下。Web服务器Web服务器，撇开它对http协议封装这些不谈，我们在这里只是关注它的工作方式。它的工作方式基本是这样子的：来一个连接请求，与其建立一个连接，然后进行相应的数据传输，最后断开连接。假如它是单进程单线程的，那么一个请求过来，成功建立连接之后。在这个请求结束之前，其它请求都没有办法再被处理了。这样明显不行，w ...继续阅读 (27)

离开克莱蒙费朗来到法国的时候，就想着期间一定要去巴黎逛一逛，在我的印象中，巴黎是一个充满着艺术和浪漫🌹的城市。但是对于它的细致的了解却是很少。但是也是带着朦胧的憧憬踏上火车的。很感谢这边的学长帮忙预定火车票和旅店。让我们省去了很多的麻烦事。在离开的前几天，还特地去克莱蒙费朗的火车站研究了一下怎么上火车，最后打印了电子票。貌似这里在上火车的时候不会查票，因此也不用像国内一样要排着长长的队伍。而且只会提前二十分钟告诉你在哪个站台上车。在一个下着小雨的清晨，踏上了去往巴黎的火车。火车上人很少，泛着淡黄色，暖暖的灯光。空阔的车厢内没有多少乘客。巴黎第一天到达巴黎已经是中午十二点多了，给人的感觉，好像没有大都市那样的繁华景象下了火车先是寻找地铁站，然后买了地铁票，根据指示的地铁线路图和GPS导航来到了预定好的旅店。在寻找旅店的途中，我看着google地图的导航，想要穿一条小路，没想到把大家带到了一个公园里面，被围栏围着，于是只能是绕着出去。虽然是比较便宜的旅店，但是我对于住宿条件什么的是没有太高的要求的。感觉还是挺好的。随便休息了一下就准备去往第一站：Galeries Lafayette Haussmann这是一张内景图，一楼刚进去就感觉人山人海。进而发现里面逛的人大部分都是中国人，后来在网上查的时候看到有说那里的80%购物的人群都是中国人。给我一种中国的集市的感觉。但是那里的东西也并不是都 ...继续阅读 (29)

下午一回来就感觉脑袋很难受，克莱蒙费朗这个小地方好不容易来一个大晴天。几个同学一起去逛市中心的旧货市场。这里的旧货市场只有在星期天早上才会开放。几天又碰上这样一个大晴天。真的很难得，只是走了半个小时多才到目的地。加上顶着大大的太阳，都有些累了。不过眼前的场景就和国内的集市差不多，很简单的一块场地，然后又买各种东西的，说是旧货市场，实际上就是一个小菜场，法国这边大多数卖东西的地方都是超市。而这样的小菜场见到的真的是很少。相对来说这里的东西应该都会比超市要便宜很多。兴奋地一圈一圈地在里面逛。看到很多希奇地东西。不过对于那些东西只是知道它是比较古老地，但是不知道它从前地用途是什么。也有看到想要买地东西，但是因为法语太差，基本都没有办法交流。而且这样地小集市。根本不用去奢望会有人用英语来和你交流。差不多在里面转悠到12点地时候，已经累的不行了。都怀疑自己是不是可以走着回去了。于是几个人到公园里面休息了一下。在公园地大草地上面看到好多地法国情侣们在那里晒太阳。说实话，平日里很少会看见路上又年轻人在走路，大部分都是老头老太太。毕竟相对于法国来说，这里属于郊区。有梦想地年轻人都出去闯荡了。不过周日地公园还是很热闹，有不少地一家三口，一家四口在公园地草地上玩耍。温暖的太阳，嫩绿色的草地。充满着生机。休息一会儿之后，大家准备往回走了。不知道为什么，感觉比较累。虽然说走的路也是挺长的，但是以前走过长的 ...继续阅读 (19)

参数传递方式确定个数的参数确定个数的关键字参数不定个数的参数不定个数的关键字参数确定个数的参数这是最常见的参数传递方式，大部分的函数参数传递方式都是这种方式。它要求实参和虚参的个数相同，顺序也要相同，也就是要保持一一对应，否则就会出现错误。def foo(num): print num if __name__ == "__main__": number = 10 foo(number)确定个数的关键字参数这种方式传递参数需要指定参数的名字。def foo(Name='Tom', Age=20, Tall＝None): print 'Name:', Name print 'Age:', Age print 'Tall:', Tall if __name__ == "__main__": name = 'lucy' age = 19 tall = 168 foo(Name=name, Age=age, Tall=tall)使用这种方式进行参数传递的时候，需要指定参数的名字，以键值对的方式进行传递，如果某个键缺省，则使用默认值。这种方式的传递在Python中使用比较普遍。不定个数的参数有时候我们设计一个函数的时候，并不知道它接受的参数的个数。只是知道需要对传递进来的参数依次进行处理。这种情况下就需要使用不 ...继续阅读 (23)

问题描述给一个无向图进行着色。要求是任意两个相连的定点着不同的颜色。要求使用最少的颜色数目，这是一个典型的NP问题。 也就是说在多项式时间内是无法解决的。着色算法这里提供一种普遍的启发式算法：随机得到一个节点的序列，按照顺序依次对列表的节点进行以下操作：判断该节点的所有邻居节点，是否有着颜色1的，如果没有则将当前节点颜色着为1，如果有，则看是否有颜色2...依次类推，直到着上颜色为止。经过这样的一个过程之后，整个图就会被着上各种颜色。这种方法最后得到的颜色总数不一定会是最少。但是我们可以通过对多个随机节点序列进行这样的操作，最后得到一个颜色最少的方案。使用pygraphviz画图在上一篇文章中讲解了使用networkx和matplotlib两个Python扩展库进行画图。这里介绍使用graphviz这个扩展库来绘制图。graphviz这个软件应该并不陌生，它在可视化领域中应用中非常广泛。基于它的python扩展功能也很强大。并且graphviz中使用的图可以通过networkx中画出来的图进行转化，本例程就是通过将networkx中的图转化成pygraphviz中的图来完成的。具体着色代码如下：import networkx as nx import pygraphviz as pgv import sys #解决字体编码问题 reload(sys) sys.setdefaulte ...继续阅读 (33)

使用Python的Networkx和matplotlib两个库可以画出由边和节点组成的图，支持节点，边的多项属性的设置。 包括颜色，标签，形状，边的宽度等等。图的构建和基本使用使用下面两条语句作为程序开始导入的库语句。import networkx as nx import matplotlib as plt使用Networkx的库建立初始化一个图：G = nx.Graph()添加节点。nodename可以为字符串，也可以为一个整型。G.add_node(nodename)添加一个由节点组成的列表。nodes_list为一系列节点组成的一个节点列表。G.add_nodes_from(nodes_list)添加边。node1,node2为节点名字.G.add_edge(node1, node2) e = (node1, node2) G.add_edge(*e) #unpack edge tuple*添加一个边的列表，edges_list为一系列边组成的一个列表G.add_edges_from(edges_list)获得图G的节点总数G.number_of_nodes()获得图G的边总数G.number_of_edges()获得图G的所有节点的一个列表G.nodes()获得图G所有边的一个列表G.edges()为图，节点或者边添加属性，可以直接以字典的方式操作图的节点和边，而且它基本 ...继续阅读 (57)

我使用Python都是在linux系统下。一般也都是直接使用系统自带的python解释器，在需要不同的python版本的时候，最多也就是装一个python版本管理工具pythonbrew.就可以自由切换使用了。但是昨天碰到一个问题。需要在公用的服务器上安装配置python环境，包括依赖包的安装。由于是大家公用的hpc－server。所以安装的时候是没有root权限的.并且服务器上的python版本是2.4的。在这样的情况下，只能是自己选择安装一个python的版本。下载安装python解释器在这里假设我把python安装在~/opt/python下面。mkdir -p ~/opt/python wget http://python-url tar zxvf python2.7.3.tar.gz cd python2.7.3 ./configure --prefix ~/opt/python make & make install安装setuptool这个工具是安装python扩展包的必须工具。wget http://setuptool-url tar zxvf setup-tool.bar.gz cd setuptool ~/opt/python/bin/python setup.py build ~/opt/python/bin/python install --prefix ~ ...继续阅读 (24)

今天是2013年3月10号，还有四个月的时间，我的四年大学生活就要结束了。或许从我进入大学的那一天起，我就想好了毕业那天的样子。曾经戏言大学里只能见到校长两次，一次是开学典礼上，一次是毕业典礼上。而这样的戏言还真的是被验证了。只是中间因为校庆而多见了一回校长。而我想的更多的是自己的大学四年生活，或许现在回忆还尚早，但是那些画面已经满满的在我的脑海中了。2012年对于我来说真的是不平凡的一年，这一年我没有回家过年，寒假是在学校的实验室度过的。哈尔滨的烟花和家乡的一样美，不同的是仅仅是我一个人。大学四年，也只有在2012年，我在大学里度过我的春节。夜美情却。那样的气氛总是能够让我感到格外的平静。或者又可以说是发呆-－那种可以承受的悲伤。很多人问我为什么不回家，我说没在学校这边过过春节，体验一下。然后事实却是想让自己多学习一些知识，过完年就面临着找实习，找工作。那时总是觉得要想找到好的工作，一定要找一个实习。所以，在大三下学期我一定要找到实习。如果我选择回家的话，家里会有很多事情要我去做。我也没有时间用来自己学习。另外家里也没有网，很多事情便会做不了。于是我待在学校，待在实验室，自己学习python，学习web编程，看业内流行使用的技术。看找工作的时候，企业需要哪些技能，我就去学习哪种技能。每天八点左右到实验室，晚上十点左右回寝室。晚上计算着自己每天学习的东西，每天学习的进步。那时候用D ...继续阅读 (14)

twemproxy,也叫nutcraker。是twtter开源的一个redis和memcache代理服务器。 redis作为一个高效的缓存服务器，非常具有应用价值。但是当使用比较多的时候，就希望可以通过某种方式 进行统一管理。避免每个应用每个客户端管理连接的松散性。同时在一定程度上变得可以控制。 搜索了不少的开源代理项目，知乎用python实现的redis分片客户端。用node实现的代理中间层，还有各种Restful的开源代理。RedBrigeC + epoll实现的一个小的webserverredis自身执行lua脚本的功能来执行redis命令访问时在url中带上lua脚本文件的名字，直接调用执行该lua脚本本质是通过http协议远程执行lua脚本Webdislibevent, http-parser...实现的小型web服务器C 语言实现，通过unix-socket,TCP调用redis命令。访问方法：/cmd/key/arg0,arg1,...实质是对redis命令的简单变换redis-proxy使用node写的redis代理层。支持主从节点的失败处理（可以仔细研究）测试后发现性能为原生的1/3twemproxy支持失败节点自动删除可以设置重新连接该节点的时间可以设置连接多少次之后删除该节点该方式适合作为cache存储支持设置HashTag通过HashTag可以自己设定将两个 ...继续阅读 (32)

傍晚，外面下起了雪，不是很大。我们依然像往常一样去公司附近的中央美术学院食堂吃饭。一路上上，灯光把天空照射的灰蒙蒙的。 路面上是闪烁的冰晶。大家有一句没一句的聊天。依旧是那么寻常，记得明天就是所谓的世界末日。晚上，外面的雪下大了。 八点多的时候受到一份邮件，告诉大家因为外面雪比较大，可以下班回家了。这对于我来说不惊不喜。当时我正在浏览当当上书籍。 心里有个计划，每个月花一百到二百元用来买书。今天特意让自己轻松了一天，这个星期连着上个星期，好几个项目把我折腾的很累。 不过自己在公司独立完成的第一个项目，图片服务器终于上线了。测试，部署，也是自己一步一步去沟通完成的。总共也就花了一个星期的时间。 使用lua加nginx来完成，比较fun的是最后测试发现使用lua读取图片之后再返回比使用nginx原生的静态服务性能还要好。 不过这个测试结果还是有待考证的吧。在当当买了本go语言相关的书，一本web数据分析的。还有两本关于数学和计算机历史牛人的。 其中看着《代码阅读》盯了挺久，但是想想自己最近一个阶段是不太可能会看的。至少现在使用的编程语言都与C，C++无关。 不过当时在国家图书馆看过这本书，感觉是一本非常好的书。留着下次再买吧，毕竟觉得自己总要有个机会好好写写C语言。 这段时间对数据分析和数据挖掘比较感兴趣，在那么多的网络数据中分析出每个人的喜好和一些有价值的信息是一件非常有意义的事情。 ...继续阅读 (28)

我又有些想你了！！！ 承认自己真的不是那么绝决的人，心里终究会有放不下。 下午，忽然心中一冲动，和两个同学一起去滑冰，今年是我在哈尔滨的最后一个冬天了。失去的东西，心中总会更加珍惜。 会想着去做一些什么事情纪念一下。 走的时候拿出一年没有使用的冰刀，你给我织的围巾，还有你给我买的手套，滑冰场依旧是去年的样子，一些曾经的味道涌上心头。原来去年的这个时候，我也不是那么快乐的。 记得拍下的那张照片，黄昏的滑冰场。天是灰蒙蒙的。那时我的心也不是快乐的。 现在想想，我为自己现在找到这份工作付出了太多的代价了。去年过年的时候没有回家。 一个寒假待在学校里面。心中甚是落寞，很多时候，当是自己一个人的时候，自己做什么事情都没事，也不会觉得什么，但是当旁边的人，或者有一些气氛围绕在身边的时候，更多的委屈和伤心就会袭击过来。这种落寞伤心大多都是因为出于对比的原因。 曾经也有人和我说过，不要认为自己是最差的，还有更多其他人比你的境遇更差， 我往往不知道怎么回答，心中不服，但是嘴上说不来。因为这个问题一直是比较纠结我的，因此就会在很多空闲的时候就会自己努力地去想。 可能最终原因有两个吧。当你周边的人都是和你一样的，无论贫苦或者富有，都不会觉得自己有多苦难。但是当周边的人大部分都是和你不一样，都比你幸福，那么你就会感觉自己特别落寞。这种感觉甚至你自己想没有都不可以。反而一大群贫穷的人生活在一起，他们都不会觉 ...继续阅读 (25)

在小米实习了将近四个月的时间，终于买了一台mac air回来。这或许也算是这几个月以来自己比较开心的事情了吧。或许还可以加上之前去日本免费旅游一周。 原本这两件事情足以让我这样的人高兴不已的。可是因为六月份的那件事情。这些事情对于我来说根本就没有什么开心的。更多的是麻木的去应对。天意吧，我也不知道自己现在的处境算是好的还是不好的。 我觉得如果没有六月份的那件事情的话。我应该会更加又选择，更加精彩一些的。至少在那些疯狂的面试和笔试中可以大大的收获一把。而那些曾经和我一般的同学也没有找到理想的工作， 又或许这些想法只是自己幻想而已吧。第一次使用苹果电脑，有些地方使用起来还是挺陌生的。这几天一有时间就会折腾一下，但是平时公司的网络比较慢，今天恰好一部分周日加班，今天没有过来上班。公司的网络也变的好起来。 另外因为现在要做的项目需要和一些人进行交流。所以也要等到明天和他们交流。于是今天就把自己的air环境好好配置了一下。之前便是已经安装好了git环境的，于是接下来就是搭建本地博客环境，但是jekyll博客环境需要ruby的运行环境，于是要在mac上搭建一个ruby的运行环境。虽然之前在ubuntu下搭建过，但是在mac系统下还是碰到一些问题。 首先安装这些开发环境需要xxode开发工具。这个东西真的比较大，1.6G，今天网速比较好的情况下，也下了一上午。xcodecommand-line- ...继续阅读 (22)

今天下午因为要完成一个信息检索的结课论文。整整写了一下午的程序。不过还好，都是用python写的。倒排索引这个东西，在半天之前对于我来说，还是一个很陌生的东西。用一个下午的时间。自己简单的完成了一个小实验。搜索引擎中检索文件的过程大自是这样子， 根据关键字，从数据库中寻找包含相应的关键字的文档.正常的思维就是文档ID，key1,key2,key3……,当需要检索包含一个关键字的文档的时候，需要对各个文档遍历一遍， 然后找出包含需要查询的关键字的文档ID，根据关键字的重要度排序找到的文档。这样的检索方法，需要遍历所有的文档。然而倒排文件是以关键字作为索引，文档作为目标。 当然还可以加进去关键字在文档中的位置。这样子设计索引之后，每次检索关键字的文档的时候，只要找到相应的关键字索引就可以了。自己用python脚本在点点网上抓下了100多篇博客。主要都是文字比较多的文章抓取网页的程序很简单，一个脚本使用HTMLParser分析网页，获得url，另一个脚本使用urllib.urlopen下载网页。中间用了一个redis的队列。用来存储需要抓取的页面的url。 本来想使用gevent多协程来抓取网页的，但是总是出现time out。于是就是单线程抓取。不过对于100多张网页也是足够了。其实写文件的文件名使用了url.split('/')[-]]作为文件名。接下来是对这些文档提取关键字。这里面 ...继续阅读 (24)

我很想见你，但是我却不能见你。你是我在哈尔滨这座城市里感到最亲切的人可是现在我只会在心里念叨尽管只是隔着30分钟的步行距离这段距离，我曾经走过无数遍无论是冬天的满地白雪，抑或是夏天的漫天尘土那天我和你说我可以明天见到你的时候照样是一副笑呵呵的样子你也不会觉察到我有怎么样的伤心或许我已经在你面前习惯了装成一个嘻嘻哈哈的样子可是现在，我发现我自己真的不愿见到你这种不原意是那么的强烈亦如我那么的想见到你最熟悉的陌生人，这个我曾经只会在书里看到的字眼在此刻却是可以刻画的那么真实不知道现在这个时候你在忙碌什么，图书馆，又或是其它…… ...继续阅读 (21)

chukwa是apache下的一个开源项目。主要是用于日志收集分析，结合hadoop进行有效的日志处理和计算。下面这张图片描述的比较形象。在这个架构中可以看出主要由agent,collector,hadoop，这样几块组成。而我现在要关注的就是agent和collector的交互部分。原来的日志收集系统是直接使用chukwa的一整套服务搭建起来的。 但是这样子的系统有一个比较明显的缺点就是不能达到实时处理的要求。正常的情况下，日志处理的延时在5到10分钟左右。因此，需要在此基础上修改这样的架构。分析后发现，chukwa的agent还是比较好用的， 拥有很多的配置方法，方便对服务器的调控。另外因为是线上服务器，也不可以随便换用agent。因为决定自己实现collector端，收集agent发过来的数据。因此就需要研究chunkwa传输的时候是怎么编码的。 下面这张图片是我分析后得到的结果：每一次，agent会发送一个package过来，这个package包括很多个chunk。其中开始的4个字节表示的int值表示这个package有多少个chunk。上面这张图片表示的就是一个chunk的各个字段组成。 因为这是一个流的形式字符，需要根据java中的相应编码方式使用python进行解码。但是我查看了一下，python中没有直接支持的包，不过有一个struct扩展模块，通过对该扩展模块进行 ...继续阅读 (34)

差不多大三的时候便听说lisp这种语言，看一些文章描述，只是觉得这是一种大牛们玩的语言。一直也不敢轻易接触。 那个时候连python和ruby都有些生畏，只是知道c，java，php之类的。后来看了一篇文章之后，决心要自己学习一下 python。写了一个java项目之后的我，接触到python，便喜欢上了，从此便不想再写java的代码了。后来又接触ruby ，觉得脚本语言也相差无几。关于函数式编程，因为在学习python，再加上社区里各种大牛的熏陶，也体会到不少。 但是像lisp这种纯函数式编程的语言，久久没有接触。一个月之前，来到小米实习。入职当天，晚饭后，小组内的一个程序员找我聊天。由于当时刚刚来，也不知道以怎么 样的方式去和一个程序员交流，而且是一个很有可能面试过不少人的程序员。幸亏我自己也坦荡没有什么可以紧张的。 顺便就当作问问题的好机会。慢慢的我们先聊python，幸好自己对于python有比较多的研究。虽然一些方面的知识， 对细节了解的不够，但是多少自己都研究过，看过网上那些参差不齐的文章。于是就按着自己的学习过程和看法， 半询问，半聊天的方式交流起来。中间我询问使用hadoop的最终优势是什么？其实这个问题我在网上寻找资料也很久， 但是没有一个我满意的答案。没想到他的短短解释就让我明白了。首先讲到计算机性能，从提高频率到多核的方向 发展。多核的编程就会涉及到锁的问题。 ...继续阅读 (31)

安装mysqlsudo apt-get install mysql-server-5.5 mysql-client-5.5安装过程中会要求书图密码安装apache2sudo apt-get install apache2安装php5sudo apt-get install php5 libapache2-mod-php5测试phpsudo vim /var/www/info.php写入一下内容：php phpinfo(); ?浏览localhost/info.php安装phpmyadminsudo apt-get install phpmyadmin中间和有要求输入密码配置为phpmyadmin添加链接sudo ln -s /usr/share/phpmyadmin /var/www/phpmyadmin修改php.ini配置文件sudo vim /etc/php5/apache2/php.ini在最后一行加上extension=mysqli.so否则会出现缺少 mysqli 扩展。请检查 PHP 配置错误重新启动apache2和mysqlsudo /etc/init.d/apache2 restart sudo /etc/init.d/mysql restart一切OK ...继续阅读 (18)

使用jekyll写博客不经意之间就会遇到列表解释不正确的问题，有的时候可以正常解释，有时候却不行。 我还一直以为是自己哪地方写错了。今天实在是不甘心，明明上下两句话是一样的，下一句话就是不对。 最后，调试了很多遍终于发现当列表中有英文字符的时候，列表就可以正常解释出来。否则不可以， 在网上查找到资料原来是jekyll的默认解释器的缘故。jekyll的默认markdown引擎是maruku。现在要改为 rdiscount。编辑_config.yml文件，在pygments:true上面添加一行markdown: rdiscount ...继续阅读 (32)

设置分区主要挂载四个分区： + /boot 100 M + / 20 G + /home 留下的比较大的磁盘空间 + swap 1G 到2G之间安装git复制原来的.ssh文件到新的系统的用户目录下面（保证ssh的公钥和私钥和原来一样安装一些依赖的库sudo apt-get install zlib1g-dev libssl-dev libcurl4-openssl-dev libexpat1-dev sudo apt-get install git-core git-doc git-gui配置gitgit config --global user.name "cloudaice" git config --global user.email "cloudaice@163.com" git config --global color.status auto git config --global color.diff auto git config --global color.branch auto git config --global color.interactive auto git config --global alias.st status git config --global alias.ci comm ...继续阅读 (36)

又有好一段时间没有写博客了，总觉得自己在忙，但是细数起来，自己并没有做多少实在的事情。more这样想着，不免就有些沮丧了。 早几天发生一件事情，让我的情绪好几天没有缓过来，不过一直以来，自认为是一个非常乐观的人。所以生活还是要继续的。 有些东西就自己知道，埋在心底吧。下面还是说说实在的。早些时候用到python的geventhttpclient库的时候，总是有一个警告，告诉我某个包已经被丢弃了，用另外某某包替换了。 当时也是刚刚用这个扩展库做东西，还没有上手，就告诉我各种错误，连样例都过不了。心中甚是不爽，又因为学校的各种事情， 也就放着，没有怎么管了。现在回头想想，还是仔细看看吧，于是晚上从新根据提示，查看相应依赖的gevent包，因为本机上的是egg包， 所以就直接去github上看源代码。发现版本不对，相差了好多，代码对不上。于是就上了gevent的网站上，看到有提示最新的1.0版本可以在 google code上面下载。于是跑到google上面去下载源代码，因为依赖关系，又安装了cython。最后安装好了最新的gevent扩展包。 但是当我执行import geventhttpclient又告诉另外一个警告，gevent.core已经被替换成gevent.lock了。这个时候我知道肯定是这个gevent安装的太新了。geventhttpclient 还没有来得及更新过来。但 ...继续阅读 (40)

官方网站下载linux安装包，如果下载的包的后缀名不是.bundle则修改成.bundle后缀名，然后执行下面命令：sudo chmod +x xxxx.bundle sudo ./xxxx.bundle按照一定步骤安装酒可以了。解决在ubuntu12.04下安装vmware8.04不成功的问题：cd /tmp wget http://www.nfix.de/download/vmware804fixlinux320.tar.gz tar -xvf vmware804fixlinux320.tar.gz sudo ./patch-modules_3.2.0.sh主要目的是针对linux3.0以上内核安装一个补丁参考文章VMware Workstation 8.0.3 / 8.0.4 und der Linuxkernel 3.2.x (Ubuntu 12.04) ...继续阅读 (21)

目前比较流行的移动应用开发，主要设计到两个方面，一个是终端的开发，包括各个平台下的终端。还有一个服务端开发， 相对于终端而言，服务端的开发更加传统一些，使用的知识也不是那么新的，而且没有平台的概念， 只是提供信息传递的API接口。对于我自己而言，我更加偏向于在服务端进行开发。 ｀ 看了苹果，微软，谷歌的各自服务端和客户端的通信方式。有评价说谷歌的服务器因为时不时会被墙。 因此push的效果不是那么理想。然后就有新的替代品，叫MQTT。据说是IBM公司弄的一个东西。看得也是似懂非懂的， 可能是因为自己计算机网络没怎么学好吧（过几天还要考计算机网络）。其实在之前， 我自己做的一个android和服务器端通讯的时候就寻找过相似的实现技术。当时自己就是很原始地想：使用socket通信。 而且基本也算是成功了，使用多线程来支持多个客户端的连接。当然在这一点上面有很多的优化可以做。 比如使用异步，协程之类的。 后来从某些地方得到另外一个消息，服务端和客户端之间的通讯可以是直接用http的。 当时想，如果使用http不是会占用更多的数据流量吗？ 但是貌似事实中，还真的是使用http直接链接传递数据的。 使用什么http长链接，轮询机制的。也没有深刻理解到它的意思。最近在 一篇文章中看到有人提到只能手机电池耗电量是大的瓶颈。 说道使用push的功能。如果能够把push深度结合到android系统中 ...继续阅读 (25)

昨天最终下定决心离开了实验室，感觉一下子就轻松了许多。经过一段时间的思考，我发现我自己缺少专注，自己学python，还使用django开发网站，又要学ROR的开发， 还学习前端设计css，js...，又想要参加nodejs的开源项目，还要研究Nosql数据库，高并发访问，nginx服务器配置，linux文件系统，fuse文件系统，socket编程，levelDB，moreoAuth服务端设计....还有实验室的Vxworks开发。 很多时候真的感觉自己的脑袋有些转不过来，但又什么都不想放弃。再加上各种面试准备和课程考试，痛苦不已。各种面试的碰壁让我静下心来冷静地思考失败的原因， 最终我觉得自己缺少专注。 于是我给自己一个选择的机会，离开了原来的实验室，因为我自己对硬件级别上的开发并不是很感兴趣，只是觉得底层的实现原理应该要了解，才能够写出优秀而高效的上层应用来。 之前我一直认为只要给自己安排更多的学习任务就可以让自己不断提高，但是现在证明这样子会失败。往往最终什么也得不到，更多的是丧失了对自己的肯定感和成就感， 而在最近全球移动互联网大会上，雷军讲到的“专注”让我感到自己也许就是被各种各样的“学习任务”给拖住了。每天自己感觉压力很大，但是回头看看自己实实在在做出来的东西 却是少的可怜。而现在觉得自己只要学习好课程内的知识，然后好好复习就可以了，可以在校园悠闲的逛逛了。而在这样轻松的 ...继续阅读 (21)

这两天一直在研究怎么在ruby on rails项目上建立自己的开发API。现在知道了一些原理性的东西， 记录下来，以备以后学习使用。首先展示一张网上摘录的图片 ...继续阅读 (15)