最近在学习研究一些算法，遇到很多数学公式。想到以前要在博客上写数学公式的时候，总是要在本地生成一张复杂公式的图片，再在博客上引用图片，这种方式显然满足不了「程序员」。遂折腾了一番。下面推荐两种比较常用的方法。使用Google的绘图服务Google Chart API 是一个非常强大的工具，通过 API 接口，会动态生成一张 png 图片，当然也支持 LaTex 语言。API 调用方式如下http://chart.apis.google.com/chart?cht=tx&chl;=E=mc^2其中参数cht表示图表类型,tx表示图表类型为tex语言，chl表示图表标注，E=mc^2就是质能守恒方程的 LaTex 语句。在 markdown 中就可以通过引用图片的方式加入进来。或者就能看到这样的图片效果：但是第二种方法在某些情况下不太实用。例如在需要显示 $\frac{t^2}{\int(x+y)dxdy}$ 时，公式内容为\frac{t^2}{\int(x+y)dxdy}，由于公式中带有)，会提前闭包，所以公式会显示不全。在这种情况下，只能使用第一种调用方式。使用MathJax库MathJax是一套开源JavaScript 库，它并不是将公式转化为一个图片，而是在浏览器 ...继续阅读 (34)

使用hexo写博客的一个问题就是源文件都是在本地的，如果换了电脑需要更新博客时就会比较麻烦。正好快要放假回家了，这个问题急需解决。以前的解决办法是将博客拷到U盘里，但是同步又比较麻烦。使用云盘时每次又提示.git文件不能上传。目前，觉得比较靠谱的办法就是用github来管理了。hexo如果用git文件托管的话，一般在.deploy文件夹下会有个.git文件夹。现在我们在根目录下也弄个.git文件夹就可以了，并且两者可以很和谐地相处。Step by Step在github下建立一个新的repository ，名叫blog（与hexo文件夹名一样即可）。在本地进入blog文件夹，用命令git init创建仓库。设置远程仓库地址，并更新12git remote add origin git@github.com:wuchong/blog.gitgit pull origin修改.gitignore文件（如果没有，请创建），在里面加入public/和.deploy/，因为这两个文件夹是每次generate和deploy都会更新，对我们没用，因此忽略这两个文件的更新。tips:此处最好不要用windows自带记事本打开，因为默认的回车符不一样，会导致无法生效，可以使用sublime或notepad。使用命令git add .，将所有文件提交到缓存区。使用命令git commit -m "ad ...继续阅读 (20)

由于自己平时喜欢刷微博，在刷到底部时习惯点下返回顶部的按钮，方便回到顶部导航栏。而看自己博客时，没有这个功能，总感觉很别扭，遂实现了一个。其实在hexo中实现返回顶部相当简单，所有的东西都是模块化的。只要我们写好HTML文件、JS文件，放入相应的目录，然后在对应的网页位置引用就可以了 。这里分享我的代码和实现过程。添加HTML代码。新建文件/themes/light/layout/_partial/totop.ejs，在文件中加入HTML代码：123a>div>添加JS代码。新建文件/themes/light/source/js/totop.js，在文件中添加javascript代码：123456789101112131415161718192021222324252627(function($){// When to show the scroll link// higher number = scroll link appears further down the pagevarupperLimit =1000;// Our scroll link elementvarscrollElem = $('#totop');// Scroll to top speedvarscrollSpeed =500;// Show and hide the scroll to top ...继续阅读 (22)

做一个面向程序员交流分享学习的社区吧！这个想法从一个月前的某个晚上就跳进了我的脑袋，之后好几个晚上因此兴奋地睡不着觉，呵呵。现在已经有类似的网站啦，像 segmentfault , V2EX , OurCoders , 甚至知乎里的某些板块。为什么还要有「码农圈」呢？诚然，目前国内已经有很多耳熟能详的类似网站了，但是相信每一个细分的市场都有很大的空间。而我想做的自然有其独到的特点。首先，这是一个以交流分享为主的网站，不同于 segmentfault 专注于技术交流。在这里气氛可以更加活跃。程序员是一个很独特的群体，他们可以因为一些 which better 的问题而争论不休，他们都有非常类似的特征，勤劳而聪慧，更重要的是，他们正在改变世界！正是这个群体，他们不仅需要讨论技术，他们同样也要找女朋友、结婚买房、会有生活上的烦恼困惑，会想换工作、想移民、想创业等等。正是基于这一点，「码农圈」的想法逐渐开始在我的脑海里成形，而它并不完全同于现有网站。「码农圈」是一个以交流分享为主的网站，不同于 segmentfault 专注于技术问答类。「码农圈」是一个专注于程序员群体的社区，不同于 V2EX 的创意工作者们和知乎的广大群体们，在这里的信息会更加垂直更加社区化。「码农圈」是一个论坛形式的社区，这也不同于上面的问答形社区。最主要的是「码农圈」足够酷、足够方便、能适配各种端，这也是不同于北邮人 ...继续阅读 (25)

“就你，才面了几家公司还给别人指路啊？”，尽管会有人有这样那样的质疑，但我还是非常想说说这个话题，希望后来者不要再踩我的坑，希望能有更明确的努力方向，找到期望的工作。距离找工作小记后，已经过去两个多月了，2014 校招季也靠一段落。由于我找的都是互联网方向的公司，所以本篇也主要针对如何找互联网技术类岗位。清晰的目标大多数人觉得找工作应该是撒大网捕鱼，不应该在一棵树上吊死，老师们也这样好心地建议我们。但是我不这样认为，我认为人的精力是有限的，把有限的精力分散到多个方向，最后只会迷失自己。就像有些本科毕业生，又是找工作又是考研又是国考的，最后都没啥好结果。所以，从一开始我就明确自己只找互联网技术类岗位，没有考虑过银行国企公务员等方向（当然如果有人找到了心仪的工作，再去其他方向碰碰机会也无可厚非）。我认为这是很重要的，作为一名应届生，应该有了自己的职业规划知道了自己喜欢的方向，不应该是迷茫或随从的状态。其次，这个方向应该是越细致越好。大家都知道 IT 行业要细分，一双手都数不过来。如果你能清晰自己想从事的方向（安全？前端？数据挖掘？），并为此付出一定的准备，你会发现你其实没花多大力气就脱颖而出了。如我，在一年多前就明确自己想进阿里中间件团队。不知道自己喜欢什么方向？那就挑自己擅长或熟悉的。没有擅长或熟悉的？那就了解技术发展趋势，选一个趋势向上的。厚积薄发有了明确的目标后，就可以去招聘网站 ...继续阅读 (13)

【本文翻译自 Javapapers ,原文链接：http://javapapers.com/java/10-interesting-java-projects-you-can-contribute-and-learn/】如果你正在寻找有趣的 Java 项目去参与和贡献，那么请继续阅读这篇文章。这篇博文是 Java 画廊（Java Gallery）中的一部分，在Java画廊栏目下我介绍了一些有趣的Java项目给我们的读者。成为 Java 开发团队中的一员并编写大量代码是一件很棒的事情。在学校里我们也许没有机会接触到真正的开发环境。在企业里我们可能做不了最喜欢的项目。在这种情况下，让我们加入可以带给我们欢乐和兴趣的开源项目吧。有很多备受关注的初创开源项目，下面列出十个项目是我觉得非常有趣的，涉及到的学习范围也很广。其中有些还在早期阶段，这对我们来说更好。看一看这些项目，选择一个你喜欢的，然后给它的领导者发一封邮件并参加到开发中去。War Worlds– 基于策略的游戏 – Java 服务端和 Android 客户端。OpenWorm– 运行于浏览器中的小线虫的神经力学模型，其模拟后端都是用 Java 写的。JRAW– Reddit API 的 Java 包装。XChart– 用于绘制数据的超轻量 Java 库。libgdx– 用于创建游戏的开源框架。Particle Pong– 开源的 ...继续阅读 (14)

马上就国庆假期了，自己的找工作历程也算是告一段落了。回首过往，这一路来的坎坎坷坷也算是颇为励志了，遂将心路历程一 一记载下来，希望能与大家共勉！本想写成一篇软文的，结果写着写着发现越写越像面经了，叹气！目前参加面试的公司不多只有百度和阿里，拿到的 offer 也只有百度网页搜索部的 Rank 团队和架构团队，阿里共享业务事业部中间件团队。我不是大牛，没有拿过 ACM、机器人足球、挑战杯这些高大上的奖，没发过论文，因为是专硕还被鄙视过好多回。我只是一枚水硕，水了一年的研究生发现什么都没学到，平时做的更多的是“代码搬运工”的活儿。看着自己的项目没一个能拿的出手的，连面试官也说我的项目经验一般。而自己的实习生面试经历更是惨不忍睹，最终能拿到 offer，离不开自身的努力和运气吧！惨痛的实习生面试认识我的朋友都知道进入阿里是我读研期间最大的梦想。而进入阿里巴巴实习是迈入阿里的第一步，我也把它看地非常重要。所以从寒假开始就有计划地推进着复习。然，事不遂人愿，有时候期望越大失望越大。信心满满地与小伙伴们参加完笔试后，耐心地等待面试通知。结果看着同学们一个个参加面试拿到实习 offer，最后自己的状态变成了“笔试未通过”，心理的打击确实挺大的。之后退而求其次，想着实习能进BAT的其他两家也不错。腾讯的笔试顺利通过了，然而初面表现特别糟糕，先是走错了楼层再是拿着 Java 的简历面 C++ 岗，一 ...继续阅读 (12)

单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你。懒汉式，线程不安全当被问到要实现一个单例模式时，很多人的第一反应是写出如下的代码，包括教科书上也是这样教我们的。1234567891011publicclassSingleton{privatestaticSingleton instance;privateSingleton(){}publicstaticSingletongetInstance(){if(instance ==null) {instance =newSingleton();}returninstance;}}这段代码简单明了，而且使用了懒加载模式，但是却存在致命的问题。当有多个线程并行调用 getInstance() 的时候，就会创建多个实例。也就是说在多线程下不能正常工作。懒汉式，线程安全为了解决上面的问题，最简单的方法是将整个 getInstance() 方法设为同步（synchronized）。123456publicstaticsynchronizedSingl ...继续阅读 (7)

最近看完了杨传辉老师写的《大规模分布式存储系统》一书，发现里面很多知识点和之前看的《大型网站系统与Java中间件》有很多相通之处，也渐渐加深了我对分布式技术的兴趣。但无奈分布式涵盖范围太广了，分布式存储、分布式计算、CAP理论、Paxos算法、什么GFS、Hadoop、Dynamo、BigTable、Spanner等等，不下点功夫还真不能理顺它们之间的内在关系。所以结合两书以及一些优秀博文，总结了分布式存储的知识体系，为以后打下基础而努力。由于初入泥潭，必然有些理解不当的地方，若有大神路过还望不吝指教。本文更像是读书笔记，是对知识点的一个梳理，无奈越写越多，部分知识只能点到为止，具体内容可以查看原书或维基百科。单机存储引擎哈希哈希存储引擎是哈希表的持久化实现，支持增、删、改，以及随机读取操作，但不支持顺序扫描，对应的存储系统为键值(Key-Value)存储系统，如 Bitcask。它仅支持追加操作，删除也只是通过标识 value 为特殊值，通过定期合并（Compaction）实现垃圾回收。B 树B 树存储引擎是 B 树的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描，对应的存储系统是关系数据库。关系数据库中通过索引访问数据，在 Mysql InnoDB 中，有一个称为聚集索引的东西，行的数据存于其中，组织成 B+ 树的结构。更多 B 系树的内容可以参考这里。LSM ...继续阅读 (33)

今天早上出完成绩后，其实不怎么想写这篇文章的。因为五个月的努力，最终也没能证明自己。虽然已经不需要前 50 的「校招绿色通道」，但是心里还是会有一些失落。自己劝慰自己「毕竟是一个人单挑」，可是前 50 单挑的也不少。想想还是自己有很多的不足之处，在最终跑融合集的时候，两次脚本参数跑错导致浪费了宝贵的线上机会。而在删除集方面的尝试终于有些效果了，比赛却戛然而止了。其实在早上看到最终成绩的时候，心情还是比较平静的，我貌似已经淡定地接受了这一切。静静地看着这五个月来的一幕幕如潮水般涌来。第一次听说这个比赛是在 13 年下半年，一次偶然的机会看到 @得福 做的一次天猫推荐的分享，在那次分享的最后介绍了今年3月份会举办面向高校的推荐大赛。很期待阿里也要举办类似 Netflix 的比赛，而且这次是真正的大数据。果然在3月初的时候，比赛如期而至，毫不犹豫地报名了。因此也展开了黑白颠倒的五个月。在报名之初，对于没什么机器学习底子的自己，完全不知道能走多远。第一季报名的队伍如洪水般泛滥，黑科技也层出不穷，摸着石子过河的我完全找不到方向，一度处在一千名开外的位置。后来渐渐找到方法挺进了第二季。在第二季刚开放的最初几天，迫不及待地进入天池系统一睹真正的大数据。5.7 亿条真实行为记录，1250 万位用户，以及 3 万种品牌。海量的数据跑在 ODPS 平台上，真的非常佩服 ODPS 的技术，处理上亿条的数 ...继续阅读 (18)

记得@老赵之前在微博上吐槽说，“有的人真是毫无长进，六年前某同事不会写程序输出全排列，昨天发邮件还是问我该怎么写，这时间浪费到我都看不下去了。” 那时候就很好奇全排列到底是什么东西，到底有多难？今天复习的时候终于碰到这题了，结果果然自己太渣，看了好久都没明白，代码实现又是磕磕碰碰的。所以，就把它整理成笔记加深记忆，也希望能帮到和我一样的人。全排列所谓全排列，就是打印出字符串中所有字符的所有排列。例如输入字符串abc，则打印出 a、b、c 所能排列出来的所有字符串abc、acb、bac、bca、cab和cba。一般最先想到的方法是暴力循环法，即对于每一位，遍历集合中可能的元素，如果在这一位之前出现过了该元素，跳过该元素。例如对于abc，第一位可以是 a 或 b 或 c 。当第一位为 a 时，第二位再遍历集合，发现 a 不行，因为前面已经出现 a 了，而 b 和 c 可以。当第二位为 b 时 ， 再遍历集合，发现 a 和 b 都不行，c 可以。可以用递归或循环来实现，但是复杂度为 $O(n^n)$ 。有没有更优雅的解法呢。首先考虑bac和cba这二个字符串是如何得出的。显然这二个都是abc中的 a 与后面两字符交换得到的。然后可以将abc的第二个字符和第三个字符交换得到acb。同理可以根据bac和cba来得bca和cab。因此可以知道全排列就是从第一个数字起每个数分别与它后面的数字交换 ...继续阅读 (15)

进程是操作系统上非常重要的概念，所有系统上面跑的数据都会以进程的类型存在。在 Linux 系统当中：触发任何一个事件时，系统都会将它定义成为一个进程，并且给予这个进程一个 ID，称为 PID，同时根据触发这个进程的用户，给予这个 PID 一组有效的权限设置。进程是什么样的程序运行起来后，我们看不到也摸不着。因此 Linux 为我们提供了一系列方便的命名来查看正在运行的进程。首先是 ps 命令，比如ps -l命令能查看当前 bash 下的相关进程全部信息。如下：12345$ ps-lF S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD0S1000255225380800-1945waitpts/000:00:00bash0S1000935225520800-1926waitpts/000:00:00bash0R1000947893520800-1598- pts/000:00:00ps另外，我们还可以用pstree命令来显示整棵进程树。可以看到这里 init 进程是所有进程的根节点，使用ps命令还能看到 init 的 PID 为 1 。当Linux启动的时候，init 是系统创建的第一个进程，这一进程会一直存在，直到我们关闭计算机。所有其他的进程都是由 init 进程衍生出来的。父进程 & ...继续阅读 (10)

在 Linux 下，所有的文件与目录都是由根目录（/）开始的。然后再一个一个分支下来，形成一棵繁杂的树。因此我们也称这种目录配置方式为“目录树”。那目录树与文件系统有什么关系，目录树是怎么实现的呢？目录在 Linux 系统中，目录也是一种文件。我们可以使用$ls -li来查看一个目录的属性。123456$ls-li/home/wuchong141494drwxr-xr-x18wuchong wuchong409612月22013hadoop-1.1.11715845drwxrwxr-x2wuchong wuchong40967月1209:07input1718481-rw-rw-r--1wuchong wuchong07月1216:11test.txt1718478-rw-r--r--1root root17802926月1619:04etc.jar.bz2……其中-i参数是显示文件的 inode 号。可以看到第一列就是目录/文件的 inode 号。因此 ext 文件系统对于目录也会像对待文件一样分配其 inode 块和 block 块。只不过，在目录中 inode 块记录的是该目录的相关权限与属性以及分配到的 block 块号码，而 block 则记录的是这个目录下的/文件名/与该文件名占用的 inode 号码数据。没错，在 Linux 中文件的 inode 中是不记录文件 ...继续阅读 (8)

我们知道不同的操作系统所使用的文件系统是不一样的。举例来说，Windows 98 以前所使用的是文件系统是 FAT，Windows 2000 以后的版本有所谓的 NTFS 文件系统。至于 Linux 的正规文件系统则为 Ext2（Linux second extended file system，Ext2fs）。之后又出现了改进版的 Ext3 和 Ext4 ，总体上变化不大。文件系统的对比我们经常听说 Windows 需要磁盘碎片整理，而 Linux 却不需要。这是为什么呢？我们可以先看看 FAT 文件系统的数据访问方式，如下图所示。假设一个文件的属性和权限信息是存放在 3 号的 inode 上，而文件的实际数据是存放在 1、4、6、11 这四个 block 中，那么当操作系统要访问该文件时，就能据此来排列磁盘的阅读顺序，可以扫描一次就将 4 个 block 内容读出来。这种访问方式称为索引式文件系统（indexed allocation）。而且 ext 在每两个文件之间都留有相当巨大的空闲空间。当文件被修改、体积增加时，它们通常有足够的空间来扩展。因此在一定程度上保证了 block 的访问范围不会跨度很大，减小了磁头的移动距离。那 Windows 的文件系统是怎样的呢？ 我们以 FAT 为例说明。在往 FAT 文件系统中存入一个文件时，系统会尽量存放在靠近磁盘开始的地方。当你 ...继续阅读 (22)

昨天同学让我帮忙下篇论文，发现自己的校内上网帐号有一段时间没充值了。登录校园网才能下论文，无奈问了周围的人却发现都没充值！（实验室可以免费上网大家都不充值了么）懒得去充值，就想会不会有的上网帐号还是用的默认密码？如果有的话，岂不是可以“借来”用一下！虽然有些不道德，但是为了验证心里的想法还是忍不住下手了。分析请求首先当然是分析登录请求啦。我们学校的校园网登录网址为10.0.0.55。所以用 Chrome 打开登录网页，并打开开发者工具 -> Network，再输入用户名密码，点击登录。可以捕获到 POST 消息。其中最重要的是两个信息，一个是 Request URL，另一个是 Form Data。前者是提交请求的网址，后者是提交的表单。表单里最重要的是 username 和 password 两个字段。后面的三个字段可以忽略。我们发现，表单中的密码是加密后提交的。会用的什么加密呢？我们去 JS 脚本里找找有什么。在源代码的 head 标签内发现了大段的 JS 脚本，其中就有关于登录的。其实就是用了简单的 MD5 加密，并将加密结果截取了第 8 到 24 的字符。连 salt 都没有用到。有了上面这些信息后，我们就可以构造请求了。这当然要拿出 Python 大法了。模拟登录用 Python 可以快速实现模拟登录，主要使用了requests库。123456789101112131415 ...继续阅读 (16)

用户与用户组Linux 是一个多用户、多任务的系统，常常有多人同时使用一台机工作，为了保护每个人的隐私权，“文件所有者”的角色就显得相当重要了。当Linux用户登录系统之后，就会携带一个用户身份（User ID，UID）和一个用户组身份（Group ID，GID），相当于自己的名片。当需要访问文件或程序时，刷一下名片就能知道是否能读、写、执行了。一般来说，Linux的用户信息保存在/etc/passwd中，组信息保存在/etc/group中，文件的每一行代表一个用户/组。早期的Linux将密码以明文的形式保存在/etc/passwd中，而现在则多以暗码(也就是加密之后的形式)的形式保存在/etc/shadow中。将密码存储在/etc/shadow中提高了密码的安全性，因为/etc/passwd允许所有人查看，而/etc/shadow只允许root用户查看。文件属性要了解Linux的权限控制就必须学习Linux的文件权限和属性。可以用ls命令查询文件信息（$ls -l），得到如下结果：1234567$ ls -l ~/input总用量36drwxrwxr-x2wuchong wuchong40967月1021:45./drwxr-xr-x30wuchong wuchong40967月1208:58../-rw-rw-r--1wuchong wuchong466月1620:31a.t ...继续阅读 (12)

计算机的启动是一个非常复杂的过程，从打开电源到桌面的显示，需要经过一系列不可或缺的过程，了解这些过程有助于我们更好地理解操作系统，也有助于我们修复系统可能出现的问题。0. 启动流程一览我们先给出 Linux 启动流程的总览图，然后再每一个模块展开说明。1. BIOS当我们按下电源按键后，计算机硬件会自动读取主板上的BIOS（Basic Input/Output System）来加载硬件信息以及硬件系统的自我测试。BIOS也是一套程序，它知道如何与硬件进行交互。BIOS首先会对硬件进行检查，判断计算机硬件是否能满足运行的基本条件，这叫做“硬件自检”（Power-On Self-Test，简称 POST）。硬件自检后，BIOS 会将控制权交给下一段启动程序。这时，BIOS需要知道，”下一阶段的启动程序”具体存放在哪一个设备。也就是说，BIOS需要有一个外部存储设备的排序，排在前面的设备就是优先转交控制权的设备。这种排序叫做”启动顺序”（Boot Sequence）。因此，BIOS按照”启动顺序”，把控制权转交给排在第一位的存储设备。2. MBR系统读取位列第一的可启动存储设备。计算机先读取该设备的第一个扇区，也就是读取最前面的512个字节。这最前面的512个字节，就叫做”主引导记录”（Master boot record，缩写为MBR）。MBR 只有512字节，放不了太多东西，它主要告 ...继续阅读 (8)

最近在看鸟哥 Linux，看到正则表达式这块，以前看到这些恐怖的字符总是觉得恶心，今天就咬牙系统的学习了下正则表达式。然后有了这篇笔记。主要总结正则表达式的一些关键知识点。字面值：a b c d 1 2 3 4等等。字符类：. [abc] [a-z] \d \w \s.表示“任何字符”[abc]括号表示“找到集合里任意一个字符”。\d表示“一个数字”，等同于[0-9]\w表示“一个单词字符”，等同于[0-9A-Za-z_]\s表示“一个空格，tab，回车或一个换行符”否定字符类：[^abc] \D \W \S乘法器：{4} {3,16} {1,} ? * +{3,16}表示找到重复 3 到 16 个前一个正则字符?表示“没有或一个”*表示“没有或多个”+表示“一个或多个”乘法器是贪婪的除非你在之后使用?, 即优先找到最长的分支和组合：(Septem|Octo|Novem|Decem)ber管道符号|表示“或”圆括号表示组合 ，比如 在一周中找到一天，使用(Mon|Tues|Wednes|Thurs|Fri|Satur|Sun)day。词、行和文本边界：\b表示词边界^表示行开始$表示行结束^$表示的就是空白行了反向捕获组：\1 \2 \3等等。捕获组从左到右进行编号，只要计算左圆括号。（在替换表达式和匹配表达式中同时生效）比如有一段字符，我们需要前面的横杠去掉，尾巴的数字去掉， 英 ...继续阅读 (11)

曾无比期盼在 2014 WWDC 上能见到搭载 Retina 的 air，结果竹篮打水一场空。之后 pro 的价格就扶摇直上。终于在本月17号的时候，忍不住入手了 rMBP 13 中配，用到现在也已经快两个星期了。这段时间也算是熟练了 Mac 上的基本操作，感叹苹果在追求用户体验的道路上已经领先国人不知道多少条街了。我入手的时候是买的港版总价9100元，现如今两个星期过去已经疯涨到9300了。也难怪，毕竟又一大批的高中生们马上买入校园，macbook 估计就成了首选，而且就 pro 的这款型号涨势最凶，看来大家都是奔着 Retina 去的，真是佩服我当时的明智！用了这么久，谈谈我对本本的感受把。第一感觉就是超清！我当时因为纠结买 pro 还是 air 时，特地跑到体验店体验了一下午的 Retina，最后还是毅然选择了 pro。作为一个码农，与代码和文档一起度过的时间是仅次于女朋友的，看完如此养眼的 pro 后，几乎无法接受 air 了（当然两者的定位是不一样的）。第二个感觉是外观。虽然相比 air 的性感稍逊一筹，但是 pro 整体的外观还是很惊艳的，而且方方正正更凸现男人的大气。pro 的厚度是一致的，且比 air 最厚的地方仅多1毫米，重量比 air 重 0.22 kg。因此还是很便携的。相比于我的联想本本小Y，真是不想再碰了…第三个感觉就是用户体验很好。让我印象最深刻的是触控 ...继续阅读 (10)

晚上提交完这次的结果后，我知道明天早上又会有一百支一起奋斗过的团队们要离开了。而这一次的月星星与我还是那么的遥不可及。回想起这段日子每天早上打开排行榜就像开足彩一样紧张而兴奋。想想多年后是不是会怀念这段时光，所以决定还是写点东西吧。前奏4月25日正式开启了 Season2 的征途，队员们纷纷进入天池系统开始大展身手。人们总是热于尝试新鲜事物，就好像 Swift 刚发布的数小时内就有开发者重写了 Flappy Bird，这种激情是值得敬畏的。我也在比赛开始一星期内写了两篇 ODPS SQL 入门的文章，当时随便想几个规则就能进排行榜。之后我们用 SQL 实现了第一季的所有规则，后来还尝试了线性回归、逻辑回归，但是效果都不好，成绩停留在 4% 出头点。到了5月10号左右，由于实验室的多个项目紧逼，逐渐开始淡出比赛。当然在第一个月的淘汰期由于压根不在比赛，所以完全没有感受到比分的残暴。直到这一次深有体会。幸好那时候还没被淘汰。坑里的日子到了5月底，终于实验室的事情不那么紧了，准备开始赶一下名次，也开始了我们在坑里翻滚的日子。由于阔别了半个多月，回来的时候发现排名大概在 280 左右。而我们对 LR 已经绝望了，正巧听说随机森林效果不错，因为对特征不那么挑剔，线性非线性的都能有较好效果，而且抗噪能力强。因此，决定往随机森林方向走。随机森林需要较多的特征，效果才会好。我们花了一个星期来整理特 ...继续阅读 (15)

上一篇文章介绍了 ODPS SQL 的大概使用方法，几个 tips，和讲到一半的离线评估。现在上来把上次的坑填完。希望对于还没有开始离线调优的团队有点帮助。划分训练集、验证集回顾训练集、验证集的划分。根据时间，可以将前三月划分为训练集：1234createtabletrain_setasselect*fromt_alibaba_bigdata_user_brand_total_1wherevisit_datetime <='07-15';同理，验证集如下，注意去重：12345678910createtablevalidate_setasselectuser_id,wm_concat(',',brand_id)asbrandfrom(selectdistinctuser_id,brand_idfromt_alibaba_bigdata_user_brand_total_1wheretype ='1'andvisit_datetime >'07-15')agroupbyuser_id;这里distinct关键字的作用就是去重，当然也可以用group by实现。两者效果一样，那效率呢？在 MySQL 中（如果没记错的话，天池的底层数据库是基于 MySQL 的），两者的实现原理很相似。区别在于distinct会读取所有的记录，而group by是在分组之后每组只返回一条记录，也就是说后者读 ...继续阅读 (183)

第二季才是真正的开始，第一季的汗水、喜悦、纷争都通通过去了。第二季绝对是拼算法、拼模型、拼平台熟练度的比赛，相信坚持下来的话肯定收获颇丰。昨天也迫不及待地进入 「天池」 ，居然是 Windows 系统，一点都提升不了逼格啊。看文档的过程中，又是 ODPS SQL、MapReduce、XLab/XLib、Tunnel、ODPS SDK什么的，相信很多人都跟我一样看的眼花，茫然不知所措，更别提对 MR 不熟悉、SQL 忘地差不多、Java 不熟练的同学了。 到底先学哪个？到底哪个实现模型算法更快？文档里推荐的开发流程是这样的：首先看能否使用 ODPS SQL 搞定，能的话尽量用 SQL，简单，不容易出错；编写 M/R 代码，使用本地调试功能进行基本的测试；编写 M/R 单元测试用例，ODPS M/R 提供了 MRUnitTest 方便编写单元测试用例；进行集群调试，验证结果。所以从 SQL 入门应该是学习曲线最快的，而且也能方便进行分析，快速实现模型，快速提交结果。如果您已经看过文档了，小弟觉得就可以跳过下面的啰嗦的内容了 ：）提交推荐结果首先，第二季的数据格式与第一季一样，仍是4月15日至8月15日的数据，只不过量更大了（5亿条用户行为记录，不知道是否是全集？）。原始数据集存在t_alibaba_bigdata_user_brand_total_1表中，完成用户品牌偏好预测后，需将推 ...继续阅读 (203)

[ 翻译自英文原文：Easy Web Scraping with Python]一年多以前我写了一篇文章「web scraping using Node.js」。今天我重新回顾了这个话题，但是这一次我将使用 Python，这样这两种语言所提供的技术就能进行对比和比较。问题我敢肯定你知道，我在本月初参加了在蒙特利尔举办的 PyCon 大会。所有的演讲和教程的视频都已经发布到 YouTube 上了，目录在pyvideo.org。我认为知道这个大会上的哪些视频最受欢迎将会是非常有用的，所以我们将要写一个爬虫脚本。这个脚本将会从 pyvideo.org 上获取有效的视频列表，然后从每个 YouTube 页面获取观看的统计数据。听起来很有趣？让我们开始吧！工具在抓取网站中有两个基本的任务：加载网页到一个 string 里。从网页中解析 HTML 来定位感兴趣的位置。Python 为上面两个任务提供了两个超棒的工具。我将使用requests去加载网页，用BeautifulSoup去做解析。我们可以把上面两个包放到一个虚拟环境：1234$mkdir pycon-scraper$virtualenv venv$source venv/bin/activate(venv)$pip install requests beautifulsoup4如果使用的是 Windows 操作系统，注意上面虚拟环境的 ...继续阅读 (25)

字符串转换成整数：输入一个表示整数的字符串，把该字符串转换成整数并输出，例如输入字符串”345”，则输出整数345。在笔试面试中，atoi 即「字符串转换成整数」是一个经典问题了，此题无关算法，考察的更多是编码能力和细节考虑能力。因此自己就动手写了下，写完之后，打开 JDK 的源码想看看大牛是怎么写的，所谓「站在巨人的肩膀上」，果然还是有很多有意思的东西的。首先，实现的思路是扫描整个字符串，扫描到当前字符时，将之前的结果乘以10加上当前字符代表的数字。思路是很简单，但是有很多细节需要考虑，也是本题考查的重点。开头可能会有 ‘+’ 和 ‘-‘，表示整数的正负。字符串为 null 或是空（””）呢？字符串中包含非数字的字符只有一个 “+” 或 “-“ 字符呢？最后就是溢出问题。先放出我的代码吧！1234567891011121314151617181920212223242526272829303132333435363738publicstaticintatoi(String s)throwsException{if(s ==null|| s.length() ==0) {thrownewException("illegal number input");}finalintMAX_DIV = Integer.MAX_VALUE /10;finalintM ...继续阅读 (6)

最近在项目中用到了 jQuery.dataTables， 这是一个很强大的 jQuery 插件，调用方便，支持回调对数据进行排序、查询、分页等操作，并且 bootstrap 框架也有对其封装，省了我们界面设计的活。dataTables 自带了string，date，numeric 的排序，但当遇到比较特殊的排序需求时，就得另寻出路了。这几天正好碰到了这么个需求，一个统计表格中的有几列的单元格是百分数，而且还带有 html 的标签。需要针对这几列的百分数排序。单元格中的 html 代码是这样的。12i> 100.0%span>表格大概是长这样的。而 dataTables 的自带排序会将这一列视为 string 排序。 显然是不满足我们需求的。一开始以为要大动干戈，后来看了API文档后发现，dataTables 的第三方扩展支持还是很灵活的。官方文档中提供了两种方法： (1) Type based column sorting ; (2) Custom data source sorting。我使用的是第一种方法。主要思路就是将单元格内容转成可排序的 float 类型。首先创建一个文件叫dataTables.sort.plungin.js，加入以下代码。12345678910111213141516jQuery.extend(jQuery.fn.dataTableExt.oSort, ...继续阅读 (24)

经典排序算法在面试中占有很大的比重，也是基础，为了未雨绸缪，在寒假里整理并用Python实现了七大经典排序算法，包括冒泡排序，插入排序，选择排序，希尔排序，归并排序，快速排序，堆排序。希望能帮助到有需要的同学。之所以用Python实现，主要是因为它更接近伪代码，能用更少的代码实现算法，更利于理解。本篇博客所有排序实现均默认从小到大。一、冒泡排序 BubbleSort介绍：冒泡排序的原理非常简单，它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。步骤：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对第0个到第n-1个数据做同样的工作。这时，最大的数就“浮”到了数组最后的位置上。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。源代码：(python实现)1234567defbubble_sort(arry):n = len(arry)#获得数组的长度foriinrange(n):forjinrange(1,n-i):ifarry[j-1] > arry[j] :#如果前者比后者大arry[j-1],arry[j] = arry[j],arry[j-1]#则交换两者returnarry不过针对上述代码还有两种优化方案。优化1：某一趟遍历如果没有数据交换，则说明已经排好序了，因此不用再 ...继续阅读 (15)

寒假里有心重新学习Python，本科小学期有用Python写过一个web应用，但忘的差不多了。现在想系统地学习Python，所以把《Head First Python》看完了。HeadFirst的书内容有趣且有实例贯穿，但是知识和技巧都打乱在各个章节中了，看完后对Python还是没有系统地了解。所以现在一边写爬虫一边看《Dive into Python》带着学习Python。实现的第一个爬虫是抓取暴走漫画上的GIF趣图，方便离线观看。爬虫用的是python3.3开发的，主要用到了urllib.request和BeautifulSoup模块。注：BeautifulSoup是第三方库，我使用的是bs4。urllib2在python3中被分配到了urllib.request中，文档中的原文如下。Note:Theurllib2module has been split across several modules in Python 3 namedurllib.requestandurllib.error.爬虫源代码如下：12345678910111213141516171819202122232425262728293031323334353637383940414243444546# -*- coding: utf-8 -*-#----------------------------- ...继续阅读 (21)

更换主题确实是一个非常耗体力的活，但是自从看到了Pacman主题后，就萌发了换主题的冲动。不过Pacman的第一版主题用起来有很大问题，而且从半年前就不更新了。放弃之后也找遍所有可用主题，都不如所愿。所幸的是，就在上个星期，发现pacman开始更新了，所有的css也都采用Stylus重写了（原来作者闭关半年在憋大招啊）。遂下载之，发现用起来非常方便。主题介绍扯了这么多，无非就是说这主题多么多么屌。确实，Pacman是一款为Hexo打造的一款扁平化，有着响应式设计的主题。在Chrome，Firefox，Sarifa，iOS和Android上都表现非常完美。而我以前的主题一到手机端就长残了，不说了… 至于Pacman主题在IE端会看到意想不到的景象我是不会告诉你们的。还是那句话「珍爱前端程序员生命，请远离IE」。而且，基于模块化的思想，所有的组件都成了可配置的了，如果你不像我有「审美洁癖」的话，只需要配置主题目录下的_config.yml文件，添加对应组件的账号或ID即可。而我在使用pacman的过程中，主要修改了文章的样式，code的样式，主题颜色，组件的排版，在一些地方使用了font来显示矢量图标等等。对于改过之后的主题，看官请轻拍，所谓「萝卜青菜，各有所爱」嘛。主题截图上几张iPhone端的博客截图。最后留念下上一个主题paperbox。鸣谢：Yangjian更多介绍：Pacma ...继续阅读 (12)

今天，已经是2014年的第一天了。据说这次跨年有特别的意义，因为那个人是陪你走过13与14的。所以，昨晚与Miss.Y去了“北京之光”跨年。当身边响起54321的倒数声时，以为是闹着玩，当反应过来时我已经踏入了2014。回想2013，2013对于我来说是变化最大的一年，对很多东西的看法有很多改变。一直想写一篇这一年的总结，却不知从何说起。过完2013年的最后一天，还是提笔将这一年流水账似的过一遍吧。想到什么写什么，各位看官讲究着看吧 ~毕业季上半年结束了自己的本科四年生活，一个个小伙伴们都逐渐离开了我们的生活圈子，或留京拼搏，或回家赚钱娶媳妇，或去了不同的学校不同的国家求学。我是看不得小伙伴在我面前拖着行李走掉的，感觉再也见不到一样。大学最遗憾的是，毕业最后一天没有和你们一起在操场聊天到天亮。原因是那个让我终身不愿提起的“尴尬”。毕业季是感伤的，所幸的是，研究生宿舍经过小伙伴们的努力，终于537与538合并了。智商爆表的超，温文尔雅的阿阳，叔也将成为我6年的室友。最后，在这里祝愿小谢这次能够“马上成功”！加油！ 要是成功了，请回来还愿！ ：)研究生课程我的研究生课程随着新年的到来也即将上完，回顾起来这半学期让我印象深刻或听了觉得有用的课程，貌似除了刘驰老师的高级软工竟想不到其他的了。对不起我的导师Mr.赵，您讲的数据库还不错，但还不如做工程时学的更快更扎实，我更希望听一些数据库实时 ...继续阅读 (13)

为什么是独立博客？在11月底的时候在这条微博中提到了自己想弄一个独立博客，但是总是觉得弄独立博客是一个非常花时间花精力的事情，在繁忙实验室、课程项目之间很难抽出时间玩这个。但最终在brotherb的劝诱下，花了两个晚上把博客弄出来了。从搭博客到买域名，又迁移到国内站点，又瞎鼓捣主题，整个过程还是挺有意思的。其实自己在CSDN上也有写博客，大部分是自己在学习过程中记录下的问题解决方案，方便自己查看而已。之所以要一个独立博客，我觉得有以下几个原因在驱动我吧。独立，自由，简洁。不会像某些平台上的博客一样，广告乱飞。够酷。能有一个专属自己的域名。即使是wuchong.gitcafe.com，那也不是我的，那是在别人的地上种菜。一定要wuchong.me，那才是自家的地（虽然本质上仍然不是我的，但门面上是）。回馈精神。就像开源软件，我们不断地从开源社区获得那么多的便利与知识，当然也要回馈社区。成长的记录。即时你现在分享的是别人耻笑的水文，那又如何。在分享的过程中，已经远远超过那些人了。Hello Hexo关于博客的搭建，很多大神已经写了很详细的教程了，我就不班门弄斧了，主要谈谈自己的搭建过程的感受。建站工具，研究过WordPress（太臃肿），Ghost（前景不错，但功能还不完善），之后还是选择了Hexo（简单，有现成的系列教程）。域名购买，国内的代理商只能呵呵，不稳定还可能GOV干扰，所以 ...继续阅读 (11)