...继续阅读 (18)

...继续阅读 (17)

...继续阅读 (20)

...继续阅读 (24)

...继续阅读 (25)

前天下班浏览朋友圈，雪晴数据网转发了一篇译文，大数据工具比较：R 语言和 Spark 谁更胜一筹？，原作者测试了在限定为单机环境下，使用Kaggle提供的手写识别的数据在R和Spark平台 运行不同算法的对比速度，结论有一下几个：主成分分析R要4小时，Spark要10秒逻辑回归：R运行7小时，Spark约5分钟朴素贝叶斯，因为算法太简单，差异不那么巨大（45s和9s）决策树：R完全跑不起来，Spark花20秒在整篇文章作者的测试非常武断，有很多误导观众的信息。R再怎么样也不会如此不济，下面会逐条针对原文做补充。 当然，这里面我还想强调：在使用算法解决问题的过程中，以下几大行为必须纠正（或者叫做流氓法则）：不贴源代码，是耍流氓张冠李戴，完全复制，不做任何优化就对比，更是耍流氓不考虑业务场景乱用算法，就是耍流氓不考虑数据形态以及精度要求，拿算法的帽子乱盖，还是耍流氓我们也来玩玩测试首先提供一下我的环境，11年购入的Thinkpad T420，i7-2640M，4核心，8G内存；R版本Windows 64位原生编译版本，未做Blas库的任何优化。在这台玩魔兽现在都有点卡的老爷机上， 以上几个算法在单机版的R平台上测试速度为：主成分分析为 1.64s二分类逻辑回归 5s，多分类逻辑回归为58s决策树使用更高级的GBDT，3s同时为了表明不是流氓，给出代码library(data.table ...继续阅读 (54)

...继续阅读 (42)

...继续阅读 (60)

每年年底的时候都说要写一个年终总结，但每年都各种原因的推托。几年再不写实在说不过去，至少写一些流水账来。做过的事情秦皇岛5月份部门团建，地点翡翠岛，没擦防晒霜居然被晒掉一层皮，囧。但玩的很开心。放飞孔明灯滑沙海边烧烤北京5月份的R语言会议，分享了一个机器学习的例子。各位老师、同仁、学弟学妹的合影（同老吴、hadly、david smith的单独合影就不放出拉仇恨了）这里还是忍不住感谢一下学弟学妹们！深圳行8月份的时候去了一趟因公去了一趟深圳，非常喜欢深圳平均PM2.5低于50的空气质量。实在找不到去香港的理由，只是隔着海望了一下。去了趟深圳大学，海上世界，红树林自然保护区。晚间，在欢乐海岸同友人夫妇聚餐。杭州行11月28日到达杭州，马不停蹄的奔赴阿里巴巴，花了半天时间和天猫的推荐算法团队相互分享了一下算法方面的心得，发现两家电商其实在做法上极其相似，此处不表。第二天参加R语言会议杭州场，作为机器学习领域从业者，粉丝一下林智仁是必然的，然后是和大神的合影，照片有点虚：上海行12月5日到达上海，上海对于我来说可以说是的自家人的地盘了，分享了《R语言在推荐系统中的应用》。会议结束后老朋友们去朝鲜驻上海的一家涉外餐厅聚餐， 见识了朝鲜人民“夸张的、强装笑脸的”的歌舞，席间想和餐厅的服务员合影（据说该餐厅服务员是朝鲜政府精挑细选的苗子，即便在上海也不会多看一眼资本主义腐朽的生活）， 果然被委 ...继续阅读 (52)

...继续阅读 (38)

...继续阅读 (39)

...继续阅读 (49)

陆陆续续尝试使用Emacs已经该有7、8回了，每次都受不了它繁琐的Ctrl和Meta组合键，但最近不知道哪根筋出了问题，不但编辑器迅速的切换到了Emacs，甚至 操作系统也从Win 7平滑到了Ubuntu。以下记录一些关于Emacs、markdown、Ubuntu、ssh乱七八糟的东东。开源体系下，我的软件之路差不多是下面这样的：R->LaTeX->imagemagic->Emacs->Ubuntu->github(git,svn)->markdown->pandoc->putty当走到putty这一步，基本上也能称之为半个合格的码农了，囧。Emacs是非常好用的文本编辑器，是著名黑客stallman的作品，同vi并称为linux体系同两大神器。用它来编辑任意文本有大量的定制扩展，试用起来非常方便，而最近老板也在推行用markdown来记录技术文档，并且在内网构建了基于 markdown 的 git wiki 系统。刚好自己也一直在用md，比如现在的这个搭建在github上的静态页面博客。Emacs 的安装在ubuntu下安装Emacs非常简单，甚至可以一起装好ess：sudo apt-get install emacs ess在Emacs里运行R还是很爽的事情。Emacs 的设置文档主要支持语法高亮，以及一些人性化的配置，不多说直接贴.emacs文件（改名为.emacs，在/ho ...继续阅读 (36)

...继续阅读 (53)

推荐系统在个性化领域有着广泛的应用，从技术上讲涉及概率、抽样、最优化、机器学习、数据挖掘、搜索引擎、自然语言处理等多个领域。东西太多，我也不准备写连载，今天仅从基本算法这个很小的切入点来聊聊推荐引擎的原理。推荐系统的策略推荐引擎（系统）从不同的角度看有不同的划分，比如：按照数据的分类：协同过滤、内容过滤、社会化过滤按照模型的分类：基于近邻的模型、矩阵分解模型、图模型上面的这种说法有点乱，换个说法：一般我们将推荐系统归纳于两项策略，一种是基于内容的过滤（content-based filtering）以及基于用户行为的协同过滤（collaborative filtering）。基于内容的过滤创建了每个商品、用户的属性（或是组合）用来描述其本质。比如对于电影来说，可能包括演员、票房程度等。 用户属性信息可能包含地理信息、问卷调查的回答等。这些属性信息关联用户用户后即可达到匹配商品的目的。 当然基于内容的策略极有可能因为信息收集的不便而导致无法实施。一个比较成功的内容过滤是 pandora.com 的音乐基因项目，一个训练有素的音乐分析师会对每首歌里几百个独立的特征进行打分。这些得分帮助pandora推荐歌曲。还有一种基于内容的过滤是基于用户人口统计特征的推荐，先根据人口统计学特征将用户分成若干个先验的类。对后来的任意一个用户，首先找到他的聚类，然后给他推荐这个聚类里的其他用户喜欢的物品 ...继续阅读 (39)

...继续阅读 (48)

...继续阅读 (39)

...继续阅读 (35)