前文说到使用 opencpu 来搭建 http 服务，opencpu 可以很快速的通过构建 R 包的方式来搭建 http 服务， 很快捷，而且支持各种响应机制。但我们在搭建线上服务时，经常有需求将请求响应的时间控制在100ms以内，opencpu的框架就存在问题了。 这里再介绍R的另外一个包：fiery，部署更加方便且响应优势更加明显（一般30ms以内）。首先假设我们面对的场景是垃圾邮件预测，已经根据离线数据构建了预测模型：library(xgboost) library(ElemStatLearn) x <- as.matrix(spam[, -ncol(spam)]) y <- as.numeric(spam$spam) - 1 m <- xgboost(data = x, label = y, nrounds = 5, objective = 'binary:logistic') saveRDS(m, file = "model.rds")假定我们线上预测流程是这样：通过传递邮件id号获取该邮件的特征用xgboost模型来预测spam的概率json返回预测结果以及埋点结果R中的服务代码见下：## 加载需要的扩展包，静默加载 suppressPackageStartupMessages(library(fiery)) suppressPackageStartupMessage ...继续阅读 (14)

opencpu在CentOS 7平台上的安装不同平台的安装方式不同，这里使用了标配的CentOS 7，该平台需要自行编译rpm包，具体操作过程请参考这里。安装结束后，请测试curl http://localhost/ocpu/library/返回了全部的R包列表，则表明安装成功。可能会涉及 opencpu 的重新启动，直接利用以下命令：sudo apachectl restart利用RStudio快速创建服务使用RStudio做package check&build;非常方便，我们可以很轻松在CentOS7上安装一个Server版。 这里有一个小细节，RStudio安装完毕后，利用Web界面登陆（建议用Firefox），此时不能使用root账号直接登录，我们可以add一个名为 bjt 的账号登录，并创建名为 mypackage的包利用线上redis缓存来做预测特征服务的模拟首先将一些数据通过hashmap存入redis缓存，这里利用了pipeline操作set.seed(1)z<-data.frame(id=sample(30000:90000,150),iris[,1:4])library("rredis")redisConnect()redisSetPipeline(TRUE)tr<-function(x)charToRaw(as.character(x))for(iin1:n ...继续阅读 (15)

几年前写过一篇简单的博客来讲如何利用 RHive 协同操作 Hive 和 R。这个包貌似很久未做维护，不是太好用， 其实 RHive 包底层通过 JDBC 调用数据，所以通过 RJDBC 其实是更简单的方式。废话少说，直接贴代码：library("DBI")library("rJava")library("RJDBC")for(linlist.files('/opt/org/apache/hive/1.1.1/hive-on-mr/lib/')){.jaddClassPath(paste("/opt/org/apache/hive/1.1.1/hive-on-mr/lib/",l,sep=""))}drv<-JDBC("org.apache.hive.jdbc.HiveDriver","/opt/org/apache/hive/1.1.1/hive-on-mr/lib/hive-jdbc-1.1.1-standalone.jar")for(linlist.files('/opt/org/apache/hadoop/2.7.3/share/hadoop/common/')){.jaddClassPath(paste("/opt/org/apache/hadoop/2.7.3/share/hadoop/common/",l,sep=""))}conn<-dbConnect( ...继续阅读 (17)

最近有几位同学问到我如何利用tm包做文本挖掘，比较抱歉的是时间不太充足，不能完整更新文档。 在这里只好给大家一些tips，来利用R的原生函数来完成文本挖掘的核心步骤。setwd('C:/Users/Administrator/Downloads') options(width = 150) library(data.table) x <- fread('comment.txt', sep = '\t', header = FALSE) x$V3 <- iconv(x$V3, 'UTF-8', 'GBK') # 第三类为文本内容，字符集转化 x <- x[which(nchar(x$V3) > 3),] n <- 10000 # 设置抽样数量，保证计算时长 x <- x[sample(1:nrow(x),n),] library(jiebaR) library(Matrix) JR = worker(user = 'D:/source/RecModels/prototype/TagGen/userdict.txt') seg_raw <- sapply(x$V3, segment, JR) # 执行分词 id <- unique(unlist(seg_raw)) # 生成Term id <- id[nchar(id) > ...继续阅读 (21)

最近duoshuo社会化评论崩溃了，上千条评论就这么没了，各种手段恢复无果。 只能怪我太懒，不爱经常做备份。果断将博客评论迅速转移到disqus，希望以后不会有事。言归正传，最近和工程师讨论词向量表征商品特征的思路时，遇到一个很有意思的现象：一个商品很可能标记了维达纸巾纸巾维达这两个特征的意义实际一致，从权重角度考虑，应该做合并处理。工程师给了一个Python版本，我也忍不住给了一个R版本， 大家可以看看使用match索引和duplicated函数的作用。txt <- scan(textConnection(' 维达纸巾 维达 卫生纸 纸巾维达 纸巾 tempo纸巾抽纸 纸巾抽纸tempo 纸巾tempo抽纸 抽纸 '), what = 'character') m <- lapply(iconv(txt, toRaw=T), function(x)paste(sort(as.character(x)), collapse = '')) m <- unlist(m) z <- match(m, unique(m)) data.frame(txt, b = txt[!duplicated(m)][z])思路很简单，将所有的字排序之后，再做raw vectors拼接，如果一样，则认为是同样的表意。最后通过索引返回同样表意的原始词汇。 这段代码百万级别重复词汇是 ...继续阅读 (20)

前天下班浏览朋友圈，雪晴数据网转发了一篇译文，大数据工具比较：R 语言和 Spark 谁更胜一筹？，原作者测试了在限定为单机环境下，使用Kaggle提供的手写识别的数据在R和Spark平台 运行不同算法的对比速度，结论有一下几个：主成分分析R要4小时，Spark要10秒逻辑回归：R运行7小时，Spark约5分钟朴素贝叶斯，因为算法太简单，差异不那么巨大（45s和9s）决策树：R完全跑不起来，Spark花20秒在整篇文章作者的测试非常武断，有很多误导观众的信息。R再怎么样也不会如此不济，下面会逐条针对原文做补充。 当然，这里面我还想强调：在使用算法解决问题的过程中，以下几大行为必须纠正（或者叫做流氓法则）：不贴源代码，是耍流氓张冠李戴，完全复制，不做任何优化就对比，更是耍流氓不考虑业务场景乱用算法，就是耍流氓不考虑数据形态以及精度要求，拿算法的帽子乱盖，还是耍流氓我们也来玩玩测试首先提供一下我的环境，11年购入的Thinkpad T420，i7-2640M，4核心，8G内存；R版本Windows 64位原生编译版本，未做Blas库的任何优化。在这台玩魔兽现在都有点卡的老爷机上， 以上几个算法在单机版的R平台上测试速度为：主成分分析为 1.64s二分类逻辑回归 5s，多分类逻辑回归为58s决策树使用更高级的GBDT，3s同时为了表明不是流氓，给出代码library(data.table ...继续阅读 (49)

好久不写博客，文债太多。其实写了好几篇，不过没润色好，暂时没有放出来。这两天搞了搞深度神经网络，顺带玩了玩公司的晒单图片，不过需要人工审核每个文件夹（对应一个sku）下面的图片是否可以用于模型。 人工审核的意思就是自己一张一张图片的看，然后删……真是对人性的折磨啊~~为了加快效率，所以又让R不务正业了一把。大致逻辑是：获得所有需要人工审核的子目录将这些子目录下的图片全部拼接成一张照片，第一张是晒单的，后面的商品原图人工筛选拼装图片，保留可利用的图片根据剩下的图片id索引原始图片子目录代码如下：library(jpeg) readJPG1 <- function (source) if(file.size(source) == 0) readJPEG(system.file("img", "Rlogo.jpg", package="jpeg")) else { readJPEG(source) } # 容错，一旦文件大小为0，则补充R图片 setwd('C:/Users/liusizhe111/dir') # 生成合并图像位置 path <- 'C:/Users/liusizhe111/liusizhe' # 目标文件夹 tt <- dir(path) # 第一层目录包含的文件夹 for (i in 1:length(tt)){ d1 <- t ...继续阅读 (38)

gollum 是什么？gollum的readme上有句最简单的描述很直白：A git-based Wiki。个人认为github，jekyll，gollum可以并称为码农的三大神器，github用来敲代码，jekyll用来写技术博客，gollum用来搭建自己的知识管理wiki系统。很巧合的是部门用gollum也有两年时间了，不过以前都是直接用，没有仔细看过手册，趁十一期间有时间简单搭了一套玩玩。简单来讲gollum有以下四个优点：轻量级，但结构和功能完整使用Markdown语法可提供网页服务使用git进行内容控制尤其是第四点，完全没有抵抗力啊~gollum 的安装gollum的安装很简单，尤其是在ubuntu 14.04上：sudo apt-get install ruby1.9.1 ruby1.9.1-dev make zlib1g-dev libicu-dev build-essential git sudo gem install gollum或者选择源代码安装：git clone https://github.com/gollum/gollum cd gollum bundle install而后初始化git目录，在git的目录执行gollum --css --allow-uploads --mathjax --h1-title以上使用了一些参数，分别是使用自定义 cust ...继续阅读 (55)

每年年底的时候都说要写一个年终总结，但每年都各种原因的推托。几年再不写实在说不过去，至少写一些流水账来。做过的事情秦皇岛5月份部门团建，地点翡翠岛，没擦防晒霜居然被晒掉一层皮，囧。但玩的很开心。放飞孔明灯滑沙海边烧烤北京5月份的R语言会议，分享了一个机器学习的例子。各位老师、同仁、学弟学妹的合影（同老吴、hadly、david smith的单独合影就不放出拉仇恨了）这里还是忍不住感谢一下学弟学妹们！深圳行8月份的时候去了一趟因公去了一趟深圳，非常喜欢深圳平均PM2.5低于50的空气质量。实在找不到去香港的理由，只是隔着海望了一下。去了趟深圳大学，海上世界，红树林自然保护区。晚间，在欢乐海岸同友人夫妇聚餐。杭州行11月28日到达杭州，马不停蹄的奔赴阿里巴巴，花了半天时间和天猫的推荐算法团队相互分享了一下算法方面的心得，发现两家电商其实在做法上极其相似，此处不表。第二天参加R语言会议杭州场，作为机器学习领域从业者，粉丝一下林智仁是必然的，然后是和大神的合影，照片有点虚：上海行12月5日到达上海，上海对于我来说可以说是的自家人的地盘了，分享了《R语言在推荐系统中的应用》。会议结束后老朋友们去朝鲜驻上海的一家涉外餐厅聚餐， 见识了朝鲜人民“夸张的、强装笑脸的”的歌舞，席间想和餐厅的服务员合影（据说该餐厅服务员是朝鲜政府精挑细选的苗子，即便在上海也不会多看一眼资本主义腐朽的生活）， 果然被委 ...继续阅读 (46)

趁着中秋期间，终于能抽一些闲暇的时间（感谢我的太太），集中整理了一下邮件。有朋友邮件问到自己正在从事、或即将进入数据科学领域时，碰到的困惑。再回想，这几年也经常面试候选人，每当我以抱歉结束时，很多为候选人也问过很多类似的问题。那我在这篇博文里集中回答一下。第一位统计背景的同学，邮件的问题如下：(省略……)经过很长时间的探索和思考，我觉得自己的兴趣点正是您现在的兴趣研究方向：数据分析、数据挖掘和数据可视化。然而，就现在来讲，大多数高校的统计专业都是在教授 以“样本估计总体”为核心的传统统计，但是很明显，这已经逐渐不适应如今到来的大数据浪潮，并且，最重要的是我想做 以数据驱动为核心的现代数据分析领域。（应该就是您现在做的这块工作）。但我却不知道该向何方发展自己，从哪里找到大数据分析中 统计知识与计算机技能的平衡， 我该如何从传统统计的基础出发（有一点SQL，R语言，数据仓库的基础），来走到正式的数据分析的路？我该读什么书？该听什么课？该具备什么样的技能？(省略……)回答如下：作为一个统计系的学生必然要将“所有的”统计知识了解的非常清楚，而且编程能力一定要有（不一定是纯 C 或Java，但 R 是必须要求的）。要清楚所有涉及的统计理论的思想，如果是偏重高级应用的话（比如算法工程师，数据挖掘顾问）用顺手的语言将统计算法实现也是有一定要求的。数据清洗这活儿虽然有脏又累，但一定要懂，一定要熟 ...继续阅读 (33)

redis作为强大的Key-Value服务，如何和R进行结合，这里做一些简单的记录redis安装redis安装非常简单，几乎不用管什么依赖关系：wget http://download.redis.io/releases/redis-x.x.x.tar.gz tar xzf redis-x.x.x.tar.gz cd redis-x.x.x make make-test sudo make install官网上有足够的资料介绍。安装完毕后，生成redis-server、redis-cli、redis-benchmark、redis-stat。redis-server：服务启动程序redis-cli：Redis命令行操作工具redis-benchmark：Redis性能测试工具redis-stat：Redis状态检测工具在Terminal中执行 redis-server 即可启动服务。简单的试用一下redis，打开新的Terminal，执行redis-cli进入命令行：sunbjt@ubuntu:~$ redis-cli 127.0.0.1:6379> set y 10 OK 127.0.0.1:6379> get y "10" 127.0.0.1:6379> EXPIRE y 10 (integer) 1 127.0.0.1:6379> get y "10" 127.0.0.1: ...继续阅读 (35)

关联规则（association rules）是一种广泛使用的模式识别方法，比如在购物篮分析（Market basket Analysis），网络连接分析（Web link），基因分析。我们常常提到的购物篮分析，它的典型的应用场景就是要找出被一起购买的商品集合。关联规则的可能的应用场景有：优化货架商品摆放，或优化邮寄商品目录的内容交叉销售和捆绑销售异常识别等关于交易数据的表述形式先说最简单的三种形式，水平表述、垂直表述和矩阵表述，直接看图：接着是稍稍变换之后的两种表述形式：排序表述（lexicographically sorted）前缀树表述（prefix tree）这三种数据表述形式（水平、垂直、前缀树）分别对应算法：apriori、Eclat 和 FP growth，本篇主要描述 apriori 和 FP growth 两种算法。Apriori 算法Apriori算法是一种最有影响的挖掘 0-1 布尔关联规则频繁项集的算法。这种算法利用了频繁项集性质的先验知识（因此叫做priori）。Apriori使用了自底向上的实现方式（如果集合 I 不是频繁项集，那么包含 I 的更大的集合也不可能是频繁项集），k - 1 项集用于探索 k 项集。首先，找出频繁 1 项集的集合($L_1$)，$L_1$用于找频繁 2 项集的集合 $L_2$，而 $L_2$ 用于找 $L_3$，如此下去，直到 ...继续阅读 (44)

陆陆续续尝试使用Emacs已经该有7、8回了，每次都受不了它繁琐的Ctrl和Meta组合键，但最近不知道哪根筋出了问题，不但编辑器迅速的切换到了Emacs，甚至 操作系统也从Win 7平滑到了Ubuntu。以下记录一些关于Emacs、markdown、Ubuntu、ssh乱七八糟的东东。开源体系下，我的软件之路差不多是下面这样的：R->LaTeX->imagemagic->Emacs->Ubuntu->github(git,svn)->markdown->pandoc->putty当走到putty这一步，基本上也能称之为半个合格的码农了，囧。Emacs是非常好用的文本编辑器，是著名黑客stallman的作品，同vi并称为linux体系同两大神器。用它来编辑任意文本有大量的定制扩展，试用起来非常方便，而最近老板也在推行用markdown来记录技术文档，并且在内网构建了基于 markdown 的 git wiki 系统。刚好自己也一直在用md，比如现在的这个搭建在github上的静态页面博客。Emacs 的安装在ubuntu下安装Emacs非常简单，甚至可以一起装好ess：sudo apt-get install emacs ess在Emacs里运行R还是很爽的事情。Emacs 的设置文档主要支持语法高亮，以及一些人性化的配置，不多说直接贴.emacs文件（改名为.emacs，在/ho ...继续阅读 (29)

话说 2010 年我和鸟兄去豆瓣做一个技术交流，阿稳现场展示了并行化计算的 R 环境，矩阵运算瞬间跑满了所有的 CPU，当时让我羡慕不已。多年之后在第六届 R 语言会议上，张先轶为大家展示了他们负责跟进研发的开源线性代数计算库OpenBLAS，这个库建立在已经停止开发的 GotoBLAS2 上，对 Intel Sandy Bridge 有非常好的支持（性能上甚至同 MKL 不相上下）。线性代数库是 R 底层天然的并行运算的极好支持（Revolution R 使用的 MKL 库的支持），可以有效的提高 R 的计算效率。这里要再次感谢中科院张先轶的贡献！OpenBLAS 的编译OpenBLAS 的编译还是比较方便的，如果没有特殊要求，下载直接执行快速安装即可make make install即可自行依照环境安装相关组件。R 的编译OpenBLAS 环境安装完毕后，即可安装 R 环境，同一般安装 R 类似，需要增加如下参数：./configure --disable-nls --with-blas="-lopenblas" --with-lapack --enable-R-shlib make make install编译的时候可能会报 BLAS 相关的 so 找不到，按照错误代码信息将文件拷贝至目录即可（或建 link）。如果需要增加tcltk支持（比如说要使用sqldf包），在co ...继续阅读 (49)

推荐系统在个性化领域有着广泛的应用，从技术上讲涉及概率、抽样、最优化、机器学习、数据挖掘、搜索引擎、自然语言处理等多个领域。东西太多，我也不准备写连载，今天仅从基本算法这个很小的切入点来聊聊推荐引擎的原理。推荐系统的策略推荐引擎（系统）从不同的角度看有不同的划分，比如：按照数据的分类：协同过滤、内容过滤、社会化过滤按照模型的分类：基于近邻的模型、矩阵分解模型、图模型上面的这种说法有点乱，换个说法：一般我们将推荐系统归纳于两项策略，一种是基于内容的过滤（content-based filtering）以及基于用户行为的协同过滤（collaborative filtering）。基于内容的过滤创建了每个商品、用户的属性（或是组合）用来描述其本质。比如对于电影来说，可能包括演员、票房程度等。 用户属性信息可能包含地理信息、问卷调查的回答等。这些属性信息关联用户用户后即可达到匹配商品的目的。 当然基于内容的策略极有可能因为信息收集的不便而导致无法实施。一个比较成功的内容过滤是 pandora.com 的音乐基因项目，一个训练有素的音乐分析师会对每首歌里几百个独立的特征进行打分。这些得分帮助pandora推荐歌曲。还有一种基于内容的过滤是基于用户人口统计特征的推荐，先根据人口统计学特征将用户分成若干个先验的类。对后来的任意一个用户，首先找到他的聚类，然后给他推荐这个聚类里的其他用户喜欢的物品 ...继续阅读 (35)

预热5月16日（周四），西直门到达西直门已经是八点多，见到舰哥已经是快九点，但是还是兴致勃勃地畅谈了国内R语言发展和商业化问题， 以及国内比较奇葩的数据环境，包括国内某xx所在将SAS换代为R的种种“事迹”，各种吐槽各种感慨……又简单聊了聊中文环境下的文本挖掘，准备和舰哥合作写一个，争取后半年空出时间来做。5月17日（周五），人民大学明德楼当我到的时候，统计之都成员几乎悉数到齐，美帝的分舵的，上海分舵的、北京总部，新人旧友难得的大聚，我还琢磨着如果房间里丢个炸弹，统计之都 就差不多就会彻底从地球上抹掉了。接着就是周扬牛掰的可视化展示，各位观众的热情一次又一次的被点燃，各种膜拜，各种掌声，这产品要早出来几年必然完爆Rosling的气泡图。接着是李舰的关于芒果中国的案例分享，详细介绍了R语言在英国应用的成功经验，以及R和SAS在制药领域的地位，以及R在定量药理学的成绩，让人大开眼界。R语言会议 Day 1 Morning本次R会议报名人数超过600+，可怜国学院的教室只有150，会议筹备组只好又协调了一个镜像教室做同步。等我到的时候，主会场已经人山人海， 所有的工作人员只好全部外面站立，我听完老吴和赵院长的致辞后也只好先行闪到镜像教室。接下来是重点，关于R会议：谢益辉 - 我的第8个R包实话说，益辉从第一个包animation起，我就在琢磨是不是自己也写个R包，后来发现比较分散，函数不 ...继续阅读 (44)

三月底参加了中国人民大学统计学院海峡两岸数据挖掘研讨会，和大家简单聊了聊R语言在京东商城的数据挖掘应用。本来想接着写篇博文说明一下， 一直也没腾出时间，今天补上。为什么要使用R语言在互联网企业，在分析端使用闭源的商用软件几乎是不可能的，原因很简单：成本太高，不管是使用，还是研发及维护。 但我个人觉得这可能还不是最主要的原因，对于互联网企业来说，数据虽然获取更容易，但环境更为复杂。开源软件可以根据业务的变化 进行调整，但商业的闭源软件则很难做到。R能不能处理大数据好多人问过我这个问题，我会说你有多大内存就能处理多大数据，这话显然不负责任。这个问题确实不太好回答，因为每个人心中的大数据是不一样的。 比如有人觉得几百万就是大数据，有些人觉得没个几亿就不算大数据，甚至有人说你处理不了的就是大数据（擦！？）。这些还只是从记录 数（数据存储）的角度来看的，我们换个角度想想：建模工程师要做的事情无非是将用户和产品进行合理匹配，那最细粒度就是用户维（或产品维）。 试问你有超过千万的用户数据分析建模么？对于一般的分析（工程）师来说，常见的情况还是几十万甚或百万级别。这个量级对于R来说就很容易了， 比如我刚刚的工作就是在自己的PC上载入了一个50000000×3的数据框。接着我们在说说速度，曾经有太多的人抱怨R的运行速度太慢，甚至堂而皇之的公开表明观点。但我发现大部分人是因为不熟悉R语言的编程， 而是 ...继续阅读 (34)

一般来说，大家喜欢使用微软的产品Power Point（PPT）来做幻灯片演示，但我对它基本没有什么好感， 基本观点是认为它既不Power也没有Point。当然不喜欢它也是有原因的：15分钟的汇报需要搞很久才能达到好的一个效果。 对于习惯使用LaTeX的我来说，beamer是一个非常不错的选择，除了动画稍稍麻烦以外，其他所有PPT的功能它全部支持，PPT不擅长的功能 它也能支持（比如标签）。而且beamer提供的模板着实漂亮，就更没有拒绝它的理由了。 beamer手册非常不错，其中一段是讲述如何准备演讲，简单翻译一下供大家参考。时间的限制一般演讲持续的时间可能在2分钟至2小时之间，这里有一些准则：每一页幻灯片讲述的时间不应该超过一分钟一般准备幻灯片的实际时间要比想要花的时间少不要试图在有限的时间内压缩更多的信息，即便是那些细节对你非常重要。只留下主要信息比主要信息、细节信息一把抓要好很多很多情况下，先做一个对时间的快速评估能有效避免自己陷入细节的麻烦中。了解这点，将会节省很多不必要的时间。主题结构：建立演讲材料的主题结构有如下步骤：先在心里列一下在有限的时间下需要陈述的清单把清单分类到节（section）和小节（subsection）对于比较长的演讲（比如持续90分钟的），最好是将演讲分为几个独立的部分。每一部分都有独立的目录。不用担心在准备材料的时候变更演讲的结构，这是很正常的。 ...继续阅读 (32)