简介：谢梁，现微软（西雅图）高级数据科学家，在各大SAS论坛混迹的朋友也许不知道他的真名，但oloolo这个id可能大家都非常熟悉。本站小编谢益辉有幸在西雅图得遇谢梁真身：本家相逢，又是同行；把酒言欢，各自买单；幸甚至哉，采访即来。谢梁的个人技术博客。（因为现在不用SAS了，目前更新速度比较慢），更多信息，参见LinkedIn页面。1. 请介绍一下你自己我2000年从西南财经大学金融系毕业，毕业后到中国工商银行工作。一年后辞职到纽约州立大学Binghamton分校学习应用计量经济学。我博士导师Subal Kumbhakar主要研究领域是生产力分析和应用计量经济学，包括面板数据分析和随机边界分析，不过我对一般统计方法更感兴趣。研究兴趣主要是各种混合模型（mixed model）和数据挖掘的方法，还有就是挖掘SAS的潜力。。。。这些也跟我的工作有关。最好的工作就是你感兴趣的工作，我觉得这方面我很幸运，每天的把自己的兴趣爱好抽一块出来就完成工作了。 ...继续阅读 (8)

构造投资组合是金融投资分析中历久弥新的问题。多年以来，学界、业界提出诸多对投资组合进行优化的方法。比如，最经典的基于收益率均值和收益率波动性进行组合优化，由于马克维滋提出用收益率方差表示收益率的波动性，所以，这种方法又称为的M-V方法，即Mean-Variance方法的缩写；后来，又衍生出基于夏普比率（Sharp Ratio）的投资组合优化方法；近年来，随着VaR(Value at Risk) 和CVaR(Conditional Vaule at Risk) 概念的兴起，基于VaR和CVaR对投资组合进行优化的思路也开始勃兴；除此之外，对冲基金届还有一种非常有生命力的投资组合优化方法，即桥水公司（Bridge-Water）公司提出的风险均摊方法（Risk Pairy），这种方法的核心思路在于，估计组合中各个资产的风险度及其占组合风险的比率，然后，按照该比例对组合头寸进行分配。几种方法中，在学界和业界最收关注的还是M-V方法。而在M-V方法中最基本的一个知识点，就是构造投资组合的有效前沿。理论这里不再赘述，简单说一下其在R语言中的实现。构造有效前沿的步骤大致可按照获取数据、将数据加工处理为收益率矩阵、以收益率矩阵为输入计算得到有效前沿这三个步骤来完成。下面分布来说一说。 ...继续阅读 (1)

非常感谢统计之都盛情邀请在卫生统计方面撰写系列文章，虽然我已经在自己的博客“卫生统计空间”写了百余篇统计文章，不过那些都是兴之所至，随手即兴而做，并无什么系统性。这次既然专门写这方面，我想尽量写得系统一些，所以这一次是第一次写，先不写具体方法什么的，而是写点学习统计最重要的东西，也就是医学统计学的重要性。很多卫生统计学老师上课从不讲医学统计学是干什么的，有什么重要性，以至于好多学生毕业后依然不知道学了卫生统计学到底有什么用。不少老师都是第一节课开场白就是“统计学是……的科学”，反正我当年第一感觉就是不知所云，脑子一片空白，就知道跟着学习书中的公式、条件等等，完全不知学了有什么用。时至今日，依然存在这样的老师，也依然存在像我当年一样晕的学生。我希望各位在看了这个文章后能够清醒，能够明确地知道统计学到底有什么用。 ...继续阅读 (10)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 ...继续阅读 (8)

我们知道，R 中的strsplit函数可以将字符串按照分隔符来进行分割。正如下面所示：str_poor <- "the quick brown fox jumps over a lazy dog" str_poor # [1] "the quick brown fox jumps over a lazy dog" str_splited <- unlist(strsplit(str_poor, " ")) str_splited # [1] "the" "quick" "brown" "fox" "jumps" "over" "a" "lazy" "dog"那么，有没有对应的“反函数”，就是说把以上的splited_str还原成为原来的poor_str呢？当然是有的，而且不止一种方法。 ...继续阅读 (18)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 ...继续阅读 (9)

系列以use R for fun为主题，以COS论坛上的精华帖、相关的package以及自己的一些code为素材，结合自身的一些编程体会，从而整合成文。本文是第二篇小应用制作篇。本文素材出处均已在正文注明本文继续承接上一篇的话题(小游戏开发篇)，继续在交互操作上做文章，不同的是这里引入了更丰富的操作和idea，仅仅做些小游戏还远远达不到我们的胃口，因此这里不妨再把思维拓宽些，让R来我们的生活服务(理论上)，于是小应用制作篇就此诞生，虽称不上游戏但同样可以给我们带来的快乐。由于面更广因此idea就更为关键了(在玩统计的过程中idea同样关键！)，上篇所讲的内容可以被完美继承到本篇中，至于其他内容很难明确说需要事先掌握R的某一块内容(少量增加了一些)，所以这里就直接上例子！ ...继续阅读 (1)

R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis,MongoDB,HBase,Hive,Cassandra,Neo4j。希望通过我的介绍让广大的R语言爱好者，有更多的开发选择，做出更多地激动人心的应用。关于作者：张丹(Conan), 程序员Java,R,PHP,Javascriptweibo：@Conan_Zblog:http://blog.fens.meemail:bsspirit@gmail.com第四篇 R利剑Hive，分为5个章节Hive介绍Hive安装RHive安装RHive函数库RHive基本使用操作1. Hive介绍Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 ...继续阅读 (8)

R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis, MongoDB, HBase, Hive, Cassandra, Neo4j。希望通过我的 ...继续阅读 (9)

简介：Jeff Leek是约翰·霍普金斯大学布隆博格公共卫生学院（Johns Hopkins Bloomberg School of Public Health）助理教授。他与另外两位教授共同打理的Simply Statistics是最受欢迎的统计学博客之一。本文是小编对Jeff Leek采访的录音稿。1. 教育背景我叫Jeff Leek， 我是美国约翰·霍普金斯大学的一名助理教授，方向是生物统计。我在犹他州立大学念的本科，方向是应用数学。然后是在西雅图华盛顿大学读的生物统计博士学位。之后我又在Mount Sinai School of Medicine做了博士后，然后又去约翰·霍普金斯大学做了博士后，方向是计算生物学。我的研究方向主要是基因组相关问题和下一代序列分析。我正在维护一个叫Simply Statistics的博客，里面有很多有趣的统计问题。2.为什么选择统计专业？当我还是一个本科生的时候，我和一个教授做一个关于甲壳虫的研究。我收集数据，然后用微分方程模型研究甲壳虫灾害的爆发。那时候在分析数据的过程，我觉得需要学习更多的统计学知识。所以当我申请研究生项目的时候，申了一半的数学，申了一半的统计。但是当我去各个学校访问的时候，觉得还是统计系的人们更有意思点。最后我就去了生物统计专业了。在读研究生的时候，我的博士导师，同是也是我的研究助理导师引导我进入了基因学，而我自己也觉得基 ...继续阅读 (4)

Rweibo问世以来，我就对它的可视化感到兴趣盎然。通过它我们可以得到微博关注者的各项信息，其中比较有意思的一项是地点(location)，这也就意味着，通过关注者的location（省市），可以找到他们的地理分布信息，同时，又可以得到他们的粉丝数目信息（可以判断是否是“微博名人”）。所以，既然万事俱备，为什么不用它做个“粉丝地图”来展示个人的粉丝信息呢？通过如下四步，我便基本得到了我想要的效果。收集关注者的信息，整理地点信息；获取并整理经纬度信息；结合Himsic与ggmap包绘制图形；结合animation包绘制动态图形。 ...继续阅读 (1)

本文转载自施涛的博客，原文链接请点击此处。大数据时代的悄然到来和计算能力爆炸式增长，让做统计分析的各类人士不禁要重新打量一下自己的技能包，看看是不是很快要被时代浪潮以大浪淘沙的方式清洗掉了。到底大数据是怎么来的呢？可以用来干什么呢？我们就先拿2012美国总统大选来举个例子看看。比如说我们想预测在2012年11月6日，问题1: 奥巴马和罗姆尼谁当选美国总统？我们可以用什么数据来做这个预测呢？最常用的就是民调数据了，通过有选择性的挑选一些可能选民来问他们的倾向。这好像是个传统统计干的事。早在1962年John Tukey就已经开始做了。问题2: 奥巴马和罗姆尼各自赢得了哪些州？这也不难回答，我们还是可以用民调数据了，只不过要在每个州都进行抽样调查，在仔细的分析汇总一下。数据量也就比预测全国的结果时用的多几十倍而已。而且如果知道了那些州两人相差太大，一方就没有必要再大肆花钱做广告了 ：） ...继续阅读 (8)

第六届中国 R 语言会议（北京会场）于 2013 年 5 月 18 日 ~ 19 日在中国人民大学国学馆113、114教室成功召开。会议由中国人民大学应用统计科学研究中心、中国人民大学统计学院、北京大学商务智能研究中心、统计之都（cos.name）主办。在两天的会议时间里，参会者齐聚一堂，就R语言在互联网、商业、统计、生物、制药、可视化等诸多方面的应用进行了深入的探讨。会议概况本次会议报名非常火爆，报名人数超过600人，约有 400 多名参会者前来参会，规模再创历届之最。参会者主要来自各大高校、科研机构、企业和事业单位，全体参会者所在单位汇总如下。高校和研究所：中央财经大学、中南大学、中山大学、中国农业科学院、中国社会科学院、中国石油大学、中国科学技术信息研究所、中国科学院北京基因组研究所、中国科学院大学、中国科学院南京地理与湖泊研究所、中国矿业大学（北京）、中国农业大学、中国科学技术大学、中国传媒大学、中国地质大学（北京）、浙江大学、浙江工商大学、芝加哥大学、燕山大学、医学信息研究所、香港城市大学、西南财经大学、微软互联网工程院，北京大学、温岭市委党校、天津医科大学、天津农学院、天津财经大学、天津大学、上海大学、山西医科大学、山西财经大学、中国人民大学、清华大学、南方医科大学、南开大学、内蒙古财经大学、内蒙古科技大学、宁波工程学院、华中农业大学、吉林大学、华北电力大学、河南大学、 ...继续阅读 (8)

《R语言编程艺术》由统计之都的几位成员翻译的《R语言编程艺术》终于就要面市了。本书的译者有陈堰平、邱怡轩、潘岚锋、熊熹，负责校审的有林宇、严紫丹、程豪。这里有本书的译者序，读者可以在本书的github页面下载数据和代码。读者可以在本页留言提问，我们也会在这里公布本书的勘误。想查找更多好书，请看图书出版频道。 ...继续阅读 (1)

ggplot2：数据分析与图形艺术由统计之都操刀翻译的《ggplot2：数据分析与图形艺术》一书已经上市了。这本书的译者包括邱怡轩（第1～2章）、主伟呈（第3～4章）、肖楠（第5～6章）、高涛（第7～8章）、潘岚锋（第9章）、魏太云（第10章、附录以及翻译过程的协调安排和全书的LaTeX排版工作）。谢益辉为本书写了译者序。 ...继续阅读 (5)

春光旖旎，眼瞅着几天之后就要在北京举行声势浩大的第六届中国R语言会议了。想着大家因为各种各样的原因可能届时无法到场参会，所以上海的童鞋们抓紧大会前的宝贵时间，自然是要把上海这边奉送的高质量报告先睹为快。所谓近水楼台先得月嘛。同时也是为了几天之后的会议造造声势，有什么不好么？沙龙进行中...沙龙依旧沿袭上海一贯的小资风格，跑到联合创业办公社位于昌平路的二期创业社，躲着下午刺眼的阳光，享受着周末美好的闲聊。一开始，依惯例是大家的自我介绍时间。上海的沙龙参与者以业界的朋友为主，大概也迎合了近期R语言在业界快速发展的趋势。从互联网企业，到制药、咨询、金融，还有很多小编以前都没有听说过的行业都有高朋莅临。此外，还有来自浙江大学的杭教授激情饱满的为我们介绍了浙大即将开设的与数据分析相关的专业，目标就是培养业界（尤其是金融业）需要的数据分析人才。席间还有学界业界兼得的大牛挥斥方遒，瞬间觉得，从业界到高校到科研院所，数据分析真是无孔不入。我们是否可以开始期待一场产业革命了呢？ ...继续阅读 (8)

R是一门用于数据分析和图形展示的语言、平台和环境，其官方机构每年都会举办useR!会议，各个国家及地区也定期有R用户的交流活动。在国内，自2008年以来，中国已经在北京和上海成功举办了五届R语言会议，促进了R语言在中国的推广和发展。为了进一步加强各领域R语言使用者之间的交流和互动，我们准备在2013年5月18-19日在北京举行第六届中国R语言会议（北京会场）。 ...继续阅读 (8)

Author: 张丹(Conan) Email: bsspirit@gmail.com Blog: http://www.fens.me Weibo: @Conan_Z Date: 2013-4-14 R利剑NoSQL系列文章 R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的No ...继续阅读 (8)

Author: 张丹 Email: bsspirit@gmail.com Blog: http://www.fens.me Weibo: @Conan_Z Date: 2013-4-11 R利剑NoSQL系列文章 R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包 ...继续阅读 (5)

本期投稿：谢益辉肖楠论机器学习技术在超级玛丽自动化中的应用（需要科学上网）。视频里那牛叉的意识，销魂的走位，你能区分玩家是人还是电脑么？如果你是一位老师，这篇“训练机器自动打怪”的论文应该是你教学生学习写论文的范文：它有一个明确、强烈而有趣的动机，有目标函数的定义，有硬件介绍，有代码实现，有不断的困难和意外（超级玛丽走到死角就不知道该怎么办了），最后算法还可以扩展到其它游戏上（从超级玛丽到吃豆人、俄罗斯方块等），其逆天程度已经不是人类语言能形容了，想想我们折腾的那点儿所谓的训练机器学习，算个毛线啊。 ...继续阅读 (9)

Author：张丹(Conan) Date: 2013-04-07 Weibo: @Conan_Z Email: bsspirit@gmail.com Blog: http://www.fens.me/blog APPs: @晒粉丝 http://www.fens.me @每日中国天气 http://apps.weibo.com/chinaweatherapp RHadoop实践系列文章 RHadoop实践系列文章，包含了R语 ...继续阅读 (9)

Author：张丹(Conan)Date: 2013-04-07Weibo: @Conan_ZEmail:bsspirit@gmail.comBlog:http://www.fens.me/blogAPPs:@晒粉丝http://www.fens.me@每日中国天气http://apps.weibo.com/chinaweatherappRHadoop实践系列文章RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大数据。1G, 10G, 100G, TB,PB 由于大数据所带来的单机性能问题，可能会一去联复返了。RHadoop实践是一套系列文章，主要包括“Hadoop环境搭建”，“RHadoop安装与使用”，“R实现MapReduce的算法案 例”，“HBase和rhbase的安装与使用”。对于单独的R语言爱好者，Java爱好者，或者Hadoop爱好者来说，同时具备三种语言知识并不容 易。由于rmr2的对hadoop操作有一些特殊性，代码实现有一定难度。需要深入学习的同学，请多尝试并思考key/value值的设计。本文难度为中高级。 ...继续阅读 (12)

本期投稿：谢益辉 曾如山 群众智慧vs机器学习？亚马逊土耳其机器人（Amazon Mechanical Turk）是一个著名的众包平台，借群众的智慧解决机器很难或无法 ...继续阅读 (8)

H-index其实更广泛的应用于学术论文评价，其定义为：h代表“高引用次数”（high citations），一名科研人员的h指数是指他至多有h篇论文分别被引用了至少h次。约在半年前，小编就和一位老师打趣地说这东西能不能用于评价微博用户的影响力。定义相应可以改为：一名微博用户的h指数是指他至多有h个粉丝数超过h的粉丝。怎奈后来抓数据奇慢无比，遂放弃。转过年来，春天都到了，Rweibo这个包也出来好久了，不动手试试多少有点痒痒。新浪微博的API对于测试帐号限制较多，一小时只有150次请求机会。唉，只能无耻的多帐号多API一个个抓。就算这样，到最后在有限的时间之内小编也只成功的抓取了一百多个用户的信息，勉强绘就了一张微博的H-index指数与粉丝数的关系图。 ...继续阅读 (1)

R是一门用于数据分析和图形展示的语言、平台和环境，其官方机构每年都会举办useR!会议，各个国家及地区也定期有R用户的交流活动。在国内，自2008年以来，中国已经在北京和上海成功举办了五届R语言会议，促进了R语言在中国的推广和发展。为了进一步加强各领域R语言使用者之间的交流和互动，我们分别于2013年5月18-19日在北京、2013年11月2-3日在上海成功举办了第六届中国R语言会议。北京会场和上海会场均已顺利召开，详情请见北京会场会议纪要及上海会场会议纪要。 ...继续阅读 (8)

本期投稿：谢益辉肖楠R为什么这样红？统计学家的汗水捧红了它！R的概率分布花园有近两百种不同的分布函数，每一种都清晰的归类并配上详细的文档，不信请点击Probability Distributions Task View。（注：John D Cook的概率分布关系图也很意思，还有与之配套的twitter账号@ProbFact。） ...继续阅读 (6)

Author：张丹(Conan)Date: 2013-03-07Weibo: @Conan_ZEmail:bsspirit@gmail.comBlog:http://www.fens.me/blogAPPs:@晒粉丝http://www.fens.me@每日中国天气http://apps.weibo.com/chinaweatherappRHadoop实践系列文章RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大数据。1G, 10G, 100G, TB,PB 由于大数据所带来的单机性能问题，可能会一去联复返了。RHadoop实践是一套系列文章，主要包括“Hadoop环境搭建”，“RHadoop安装与使用”，“R实现MapReduce的算法案 例”，“HBase和rhbase的安装与使用”。对于单独的R语言爱好者，Java爱好者，或者Hadoop爱好者来说，同时具备三种语言知识并不容 易。此文虽为入门文章，但R,Java,Hadoop基础知识还是需要大家提前掌握。 ...继续阅读 (11)

RHadoop实践系列文章RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大数据1G, 10G, 100G, TB, PB。 由于大数据所带来的单机性能问题，可能会一去不复返了。RHadoop实践是一套系列文章，主要包括“Hadoop环境搭建”，“RHadoop安装与使用”，“R实现MapReduce的算法案例”，“HBase和rhbase的安装与使用”。对于单独的R语言爱好者，Java爱好者，或者Hadoop爱好者来说，同时具备三种语言知识并不容 易。此文虽为入门文章，但R,Java,Hadoop基础知识还是需要大家提前掌握。 ...继续阅读 (5)

由统计之都三位成员高涛、肖楠、陈钢翻译的《R语言实战》现已正式出版。请点击这里下载随书代码。如果读书在阅读过程中遇到什么问题，可以留言提问。您也可以访问本书在图灵社区的主页，阅读部分试读章节。我们还会不定期地在这里发布本书的勘误，请读者留意@统计之都的微博。近期统计之都还有其他图书出版，请关注本站图书出版栏目。有热心读者在论坛上贴出了学习笔记内容介绍R是一个开源项目，具有强大的统计计算及制图能力，是从大数据中获取有用信息的绝佳工具，在各种主流操作 系统上都可以安装使用，其基本安装就提供了数以百计的数据管理、统计和图形函数。另外，社区开发的数以千计的扩展(包)为R增加了更多强大功能。《R语言实战》注重实用性，是一本全面而细致的R指南，高度概括了该软件和它的强大功能，展示了实用的统计示例，且对于难以用传统方法处理的凌乱、不完整和非正态 的数据给出了优雅的处理方法。作者不仅仅探讨统计分析，还阐述了大量探索和展示数据的图形功能。《R语言实战》适合数据分析人员及R用户学习参考。作者简介Robert I. Kabacoff R语言社区著名学习网站Quick-R（http://www.statmethods.net/）的幕后维护者，现为全球化开发与咨询公司Management研究集团研发副总裁。此前，Kabacoff博士是佛罗里达诺瓦东南大学的教授，讲授定量方法和统计编程的研究生课程。Kabac ...继续阅读 (2)

本期投稿：谢益辉肖楠Gadfly：Julia下ggplot2的雏形。Julia正在迅猛发展，R君颤抖吧！一条跑了200年的MCMC模拟。两百年来牛津、剑桥与周边三十多所院校每两年都会进行一次赛艇比赛，特殊的比赛规则与MCMC模拟暗合。小编曰：这算“人列计算机”的雏形了吧。Metropolis-Hastings (MH) sampler和Hamiltonian Monte Carlo (HMC) sampler 有什么不同？看动画告诉你！ ...继续阅读 (9)