原文链接请点击这里作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出来每个人实现得结果还不一样，提一下方法，再结合实际的实现代码的话，应该会更加明了，而且也能看出理论和实践之间的差别；另外（其实这个是主要原因）我自己对这一块也确实不太懂。 ...继续阅读 (10)

recommenderlab是R语言非常强大的包，能帮助使用者针对评分数据或者0-1(不喜欢/喜欢)二分数据开发和测试推荐算法，本文就是利用该包对于movielens的电影评分数据进行预测和推荐，会对比基于用户的协同过滤和基于项的协同过滤在推荐效果上的差别。 ...继续阅读 (1)

原文链接请点击这里在最开始讨论支持向量机的时候，我们就假定，数据是线性可分的，亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射\(\phi(\cdot)\)将原始数据映射到高维空间之后，能够线性分隔的概率大大增加，但是对于某些情况还是很难处理。例如可能并不是因为数据本身是非线性结构的，而只是因为数据有噪音。对于这种偏离正常位置很远的数据点，我们称之为 outlier ，在我们原来的 SVM 模型里，outlier 的存在有可能造成很大的影响，因为超平面本身就是只有少数几个 support vector 组成的，如果这些 support vector 里又存在 outlier 的话，其影响就很大了。 ...继续阅读 (10)

本期投稿：谢益辉肖楠knitr： 小编的好哥（ji）们（you）KarlBroman大人写了一份《knitr in a knutshell》。买不起书或看长篇文档伤不起的同学们不妨看他的简明教程，外加一门《可重复性研究》的课程。 ...继续阅读 (5)

【2.18更新】：楠神写了一个非常gelivable的Shiny应用，用来动态展示图片压缩的效果随k的变化情况。谢大大把这个应用放到了RStudio的服务器上，大家可以点进去玩玩看了。=====================代表正义的分割线=====================今天我们来讲讲奇异值分解和它的一些有意思的应用。奇异值分解是一个非常，非常，非常大的话题，它的英文是 Singular Value Decomposition，一般简称为 SVD。下面先给出它大概的意思：对于任意一个\(m \times n\)的矩阵\(M\)，不妨假设\(m > n\)，它可以被分解为$$M = UDV^{T}$$其中\(U\)是一个\(m \times n\)的矩阵，满足\(U^{T}U = I_{n}\)，\(I_{n}\)是\(n \times n\)的单位阵\(V\)是一个\(n \times n\)的矩阵，满足\(V^{T}V = I_{n}\)\(D\)是一个\(n \times n\)的对角矩阵，所有的元素都非负先别急，我看到这个定义的时候和你一样晕，感觉信息量有点大。事实上，上面这短短的三条可以引发出 SVD 许多重要的性质，而我们今天要介绍的也只是其中的一部分而已。 ...继续阅读 (12)

【COS编辑部按】：受访者：Rob J. Hyndman，采访者：Earo Wang。原文在这。Rob J. Hyndman 是澳大利亚的Monash University的统计学教授以及 International Journal of Forecasting 的主编。他也是forecast和hts等广泛被使用的 R 包的作者。Earo: 你曾经获得的是理学荣誉学士学位。那么你为什么选择统计学作为你的专业，以及统计学有什么吸引到你的呢？Rob: 最初我在获得理学学位的途中，我没有想过统计学有关的东西，我本来是打算学习数学的。当时，Melbourne University 的数学相关专业的学生都要求在第一年上统计学，数学，计算机科学的课程。所以我就选择了统计学。不过我发现它很有趣，因为我很喜欢使用数学工具来解决现实问题的过程。 ...继续阅读 (2)

原文链接请点击这里 上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图： 可以看到两个支 ...继续阅读 (7)

原文链接请点击这里支持向量机即Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machine ，一听就很玄了！不过后来我才知道，原来 SVM 它并不是一头机器，而是一种算法，或者，确切地说，是一类算法，当然，这样抠字眼的话就没完没了了，比如，我说 SVM 实际上是一个分类器 (Classifier) ，但是其实也是有用 SVM 来做回归 (Regression) 的。所以，这种字眼就先不管了，还是从分类器说起吧。 ...继续阅读 (6)

统计图形的作用想必不用我多说，一幅美观的图往往能让枯燥的数据变得有趣起来，而R恰巧就是这样一个作图的利器。然而，从论坛上的帖子来看，大家在用R画图时经常会遇到几个终极问题：中文无法显示XX类型的图怎么画？中文无法显示中文无法显示中文无法显示……第2个问题由于太过终极我还没法回答，所以就先试着解决第1个，第3个，第4个，第5个，第……个问题好了。 ...继续阅读 (10)

COS编辑部按：本文作者为北京大学王汉生教授，文章面向光华MBA学生系统梳理了从数据到价值的理念。作者简介：王汉生教授现任狗熊会会长、北京大学商务智能研究中心主任、北京大学光华管理学院商务统计与经济计量系系主任。现为ISI, ASA, IMS, RSS, ICSA会员，ASA会士(2014年6月23日更新)。问题背景这是一个最好的时代，移动互联网技术为从业者提供了无比丰富的数据。从人们的言行举止、社交关系、到地里位置无处不在。这些详细宝贵的数据，蕴含了巨大的价值！但是，这也是一个最坏的时代，面对汹涌而来的海量数据，绝大多数从业者却无可适从，无法从中发掘出有用的信息，难以实现从数据到价值的转换，这是何等的遗憾！如果这是一个从业者的遗憾，无需担忧，因为这是他的个人问题。谁让他不好好上一门王老师的《商务统计学》呢？嘿嘿:-) 如果这是两个从业者的遗憾，也可以高枕无忧，两个人没上《商务统计学》呗！但是，如果这是绝大多数人的遗憾，那么这就是整个行业和教育的遗憾，我们就需要检讨：这是怎么回事，问题出在哪个环节上？如果尝试从媒体中寻找答案，那么五花八门。但是，背后的故事基本都是一样的。那就是需要一个爱因斯坦一样的天才，掌握着可乐配方一样神秘的算法，然后从一群垃圾都不如的数据中，产生了惊为天人的发现，造就了巨大的商业成功。人们管这样一群神奇的天才叫：数据科学家！“数据科学家”这个词汇是一个伟大的创 ...继续阅读 (1)

前言 最近想试一下捣腾一个 R 包出来，故参考了一些教程。现在看到的最好的就是谢益辉大大之前写过的开发R程序包之忍者篇，以及 Hadley 大神（ggplot2 ...继续阅读 (8)

简介：逄伟，Director of Engineering, behavioral insights and science, eBay Inc.采访人：陈丽云（Liyun）, Marketing Analyst, eBay Inc. 写在前面的话：前阵子统计之都发布了一系列数据分析领域 ...继续阅读 (12)

【COS编辑部按】本译文原文来自澳大利亚Science in Public，讲 述Terry Speed，一位著作等身的统计学者，对学术和社会生活的热情；原文版权归 Science in Public所有。本文译者：尤晓斌(新加坡国立大学)；审校：李妙竹(上海生科院)、施涛(The Ohio State University)。“统计学本来就应该成就其他学科，我太爱统计了，它像把钥匙一样让我们能溜进任何学科的后院里随便玩耍”—Terry Speed图1 Terry Speed用数字同癌症抗争Terry Speed从不觉得能很快在媒体的头条上看到类似“统计学家治愈癌症”的标题，不过他坚信数学和统计学可以有效地帮助研究者认识癌症背后的诱因，从而减少手术的需要。身兼数学家和统计学家，Terry笔下诞生了不少鲜有人读得懂的精美学术著作，但除此之外，他还有学术成就以外的另一面，他曾出席法庭作证，帮助农户和采钻矿工，还为生物学家提供统计工具以解决基因的进化问题。20年前，生物学家们只能孤立的研究一两个基因。而今，他们已经能够同时跟踪同一个细胞里的上千个基因，但若想真正理解这些信息，得到他们想要的结果，生物学家们就还需要运用Terry提出的统计方法。当Terry年近古稀，他专注于挑选正常细胞与癌细胞不同之处，更加接近有效治疗癌症的临床研究，并同业界一同合作研发检测甲状腺细胞增殖是否发生癌变的工具 ...继续阅读 (11)

第六届中国 R 语言会议（上海会场）于 2013 年 11 月 2 日 ~ 3 日在华东师范大学中山北路校区的科学会堂成功召开。会议由华东师范大学金融与统计学院和统计之都 ...继续阅读 (19)

注：本文来自寇强的博客，原文请点击此处。 寇强：现为Indiana University PhD in Informatics。 微博：@没故事的生科男。 这是一直想写几句的一个 ...继续阅读 (21)

简介：Hadley Wickham 是 RStudio 的首席科学家以及 Rice University 统计系的助理教授。他是著名图形可视化软件包 ggplot2 的开发者，以及其他许多被广泛使用的软件包的作者，代表 ...继续阅读 (7)

这一节介绍一个有趣的历史性例子：吸烟是否导致肺癌？主要涉及的人物是 R A Fisher 和 J Cornfield。前者估计上这个网站的人都听过，后者就显得比较 ...继续阅读 (9)

我参加完八月份的COS沙龙之后比较闲，忽然想起自己很久以前看的遗传算法的基本思想。本着时不时就应该做一些私活的心态，我就在旅行商问题上面把它实现了一下。遗传算法遗传算法是一个仿生学的算法。进化论认为地球上千奇百怪的生物都是进化而来的，如今能生存在地球上的生物是更适应于这个环境的，我们也可以说它们是被“优化过”的。他们是怎么优化的呢？在一个种群中，生物的差异主要来自于两点，不同染色体之间的交叉结合以及染色体自发的随机变异。这些差异实际上是随机发生的，但是生物的外部生存环境会通过生存与死亡让更能适应的个体存活下去。因此随着时间的推移，生物种群对环境的适应能力会越来越高。受到这个现象的启发，有人发明了遗传算法，通过模拟遗传的过程来解决一些优化问题。 ...继续阅读 (10)

林荟，女，杜邦先锋总部市场部统计师，毕业于 Iowa State University统计系，生年不详卒年尚无法预测。译者：黄俊文（主要），潘岚锋（勘误），高涛（勘误）。简介：Scott Iverson，Sr. Marketing manager, Marketing information, DuPont Pioneer (HQ), 在先锋从事数据分析工作 27 年，现任杜邦先锋全球总部市场信息高级经理。杜邦先锋国际良种公司：杜邦先锋公司是世界 500 强企业，美国杜邦公司旗下的全资子公司，成立于 1926 年，是世界上最早的玉米种业公司，总部设在美国爱荷华州。 ...继续阅读 (8)

在充满随机性的统计世界中，悖论无处不在。这一节介绍一个很有名，但是在中文统计教科书中几乎从未介绍过的悖论。这个悖论是 Educational Testing Service (ETS) 的统计学家 Frederic Lord 于 1967 年提出来的；最终由同在 ETS 工作的另外两位统计学家 Paul Holland 和 Donald Rubin 于 1982 年圆满地找出了这个悖论的根源。这部分先介绍这个悖论，再介绍 Holland 和 Rubin 的解释，最后是一些结论。一 Lord’s Paradox考虑下面一个简单例子，具体的数字是伪造的。某个学校想研究食堂对于学生体重是否有差异性的影响，尤其关心食堂对于男女学生体重影响是否相同。于是统计学家们收集了如下的数据：学生的性别$G$；学生在 1963 年 6 月入学时候的体重$X$；学生在1964年6月放暑假时候的体重$Y$。第一个统计学家，采取了一种很简单的方法。如图所示，横轴表示1963年6月入学前的体重$X$，纵轴表示1964年6月前放假的体重$Y$。个体上来看，男女入学前和入学后一年体重都会有些变化，男女学生体重的散点图分别用绿色和红色标出。从男女学生生平均体重来看，男生入学前后一年平均体重均是150磅（图中右上角的黑点），女生入学前后一年平均体重均为130磅（图中左下角的黑点）。图中的虚线是对角线$Y=X$，两个黑点 ...继续阅读 (6)

张健，微软公司担任data scientist。写在前面的话：前面小编采访了微软的数据科学家谢梁，当时同小编一同吃酒的还有微软的另一位数据科学家张健，巧在张健兄乃小编的师兄，毕业于Ames村办大学（又名爱荷华州立大学），当年我前脚到村，他后脚离村，所以之前也不认识。敝村可能名气不大，张健兄在统计界可能也不会有太多人知晓，但俗话说（好吧，我承认我瞎编的）“村长亦干部，凡夫即圣人”，小编很好奇一个物理博士在统计行当里捣鼓什么，于是发去这次采访，希望对外专业的同行们有所启示。 ...继续阅读 (6)

航海家1号（Voyager 1）作为一艘无人太空探测船于1977年9月5日从佛罗里达洲的卡纳维尔角发射升空，先后位临木星，土星，正在向星际间的太空进发。航海家1号而且它还携带了一张航海家金唱片，其中包含了115张图片和世界上的各种自然声音及音乐。 ...继续阅读 (11)

系列以use R for fun为主题，以COS论坛上的精华帖、相关package以及自己的一些code为素材，结合自身的一些编程体会，从而整合成文。本文是第三篇玩转图像篇。本文素材出处均已在正文中注明接着for fun的话题往下讲，大家或多或少都曾经用过PS来玩过图片，其强大的功能令我们不得不赞叹，无论是美图还是是恶搞都曾给我们带来了不少的乐趣。今天我们就要让这种乐趣在万能的R中实现！当然实现的过程是艰辛的，因为这一切一部分需要依靠自己码代码，但同时也是轻松的，因为与之前不同的是这里开始涉及到很多其他的扩展包，带来了很大的便利，接下来会一一介绍。 ...继续阅读 (3)

简介：黄帅/1988出生/2007科大本科理学学士/2012ASU工业工程系博士/2012任教于USF工业工程与管理系太云邀请我为统计之都写点跟个人经历有关的事情，大概是去年我上班之初就说好了的事。我一直犹豫没有动笔，主要是我本人刚从学生转变为老师，处于一个特殊时期，因而说话常常搞错对象。太云说，随便写写，想写什么都行。我理解太云的意思，就是说，我可以回顾自己的过去，然后为后来的人提个醒或者给点诀窍。一方面来说，对于推动行业发展，这种行为是应有之义。对于我本人而言，我也一直盼着那些牛人们能多给我提点醒，好让我获得更多的思维方式。但另一方面来说，我觉得我能确切的说出来的东西好像不多。我可以讲讲我对统计的理解，但是，虽然我也做过一些新的模型，我觉得其实我一直都只是在练习统计。更恰当的说，我一直在模仿那些先哲们的分析方式。我觉得我也还可以讲讲我是怎么在众多职业中最后跟统计搞到一起了。这比较八卦。也许这也是人民群众喜闻乐见的部分。对于我本人的职业定位，我觉得我是一个做学问的。之所以说是做学问的，是因为，我一直以来有这种偏见（有人可能会不同意）：真正的大师从来都不是‘做’学问的。起码牛顿和FISHER那种学问，不像是一点一点做出来的。但我乐于做点学问，这样有功于世道，说不定有朝一日也能做点大学问。所以，我在这里要说的，大部分都跟以上所提到的有关。 ...继续阅读 (3)

2013年8月24日，COS数据分析沙龙（北京）第十三期如期在中国人民大学举行。本期嘉宾我们邀请了来自宏源证劵高级分析师赵国栋先生，赵国栋先生给大家分享了主题为“大数据时代的历史机遇”讲座。酷热的夏天即将离去，但大数据的热度才刚刚开始。本期沙龙嘉宾赵国栋，《大数据时代的历史机遇》作者，中国计算机学会会员、中国建投研究院特约研究员、广东省应急产业协会专家会员、宏源证券研究所高级分析师。本期嘉宾在IT行业摸爬滚打10余年，先后在电子商务、电信、金融等领域从事IT咨询、建设等工作。后放弃公司原始股票，跨界转型，从零开始了行业分析师之路。迅速开辟了高科技产业研究的新范式——“主题、趋势、商业模式”，成为大数据领域的引路人。 ...继续阅读 (4)

$$ \def\ind{{\perp\!\!\!\perp}} \def\nind{{\not\!\perp\!\!\!\perp}} $$ 为了介绍工具变量，我们首先要从线性模型出发。毫无疑问，线性模型是理论和应用统计（包括计量经济学和流行病学等）最重要的工具；对线性模型 ...继续阅读 (10)

原文地址：http://statr.me/2011/10/large-regression/众所周知，R 是一个依赖于内存的软件，就是说一般情况下，数据集都会被整个地复制到内存之中再被处理。对于小型或者中型的数据集，这样处理当然没有什么问题。但是对于大型的数据集，例如网上抓取的金融类型时间序列数据或者一些日志数据，这样做就有很多因为内存不足导致的问题了。 ...继续阅读 (4)

医学统计学应该从什么地方开始讲起呢？多数授课老师的讲课方式是简要说一些医学统计学的概念，然后接着介绍医学统计学的内容、各种概念等。当然，这也是绝大多数教材的结构安排。我们这里不是讲课，所以我不从这里讲，我们要像讲故事一样。你怎么才能tell story，让别人明白呢？我想首先要讲清楚这个故事的渊源，也就是来龙去脉。那么统计学的渊源是什么呢？所有统计学的发展，或者说统计学之所以存在，只有一个原因，那就是变异以及变异所导致的抽样误差。没有变异，没有抽样误差，就没有统计学存在的理由。想象一下，如果全世界所有人的身高都是1.70米，那还有必要进行抽样做统计推断吗？只要随便量一个人的身高，就知道了全世界人的身高。那统计学还有存在的必要吗？ ...继续阅读 (6)

如何评价一个名人的热度？自然而然能想到的方法是，通过粉丝/关注比来评判其“风云”程度（好吧如果不考虑僵尸粉这种特色产物……><）。但实际上，在social network里面，我们真正面临的，是一个“网络”结构。让我们想想，消息在SNS里是怎么传播的呢？关注、粉丝、转发、评论 blablabla……所以，最近我在想，能不能利用这些关系来评判一个人的影响力？首先面临的问题是，应该用什么样的行为表示人与人之间的关系呢？鉴于想对用户兴趣做一些扩展的探索，我首选了“转发”关系。而且，退一步讲，在新浪在7月2号对API做了调整限制后，关注关系及粉丝关系等就不是我们这种ds小市民那么容易得到的了。（实际上即使能够得到，我个人也认为转发关系是在信息传播力上极为重要的一环） ...继续阅读 (9)

微博，这一新生代大规模杀伤性社交武器近年来迅速在国内走红，其来势之汹，范围之广，威力之猛当不可小觑。通过它，我们不仅能第一时间八卦到身边柴米油盐、鸡毛蒜皮的小事儿，而诸如家国天下、业内前沿的大事记也难以逃过公众的法眼。这样迅捷高效的信息传播是怎样做到的呢？相信每一个微博控都能如数家珍的道出自己心仪的几位微博名人们，不妨就从那些微博名人们入手，看看这些名人们身边的故事。 ...继续阅读 (8)