【COS编辑部按】本文作者是美国统计协会（ASA）的会员、莫纳什大学教授Dianne Cook。她的研究方向包括数据可视化，探索性数据分析，多元方法，数据挖掘和统计计算。曾参与制作软件XGobi，ggobi，cranvas和几个R包。原文发表在The R journal，本文由陈妍翻译，高涛、肖楠和谢益辉审校，王小宁编辑。摘要随着国际R用户会议“user!2011”的临近，许多与会者可能正在思考如何通过演讲集中展现自己的一些想法，本文便为大家就演讲和制作海报等问题提供了一些建议。背景在即将到来的几次学院工作面试中，我准备介绍我的博士研究项目，就在我刚完成一次面试的演练时，我的导师安德烈·布加(Andreas Buja)让我坐下来：重新起草我的讲稿！我本初是参照罗格斯大学每周一次的研讨会上许多演讲者那样做的——通过幻灯片一张接一张的展示自己研究工作的细节，但安德烈说，那可能很适合论文的展示，但并不是作为讲稿的最佳选择。我们列出了我的研究中的重点问题，然后插入了一张幻灯片简单的写道“欲知后事如何，请听下回分解”。我们在之后的几张幻灯片中阐述了研究方法，在报告临近结束时才给出了问题的答案。这个“欲知后事如何，请听下回分解”深深打动了我。核心要点Schoeberl&Toon（2011）网站和Marle（2007）网站有一些关于做科学报告的很有用的建议。下面是从我自己的经验中总结出的 ...继续阅读 (35)

【COS编辑部按】本文作者是2013年的总理科学奖得主Terence Terry Speed。关于他的详细介绍，可参考COS访谈第十二期，Terry Speed教授的名言是“统计学本来就应该成就其他学科，我太爱统计了，它像把钥匙一样让我们能溜进任何学科的后院里随便玩耍”。原文发表在 IMS Bulletin 链接：http://bulletin.imstat.org/2015/02/terences-stuff-why-do-we-do-research/。2011年6月以来的 IMS Bulletin 系列文章"Terence’s Stuff"; 都收录在http://bulletin.imstat.org/category/terences-stuff/。 本文由王小宁翻译，冯凌秉、施涛审校。“我们为什么要做研究？” －－这个问题似乎由调查机构，比如说像_Vitae_这种立志于通过转化研究者专业和职业发展路径来激发他们潜能的国际项目，通过抽样调查来回答最为合适。这里我只是想用我的个人经验来探讨一下这个问题。如果有人向我询问关于读博士或博士毕业以后的研究生涯的话，我会说从事学术研究的动机是极其重要的。只有在经过深思熟虑之后还认定真的想做研究的人才应该开始读博士。在做这个决定的过程中，听取别人的意见尤其重要的，特别是和那些之前有做过研究的过来人。这些人具体会想些什么，或 ...继续阅读 (10)

0. 引言有监督学习是日常使用最多的建模范式，它有许多更具体的名字，比如预测模型、回归模型、分类模型或者分类器。这些名字或来源统计，或来源于机器学习。关于统计学习与机器学习的区别已经有不少讨论，不少人认为机器学习侧重于目标预测，而统计学习侧重于机制理解和建模。个人更加直观的理解是，统计学习侧重于从概率分布来描述数据生成机制，除了预测之外，还关心结果（参数假设、误差分布假设）的检验，而机器学习侧重于从函数拟合角度来描述数据生成机制，基本目的就是为了拟合和预测，缺乏严谨的参数、误差的检验机制，比如下式：$$Y = f(X) + \epsilon$$ ...继续阅读 (7)

【COS编辑部按】本文作者是2013年的总理科学奖得主Terence Terry Speed。关      于他的详细介绍，可参考COS访谈第十二期，Terry Speed教授的名言是“统计学本来就应该成就其他学科，我太爱统计了，它像把钥匙一样让我们能溜进任何学科的后院里随便玩耍”。原文发表在 IMS Bulletin 链接：http://bulletin.imstat.org/2015/02/terences-stuff-why-do-we-do-research/。2011年6月 以来的 IMS Bulletin 系列文章 “Terence’s Stuff” 都收录在http://bulletin.imstat.org/category/terences-stuff/。本文由王小宁翻译，冯凌秉、施涛审校。“我们为什么要做研究？” －－这个问题似乎由调查机构，比如说像Vitae这种立志于通过转化研究者专业和职业发展路径来激发他们潜能的国际项目，通过抽样调查来回答最为合适。这里我只是想用我的个人经验来探讨一下这个问题。如果有人向我询问关于读博士或博士毕业以后的研究生涯的话，我会说从事学术研究的动机是极其重要的。只有在经过深思熟虑之后还认定真的想做研究的人才应该开始读博士。在做这个决定的过程中，听取别人的意见尤其重要的，特别是和那些之前有做过研究的 ...继续阅读 (14)

作者：高涛编辑：王小宁0. 引言有监督学习是日常使用最多的建模范式，它有许多更具体的名字，比如预测模型、回归模型、分类模型或者分类器。这些名字或来源统计，或来源于机器学习。关于统计学习与机器学习的区别已经有不少讨论，不少人认为机器学习侧重于目标预测，而统计学习侧重于机制理解和建模。个人更加直观的理解是，统计学习侧重于从概率分布来描述数据生成机制，除了预测之外，还关心结果（参数假设、误差分布假设）的检验，而机器学习侧重于从函数拟合角度来描述数据生成机制，基本目的就是为了拟合和预测，缺乏严谨的参数、误差的检验机制，比如下式：\[Y = f(X) + \epsilon\]1. 统计学习目标是获取$Pr(Y|X)$的条件分布，通过对数据概率生成机制的理解与建模进而获取良好的预测效果，这个过程会涉及$X, Y, \epsilon$的分布假设，因此最后会衍生出对参数假设和误差分布的假设检验，以验证整个概率分布的假设的正确性，比如经典的线性模型、非参数回归等模型，预测能力并不是其主要目的；2. 而机器学习基本不会从概率分布的角度着手，虽然可能也会涉及$X, Y$的分布假设，但目的就是学习到一个能够较好描述数据生成机制的函数$f$，对误差的假设基本忽略，也不会涉及参数和误差的检验，模型好坏基本由预测效果来判断，同时也会提供一些比较一般的误差上界，所以机器学习中不会出现参数估计渐进性、一致性等结果的 ...继续阅读 (19)

局部Fisher判别分析(Local Fisher Discriminant Analysis)是许多度量学习（Metric Learning）方法中效果最好的其中一种，它是一种线性监督降维方法，它可以自动找到合适的距离转换矩阵(transformation matrix)来抓住数据的不同类(class)的特征，通过加大不同类之间的距离(between-class distance)以及缩小同类里面每个样本的距离(within-class distance)，让不同类之间的界限更明显，从而使可视化效果更清晰。它同时也保持了多模(multimodality)的特征，这在处理一个类有多个的集群的时候有非常大的作用，比如说对于一种有多种可能症状的疾病来说，那些可能的症状都是同一类里面不同的集群，lfda可以把这种病的局部结构和特征(local structure)保持下来从而不会影响到之后的机器学习算法的效果。更细节一点的英文的理论介绍和应用可以点击这里和这里。 lfda对特征提取，降维，集群，分类，信息恢复，以及计算机视觉方面起到非常大的作用。 ...继续阅读 (6)

作者： 唐源（Yuan Tang） 编辑：王小宁局部Fisher判别分析(Local Fisher Discriminant Analysis)是许多度量学习（Metric Learning）方法中效果最好的其中一种，它是一种线性监督降维方法，它可以自动找到合适的距离转换矩阵(transformation matrix)来抓住数据的不同类(class)的特征，通过加大不同类之间的距离(between-class distance)以及缩小同类里面每个样本的距离(within-class distance)，让不同类之间的界限更明显，从而使可视化效果更清晰。它同时也保持了多模(multimodality)的特征，这在处理一个类有多个的集群的时候有非常大的作用，比如说对于一种有多种可能症状的疾病来说，那些可能的症状都是同一类里面不同的集群，lfda可以把这种病的局部结构和特征(local structure)保持下来从而不会影响到之后的机器学习算法的效果。更细节一点的英文的理论介绍和应用可以点击这里和这里。lfda对特征提取，降维，集群，分类，信息恢复，以及计算机视觉方面起到非常大的作用。核局部Fisher判别分析(Kernel Local Fisher Discriminant Analysis)是局部Fisher判别分析的非线性化版本，它通过对原来的数据进行核转换技巧（kernel ...继续阅读 (15)

本期投稿：谢益辉施涛^[编者注：该链接已过期] 朱雪宁王小宁国际权威的学术组织 The IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, 和 CART ，相关的论文在这里。 最近有人把这些算法用R实现了。 ...继续阅读 (7)

本期投稿：谢益辉施涛朱雪宁王小宁编辑：王小宁国际权威的学术组织 The IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, 和 CART.，相关的论文在这里。最近有人把这些算法用R实现了。前两天有关疑似MH370 遗骸的消息登上各大新闻头条，信息真假还未得知，其实早在今年三月份CNN报道得克萨斯A＆M大学的数学家宣布，他已通过一台计算机上运行的数据，并确定它是有可能的飞机已经垂直坠入海洋，请参看这里。一位2013年毕业于杜克大学的同学总结的今年在Coursera 上关于约翰霍普金斯大学数据科学课程的笔记，有志于上此系列课的童鞋可以先看看哦！小编提醒，新的一轮数据科学课程也从8月3日开始了。一篇关于R 语言进行并行计算的深度好文。广义线性模型（GLMS）在数据科学工具箱中不可或缺的工具。它们是适用于涉及很多现实世界的问题，连续数据，计数和生存数据（及其他）。模型本身是直观的，并且可以被用于推断和预测。一些非常高品质的免费软件和开源软件的实现方式是可获得的如R。最近比较火的一篇文章，UCLA的一个学生伪造了数据发了一篇Science文章，后来被 ...继续阅读 (17)

主题：“零”代码  “玩”数据嘉宾：李栋主办：统计之都场地：中国人民大学组织：蔡占锐、张颖、王小宁、魏太云纪要：王小宁简介：第28期沙龙（北京站）于2015年7月26日在中国人民大学顺利举行。本次嘉宾是来自中国城市规划设计研究院生态所主任工程师李栋博士，他主要分享自己城市问题研究和规划中利用大数据开展定量分析和应用，重点关注签到、照片等基于地理位置的新型数据。本次讲座从演讲者个人经历出发，面向非IT相关背景的人士，分享和介绍一些在传统行业里利用互联网数据等新型数据方面的工具、经验和感想。本次沙龙的主要内容： ...继续阅读 (10)

主题：“零”代码  “玩”数据嘉宾：李栋主办：统计之都场地：中国人民大学组织：蔡占锐、张颖、王小宁、魏太云纪要：王小宁简介：第28期沙龙（北京站）于2015年7月26日在中国人民大学顺利举行。本次嘉宾是来自中国城市规划设计研究院生态所主任工程师李栋博士，他主要分享自己城市问题研究和规划中利用大数据开展定量分析和应用，重点关注签到、照片等基于地理位置的新型数据。本次讲座从演讲者个人经历出发，面向非IT相关背景的人士，分享和介绍一些在传统行业里利用互联网数据等新型数据方面的工具、经验和感想。本次沙龙的主要内容：首先李栋博士以“城市”、“可视化”、“大数据”三个关键词开篇，介绍了自己在这方面做得一些成果和自己的一些想法。城市规划往往是一个抽象的东西，因为在未见到之前你很难想象出它的样子，结合数据的可视化可以使你的方案更直观，同时在做规划时离不开各种各样地理信息、文本等的信息，对于一个工程师来说数据显得尤为重要。李栋先生非计算机科班出身，但是他结合现有的数据获取和分析软件，对数据的的解读娓娓道来。首先，这里李博士讲的“零”代码是指不编程，直接使用某个具体的软件来进行数据的获取和处理，他主要围绕互联网数据的获取和处理来进行分析和讲解。我们知道数据分析主要分为数据的获取、处理、分析和表达四大块。李博士主要从数据的获取这一部分进行了详细的讲述。他以使用Chrome 浏览器的开发者工具为例，结合火 ...继续阅读 (10)

【COS编辑部按】 作者：李舰简介：李舰先生现任堡力山（PMI）集团副总，曾任 Mango Solutions 中国区数据总监。专注于数据科学在行业里的应用。擅长R语言的工程开发与分析建模，是 Rweibo、Rwordseg、tmcn  等 R 包的作者。与肖凯合著了《数据科学中的R语言》，参与翻译了《R语言核心技术手册》、《机器学习与R语言》。李舰先生也曾有多篇文章在统计之都主站上发表。个人主页：http://jianl.org/引言：这篇文章来自于我和肖凯的新作《数据科学中的R语言》的前言。原书受篇幅和语言风格所限，前言经过了一些删减，在这里将全文和增补的内容发布出来。为了尽量避免为新书打广告的嫌疑，先提前声明我们会把书中一些自认为比较有价值的经验和见解发布到统计之都上，只是希望对数据科学和R语言有个基本的认识或者了解一些作者的建议和感悟的读者大可不必去买这本书，只有对具体案例和技术感兴趣并且愿意实际操作才值得去购买。僭称科学家我本来是不敢的，不过如今人们对数据的研究和应用的主战场在业界，“数据科学家”通常指的是一个职位的名称。现在很多公司（包括我自己的）招聘的职位都流行写“Data Scientist”，所以我自称数据科学家应该还好。从我本科进入中国人民大学学习统计学专业开始到现在的10多年时间里，我所有的求学经历和职业生涯都在和数据打交道，在数据应用的最前线感受到了业界对于 ...继续阅读 (5)

【COS编辑部按】 作者：李舰简介：李舰先生现任堡力山（PMI）集团副总，曾任 Mango Solutions 中国区数据总监。专注于数据科学在行业里的应用。擅长R语言的工程开发与分析建模，是 Rweibo、Rwordseg、tmcn  等 R 包的作者。与肖凯合著了《数据科学中的R语言》，参与翻译了《R语言核心技术手册》、《机器学习与R语言》。李舰先生也曾有多篇文章在统计之都主站上发表。个人主页：http://jianl.org/引言：这篇文章来自于我和肖凯的新作《数据科学中的R语言》的前言。原书受篇幅和语言风格所限，前言经过了一些删减，在这里将全文和增补的内容发布出来。为了尽量避免为新书打广告的嫌疑，先提前声明我们会把书中一些自认为比较有价值的经验和见解发布到统计之都上，只是希望对数据科学和R语言有个基本的认识或者了解一些作者的建议和感悟的读者大可不必去买这本书，只有对具体案例和技术感兴趣并且愿意实际操作才值得去购买。僭称科学家我本来是不敢的，不过如今人们对数据的研究和应用的主战场在业界，“数据科学家”通常指的是一个职位的名称。现在很多公司（包括我自己的）招聘的职位都流行写“Data Scientist”，所以我自称数据科学家应该还好。从我本科进入中国人民大学学习统计学专业开始到现在的10多年时间里，我所有的求学经历和职业生涯都在和数据打交道，在数据应用的最前线感受到了业界对于 ...继续阅读 (7)

【COS编辑部按】受访者：陈天奇采访者：何通简介：陈天奇，华盛顿大学计算机系博士生，研究方向为大规模机器学习。他曾获得KDD CUP 2012 Track 1第一名，并开发了SVDFeature，XGBoost，cxxnet等著名机器学习工具，是Distributed (Deep) Machine Learning Common的发起人之一。何：你的本科在上海交大的ACM班就读，是怎么开始做机器学习研究的呢？**陈：**我们当时的培养计划里面有一项，就是希望我们尽早地接触学术研究。于是我们在大二暑假就要开始进实验室了，在大三的暑假去微软亚研(MSRA)实习，于是我大二暑假去的是俞勇老师的实验室，当时戴文渊学长也在交大做迁移学习这一块的研究，所以我就跟着他了，也就是这个时候开始接触的机器学习。不过后面其实换了很多方向，因为戴文渊其实带了我半个学期就毕业了。后来我到微软实习做的是和广告相关的东西。之后实验室的一位老师建议我的毕设做深度学习。当时是2010年吧，深度学习还没有完全火起来的时候，整体的趋势是大家都在做无监督学习。当时实验室正好有一块比较老的显卡，我就开始写一些CUDA的程序。从毕设一直到研究生一年级我一直都在做无监督深度学习，也尝试过ImageNet，但是没有得到很好的结果。后来正好有KDD Cup这个机会，之后我们就逐渐往推荐系统的方向做了，因为2011和2012年的题目 ...继续阅读 (13)

【COS编辑部按】 受访者：陈天奇采访者：何通   编辑：王小宁简介：陈天奇，华盛顿大学计算机系博士生，研究方向为大规模机器学习。他曾获得KDD CUP 2012 Track 1第一名，并开发了SVDFeature，XGBoost，cxxnet等著名机器学习工具，是Distributed (Deep) Machine Learning Common的发起人之一。何：你的本科在上海交大的ACM班就读，是怎么开始做机器学习研究的呢？陈：我们当时的培养计划里面有一项，就是希望我们尽早地接触学术研究。于是我们在大二暑假就要开始进实验室了，在大三的暑假去微软亚研(MSRA)实习，于是我大二暑假去的是俞勇老师的实验室，当时戴文渊学长也在交大做迁移学习这一块的研究，所以我就跟着他了，也就是这个时候开始接触的机器学习。不过后面其实换了很多方向，因为戴文渊其实带了我半个学期就毕业了。后来我到微软实习做的是和广告相关的东西。之后实验室的一位老师建议我的毕设做深度学习。当时是2010年吧，深度学习还没有完全火起来的时候，整体的趋势是大家都在做无监督学习。当时实验室正好有一块比较老的显卡，我就开始写一些CUDA的程序。从毕设一直到研究生一年级我一直都在做无监督深度学习，也尝试过ImageNet，但是没有得到很好的结果。后来正好有KDD Cup这个机会，之后我们就逐渐往推荐系统的方向做了，因为2011和20 ...继续阅读 (52)

原文链接：http://blog.shakirm.com/2015/04/a-statistical-view-of-deep-learning-iii-memory-and-kernels/作者：Shakir Mohamed连接机器学习的回归方法人们通过对以往的经验或者数据的回忆来推断未来的事物，这样的过程可以用一个经常出现在最近文献中的词语——记忆来概括。机器学习模型都是由这样的‘记忆’组成的，如何理解这些‘记忆’对于如何使用模型是极为重要的。根据机器学习模型的种类，可以分为两种主要的记忆机制，即参数型与非参数型（还包括了介于两者之间的模型）。深度网络作为参数记忆型模型的代表，它将统计特性从所观察到的数据中以模型参数或者权重的方式提炼出来。而非参数模型中的典范则是核机器（以及最近邻），它们的记忆机制是存储所有数据。我们可以自然地认为，深度网络与核机器是两种原理不同的由数据推导结论的方法，但是实际上，我们研究出这些方法的过程却表明它们之间有着更加深远的联系以及更基本的相似性。深度网络、核机器以及高斯过程三者形成了解决相同问题的一套连贯的方法。它们的最终形式很不相同，但是它们本质上却是相互联系的。了解这一点对于更深入的研究十分有用，而这种联系正是这篇文章将要探讨的。 ...继续阅读 (2)

原文链接：http://blog.shakirm.com/2015/04/a-statistical-view-of-deep-learning-iii-memory-and-kernels/作者：Shakir Mohamed翻译：丁维悦     审校：朱雪宁  何通  施涛   编辑：王小宁连接机器学习的回归方法人们通过对以往的经验或者数据的回忆来推断未来的事物，这样的过程可以用一个经常出现在最近文献中的词语——记忆来概括。机器学习模型都是由这样的‘记忆’组成的，如何理解这些‘记忆’对于如何使用模型是极为重要的。根据机器学习模型的种类，可以分为两种主要的记忆机制，即参数型与非参数型（还包括了介于两者之间的模型）。深度网络作为参数记忆型模型的代表，它将统计特性从所观察到的数据中以模型参数或者权重的方式提炼出来。而非参数模型中的典范则是核机器（以及最近邻），它们的记忆机制是存储所有数据。我们可以自然地认为，深度网络与核机器是两种原理不同的由数据推导结论的方法，但是实际上，我们研究出这些方法的过程却表明它们之间有着更加深远的联系以及更基本的相似性。深度网络、核机器以及高斯过程三者形成了解决相同问题的一套连贯的方法。它们的最终形式很不相同，但是它们本质上却是相互联系的。了解这一点对于更深入的研究十分有用，而这种联系正是这篇文章将要探讨的。基函数与神经网络在这篇文章里主要讨论回归问题，即学 ...继续阅读 (13)

第八届中国R语言会议（北京会场）暨2015北大光华数据与价值论坛于2015年6月6日至7日在北京大学成功举办。第一日主会场位于邱德拔体育馆，第二日分会场位于光华管理学院一号楼。一、会议概况今年是中国R语言会议举办的第八年。会议由北京大学光华管理学院和统计之都联合主办，由北京大学商务智能中心、北大光华—奥迪管理研究中心、北京大学统计科学中心协办，并得到了百度、一汽—大众奥迪、乐递等战略合作伙伴的鼎力协助和懒投资、百分点、航旅纵横、量邦科技、微量网、一杯汤EasySoup、考拉征信等友情合作伙伴的大力支持。在两天的会议时间里，数据科学各行各业的同仁们欢聚一堂，共襄盛举，畅所欲言。在北大光华、统计之都各位同仁的不懈努力下，本次会议比往届有了更大的突破。会议共设有10个分论坛，68场主题报告，覆盖大数据技术、互联网金融、量化投资、人网物联、生物信息等诸多当下热门话题。本届会议报名非常火爆，人数突破了4200人，报名单位超过1500个，不仅创下历届之最，也使本次会议成为亚洲地区规模最大的数据科学盛会之一。 ...继续阅读 (9)

第八届中国R语言会议（北京会场）暨2015北大光华数据与价值论坛于2015年6月6日至7日在北京大学成功举办。第一日主会场位于邱德拔体育馆，第二日分会场位于光华管理学院一号楼。一、会议概况今年是中国R语言会议举办的第八年。会议由北京大学光华管理学院和统计之都联合主办，由北京大学商务智能中心、北大光华—奥迪管理研究中心、北京大学统计科学中心协办，并得到了百度、一汽—大众奥迪、乐递等战略合作伙伴的鼎力协助和懒投资、百分点、航旅纵横、量邦科技、微量网、一杯汤EasySoup、考拉征信等友情合作伙伴的大力支持。在两天的会议时间里，数据科学各行各业的同仁们欢聚一堂，共襄盛举，畅所欲言。在北大光华、统计之都各位同仁的不懈努力下，本次会议比往届有了更大的突破。会议共设有10个分论坛，68场主题报告，覆盖大数据技术、互联网金融、量化投资、人网物联、生物信息等诸多当下热门话题。本届会议报名非常火爆，人数突破了4200人，报名单位超过1500个，不仅创下历届之最，也使本次会议成为亚洲地区规模最大的数据科学盛会之一。本次大会最年轻的报名者为17岁，最年长为76岁。报名者的中位数为26岁，与上届一样。30岁以上报名者与30岁以下报名者的比例约为3:1，年龄分布的直方图如下：本次大会报名者的男女比例约为3:2， 女性报名者较上届增加了17%。 报名者最多来自北京，比例为84.1%。其次分别是天津、 ...继续阅读 (14)

本文作者简介：王夜笙，就读于郑州大学信息工程学院，感兴趣的方向为逆向工程和机器学习，长期从事数据抓取工作（长期与反爬虫技术作斗争~），涉猎较广（技艺不精……），详情请见我的个人博客~个人博客地址：http://bindog.github.io/blog/邮箱：bindog@outlook.com感谢怡轩同学的悉心指导~之前拜读了靳志辉（@rickjin）老师写的《正态分布的前世今生》，一直对正态分布怀着一颗敬畏之心，刚好最近偶然看到python标准库中如何生成服从正态分布随机数的源码，觉得非常有趣，于是又去查找其他一些生成正态分布的方法，与大家分享一下。利用中心极限定理生成正态分布设$X_1,X_2,\cdots ,X_n$为独立同分布的随机变量序列，均值为$\mu$，方差为$\sigma^2$，则$$Z_n=\frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma \sqrt n}$$具有渐近分布$N(0,1)$，也就是说当$n \rightarrow \infty$时，$$P\left \{ \frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma \sqrt n} \leq x \right \} \rightarrow \frac{1}{\sqrt{2\pi} } \int_{-\infty }^{x} e^{ -\frac{t^2}{2 ...继续阅读 (8)

本文作者简介：王夜笙，就读于郑州大学信息工程学院，感兴趣的方向为逆向工程和机器学习，长期从事数据抓取工作（长期与反爬虫技术作斗争~），涉猎较广（技艺不精……），详情请见我的个人博客~个人博客地址：http://bindog.github.io/blog/邮箱：bindog@outlook.com感谢怡轩同学的悉心指导~之前拜读了靳志辉（@rickjin）老师写的《正态分布的前世今生》，一直对正态分布怀着一颗敬畏之心，刚好最近偶然看到python标准库中如何生成服从正态分布随机数的源码，觉得非常有趣，于是又去查找其他一些生成正态分布的方法，与大家分享一下。利用中心极限定理生成正态分布设$X_1,X_2,\cdots ,X_n$为独立同分布的随机变量序列，均值为$\mu$，方差为$\sigma^2$，则$$Z_n=\frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma \sqrt n}$$具有渐近分布$N(0,1)$，也就是说当$n \rightarrow \infty$时，$$P\left \{ \frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma \sqrt n} \leq x \right \} \rightarrow \frac{1}{\sqrt{2\pi} } \int_{-\infty }^{x} e^{ -\frac{t^2}{2 ...继续阅读 (16)

中国R语言（广州）会议暨华南地区数据科学会议于2015年5月23-24日在中山大学梁銶琚成功召开，由华南统计科学研究中心、中山大学数学与计算科学学院、统计之都共同筹办。参会者齐聚一堂，23日上午就R语言在器学习在面向消费者的个人基因组检测中的应用、从机器学习到推荐系统、气象大数据等方面中的应用进行了深入的探讨，下午对htmlwidgets  让  recharts 再起航、Adaptive Annealed Importance Sampling for Bayesian Multimodal Posterior Exploration 、Alpha 量化对冲的实战策略、游戏行业大数据等行业的一体化应用等内容进行了深刻的交流。 ...继续阅读 (9)

原文链接：http://blog.shakirm.com/2015/03/a-statistical-view-of-deep-learning-ii-auto-encoders-and-free-energy/本文得到了原英文作者Shakir Mohamed的授权同意，由钟琰翻译、何通审校。感谢他们的支持和帮助。基于前馈深度神经网络的判别模型已经在许多工业应用中获得了成功，引发了探寻如何利用无监督学习方法带来相似结果的热潮。降噪自动编码器是深度学习中一种主要的无监督学习方法。本文将探索降噪自编码器和统计学中密度估计之间的联系，我们将从统计学的视角去考察降噪自动编码器学习方法，并将之视为一种潜在因子模型的推断问题。我们的机器学习应用能从这样的联系中获得启发并受益。广义的降噪自动编码器（GDAEs）降噪自动编码器是无监督深度学习中的一个重大进步，它极大的提升了数据表示的可扩展性和稳健性。对每个数据点y，降噪自动编码器先利用一个已知的噪化过程$\mathcal{C}(\mathbf{y}’|\mathbf{y})$建立一个$\mathbf{y}$的含噪声版本$\mathbf{y}’$，其后我们以$\mathbf{y}’$为输入利用神经网络来重新恢复原始数据$\mathbf{y}$。整个学习网络可以被分为两个部分：编码器和解码器，其中编码器$\mathbf{z}$的输出可被认为是原始数据 ...继续阅读 (8)

原文链接：http://www.odbms.org/2015/04/data-wisdom-for-data-science/本文得到了原英文作者郁彬的授权同意，由吕翔和张心雨翻译、施涛和高涛审校。感谢他们的支持和帮助。在大数据时代，学术界和业界的大量研究都是关于如何以一种可扩展和高效率的方式来对数据进行储存，交换和计算（通过统计方法和算法）。这些研究领域无疑非常重要，然而，只有当我们对数据智慧（Data Wisdom）也给予同等程度的重视时，大数据（或者小型数据）才能被转换为真正的知识和有用的，可被采纳的信息。换而言之，我们要认识到必须拥有足够数量的数据才有可能对复杂度较高的问题给出较可靠的答案。“数据智慧”对于我们从数据中提取有效信息和确保没有误用或夸大原始数据是至关重要的。“数据智慧”一词是我对应用统计学核心部分的重新定义。这些核心部分在伟大的统计学家（或者说是数据科学家）John W. Tukey 和 Geogre Box 的文章中有详细阐述。 ...继续阅读 (6)

本期投稿：邓一硕朱雪宁 冯凌秉谢益辉何通冷静中国系统性金融风险有多大？近期中国股市表现抢眼，不少人开始担心金融风险，在纽约大学Stern商学院计算的国家金融系统性风险中，中国的系统性风险创出新高，相关链接请戳。测算方案简单明了：假定股票市场半年内下跌40%，需要注入多少资金才能避免金融机构资不抵债。参考论文。摩尔定律大家都很熟悉，但你知道吗，生命复杂度方面也有类似的“摩尔定律”。美国巴尔的摩老化研究中心的研究人员发现，从最初的原核生物到哺乳动物之间，每隔3.76亿年生命复杂度就会翻一番。也就是说，生物复杂度的摩尔周期是3.76亿年。详情猛戳。 ...继续阅读 (6)

原文链接：http://blog.shakirm.com/2015/01/a-statistical-view-of-deep-learning-i-recursive-glms/作者：Shakir Mohamed本文得到了原英文作者Shakir Mohamed的授权同意，由王小宁翻译、冯凌秉和朱雪宁审校。感谢他们的支持和帮助。深度学习及其应用已经成为实用机器学习的一个关键工具。神经网络和许多现有的统计学、机器学习方法有同等重要的地位，我将在这篇文章中探索其中的一个观点。看待深度神经网络，我们这里选择一个特别的角度：就是它可以被看做是一个递归的广义线性模型。广义线性模型作为概率建模的基石之一，在实验科学的应用中无处不在，并且极其实用。这篇文章集中讨论前馈神经网络（Feed Forward Neural Network），而关于回馈式神经网络（Recurrent Network）与前者的统计联系，我将在以后文章中讨论。广义线性模型（GLMs）基本的线性回归模型是一个从由自变量X组成的P维空间到一组因变量Y组成的空间的线性映射。具体地，该线性映射是指通过一组权重(或回归系数) 对X进行加权，并与截距项 的和。线性回归的输出可以是多元的,但在本文中假定其输出为标量。完整的概率模型假定上述线性模型受到高斯噪音的干扰（一般假设其方差未知）。$$\eta=\beta^Tx+\beta_0$$$ ...继续阅读 (6)

主题：数据分析的道与术嘉宾：毕然主办：统计之都场地：中国人民大学组织：蔡占锐、钟琰、丁维悦、闫晗纪要：钟琰2015年5月10日，第28期沙龙（北京站）在中国人民大学顺利举行。嘉宾毕然先生热情亲切的与大家交流分享了关于数据分析的术与道的心得。本次沙龙由人大研究生丁维悦主持，嘉宾毕然先生专注于理论与实践的相互促进，涉猎于大数据分析与建模、经济与商业机制、营销与心理学、互联网产品战略等几个方面的研究。以下为本期沙龙主要内容的回顾： ...继续阅读 (8)

原文地址：https://medium.com/@blprnt/data-v-da0e0d24777c作者：Edward Shepard翻译：腊八粥本文是翻译，版权归原作者所有让我们把 data 变成动词吧。我 data 你，你 data 我。他们 data 我们，我们 data 他们。当你的简明牛津词典跨过屋子向我飘来时，我们还是花些时间来考虑下面的说法：data 这个词语的角色和功能随着技术和文化对其重新定义，在过去的十多年里呈现了明显的变化。十年前，data 只是一个复数名词。具体地说，它是 datum 的复数——一条 datum、两条 data。在当时，你可以指出并嘲笑数据爱好者们，因为他们说‘data is’，而不是‘data are’。当然，那些 data 新手继续组建公司、制作软件、开发数据库、出书、以及做 TED 演讲。慢慢地，data 真的变成了某种特别的单数：它已经变成了普普通通的不可数名词。 ...继续阅读 (6)

现在的各种数据处理技术更新换代太快，新的名词和工具层出不穷，像是 Hadoop 和 Spark 这些，最近几年着实火了一把。事实上听说 Spark 也有一段时间了，但一直是只闻其名不见其实，今天就来简单记录一下初学 Spark 的若干点滴。Spark 是什么按照Spark 官方的说法，Spark 是一个快速的集群运算平台，以及一系列处理大型数据集的工具包。用通俗的话说，Spark 与 R 一样是一套用于数据处理的软件和平台，但它最显著的特点就是处理大型数据（我就是不说大数据 (￣^￣)）的能力。极简安装Spark 本身面向的是大规模的分布式计算，但对学习和测试来说，利用单机的多核 CPU 就已经足够了，所以作为入门，我并没有打算去涉及多台计算机相连的情形。在这个基础上，第一件出乎我意料的事情就是，Spark 的安装和配置其实可以是异常简单的。在网上出现的各种资料中，Spark 经常与 Hadoop 和 Scala 这两个名词一起出现。前者也是一个大型分布式计算的框架，诞生得比 Spark 更早；后者是 Spark 主要使用的一种编程语言。这就给不明真相的群众造成了一种印象，好像要使用 Spark 的话就得先安装配置好 Hadoop 和 Scala，而要安装它们又得有更多的软件依赖。但实际上，要在单机上使用 Spark，真正需要的只有下面几样：一台金光闪闪的电脑在上面这台电脑里面装一 ...继续阅读 (5)

本期投稿：王小宁Ron王威廉小编注：小编上网看科技新闻，大多数的文章都在讲“大数据”“深度学习”“互联网+”等等高大上的名词，作为一名统计学的研究生小编觉得再高大上的东西，也需要一项或几项核心的技术。近日，小编再为您提供一些R学习的资料。R语言的优劣势是什么？工欲善其事，必先利其器。应用场景决定知识的储备与工具的选择，反过来，无论你选择了什么样的工具，你一定会努力地把它改造成符合自己应用场景所需的那个样子。 ...继续阅读 (11)