本文翻译自Aran Lunzer 和 Amelia McNamara发布的文章Exploring Histograms。翻译工作已获得作者授权同意。文中描述的交互式直方图 ...继续阅读 (11)

中国R会议（The China-R Conference）始于2008年，由统计之都（Capital of Statistics, COS）发起，并在中国人民大学举办了第一届中国R会议 ...继续阅读 (15)

背景介绍 SparkR 和 Sparklyr 是两个基于Spark的R语言接口，通过简单的语法深度集成到R语言生态中。SparkR 由 Spark 社区维护，通过源码级别更新SparkR ...继续阅读 (7)

作者： Hugh A. Chipman是阿卡迪亚（Acadia）大学数学与统计学系教授。 电子邮件：hugh.chipman@acadiau.ca V. Roshan Jos ...继续阅读 (15)

COS编辑部按 本文是Earo Wang对Roger Peng的采访稿，原文传送门点击此处，翻译工作已经得到作者授权。 简介 Roger Peng是约翰霍普金斯 ...继续阅读 (21)

目标 用R语言的blogdown + hugo + netlify + github搭建静态博客系统，用rstudio专注于写作。 优点 个性域名 免费，无限流量 静态网页，速度快 ...继续阅读 (11)

引子Julia是一门相对比较新的着眼于科学计算的语言，语法上看起来有点类似于 Matlab 的脚本语言，但是实际上从 Ruby、Python、Lisp 之类的语言里吸收了许多有趣的特性。在这篇文章中，我想介绍一下 Julia 的分布式计算机制，它方便的并行和分布式计算的能力，结合优质的数值计算能力，其实让它非常方便用于做分布式数据处理——比如 distributed optimization、learning 之类的任务。虽然 Julia 这些年一直在稳步发展并且每个版本都会不兼容旧版本中的一些东西，让人需要不断地维护和修改代码有点心累，同时社区里的第三方库也还不够强大，不过最近在做一点点 distributed optimization 相关的东西中体会到它在这方面的好处，在这里简单分享一下。一方面因为 Julia 的文档虽然比较全，但是似乎还是比较难找到一个完整的例子。本文相关的完整代码会放在这里。 ...继续阅读 (19)

R语言是在统计和数据科学界广泛应用的编程语言和开发环境，其免费、开源、灵活的特点，使其受到越来越多的关注。中国R会议(The China-R Conference) 正起始于对R ...继续阅读 (9)

宗福季，现任香港科技大学工业工程与物流管理系教授，前系主任，及质量实验室主任，国际质量科学院（IAQ）院士，美国统计学会（ASA）会士, 美国工业工程师学会（IIE）会士，美国质量学会（ASQ）会士，国际统计协会（ISI）当选会员，香港工程学会（HKIE）会士。 任职科大后，宗福季教授积极参与有关质量改善和管理的教育及研究工作，也为不同行业提供咨询及培训服务，包括制造、银行、电讯及医疗等行业。宗教授目前是美国质量学会旗舰期刊Journal of Quality Technology (JQT)的主编，工业工程学会期刊IISE Transactions及Technometrics的副编辑。宗教授于国立台湾大学取得机械工程学士学位，其后于美国密歇根大学获工业工程硕士及博士学位。 ...继续阅读 (16)

中国R会议（The China-R Conference）始于2008 年，由统计之都（Capital of Statistics, COS）发起，联合各地高校、企业共同举办。会议旨在提 ...继续阅读 (14)

背景故事我错了，我承认我是标题党，怎么可能用十行代码完成Dota2信仰2比赛数据的抓取, 清洗与预测建模呢。 不过为了发扬继承郎大为“十行代码”系列的优良传统，我决定沿用这个名字，希望能把品牌做大做强，走出亚洲，面向世界。。。事情的起因是这样的：上周与同为信仰粉的大为接上头之后，被安利了一个叫RDota2的 R pacakge。 这个工具包使用 Steam API，可以让 R 直接提取有关 Dota2 的各种数据：除了每一场游戏的具体信息，还可以提取英雄，物品，战队，和联赛的资料。 所以我就萌生了用RDota2抓一批比赛数据，然后建模预测比赛胜负的想法。结果还是相当有趣的，且听我慢慢道来。 不过在此之前，我想先为对建模感兴趣但不知道什么是 Dota2 的同学，简单介绍一下这款游戏。Dota2众型男 ...继续阅读 (11)

整个 COS 主站的源代码托管在 Github 库 cosname/cosx.org 中，其中多数文章都使用 Markdown 文档格式。如果您熟悉 Github 和 Markdown，请直接给该库提交合并请求（Pull Reque ...继续阅读 (11)

说起广告大家肯定都知道，可是什么是幽灵广告？其实幽灵广告的英文是ghost ads，源自Google的一篇论文，Johnson, Garrett A., Randall A. Lewis, and Elmar I. Nubbemeyer. “Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness.” (2016)。幽灵广告是他们创造出来用来提高衡量在线广告效果的一套系统。由于实施过程中某些广告会化作用户看不到的幽灵，所以称之为“幽灵广告”系统，专门用于线上广告的随机对照实验。 ...继续阅读 (12)

2017年，是中国R会议值得纪念的第10个年头，本届R会议将于5月19-21日在美丽的清华大学举办。在这样一个值得纪念的时刻，让我们相聚清华大学统计学研究中心，相聚R会议十周年庆典，相聚这场数据与统计的盛宴！本届会议覆盖数据科学多个领域，我们非常期待您的到来！中国R会议是由统计之都发起，并同国内高校共同举办的极有特色的数据科学会议。2008年，中国R会议在中国人民大学举办第1届，2016年已发展至全年9个城市先后举办，服务数据科学在校师生和业界人士数万人，内容覆盖数据科学相关的多个行业，R会议非常有幸见证了数据科学在中国的蓬勃发展。2017年，清华大学统计学研究中心、北京大学商务智能研究中心和统计之都携手共同主办第10届中国R会议。本届会议的主题包括文本挖掘、可视分析、时间序列、空间数据、社交网络、生物信息、消费金融、量化投资、深度学习、机器学习、工业数据、计算平台、政府数据、搜索推荐等诸多话题。其中5月19日特邀演讲会场设于清华大学新清华学堂，20-21日将举办上述主题的平行分会场。现已开放演讲者报名系统http://china-r-10th-abstract.eventdove.com/，参会者报名系统预计于2017年4月10日前开放，敬请期待。一、会议时间2017年5月19日~21日二、会议地点清华大学，19日为新清华学堂，20~21日为分会场会议厅和教室。具体会场地址敬请留 ...继续阅读 (10)

作者简介：余光创，香港大学公共卫生学院，生物信息学博士生。博客：https://guangchuangyu.github.io， 公众号：biobabble导言本文介绍了ggimage包，允许在ggplot2作图时嵌入图片，并支持aes映射，可以把离散型变量映射到不同图片。目前有几个包可以使用图片嵌入做图，但都是针对特定的场景，这里使用ggimage来展示在这些特定领域里的应用，ggimage的设计是通用的，并不被特定场景所限定，文末又介绍了用R图标来画出R、用饼图来画气泡图等实例。图上嵌图片R 基础图形库（base graphics）可以在做图的时候嵌入图片，使用的是graphics::rasterImage：imgurl <- "http://phylopic.org/assets/images/submissions/295cd9f7-eef2-441e-ba7e-40c772ca7611.256.png" library(EBImage) x <- readImage(imgurl) plot(1, type = "n", xlab = "", ylab = "", xlim = c(0, 8), ylim = c(0, 8)) rasterImage(x, 2, 2, 6, 4)如果我们搜索”ggplot2 image”，会找到类似于下面这样的帖子/博文：r – ...继续阅读 (4)

作者简介：余光创，香港大学公共卫生学院，生物信息学博士生。博客：https://guangchuangyu.github.io， 公众号：biobabble导言本文介绍了ggimage包，允许在ggplot2作图时嵌入图片，并支持aes映射，可以把离散型变量映射到不同图片。目前有几个包可以使用图片嵌入做图，但都是针对特定的场景，这里使用ggimage来展示在这些特定领域里的应用，ggimage的设计是通用的，并不被特定场景所限定，文末又介绍了用R图标来画出R、用饼图来画气泡图等实例。图上嵌图片R 基础图形库（base graphics）可以在做图的时候嵌入图片，使用的是graphics::rasterImage：imgurl <- "http://phylopic.org/assets/images/submissions/295cd9f7-eef2-441e-ba7e-40c772ca7611.256.png" library(EBImage) x <- readImage(imgurl) plot(1, type = "n", xlab = "", ylab = "", xlim = c(0, 8), ylim = c(0, 8)) rasterImage(x, 2, 2, 6, 4) ...继续阅读 (18)

作者简介：侯澄钧，俄亥俄州立大学运筹学博士， 目前在美国从事财产事故险（Property & Casualty）领域的保险产品开发，涉及数据分析、统计建模和产品算法优化等方面的工作。只有想不到，没有保不了。这就是我对美国保险行业最深刻的认识。 大到地震，小到球票，加上平时开车，租房，看病，旅游，保险无时不刻的出现在了美国人生活工作的方方面面。 除了没有住所，没有工作，没有任何财产的流浪人员，每个美国人都不可避免得需要与保险打交道。 如果银行是厚重的少林，证券是玄妙的武当，那保险作为弟子遍布江湖的丐帮确实当之无愧。 下面我想从房屋火灾险，医疗责任险，自然灾害险，聊聊美国人是怎么开始玩保险，然后玩出各种花样，甚至玩坏的。 之后我会写写数据科学是如何应用于保险行业的，同时介绍一些常用的预测模型，只对这方面内容感兴趣的朋友可以直接跳过之前的内容。 ...继续阅读 (14)

作者简介：侯澄钧，俄亥俄州立大学运筹学博士，目前在美国从事财产事故险(Property & Casualty)领域的保险产品开发，涉及数据分析、统计建模和产品算法优化等方面的工作。只有想不到，没有保不了。这就是我对美国保险行业最深刻的认识。大到地震，小到球票，加上平时开车，租房，看病，旅游，保险无时不刻的出现在了美国人生活工作的方方面面。除了没有住所，没有工作，没有任何财产的流浪人员，每个美国人都不可避免得需要与保险打交道。如果银行是厚重的少林，证券是玄妙的武当，那保险作为弟子遍布江湖的丐帮确实当之无愧。下面我想从房屋火灾险，医疗责任险，自然灾害险，聊聊美国人是怎么开始玩保险，然后玩出各种花样，甚至玩坏的。之后我会写写数据科学是如何应用于保险行业的，同时介绍一些常用的预测模型，只对这方面内容感兴趣的朋友可以直接跳过之前的内容。房屋火灾险房屋火灾险简称火险，顾名思义，就是针对房子里以及房子本身由于火灾造成的损失而设立的保险产品。美国历史上大多数民居都是木质的（现在依然如此，在历史悠久一点的新英格兰地区随便买个二手房就能买到百年老房），一把大火可以让成片的居民倾家荡产。所以房屋火灾险是美国历史最悠久的险种之一，传说第一家专业火险公司是由美国历史上的“第一位自然人”本杰明-富兰克林创立的。而我目前工作的公司也是以火险起的家，现在还把林肯总统的房屋保险合同供在公司大堂里。1835年的纽约大 ...继续阅读 (5)

故事部分我错了, 我承认我是标题党, 怎么可能用十行代码完成全国三百个多个城市AQI的抓取, 清洗与可视化呢我仔细数了数, 去掉注释, 一共是9行, 凑个整才是10行 耶~空气质量指数（Air Quality Index，简称AQI）是定量描述空气质量状况的无量纲指数.关于空气质量的段子已经层出不穷， 连呆在上海的我都已经开始关注北京的天气了: ...继续阅读 (17)

故事部分我错了, 我承认我是标题党, 怎么可能用十行代码完成全国三百个多个城市AQI的抓取, 清洗与可视化呢我仔细数了数, 去掉注释, 一共是9行, 凑个整才是10行 耶~空气质量指数（Air Quality Index，简称AQI）是定量描述空气质量状况的无量纲指数.关于空气质量的段子已经层出不穷， 连呆在上海的我都已经开始关注北京的天气了:受朋友委托，大家帮个忙：北京人，女，26岁，未婚，1.68米，体重50公斤，英国海归。貌美，爱好健身。目前在一家世界500强做产品经理，工作稳定，年薪近90万。三环内有四套学区房，一套按揭，三套全款。 名下有一辆宝马7系，上班时开。父母均是国家领导干部。朋友和家人现在非常着急，想让介绍一个效果比较好的防霾口罩。正常不过三秒, [手动债见]咳咳, 回归正题, 代码之前, 先介绍下出场的一个新包, leafletCN.leafletCN是一个基于leaflet包做的大中华扩展, 优势在于有细分到县级市级别的区划数据, 虽然没那么准, 但是也基本能用了~开始写本文的时候, 这玩意连个文档都没有. 作者真懒. 诶诶诶, 但截止发稿, 作者好像写了点乱七八糟的文档. omg, 中间好像隔了两个月, 我和作者一样懒.AQI的数据来源于pm25.in, 网页上是一个html的表格, 可以简单的用XML的readHTMLtable来完成读取.好了, 以下是代 ...继续阅读 (14)

今天小编给大家介绍一款新的幻灯片神器：xaringan（中文名：幻灯忍者）。它基于大家都熟悉的 R Markdown 语法，幻灯片中能嵌入 R 代码动态生成输出结果 ...继续阅读 (16)

作者：边蓓蕾      审校：郎大为      编辑：彭晨昱今天小编给大家介绍一款新的幻灯片神器：xaringan（中文名：幻灯忍者）。它基于大家都熟悉的 R Markdown 语法，幻灯片中能嵌入 R 代码动态生成输出结果，最后生成的是 HTML5 幻灯片，可以在网页浏览器里打开阅览，我们一起来探个究竟吧。对了，官方教程在这里：https://slides.yihui.name/xaringan/zh-CN.html在此声明一下本文适宜读者群：R码农，熟悉markdown语法，懂点前端的你们。当然如果以上你都不太熟悉但又有着求知欲，希望本文将是你成为幻灯忍者的起点。 出发！首先，从 GitHub 上安装此包的开发版本（建议用 RStudio IDE），或者直接从 CRAN 安装也行。devtools::install_github("yihui/xaringan")下面会以一个进阶的过程给大家讲解。下忍篇请进行如下操作：点击菜单File -> New File -> R Markdown -> From Template -> Ninja Presentation (Simplified Chinese)创建一个新文档。点击 Knit 进行编译此时你会看见一个默认模版，改改就可以开张了！在此之前，你需要了解一些基本魔法：魔法一：Markdown基本语法用三个短横线来开始一页新的幻 ...继续阅读 (17)

本文作者陈丽云，落园园主。声明：本文与作者工作单位及工作内容无关，完全出于个人兴趣爱好。最近有条很火的新闻。美国大选刚刚落下帷幕，却余波不断。其中一条新闻就是，Google被指责利用搜索结果（假新闻）左右民意。可是事情到底是怎么回事呢？SAN, FRANCISCO/WASHINGTON – Google’s search engine is highlighting an inaccurate story claiming that President-elect Donald Trump won the popular vote in last week’s election, the latest example of bogus information spread by the internet’s gatekeepers.The incorrect results are shown in a two-day-old story posted on the pro-Trump “70 News” site. On Monday, a link to the site appeared at or near the top of Google’s influential rankings of relevant news stories for searches on th ...继续阅读 (10)

本文作者陈丽云，落园园主。声明：本文与作者工作单位及工作内容无关，完全出于个人兴趣爱好。最近有条很火的新闻。美国大选刚刚落下帷幕，却余波不断。其中一条新闻就是，Google被指责利用搜索结果（假新闻）左右民意。可是事情到底是怎么回事呢？SAN, FRANCISCO/WASHINGTON – Google’s search engine is highlighting an inaccurate story claiming that President-elect Donald Trump won the popular vote in last week’s election, the latest example of bogus information spread by the internet’s gatekeepers.The incorrect results are shown in a two-day-old story posted on the pro-Trump “70 News” site. On Monday, a link to the site appeared at or near the top of Google’s influential rankings of relevant news stories for searches on th ...继续阅读 (18)

作者简介：谢佳标乐逗游戏高级数据分析师，负责大数据挖掘及可视化。资深R语言用户，有九年以上数据挖掘工作实战经验，多次在中国R语言大会上作主题演讲。与张良均老师、杨坦老师合著的《R语言与数据挖掘》一书已在2016年7月出版，新书《R语言游戏数据分析》一书也即将于2017年初出版。随着游戏市场竞争的日趋激烈，在如何获得更大收益延长游戏周期的问题上，越来越多的手机游戏开发公司开始选择借助大数据，以便挖掘更多更细的用户群、了解用户习惯来进行精细化、个性化的运营。游戏行业对用户的深度挖掘一般从两方面着手：一方面是用户游戏行为的深度分析，如玩家在游戏中的点击事件行为挖掘，譬如说新手教程中的点击事件，我们一般选择最关心的点击事件（即关键路径）进行转化率的分析（统计每个关键路径的点击人数或次数），通过漏斗图的展现形式就可以直接看出每个关键路径的流失和转化情况。漏斗图适合于单路径转化问题，如果涉及到多路径（点击完一个按钮后有多个按钮同时提供选择）情况时，可以使用路径分析的方法，路径分析更加基础、更加全面、更加丰富、更能真实再现玩家在游戏中的行为轨迹。另一方面是对用户付费行为的深度挖掘。付费用户是直接给公司创造价值的核心用户群，通过研究这批用户的付费数据，把脉其付费特征，可以实现精准推送，有效付费转化率。 Part 1：路径分析总体来说，路径分析有以下一些典型的应用场景： 可以根据 ...继续阅读 (15)

作者简介：谢佳标乐逗游戏高级数据分析师，负责大数据挖掘及可视化。资深R语言用户，有九年以上数据挖掘工作实战经验，多次在中国R语言大会上作主题演讲。与张良均老师、杨坦老师合著的《R语言与数据挖掘》一书已在2016年7月出版，新书《R语言游戏数据分析》一书也即将于2017年初出版。随着游戏市场竞争的日趋激烈，在如何获得更大收益延长游戏周期的问题上，越来越多的手机游戏开发公司开始选择借助大数据，以便挖掘更多更细的用户群、了解用户习惯来进行精细化、个性化的运营。游戏行业对用户的深度挖掘一般从两方面着手：一方面是用户游戏行为的深度分析，如玩家在游戏中的点击事件行为挖掘，譬如说新手教程中的点击事件，我们一般选择最关心的点击事件（即关键路径）进行转化率的分析（统计每个关键路径的点击人数或次数），通过漏斗图的展现形式就可以直接看出每个关键路径的流失和转化情况。漏斗图适合于单路径转化问题，如果涉及到多路径（点击完一个按钮后有多个按钮同时提供选择）情况时，可以使用路径分析的方法，路径分析更加基础、更加全面、更加丰富、更能真实再现玩家在游戏中的行为轨迹。另一方面是对用户付费行为的深度挖掘。付费用户是直接给公司创造价值的核心用户群，通过研究这批用户的付费数据，把脉其付费特征，可以实现精准推送，有效付费转化率。 Part 1：路径分析总体来说，路径分析有以下一些典型的应用场景： 可以根据不同的应用场景选择不 ...继续阅读 (5)

【COS编辑者按】受访者：寇强      采访者：王小宁     审稿：成慧敏寇强    （微博：http://weibo.com/thirdwing），Rcpp 核心团队成员。本科就读于中山大学，现为印第安纳大学博士在读。小宁：师兄，请先做一个简单的自我介绍。寇强：我本科是在中山大学就读的，因为本来我是读生物的，后来改去读统计，所以在中大呆了5年。现在我在美国的印第安纳大学读博，做的是一个很小众的方向，就是串联质谱的算法和软件开发。国内中科院计算所贺思敏老师的组也在做这个，其他的组我就不太了解了。小宁：你最早是学生物的，为啥后来改学统计了呢？寇强：因为学生物学不下去了。2010年暑假，我在上海中科院植生所（http://www.sippe.ac.cn/）呆了两个月，当时是带着体验生活的态度去的，想提前体验一下读生物研究生的生活会怎么样。体验完之后，我就发现我再也不想读生物了。大三是我大学生活最混乱、很难形容的一个阶段。大二的时候我在学校一直在尝试组一支iGEM（http://igem.org/）队伍去MIT比赛，不过当时似乎搞得太高调了。后来等大三我从植生所回到学校之后，我就完全不想碰和生物相关的事情了。但我觉得iGEM这事不能这么黄了，整个状态就非常混乱。就在这个时候，我认识了王学钦老师。王老师是做生统的，当初他在中大搞了些活动，于是就认识他了，王老师是我本科时代最大的贵人之一 ...继续阅读 (16)

译者简介: Harry Zhu, R语言爱好者, FinanceR 专栏作者 概述 最近，在研究投资组合优化的问题，主要针对的是股票持仓的组合优化，会在这个分析过程中发现一些有意思的 ...继续阅读 (17)

译者简介:Harry Zhu, R语言爱好者, FinanceR 专栏作者概述最近，在研究投资组合优化的问题，主要针对的是股票持仓的组合优化，会在这个分析过程中发现一些有意思的现象，并一步一步优化、检验相应的风控模型。本文将有四个部分分别阐述具体步骤。第一部分（原文）将解释什么是杠铃策略，并初步建立风控模型，比较持仓策略和风险收益的关系。第二部分（原文）将解释什么是无风险利率假定，讨论多项式拟合的情形。第三部分（原文）将解释如何通过放松约束最优化求解过程以避免非凹的情形，并做实例演示。第四部分（原文）会对比大盘策略、等权策略以及之前的优化策略之间的优劣。请注意,本文并非投资建议。本文数据是基于之前观察到的收益来模拟得来，和历史上的数据并非完全一致。本文提到的技术对了解如何更好地配置投资组合有帮助，但其不应该用作唯一的投资决策，如果需要寻找投资建议，应该转向合格的专业机构进行咨询。第一部分数字特征计算观察三种政府ETF债券(TLT、IEF、SHY)调整后的股息收益率,可以看到中期债券(IEF)风险收益情况比长期债券(TLT)更好。下面是以表格形式显示的结果。在本文中,将对结果进行重新分析和可视化展示：首先，用如下函数来获取ETF的收益序列：pacman::p_load(fImport,   PerformanceAnalytics,   stringb,   tidyverse ...继续阅读 (14)

译者简介:Harry Zhu, R语言爱好者, FinanceR 专栏作者概述最近，在研究投资组合优化的问题，主要针对的是股票持仓的组合优化，会在这个分析过程中发现一些有意思的现象，并一步一步优化、检验相应的风控模型。本文将有四个部分分别阐述具体步骤。第一部分（原文）将解释什么是杠铃策略，并初步建立风控模型，比较持仓策略和风险收益的关系。第二部分（原文）将解释什么是无风险利率假定，讨论多项式拟合的情形。第三部分（原文）将解释如何通过放松约束最优化求解过程以避免非凹的情形，并做实例演示。第四部分（原文）会对比大盘策略、等权策略以及之前的优化策略之间的优劣。请注意,本文并非投资建议。本文数据是基于之前观察到的收益来模拟得来，和历史上的数据并非完全一致。本文提到的技术对了解如何更好地配置投资组合有帮助，但其不应该用作唯一的投资决策，如果需要寻找投资建议，应该转向合格的专业机构进行咨询。第一部分数字特征计算观察三种政府ETF债券(TLT、IEF、SHY)调整后的股息收益率,可以看到中期债券(IEF)风险收益情况比长期债券(TLT)更好。下面是以表格形式显示的结果。在本文中,将对结果进行重新分析和可视化展示：首先，用如下函数来获取ETF的收益序列：pacman::p_load(fImport,   PerformanceAnalytics,   stringb,   tidyverse ...继续阅读 (10)