好功夫是没有用的，感情这种事啊，功夫再好也是挡不住的。《中南海保镖》天下风云出我辈，一入江湖岁月催。《东方不败》我代表党，代表人民宣判你的死刑。《党的女儿》梦想始于剧本，而终结于电影。——乔治·卢卡斯豆瓣电影已经累计大量的电影资料，通过获取其中一些简单的信息，可以大致了解中国电影的状况。当你回顾中国电影百年历史时，蓦然发现，将中国电影推向世界以及支撑中国电影发展的是港台电影，再进一步地说是香港电影。1. 数据来源根据豆瓣电影的标签，获取包含标签为“中国电影”、“台湾电影”、“香港电影”、“大陆电影”、“国产电影”的电影，注意的是，获取的数据不一定完全是中国电影，也有可能是电视剧和国外电影，所以经过去重复、电视剧和国外电影排除，这样得到10855部电影的数据，但仍然不能保证数据是完全纯正的，个别电影可能不是我们需要，这类异常数据排除非常困难，好在不会影响分析结果。获取的数据信息包含：movieid：豆瓣电影IDtitle：电影名称director：导演writer：编剧cast：主要演员pubdate & year：上映日期及拍摄年代country：发行国家或地区language：发行语言duration：电影时长（分钟）episodes：电视剧的剧集数type：电影类型score：豆瓣电影评分collect_count：豆瓣记录的观看人数summary：电影简介tags：常用标签 ...继续阅读 (15)

书籍页数统计对collect_df中的时间、页数进行处理，并按月计算页数之和，注意有些书籍没有页数信息，无法计算在内，以缺失值NA处理，使用ggplot2绘制树状图如下：01pages<-as.integer(gsub('[页 ]','',collect_df$pages))02pg_df<-data.frame(collect_df$title,pages,03month=substr(collect_df$reading_date,1,7),04year=substr(collect_df$reading_date,1,4))05pg_s<-tapply(pg_df$pages,pg_df$month,sum,na.rm=T)06pg_sdf<-data.frame(pages=pg_s[],month=names(pg_s),year=substr(names(pg_s),1,4))0708ggplot(pg_sdf, aes(x=month, fill=year,colour=pages))+09geom_bar(stat="identity", ymin=0, aes(y=pages, ymax=pages),position="dodge")+10geom_text(aes(x=month, y=pages, ymax=pages,11label=pages,hjust ...继续阅读 (24)

许多阅读过的书籍早已抛掷九霄云外了，毫无印象。后来在豆瓣上断断续续做了些记录，直至2012年后半年开始做不间断的记录。即使记录书名，也可以帮助自己回忆阅读内容，建立不同书籍之间的关系，进而形成系统化的知识。久而久之，理解能力和思考能力都能得到非常大的提高，进入一个全新的领域的学习曲线也会越来越短。正所谓，阅读越多，越感觉知之甚少，促使自己多读书多思考，使自己不懈怠。为了梳理阅读过的书籍，使用可视化的方法更直观，在这里做一些简单的尝试。记录的东西越多，帮助越大，可分析的内容也就越多。数据获取对数据可视化的第一步当然是获取原始数据，然后才能做数据结构化、数据分析、可视化等一系列的工作。为此，编写了一个简单的获取豆瓣数据的 R 包：Rdouban，仍然在逐步完善中。其中user_book_status函数是根据豆瓣用户的昵称获取自己的读书列表、标签、评论、读书笔记等信息。后面所使用的数据主要基于此函数获取的。比如获取本人的读书信息如下：qxde<-user_book_status(userid='qxde01',verbose=TRUE)返回的结果：collect_tags:data.frame,已读书籍的标签collect_df:data.frame,已读书籍的信息do_tags:data.frame,在读书籍的标签do_df:data.frame,在读书籍的信息wish_tags:d ...继续阅读 (15)

下面是舆情分析领域的几个基础术语的定义，也可认为是研究方向，也为文本挖掘的任务和文献查找提供了思路。舆情：通常是指较多群众关于现实社会及社会中各种现象、问题所表达的信念、态度、意见和情绪表现的总和;简而言之就是社会舆论和民情。一个严格定义是：舆情是指在一定的社会空间内，围绕中介性社会事项的发生、发展和变化，作为主体的民众对作为客体的国家管理者产生和持有的社会态度。舆情主要指民众对社会各种具体事物的情绪、意见、价值判断和愿望等。事件(Event )：在特定时间、特定地点发生的事情。主题(Topic)：也称为话题，指一个种子事件或活动以及与它直接相关的事件和活动。专题(Subject)：涵盖多个类似的具体事件或根本不涉及任何具体事件。需要说明的是，国内新闻网站新浪、搜狐等所定义的“专题”概念大多数等同于我们的“主题”概念。热点：也可称为热点主题。热点和主题的概念比较接近，但有所区别。其主要特点如下：通常是一个主题，包含种子事件及相关报道；和时间相关，通常指某段时间内的热点，例如当天热点、一周内热点；和主题某段时间内的文档数量相关；热点可以分为绝对热点和相对热点。其中，绝对热点为在某段时间内文档数量超过某个固定阈值的主题；相对热点为按照某种排序方式排名靠前的若干个主题。主题检测任务：从信息流中自动检测出最新的主题，并将报道及时地按照主题组织起来，是主题检测和追踪(Topic Detect ...继续阅读 (38)

RTextTools是一个关于文本分类的工具包，汇集了9种算法：BAGGING(ipred:bagging)：bagging集成分类BOOSTING (caTools:LogitBoost)：Logit Boosting 集成分类GLMNET(glmnet:glmnet)：基于最大似然的广义线性回归MAXENT(maxent:maxent)：最大熵模型NNET(nnet:nnet) ：神经网络RF(randomForest:randomForest)：随机森林SLDA(ipred:slda)：scaled 线性判别分析SVM(e1071:svm) ：支持向量机TREE (tree:tree)：递归分类树RTextTools提供非常简单的接口和清晰的流程使用这些算法创建一个文本分类模型。下面使用电视剧《龙门镖局》在豆瓣上的324篇长篇影评数据为例，介绍RTextTools的使用方法。使用Rdouban可以非常方便的获取到豆瓣影评数据，使用Rwordseg分词，分类标签为用户评分。324篇影评中，一星11篇，二星 27篇，三星 97篇，四星123篇，五星 66篇，豆瓣综合评分7.4（截止2013-09-09）。本文主要参考RTextTools作者的《RTextTools: A Supervised Learning Package for Text Classification》一文。 ...继续阅读 (92)

《社交网站的数据挖掘与分析》(《Mining the Social Web》)是一本非常优秀的关于社交网络分析和文本挖掘的书籍，全书没有说教，没有数学公式，有的是如何把一个想法变成代码及可视化式呈现，不仅提供了分析思路，而且还可以扩展，当然，对于如何扩展取决于你的洞察力。全书代码使用Python实现，集成了众多开源工具，在github的代码库已经获得了889个赞(2013-09-27)。书中使用了wordpress的一个可视化插件WP-Cumulus，该插件使用javascript和flash生成具有3D效果的标签云图。作者给出了一个de/wp_cumulus" rel="nofollow" style="line-height: 23px;" target="_blank">生成模板，使用JSON格式的数据进行简单的替换即可。我们可以使用R包RJSONIO将其封装成一个简单易用的R包Rtagscloud，仅包含一个函数：tagscloud(tag,url=NULL,freq,fontSize=c(1,5),filename="tagscloud",color='#00ff00',speed=50,width=600,height=600)参数说明：tag,url，freq：分别是标签词汇及其对应的网址和频率，如果没有网址可将url设置为NULL，也是默认值；fontSize=c( ...继续阅读 (26)

创建自然语言的主题模型（topic model）目前比较著名的是LDA（Latent Dirichlet allocation），在R语言中，有两个包（package）提供了LDA模型：lda和topicmodels。lda提供了基于Gibbs采样的经典LDA、MMSB（the mixed-membership stochastic blockmodel )、RTM（Relational Topic Model）和基于VEM（variational expectation-maximization）的sLDA(supervised LDA)、RTM.。topicmodels基于包tm，提供LDA_VEM、LDA_Gibbs、CTM_VEM（correlated topics model）三种模型。另外包textir也提供了其他类型的主题模型。关于主题模型和LDA的原理网络上有大把的文章和论文，本文仅限于topicmodels包的使用和LDA建模的一些讨论。文本数据的获取与分词本文使用的数据为电影《云图》在豆瓣上的长篇评论文章，目前有两千多篇影评，只获取500篇（多了破电脑处理不了），然后使用Rwordseg进行分词。在网络上找到一些停止词词汇、情感的正面和负面词汇，在分词后，过滤掉停止词，分别提取了正面词汇和负面词汇。豆瓣影评的获取方法参见前一篇博文。《云图》在豆瓣的总评分为8.0 ...继续阅读 (631)

在阅读文献时，对图像纹理的定义至少见过以下八种表述：纹理可以被认为是由肉眼可见的区域组成。纹理结构的简单特征是有重复图案的组成，在这些图案中的图元按一定的布局规则排列。如果图像的一组局部统计特征或者其他特征是不变的，变化缓慢的或者近似周期的，那么就认为图像区域含有不变的纹理。纹理是一种反映图像中一块区域的像素灰度级的空间分布属性，这种空间结构的固有属性可以通过邻域像素间的相关性刻画。纹理具有以下三个基本属性:某种局部模式在一个区域内不断地重复出现;模式的排列具有非随机性;区域内的分布大致均匀。纹理考察的对象是宏观区域中的图像,指的是图像中重复出现的基本模式以及它们的排列规则。纹理由许多具有相同结构和特性的微小区域所组成,这些微小区域可以认为是由像素灰度值在图像空间中以一定的规律变化而产生的一种模式。如果图像内某块区域的局部统计特征是一致的、变化缓慢的或者呈现近似周期性变化的规律,则该区域可以称为纹理。纹理反映了人类视觉系统在不同距离、角度和尺度下对同一或不同景物的一种感知;这种感知在任何距离下呈现一定的规律性;纹理就是这种规律性的集中体现。各种表述大同小异，个人认为第四种表述最为清晰，明确指出了图像纹理的三个特点。 ...继续阅读 (19)

Python在科学计算领域，有两个重要的扩展模块：Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括：一个强大的N维数组对象Array；比较成熟的（广播）函数库；用于整合C/C++和Fortran代码的工具包；实用的线性代数、傅里叶变换和随机数生成函数。SciPy是一个开源的Python算法库和数学工具包，SciPy包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。其功能与软件MATLAB、Scilab和GNU Octave类似。Numpy和Scipy常常结合着使用，Python大多数机器学习库都依赖于这两个模块，绘图和可视化依赖于matplotlib模块，matplotlib的风格与matlab类似。Python机器学习库非常多，而且大多数开源，主要有：1.scikit-learnscikit-learn是一个基于SciPy和Numpy的开源机器学习模块，包括分类、回归、聚类系列算法，主要算法有SVM、逻辑回归、朴素贝叶斯、Kmeans、DBSCAN等，目前由INRI资助，偶尔Google也资助一点。项目主页：https://pypi.python.org/pypi/scikit-learn/http://scikit-learn.org/https://github. ...继续阅读 (29)

注：本文完成于2012-10-23，一直在草稿箱里，今天（2013-06-13）发出 ，代码不知是否还能运行。现在社交网络分析非常热火，本人也有极大的兴趣，就以人人网为例，学习社交网络分析的过程。首先是数据获取问题，关于人人网的数据获取可以参考这里的R程序：包括登录、好友获取、好友状态及网络图绘制等。本文主要引用了其中的登录程序。获取好友数据主要有四个函数：renren_login登录函数renren_detail获取好友信息函数（只支持部分好友）renren_friend获取用户的所有好友的IDfriend_detail调用renren_detail，批量获取好友信息详细代码如下：renren_login=function(name="****",pwd="******"){##登录函数library(RCurl)memory.limit(4000)myH=c("User-Agent"="Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12","Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8","Accept-Language"="zh-cn,zh;q=0. ...继续阅读 (22)

有一天突然想到一个问题：领导人的脸都有哪些特征？与普通人有什么不同之处?领导人之间的脸有多大的相似度?其他人的脸可以由领导人的脸的特征组合吗？然后进行了一番求索，本文主要用R语言分析，用到的包(package)有RCurl、XML、jpeg、EBImage、fastICA、spams、ttutils。声明：本文纯属娱乐和技术学习，没有任何实际意义和有价值的结论。1.数据获取本文用到的领导人都来自中国政府网和中国政协网，不看比不知道，一看才知道，在现任领导人中，国家级领导人有57位。将图片抓取之后，统一转化为96×128的小图像，然后用OpenCV的harr级联分类器CascadeClassifier（使用方法见前文）把人脸提取出来，人脸大小为48×48。另外从网络上选取25张脸作为测试，有些人图片到处都是，但没有一幅严肃的正脸，比如苍老师。2. 平均脸首先计算一下这57位领导人的平均脸，顺便算一下中值、四分之一分位数、四分之三分位数、标准差、中值绝对偏差（MAD）是什么样子。如下图，分别是1/4分位数、平均、中值、3/4分位数、标准差、MAD，从发型看，中值脸比平均脸稍暗，最后的两幅鬼脸纯粹为了好玩。计算一下各位领导人和平均脸、中值脸的均方误差和余玄相似度，分布是下图的样子，越靠近左下角，差异越小，具体就不表了。难道这个也遵循中庸之道，既不能太近，也不能太远？3. SVD重建使用S ...继续阅读 (28)

《黑客与画家》是一本非常浅显易懂的书，是Paul Graham的文集，很多浅显想当然的“道理”，其实并非如此，我们经常被经验和教科书误导。如果PG的思维方式也有什么特别之处的话，那就是善于思考、怀疑精神、多问为什么。这本书没有一句多余的话，很多语句和表达方式非常经典，摘抄一部分如下：关于工作、创业和财富你必须时刻牢记的最基本的原则就是,创造人们需要的东西,也就是创造财富。只要懂得藏富于民,国家就会变得强大。让书呆子保住他们的血汗钱,你就会无敌于天下。创业公司将你所有的压力压缩到三四年。承受较大的压力通常会为你带来额外的报酬。工作就是在一个组织中,与许多人共同合作,做出某种人们需要的东西。如果你有一个令你感到安全的工作,你是不会致富的。与笨蛋辩论，你也会变成笨蛋。自由思考比畅所欲言更重要。一个人的工作具有多少价值不是由政府决定的，而是由市场决定的。技术在加大收入差距的同时，缩小了大部分的其他差距。数学家Norbert Wiener说，如果你与奴隶比赛，你也会变成一个奴隶。关于设计好设计是简单的设计好设计是永不过时的设计好设计是解决主要问题的设计好设计是启发性的设计好设计通常是有点趣味性的设计好设计是艰苦的设计好设计是看似容易的设计好设计是对称的设计（包括重复性对称和递归性对称）好设计是模仿大自然的设计好设计是一种再设计好设计是能够复制的设计好设计常常是奇特的设计好设计常常是奇特的设计 ...继续阅读 (18)

Girvan–Newman 算法社会网络分析中的分层划分（Hierarchical Clustering，层次聚类）中的分裂法的做法是找出相互关联最弱的节点并删除它们之间的边，通过这样的反复操作将网络划分为越来越小的组件，也可以在任何时刻终止这个过程并将当时的结果作为社区结构，同样也可以用系统树描述这个将网络划分为越来越小的团队的过程。Grivan-Newman(GN)算法有些类似，GN算法是基于edgebetweenness的算法。边介(edgebetweenness)被Newman定义为通过该边的节点之间的最短路径的条数，并且不同社区之间的边的介数(betweenness,betweenness centrality的简称??)值较高。该方法是通过不断地寻找并删除边介值最高的边来得到社会网络中的社区结构的，称此算法为 GN 算法，其步骤为：Step1：计算网络中每条边的 betweenness;Step2：删除 betweenness 值最高的边；Step3：重新计算所有边的 betweenness;Step4：重复 Step2- Step4 直到所有的边都被删除。可以将 GN 算法看作是一种分裂法，不过与一般分裂法不同的是，GN 算法不是寻找关联最弱的节点对然后删除它们之间的边，而是寻找最“between”的边并删除它。通常一条边的删除会很大程度上影响到许多其它边的 betw ...继续阅读 (371)

社群或社区是这样一种组结构，社群内的边密度要高于社群间边密度。即社群内部的节点之间的连接相对紧密，各社群之间的连接相对来说比较稀疏。在社会网络分析中，社区经常被看作是一些凝聚子结构，如派系、群、组、块等。社群主要分为重叠社群图和划分社群图两类，其中后者是把网络中社区结构的发现看作是对整个网络的划分，目前已经有不少成熟的算法实现。社群发现的过程实际上是一个节点群组过程，许多方法都离不开聚类方法。随机漫步（Random Walk）随机漫步是一种数学统计模型，它是一连串的轨迹所组成，其中每一次都是随机的，它能用来表示不规则的变动形式，通常假设随机漫步是以马尔可夫链或马可夫过程的形式出现的。随机漫步社群发现的思想是假设一漫步者在一个社区（图）里随机游走，漫步者可能被困在连接稠密的区域里（想象一下初次进入一个道路错综复杂的街区），漫步者很容易被“困”（trapped）在里面，这个稠密区域就是漫步者发现的社群。根据图的属性，定义节点和社群之间的结构相似度进行度量漫步者的“行为”，这种相似度是一种可计算的、高效的距离相似度，这样就可以利用合并层次聚类方法建立社区的层次结构，也就是社区结构。可以利用从i点走向（连接，边）j点的概率定义距离相似度（概率距离），若i和j在同一社群里，概率相对比较高。这种算法最坏情况下的计算复杂度为O(mn^2)，m为图的边，n为图的节点。在R:package:igra ...继续阅读 (61)

一般情况下，社会网络分析主要用来分析和识别一个社会群体中的关键角色，可以通过节点的中心度指标(nodal centrality)来识别这些角色。中间度指标可以表示一个节点在这个网络中的位置和重要性，可以简单理解为一个节点在网络中是否占有一个核心的位置。连接中心度（degree centrality）：一个节点的邻居数，一个具有高连接中心度的节点有可能是重要的点，因为它可以影响很多节点或者被很多节点所影响。在有向网络图中，还有另外的两个中心度：入度（indegree）和出度（outdegree），入度是指向该节点的节点数量，而出度是该节点指向其他节点的节点数量。这一进一出表示双方合作关系比较良好，当入度和出度的密度比较大时，这已经形成了一个群体。近距中心度（closeness centrality）：一个节点和其他节点之间的距离，一个具有高近距中心度的节点有可能是重要的点，因为它距离其它节点都很近，所以它可能很快的影响其它节点或者很快的被其它节点所影响。在一个网络上，每两个节点至少都有一条连接此两点的最短路径。参与中心度（betweenness centrality）：量化一个节点出现在所有最短路径的次数，一个具有高近距中心度的节点有可能是重要的点，因为从一个节点到另一个节点都要经过它作为桥梁，在生物网络中，中间度高的节点通常扮演着重要的角色。特征中心度（Eigenvector ce ...继续阅读 (39)

吾读新闻，常看后附之评论，然常感言之无物，虽想一探究竟。然因余之技术粗鄙，不知动态网页之原理，余不能获之。经探测，3g网页数据可读之，窃喜。虽获获新浪之《中方反对美渉华军力报告》（2012-5-20 02:25发布）评论526则、网易之《中方反对美散布“中国威胁论”》（2012-5-20 07:54发布）评论457则。新浪之用户为手机用户与非手机用户，手机读新闻之黔首过半矣；网易用户之地域可观之，如粤（83）、浙（42）、苏（38）、京（33）、沪（30）等，一域网络阅新闻之黔首数量与经济正相关。虽网易发布晚于新浪近5小时，然用户之高峰却同也。闲言少许，有图为证：其内容可见黔首如何之义愤填膺、如何之怒不可遏、如何之言词凿凿等等不一而足，看官可观之。虽二者主流意识是一致的，但新浪用户的词语比网易的更为集中，而网易用户词语较为分散，其评论不尽限于此新闻，有所延伸，然亦有发泄者、广告者等江湖人物，可谓鱼龙混杂。附录：网易数据获取library(RCurl)# http://3g.163.com/ntes/12/0520/07/81UCOED600963VRO.htmlmyH <- c(Host ="http://3g.163.com", `User-Agent` ="Mozilla/5.0 (Windows NT 5.1; rv:2.0.1) Gecko/20100101 Firefox ...继续阅读 (22)

最近开始接触OpenCV(Open Source Computer Vision Library)，OpenCV对于图像处理已经十分强大，对于一些常见的应用仅用短短几行代码即可实现。官方释放的Python语言接口有两个cv2.cv和cv2，cv2加载的图像数据类型是Numpy类型，可以直接用Numpy处理，而cv2.cv的数据类型是OpenCV类型的。第三方的pyopencv也不错。使用cv2.cv对人脸识别的代码如下，使用的是已经训练好的二分类模型(haarcascade_frontalface_alt为人脸分类模型，haarcascade_eyes为人眼分类模型)，利用haar级联分类器(HaarDetectObjects)进行预测，函数HaarDetectObjects 使用针对某目标物体训练的级联分类器在图像中找到包含目标物体的矩形区域，并且将这些区域作为一序列的矩形框返回。函数以不同比例大小的扫描窗口对图像进行几次搜索；影响效果的主要有两个参数：scale_factor和min_neighbors。scale_factor：在前后两次相继的扫描中，搜索窗口的比例系数。例如1.1指将搜索窗口依次扩大10%。min_neighbors：构成检测目标的相邻矩形的最小个数在前后两次相继的扫描中，搜索窗口的比例系数。importcv2.cv as cvimage = cv.Load ...继续阅读 (21)

——读《数据分析竞争法》和《超级数字天才》在介绍数据分析理念上，《数据分析竞争法》和《超级数字天才》是相辅相成的，前者的作者是两位管理学家（战略与方向），所以从企业的战略、策略、组织、人力、流程等方面分析如何使用数据分析的方法打造一个有竞争力的企业—差异化的竞争力，适合高阶管理人员阅读，管理人员掌托着企业的方向和明了企业的核心竞争力；后者的作者是一位计量经济学家、律师（量化和证据），强调利用数据分析的方法做决策比靠直觉、经验更加可靠、准确，案例的介绍比前者更为细致，数据决策的时代俨然已经来临。但是二者均没有介绍数据分析实现的技术问题。二者在书中都列举了数据分析在各行各业应用的案例，同样《数据分析竞争法》强调策略、流程和组织层面，在P8列举了各行各业应用数据分析非常成功的几家龙头企业；而《超级数字天才》利用争议、试验的过程强调数据决策的优越性，它所提到的企业也分散在各个章节里，稍后会在下面列举出一部分企业名单。从这两本书所列举的案例中可以看出，数据分析真的是无所不在、无所不能，感叹美国佬玩数据的能力、方法，尤其是思维方式上属于死理性派，值得我们学习和思考。令我震撼的是好莱坞的电影剧本也可以利用数据分析的方法进行优化，以增加票房收入，好奇的是他们是如何利用变量衡量一个剧本，以便能够使用数学模型。《超级数字天才》里的两个故事：Orley Ashenfelter与品酒师的对决：这是个利益问 ...继续阅读 (23)

RAnalyticFlow是一个由日本人基于R开发的通过绘制流程图分析数据的软件，界面非常简洁，企图实现类似于SAS EMiner或RapidMiner的流程图分析模式。RAnalyticFlow的设置是放置R代码，只有在写出函数时，会自动显示参数设置，实际上使用R，代码才是王道。本文简单介绍如何使用RAnalyticFlow实现ARIMA预测。ARIMA(Autoregressive Integrated Moving Average Model)在R中的arima函数参数很多，主要是Order（p，d，q）：p为自回归AR参数，d为差分阶数，q为MA移动平均周期，其他详见帮助文档。使用数据为万科A开盘价（2009/08/03----2010/09/17），参数为order（5,2,10），如果使用此方法买股票的脑子不是有问题就是被驴踢了，为什么，你懂的！！！！！！！！RAnalyticFlow界面和R控制台实现ARIMA预测的RAnalyticFlow节点：7个简单节点和2个复杂节点（两个方块）简单节点（Simple Node）代码设置：只能添加一行代码复杂节点（Complex Node）代码设置：可设置多行代码九个节点的代码分别为从左至右，从上至下：1.wanke <- read.table("D:/data/wanke.csv", header = TRUE, sep = ...继续阅读 (246)

byTom Khabaza原文在此：1,2,3。[译文]（下半部分）：第五，模式律（大卫律）：数据中总含有模式。这条规律最早由David Watkins提出。我们可能预料到一些数据挖掘项目会失败，因为解决业务问题的模式并不存在于数据中，但是这与数据挖掘者的实践经验并不相关。前文的阐述已经提到，这是因为：在一个与业务相关的数据集中总会发现一些有趣的东西，以至于即使一些期望的模式不能被发现，但其他的一些有用的东西可能会被发现（这与数据挖掘者的实践经验是相关的）；除非业务专家期望的模式存在，否则数据挖掘项目不会进行，这不应感到奇怪，因为业务专家通常是对的。然而，Watkins提出一个更简单更直接的观点：“数据中总含有模式。”这与数据挖掘者的经验比前面的阐述更一致。这个观点后来经过Watkins修正，基于客户关系的数据挖掘项目，总是存在着这样的模式即客户未来的行为总是和先前的行为相关，显然这些模式是有利可图的（Watkins的客户关系管理定律）。但是，数据挖掘者的经验不仅仅局限于客户关系管理问题，任何数据挖掘问题都会存在模式（Watkins的通用律）。Watkins的通用律解释如下：数据挖掘项目的业务目标定义了兴趣范围（定义域），数据挖掘目标反映了这一点；与业务目标相关的数据及其相应的数据挖掘目标是在这个定义域上的数据挖掘过程产生的；这些过程受规则限制，而这些过程产生的数据反映了这些规则； ...继续阅读 (19)

byTom Khabaza鄙人是从一个大牛的博客发现这篇文章的，博主用简洁的语言对这篇文章进行了提炼，小可用原文练习一下英语（在下英语实在很差），许多地方的翻译参考了博主的这篇文章，特此感谢！原文在此：1,2,3。[译文]（上半部分）：本文在2010年第一季度出版“数据挖掘之九定律”时创作，它解释了数据挖掘过程中隐藏的原因。如果您喜欢简洁，请看我的微博：twitter.com/tomkhabaza。如果您是LinkedIn的一员，请看CRISP-DM讨论组的一个子组“数据挖掘之九定律”的讨论论坛。这九条定律以俳句的形式在这里给出。数据挖掘是利用业务知识从数据中发现和解释知识（或称为模式）的过程，这种知识是以自然或者人工形式创造的新知识。当前的数据挖掘形式，是在20世纪90年代实践领域诞生的，是在集成数据挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于实践而非理论，在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP-DM，逐渐成为数据挖掘过程的一种标准化过程，被越来越多的数据挖掘实践者成功运用和遵循。虽然CRISP-DM能够指导如何实施数据挖掘，但是它不能解释数据挖掘是什么或者为什么适合这样做。在本文中我将阐述我提出数据挖掘的九种准则或“定律”（其中大多数为实践者所熟知）以及另外其它一些熟知的解释。开始从理论上（不仅仅是描述上）来解释数据挖掘过程 ...继续阅读 (18)