加载数据集这里我使用pandas来加载数据集，数据集采用kaggle的titanic的数据集，下载train.csv。importpandasaspddf=pd.read_csv('train.csv')df=df.fillna(0)#将缺失值都替换为0df.head()PassengerIdSurvivedPclassNameSexAgeSibSpParchTicketFareCabinEmbarked0103Braund, Mr. Owen Harrismale2210A/5 211717.25000S1211Cumings, Mrs. John Bradley (Florence Briggs Th...female3810PC 1759971.2833C85C2313Heikkinen, Miss. Lainafemale2600STON/O2. 31012827.92500S3411Futrelle, Mrs. Jacques Heath (Lily May Peel)female351011380353.1000C123S4503Allen, Mr. William Henrymale35003734508.05000S5 rows × 12 columnslen(df)891可以看到训练集中共有891条记录，有12个列（其中一列Survived是目标分类）。将数据集分 ...继续阅读 (51)

分类Orange的很大一部分是关于机器学习的分类方法或者说监督式数据挖掘。这些方法依赖于带有类别标签实例的数据，类似于议会选举的数据。这是加载这个数据集的代码，显示第一个数据实例，并且显示它的预测类（共和党）：data=Orange.data.Table("voting")data[0]['n','y','n','y','y','y','n','n','n','y','?','y','y','y','n','y','republican']data[0].get_class()学习器（Learners）和 分类器（Classifiers）分类使用两个对象：学习器和分类器。学习器评估分类标签数据，并返回一个分类器。给定一个数据实例（一个特征向量），分类器返回一个预测的类别:importOrangedata=Orange.data.Table("voting")learner=Orange.classification.bayes.NaiveLearner()classifier=learner(data)classifier(data[0])上面，我们读取数据，构建了一个[朴素贝叶斯学习器]，给它这个数据集并构建了一个分类器，并用它预测了第一个数据的类别。我们在接下来的代码也采用同样的思路，来预测数据集中前5个实例的类别：classifier=Orange.classificatio ...继续阅读 (27)

分类Orange的很大一部分是关于机器学习的分类方法或者说监督式数据挖掘。这些方法依赖于带有类别标签实例的数据，类似于议会选举的数据。这是加载这个数据集的代码，显示第一个数据实例，并且显示它的预测类（共和党）：data=Orange.data.Table("voting")data[0]['n','y','n','y','y','y','n','n','n','y','?','y','y','y','n','y','republican']data[0].get_class()<orange.Value'party'='republican'>学习器（Learners）和 分类器（Classifiers）分类使用两个对象：学习器和分类器。学习器评估分类标签数据，并返回一个分类器。给定一个数据实例（一个特征向量），分类器返回一个预测的类别:importOrangedata=Orange.data.Table("voting")learner=Orange.classification.bayes.NaiveLearner()classifier=learner(data)classifier(data[0])<orange.Value'party'='republican'>上面，我们读取数据，构建了一个[朴素贝叶斯学习器]，给它这个数据集并构建了一个分类器， ...继续阅读 (1)

如果你想要查看logging事件不要忘记设置。importlogginglogging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)相似性接口在前面语料与向量空间的教程及主题和转换的教程中，我们涵盖了什么是在向量空间中创建一个语料库以及如何在不同的向量空间间转换。绕这样一个圈子的原因是我们想要判断一堆文档的相似性，或者特定文档与一组其他文档的相似性（比如用户查询 vs. 索引文档）。为了展示gensim如何做到这一点，让我们看一下前面例子中语料（最初来自Deerwester等的“Indexing by Latent Semantic Analysis” seminal 1990 article）:fromgensimimportcorpora,models,similaritiesdictionary=corpora.Dictionary.load('/tmp/deerwester.dict')corpus=corpora.MmCorpus('/tmp/deerwester.mm')# 来自一篇教程“从字符到向量”printcorpusMmCorpus(9documents,12features,28non-zeroentries)遵循Deerwester的例子，我们首先 ...继续阅读 (41)

如果你想要查看logging事件不要忘记设置。importlogginglogging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)转化接口在前面的语料和向量空间的教程中，我们创建了一个文档语料，用向量流来表征。接下来，让我们发动 gensim使用那些语料：fromgensimimportcorpora,models,similaritiesdictionary=corpora.Dictionary.load('/tmp/deerwester.dict')corpus=corpora.MmCorpus('/tmp/deerwester.mm')printcorpusMmCorpus(9documents,12features,28non-zeroentries)在这个教程中，我将展示如何从一个向量表征转化为另一个向量。这个过程服务于两个目的：显示出语料中的隐藏结构，发现词的关系，用他们以一种新的（希望是）更语义的方式来描述文档。让文档表征更紧凑。这既可以改善效率（新表征消耗更少的资源）也可以改善效力（忽略边际数据趋势，降低噪音）。创建转换转换是标准的Python对象，通常用训练语料的平均数初始化：tfidf=models.TfidfModel(corpus)# 第一步-- ...继续阅读 (39)

如果你想要查看logging事件不要忘记设置。importlogginglogging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)从字符到向量这次让我们从文档表征为字符开始：fromgensimimportcorpora,models,similaritiesdocuments=["Human machine interface for lab abc computer applications","A survey of user opinion of computer system response time","The EPS user interface management system","System and human system engineering testing of EPS","Relation of user perceived response time to error measurement","The generation of random binary unordered trees","The intersection graph of paths in trees","Graph minors IV Widths of tr ...继续阅读 (27)

如果你想要查看logging事件不要忘记设置。importlogginglogging.basicConfig(format='%(asctime)s :%(levelname)s :%(message)s',level=logging.INFO)从字符到向量这次让我们从文档表征为字符开始：fromgensimimportcorpora,models,similaritiesdocuments=["Human machine interface for lab abc computer applications","A survey of user opinion of computer system response time","The EPS user interface management system","System and human system engineering testing of EPS","Relation of user perceived response time to error measurement","The generation of random binary unordered trees","The intersection graph of paths in trees","Graph minors IV Widths of ...继续阅读 (1)

文本特征提取词袋（Bag of Words）表征文本分析是机器学习算法的主要应用领域。但是，文本分析的原始数据无法直接丢给算法，这些原始数据是一组符号，因为大多数算法期望的输入是固定长度的数值特征向量而不是不同长度的文本文件。为了解决这个问题，scikit-learn提供了一些实用工具可以用最常见的方式从文本内容中抽取数值特征，比如说：标记（tokenizing）文本以及为每一个可能的标记（token）分配的一个整型ID ，例如用白空格和标点符号作为标记的分割符（中文的话涉及到分词的问题）计数（counting）标记在每个文本中的出现频率正态化(nomalizating)降低在大多数样本/文档中都出现的标记的权重在这个方案中，特征和样本的定义如下：将每个标记出现的频率(无论是否正态化)作为特征。给定文件中所有标记的出现频率所构成的向量作为多元样本。因此，语料文件可以用一个词文档矩阵代表，每行是一个文档，每列是一个标记（即词）。将文档文件转化为数值特征的一般过程被称为向量化。这个特殊的策略（标记，计数和正态化）被称为词袋或者Bag of n-grams表征。用词频描述文档，但是完全忽略词在文档中出现的相对位置信息。稀疏性大多数文档通常只会使用语料库中所有词的一个子集，因而产生的矩阵将有许多特征值是0（通常99%以上都是0）。例如，一组10,000个短文本（比如email）会使用100 ...继续阅读 (34)

Multiprocessing是Python的 一个标准库，通过这个库，可以实现并行编程，更有效的利用多核CPU。由于Python的GIL的限制，默认情况下Python无法有效利用多核。通过Multiproc essing，可以创建多个子线程，从而更加有效的利用多核。这篇文件会介绍一下使用Multiprocessing的线程池（Pool）实现简单的并行编程。Multiprocessing类提供了Pool对象，通过进程池对象来管理和创建多个进程的worker，并收集这些Worker返回的结果。简单任务的多进程编程importmultiprocessingasmulimportosfrommathimportfactorial引入multiprocessiing，引入os模块用于查看进程id，引入阶乘计算，用于测试简单任务下的多进程编程。pool=mul.Pool()mul.cpu_count()4上面的例子就实例化了一个进程池。Pool接受进程数作为参数，默认情况下，会使用cpu_count()的值作为进程的默认值。比如我的电脑的话，pool = mul.Pool()等价于pool = mul.Pool(4)让我们计算1-100的阶乘，返回一个list，用于测试多进程编程的效果。首先定义一个阶乘的函数。defget_factorial(num,pid=0):ifpid:print'p ...继续阅读 (26)

Multiprocessing是Python的 一个标准库，通过这个库，可以实现并行编程，更有效的利用多核CPU。由于Python的GIL的限制，默认情况下Python无法有效利用多核。通过Multiproc essing，可以创建多个子线程，从而更加有效的利用多核。这篇文件会介绍一下使用Multiprocessing的线程池（Pool）实现简单的并行编程。Multiprocessing类提供了Pool对象，通过进程池对象来管理和创建多个进程的worker，并收集这些Worker返回的结果。简单任务的多进程编程importmultiprocessingasmulimportosfrommathimportfactorial引入multiprocessiing，引入os模块用于查看进程id，引入阶乘计算，用于测试简单任务下的多进程编程。pool=mul.Pool()mul.cpu_count()4上面的例子就实例化了一个进程池。Pool接受进程数作为参数，默认情况下，会使用cpu_count()的值作为进程的默认值。比如我的电脑的话，pool = mul.Pool()等价于pool = mul.Pool(4)让我们计算1-100的阶乘，返回一个list，用于测试多进程编程的效果。首先定义一个阶乘的函数。defget_factorial(num,pid=0):ifpid:print'p ...继续阅读 (1)

Orange是一款底层基于C++，并且提供了Python接口的开源数据挖掘工具。与Sklearn，pyml这 类数据挖掘包相比，Orange的历史更加悠久，在上面实现的算法也更加丰富，此外，除了以python模块的形式使用之外，Orange还提供了GUI，可以用通过预先 定义好的多种模块组成工作流来完成复杂的数据挖掘工作。Orange的发起最早可以追溯到1997年WebLab会议，在这个会议上人们提到了构建一个灵活的实验基准以便大家可以将自己的算法，实验结果放在上面，这些想法最终 催生了Orange项目。Orange包含大量标准或非标准的机器学习和数据挖掘的算法，以及常规数据读写和操作，其底层的核心是由C++来实现的，同时Orange也利用python脚本来快速 实现新算法的原型以及一些不太要求执行时间的功能。Orange中的数据Orange使用一种专有的数据结构，扩展名为.tab，其实就是用tab分隔每个数据的纯文本。文档的第一行为属性的名称，用tab分隔，第二行为属性对应的数据类型， 包含连续性，间断型和字符型。第三行包含一些元信息，用于指明依赖的特征（分类），不相关的特征（需要忽略的特征）和元特征。importOrangedata=Orange.data.Table("iris")通过以上的代码，就可以获得一个Orange的数据表，数据表是Orange中基本数据单元（类似Da ...继续阅读 (20)

经过徐爷推荐，我也开始用sublime text作为文本编辑器使用，之前用TextMate其实也不错，不过TextMate读取大文本文件时的速度实在不能忍受，而sublime text则完全无压力。不过，sublime text在处理中文编码的txt文件方面就没有texemate给力了。不过安装了convertToUTF8和了EncodeingHelper以后，问题基本上解决了。好了闲话就到这里，来说一下在Sublime text中的Markdown。由于我将blog从wordpress改成了jekyll，写文章的环境也自然变成了用Markdown，文本编辑器仍然是sublime text，为了更方便的在sublime text中使用Markdown自然少不了各种package的安装。安装markdown preview使用sublime text的Package install搜索markdown preview。这个包提供在python markdown和github markdown两种语法，支持在浏览器中对markdown进行预览，也支持将markdown直接转化为html。安装markdown的语法高亮主题默认的sublime主题都不支持markdown的语法高亮。我经过一顿Google之后，发现了Monokai extended这个color scheme支持Markd ...继续阅读 (16)

这是一篇写给不了解Python或者刚接触Python新手的Python软文。Python老鸟请自觉忽略。1、Python名字的由来Python是由Guido van Rossum创建的一门语言，Python是大蟒蛇的意思，之所以使用Python这个名字是因为他是一个叫Monty Python的喜剧团体的爱好者。另一个彩蛋是Python的程序包叫Egg，蟒蛇下的蛋。2、Python版本的选择Python目前有python3.3.4和python2.7.6（我印象中之前官网上的说明是2.7.5是最后一个python2.7结果osx10.9发布后没多久，就又发布了2.7.6），尽管Python3.3.4与Python2.7.6相比有许多优化，但是由于需要包目前都是基于Python2的版本，比如众多科学计算的包都是基于Python2，因此，建议以Python2.7.6作为首选。more3、Python的环境变量要运行python程序，除了安装python的程序要还要设置环境变量（我的电脑>属性>高级设置>环境变量），添加Path=你的python安装路径4、Python的包管理器安装Python的程序的最便捷方式就是使用Python的包管理器Pip或者Easy_install，二者之间可以互相替代，不过有的包可能只能用二者之一进行安装，如果安装失败，请尝试另一种方式。5、对于无法用pip或 ...继续阅读 (25)

这是一篇写给不了解Python或者刚接触Python新手的Python软文。Python老鸟请自觉忽略。1、Python名字的由来Python是由Guido van Rossum创建的一门语言，Python是大蟒蛇的意思，之所以使用Python这个名字是因为他是一个叫Monty Python的喜剧团体的爱好者。另一个彩蛋是Python的程序包叫Egg，蟒蛇下的蛋。2、Python版本的选择Python目前有python3.3.4和python2.7.6（我印象中之前官网上的说明是2.7.5是最后一个python2.7结果osx10.9发布后没多久，就又发布了2.7.6），尽管Python3.3.4与Python2.7.6相比有许多优化，但是由于需要包目前都是基于Python2的版本，比如众多科学计算的包都是基于Python2，因此，建议以Python2.7.6作为首选。<!-- more -->3、Python的环境变量要运行python程序，除了安装python的程序要还要设置环境变量（我的电脑>属性>高级设置>环境变量），添加Path=你的python安装路径4、Python的包管理器安装Python的程序的最便捷方式就是使用Python的包管理器Pip或者Easy_install，二者之间可以互相替代，不过有的包可能只能用二者之一进行安装，如果安 ...继续阅读 (1)

Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。 这篇文章会介绍一些Pandas的基本知识，偷了些懒其中采用的例子大部分会来自官方的10分钟学Pandas。我会加上个人的理解，帮助大家记忆和学习。Pandas中的数据结构Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。Time- Series：以时间为索引的Series。DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以Data ...继续阅读 (27)

Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。 这篇文章会介绍一些Pandas的基本知识，偷了些懒其中采用的例子大部分会来自官方的10分钟学Pandas。我会加上个人的理解，帮助大家记忆和学习。Pandas中的数据结构Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。Time- Series：以时间为索引的Series。DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以Data ...继续阅读 (1)

NetworkX是Python中的一个复杂网络的程序包。从其文档手册中可以看到，它提供以下功能：从多种数据源读写图；支持图的线性代数计算；基础的绘图功能；经典的复杂网络算法等。在Python中引入networkx：importnetworkxasnxnx是官方推荐的缩写方式，当然你也可以使用networkx的全拼NetworkX中支持四种图。按照边是否有方向，两个节点间是否允许多条边两个维度，分为Graph（无向图），MultiGrpah（复合无向图），DiGrpah（有向图），MultiDiGraph（复合有向图）。G=nx.Graph()G=nx.DiGraph()G=nx.MultiGraph()G=nx.MultiDiGraph()以上就是创建四类图的示例。在networkx中Graph是基本的数据结构，networkx提供的许多方式的input或output都是Graph。以下的示例都以无向图为例。more在networkx中，Graph是一堆节点与边的组合。 Graph内部使用的是嵌套的字典来表示节点间的关系。我们可以通过add_node和add_edge来添加节点与边。如果通过add_edge添加了不存在的node，那么这个networkx会自动添加这个node。G.add_edge('A','B')G.add_edge('B','C')G.add_node('D') ...继续阅读 (29)

NetworkX是Python中的一个复杂网络的程序包。从其文档手册中可以看到，它提供以下功能：从多种数据源读写图；支持图的线性代数计算；基础的绘图功能；经典的复杂网络算法等。在Python中引入networkx：importnetworkxasnxnx是官方推荐的缩写方式，当然你也可以使用networkx的全拼NetworkX中支持四种图。按照边是否有方向，两个节点间是否允许多条边两个维度，分为Graph（无向图），MultiGrpah（复合无向图），DiGrpah（有向图），MultiDiGraph（复合有向图）。G=nx.Graph()G=nx.DiGraph()G=nx.MultiGraph()G=nx.MultiDiGraph()以上就是创建四类图的示例。在networkx中Graph是基本的数据结构，networkx提供的许多方式的input或output都是Graph。以下的示例都以无向图为例。<!-- more -->在networkx中，Graph是一堆节点与边的组合。 Graph内部使用的是嵌套的字典来表示节点间的关系。我们可以通过add_node和add_edge来添加节点与边。如果通过add_edge添加了不存在的node，那么这个networkx会自动添加这个node。G.add_edge('A','B')G.add_edge('B','C') ...继续阅读 (3)

数据科学（Data Science）被评为二十一世纪最性感的职业，本文将为大家揭示什么是数据科学，它与现有的BI，统计学和机器学习有什么区别和联系。本文的内容编译自Coursera的Data Science课程（Bill Howe讲授）。首先，让我们来看一下Drew Conway的数据科学维恩图。[caption id="attachment_1950" align="aligncenter" width="344"]data science venn diagram[/caption]more这张图形象的说明了数据科学的三类必备知识。编程技巧，数学统计学知识和专业领域知识三者缺一不可。同时，也体现了数据科学与传统研究和机器学习的区别。传统研究需要精通数据统计学知识和专业领域知识，而相对欠缺编程技巧；机器学习对编程技巧和数学统计知识的要求较高，而对专业领域知识的要求相对低一些。同时，Drew Conway也提醒，没有数学和统计学知识支撑，而只是编程技巧和专业领域知识的结合是一个危险区域，可能会得出无益而有害的结论。接下来，我们看一下数据科学家的三个任务：1、数据清洗（建模前的准备）解析、抓取、数据格式化2、数据建模运用统计学知识对结构化的数据进行建模3、沟通结果用可视化的手段展现结果。Bill在这里特别强调数据科学的产物是数据产品，而不仅仅是回答问题。数据科学可以给予他人使用数据的 ...继续阅读 (20)

尽管Facebook的股价表现差强人意，新浪微博的商业化也遥遥无期，但是，社交网络分析仍然是数据分析中的一个热门话题。我也一直在关注这类内容，下面就为大家介绍一下我所接触到的社交网络分析工具。一、web工具篇让我们先来看一下市面上比较成熟的产品。1、微博风云榜[caption id="attachment_1916" align="alignleft" width="364"]微博风云榜[/caption][caption id="attachment_1917" align="alignleft" width="119"]微博风云榜菜单[/caption]从菜单栏可以看到微博风云榜提供了传播分析，舆情监测，内容发布，数据报告等全面的社交分析服务。同时也提供了数据接口，尽管目前只有两个接口，用户信息接口和高级搜索接口，这两个接口就应该可以满足大部分数据服务商的数据需求。此外，微博风云榜也有自己的社交影响力查询，可以用于比较不同微博账号的影响力，有点国内的Klout的味道。总的来说，微博风云榜其实已经不仅仅是一个社交分析工具，它集成了社交传播分析，粉丝分析，舆情监测，内容发布等与社交网络运营管理相关的内容，如果再加上Social CRM就更加完美。2、知微[caption id="attachment_1923" align="aligncenter" width="564"]知微[ ...继续阅读 (35)

数码林（没有网站也能玩转Google Analytics）和郑杰同学（如何本地测试Google Analytics跟踪脚本）都介绍过本地搭建GA测试环境的方法，前者使用的是Apache，后者使用xampp。我这里介绍使用Python的simpleHttpServer搭建GA本地测试环境的方法。首先，你要安装python。如果你使用的是OS X或者Linux，那么，Python应该已经安装上了，如果你用的是Windows，那么你需要去http://python.org下载Python2.7并安装。安装好Python后，你需要创建一个放置要测试文件的目录（比如说test）。在命令行下到达这个目录。这里你会用到cd命令，如果你在Windows且test的完整路径是d:\program\test，那么你需要在Windows的CMD中执行下面三行命令。mored: cd \program\test python -m SimpleHTTPServer 8000这样本地的服务器就搭好了，访问一下localhost:8000，你就能看到test文件夹下的内容，将要测试GA代码的页面放在这个目录下，并在浏览器中访问它吧~推荐使用Chrome GAdebugger进行测试。这是一个本地的环境，因此不会真的把数据发送给GA，如果需要将相关数据发送给GA则需要修改本地的Host文件，并将127.0.0. ...继续阅读 (19)

RGA是在R中实现的GA API，可以直接将GA数据读入到R中，Coursera的Data Analytics的课程中Jeff也提及过。RGA的使用非常方便，将GA的API方法都封装成R的语句。RGA的安装由于RGA没有放在CRAN上，因此没法直接用install.packages安装，当然我们可以下载 zip或tar.gz然后手动进行安装。此外，我们还可以用devtools来进行安装。install.packages("devtools")#安装devtools library(devtools)#载入devtools包 install_github("rga", "skardhamar")#安装rga-more-"> RGA的使用morelibrary(rga)#载入RGA的包 rga.open(instance="ga")#完成Google的认证流程如果你执行这段代码后报错，如下所示[caption id="attachment_1872" align="aligncenter" width="666"]SSL Error[/caption]那么你需要在rga.open之前运行options(RCurlOptions = list(verbose = FALSE, capath = system.file("CurlSSL", "cacert.pem", package = ...继续阅读 (31)

归因建模工具是GA的Premium版本和测试中的UA的一个新增功能。通过现在版本GA中热门转化路径数据也可以自行计算首次交互，最后交互和线性模型这三种模型的数据。比如Lunametrics最早提供了在Excel中完成计算的方法，胡力同学也提供了类似的解决方案。这里我给出一个python做的exe小工具，点击MCF计算小工具使用方法如下：more1、从GA中下载csv格式的热门转化路径数据2、用记事本打开，并将编码修改为ANSI，将名称改为MCF.csv3、将rar中文件解压到任意目录，并将MCF.csv放到MCF文件夹中4、双击MCF.exe，会生成一个mcf_result_XXXX.csv请注意语言与货币符号的统一。系统语言使用英语则Profile中的货币请使用$，系统语言使用中文，则货币请使用￥。 ...继续阅读 (12)

[caption id="attachment_1774" align="aligncenter" width="300"]Friend Visualization[/caption]前面有介绍过使用Gephi来制作传播图，图是Social Network分析最常用的表现形式和方式，这篇文章介绍一下基本的相关知识。点击查看原始文档Graph的相关基本概念图（Graph）：图是用来表示一组物体之间的关系的方式。节点（Node）：节点是指要分析的物体，每一个物体就是一个节点，比如在Social Network中每个人就是一个节点。边（Edge）：Graph中两个节点间的连线，用于表示两个节点的关系。比如在Social Network中两个人的关注关系，微博传播中转发关系。度（Degree）：节点的度是指与其相连的边数，如果一个节点有3个边，那么这个节点的度就是3。有向图（Directed Graph）：边代表的关系具有方向的图。比如微博的关注关系，就是有方向的。输入度（In-degree）：有向图中一个节点收到的边。输出度（Out-degree）：有向图中一个节点发出的边。无向图（Undirected Graph）：边代表的关系没有方向的图。[caption id="attachment_1771" align="aligncenter" width="300"]Direct Grap ...继续阅读 (17)

在新浪微博传播路径图的制作中介绍了微博传播图的制作。[caption id="attachment_1812" align="aligncenter" width="300"]微博传播图-未美化前[/caption]直接将DOT文件导入Gephi中并使用Yifan Hu Layout进行计算后会得出上面的图。在Gephi中进行一些简单的操作可以得到如下的图。[caption id="attachment_1813" align="aligncenter" width="300"]微博传播图-美化后[/caption]more这里主要进行了以下几个操作：1、根据模块度将节点分组Overview的右侧的Statistics>Network Overview>Modularity计算完成后会显示这个网络的Modularty，比如这个网络的模块度是0.591，其中共有四个团体。[caption id="attachment_1816" align="aligncenter" width="173"]Modularity[/caption]这时在左侧的Partition部分中选择Nodes，刷新Partition参数前的按钮，会出现Modularity，之前这个部分是空的。[caption id="attachment_1817" align="aligncenter" width="220 ...继续阅读 (43)

[caption id="attachment_1726" align="aligncenter" width="614"]微博传播图[/caption]经常在微博上看到微博传播路径图。其实只要会一点Python、GVEdit和Gephi，你也可以自己动手制作新浪微博的传播路径图。这篇文章就和大家讲讲如何制作这类传播路径图。下面的内容会涉及到新浪API，Python，GVEdit，Gephi这些工具或知识。通过Python调用新浪API在新浪微博开放平台注册账号，创建应用。[caption id="attachment_1723" align="aligncenter" width="425"]创建应用[/caption]more创建其他应用，客户端-桌面。一个账号可以创建10个应用，建议同时创建10个应用，因为新创建的应用是测试权限，每个应用每个用户每小时只有150次的调用次数，10个应用就可以1500次调用，为什么要保证最大调用次数，我会在后面的内容里讲。创建完成后，点击管理应用进入创建的应用中，应用信息>高级信息，添加其中的OAuth2.0 授权设置的回调页面，这个地址可以随便填写，但是不能空着，后面需要用到。我们来看一下新浪API的OAuth流程（即给一个应用授权的过程）。[caption id="attachment_1725" align="aligncenter" w ...继续阅读 (19)

Google Tag Manager便利了网站分析师的工作，我一直认为它有一个局限性：一个Container中的Tag是异步加载的，各个Tag之间没有顺序，因此，如果一些Tag之前有依存关系，即如果B tag必须要在A Tag执行之后执行才有效。比如GA触发Beacon的Tag（trackPageview，trackEvent等），必须要在定义了跟踪器对象及各种参数之后执行才有效，不然轻者造成数据丢失，重则造成数据异常。关于这一点纪杨同学的文章中也有提到，昨天我也有和Rokie同学聊到这一点，并且在他那里找到了一个相对完美的解决方案（话说他的项目都有够复杂，Minisite用到虚拟电子商务跟踪有木有~）。解决方案的思路是这样利用GTM的Data layer为A Tag的触发指定一个Event，B Tag的触发条件定义为这个事件。OK，很精巧的一个逻辑，不需要很复杂的东西。以我的Blog为例，首先你需要在页面上放置GTM的Data Layer，很简单，只需要在页面的Body部分放置：dataLayer = [];我将定义GA跟踪器参数的那一堆Tag（不包含trackPageview等触发Beacon的Tag）定义为GAS-GTAC，我用的是cardinal path的插件，跟踪器名称有一些小小的差异。同时要在这个Tag的最底部指定一个Event：dataLayer.push({'ev ...继续阅读 (26)

Python提供了许多Module，通过这些Module，可以很简单的做一些工作。比如，要获得cloga这个词在百度搜索结果页中的排名结果（排名结果+URL），这就是一个很简单的爬虫需求。首先，要通过urllib2这个Module获得对应的HTML源码。通过上面这三句就可以将URL的源码存在content变量中，其类型为字符型。接下来是要从这堆HTML源码中提取我们需要的内容。用Chrome查看一下对应的内容的代码（也可以用Firefox的Firebug）。[caption id="attachment_1697" align="aligncenter" width="600"]Java Console[/caption]可以看到url的信息存储在span标签中，要获取其中的信息可以用正则式。import re urls_pat=re.compile(r'(.*?)') siteUrls=re.findall(results_pat,content)morere.compile是将字符串编译为用于python正则式的模式，字符前的r表示是纯字符，这样就不需要对元字符进行两次转义。re.findall返回的是字符串中符合results_pat的列表，由于在results_pat中使用了子表达式，所以results存储的就是子表达式所匹配的内容，即与之间的内容。此外，也可以用Beaut ...继续阅读 (12)

数据收集是数据分析的第一步，有了准确完备的数据未必能做出有价值的分析，但是，没有准确完备的数据，必定无法做出有价值的分析。因此网站分析监测方案对网站分析成败至关重要，它直接决定将收集哪些数据。一个完备的监测方案至少应包含三部分内容：流量来源的标记规范（用户从哪里来）、站内互动的标记规范（在网站上做了什么）、设置转化（有什么商业意义）。下面以GA为例分别说明这三部分的内容。流量来源的标记规范流量来源的标记包括两部分内容：外部广告活动（通常所说的Campaign）的标记和内部广告活动（Internal Campaign）的标记。外部广告活动的标记大家应该都比较熟悉。对GA来说，主要是使用UTM参数标记，GA官方提供的说明。utm_source：通常用来标记媒体名，这是一个主参数。utm_mdium：通常用来标记媒体的性质，比如cpc、banner。utm_campaign：通常用来标记广告活动的名称也对应与cpc的推广计划。utm_content：通常用来标记广告的点位或cpc的推广单元。utm_term：通常用来标记cpc的关键词，也会用来标记同一个点位上的不同链接。more比如，你要进行奥运相关的广告活动，在A网站的B页面购买了Banner，在V网站购买了15秒的视频前贴片，在百度上购买了关键词。Landing page为www.yoursite.com。则A网站广告的Landin ...继续阅读 (29)

数据收集是数据分析的第一步，有了准确完备的数据未必能做出有价值的分析，但是，没有准确完备的数据，必定无法做出有价值的分析。因此网站分析监测方案对网站分析成败至关重要，它直接决定将收集哪些数据。一个完备的监测方案至少应包含三部分内容：流量来源的标记规范（用户从哪里来）、站内互动的标记规范（在网站上做了什么）、设置转化（有什么商业意义）。下面以GA为例分别说明这三部分的内容。流量来源的标记规范流量来源的标记包括两部分内容：外部广告活动（通常所说的Campaign）的标记和内部广告活动（Internal Campaign）的标记。外部广告活动的标记大家应该都比较熟悉。对GA来说，主要是使用UTM参数标记，GA官方提供的说明。utm_source：通常用来标记媒体名，这是一个主参数。utm_mdium：通常用来标记媒体的性质，比如cpc、banner。utm_campaign：通常用来标记广告活动的名称也对应与cpc的推广计划。utm_content：通常用来标记广告的点位或cpc的推广单元。utm_term：通常用来标记cpc的关键词，也会用来标记同一个点位上的不同链接。<!-- more -->比如，你要进行奥运相关的广告活动，在A网站的B页面购买了Banner，在V网站购买了15秒的视频前贴片，在百度上购买了关键词。Landing page为www.yoursite.co ...继续阅读 (1)