我们在前面的文章中介绍过很多分类算法，如决策树，朴素贝叶斯，逻辑回归等。通过这些算法获得的模型表现如何？能否准确的对数据进行分类和预测？本篇文章我们介绍一种对分类模型进行效果评估的方法：混淆矩阵(Confusion matrix)。混淆矩阵是对有监督学习分类算法准确率进行评估的工具。通过将模型预测的数据与测试数据进行对比，使用准确率，覆盖率和命中率等指标对模型的分类效果进行度量。我们通过一个示例来说明混淆矩阵的使用方法，下面是一组用户贷款信息的数据，其中包括用户的城市，性别，来源渠道等信息，以及用户最终是否还款。我们使用逻辑回归算法通过这组数据对新用户是否还款进行分类预测，并使用混沌矩阵对预测模型的准确率进行评估。首先我们将用户贷款信息的数据分为两组，第一组为训练集，占所有数据的70%，我们通过训练集的数据计算参数并生成模型。第二组数据为测试集，占所有数据的30%。我们使用测试集的数据对模型的分类结果进行测试，并使用混淆矩阵对测试结果进行评估。由于本篇文章的重点是介绍混淆矩阵，因此算法方面的内容只会简单介绍。详细方法和步骤请参考之前的文章。在使用训练集数据生成逻辑回归模型之前，我们先使用“互信息”计算出贷款数据中每个类别与最终还款结果的相关度。具体的计算方法请参考之前的文章《决策树分类和预测算法的原理及实现》。通过下面表中的“互信息”数据排名可以发现，金额和年龄类别与用户最终是否还 ...继续阅读 (33)

逻辑回归(Logistic Regression, LR)又称为逻辑回归分析，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如，我们可以将购买的概率设置为因变量，将用户的特征属性，例如性别，年龄，注册时间等设置为自变量。根据特征属性预测购买的概率。逻辑回归与回归分析有很多相似之处，在开始介绍逻辑回归之前我们先来看下回归分析。回归分析用来描述自变量x和因变量Y之间的关系，或者说自变量X对因变量Y的影响程度，并对因变量Y进行预测。其中因变量是我们希望获得的结果，自变量是影响结果的潜在因素，自变量可以有一个，也可以有多个。一个自变量的叫做一元回归分析，超过一个自变量的叫做多元回归分析。下面是一组广告费用和曝光次数的数据，费用和曝光次数一一对应。其中曝光次数是我们希望知道的结果，费用是影响曝光次数的因素，我们将费用设置为自变量X，将曝光次数设置为因变量Y，通过一元线性回归方程和判定系数可以发现费用(X)对曝光次数(Y)的影响。以下为一元回归线性方式，其中y是因变量，X是自变量，我们只需求出截距b0和斜率b1就可以获得费用和曝光次数之间的关系，并对曝光次数进行预测。这里我们使用最小二乘法来计算截距b0和斜率b1。最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。下表中是使用最小二乘法计算回归方程的一些必要的计算过程。在表中最左侧的两列分别为自变量X和因变量 ...继续阅读 (45)

初级网站分析师关注数据，中级网站分析师关注业务，高级网站分析师关注人。这是数据分析的三个不同的阶段，同时也说明了网站数据分析的方向。人的行为产生数据，人的信息产生价值，人的决策产生利润。数据分析中最有价值的部分都与人密不可分。人是连接数据与价值的纽带，在网站数据分析的过程中对人关注的再多也不为过。Webtrekk是一个以原始数据为基础，提供网站分析工具和服务的公司。之前的文章中我们曾经介绍过他们的工具，最近这款工具进行了全面升级。其中最主要的部分是将URM(User Relationship Management)模块升级为DMP(Data-Management Platform)。从用户行为和生命周期的管理提升为以用户为中心的数据管理和应用平台。通过用户聚焦跟踪、预测生命周期价值、以及更强的定位功能来加强对用户行为的预测及生命周期中价值的挖掘。在介绍这些新功能之前我们先来简单看下URM的进化历程。Webtrekk的URM前身是CRM管理系统，CRM是市场营销人员都比较熟悉的工具，它主要功能是负责收集和管理网站中的客户信息，但CRM有很强的局限性，它几乎没有分析的功能，更谈不上预测和价值挖掘。并且CRM也有一些自身的问题无法克服，首先是整体的数据量较少，并且更新速度较慢，信息的出错率较高。CRM中大部分数据都是已知客户的信息并且由于更新频率较低，属于静态数据，在营销过程中很难起到支 ...继续阅读 (25)

在文章《浅析网站流量趋势预测》中，我们曾对网站的直接流量进行过分析和预测,直接流量整体较为平稳，但在工作日和周末存在较大差异。因此我们之前的方法是将工作日和周末的访问量数据分开处理，通过分布情况单独进行预估。这种方法得到的预测值范围较大，精确度也较差。本篇文章我们将使用时间序列的方法对网站直接流量的变化趋势进行预测。下面是4月4日——5月1日的网站直接流量会话数据，我们在表格的周索引列中单独标明了工作日（weekday）和休息日（weekend）用以说明会话所属的类别。可以看出在这组数据中存在着明显的周末趋势，周末的会话数据要明显低于工作日的会话数据。使用时间序列对数据进行分析和预测的第一步是观察数据的形态，因此我们将会话数据绘制到折线图中观察变化趋势。从直接流量变化趋势图上可以看出整体趋势较为平稳，没有明显的增长或下降。同时也能更明显的看出会话数据共分为4周，并且每一周都有明显的周末趋势。工作日每天的会话量在300—400之间，周末的会话量则为200以下，两者之间差距较大。如何对这两个差距较大的数据进行预测？我们使用一元线性回归的方法，一元线性回归可以反映一个因变量(Y)与一个自变量(X)之间的线性关系。对应到这里直接流量的会话就是因变量(Y)，我们只需要再找到一个自变量(X)就可以建立一元回归线性方程来预测直接流量的变化趋势了。从前面的趋势图中可以看出，直接流量整体趋势比较平稳 ...继续阅读 (34)

转化率是网站分析中最受关注的指标之一，如何设定转化率目标？哪些用户最有可能转化？他们有哪些特征？如何发现并找到这些用户？这些都是负责网站运营和市场营销的同学最关注的问题。本篇文章通过贝叶斯算法对网站中已经完成转化的历史用户数据进行分析，发现购买转化用户的特征，并通过交叉细分对不同用户购买转化的概率进行预测。贝叶斯是分类和预测算法中的一种，我们在前面的文章中已经详细介绍过它的计算过程。贝叶斯通过已知的P(B|A)的概率计算P(A|B)的概率。如果P(A)和P(B)相互独立，成为朴素贝叶斯(Naive Bayes)。以下为贝叶斯的计算公式：我们将通过这个公式对用户的转化概率进行预测。下面是一个人工生成的数据表截图（需要说明的是，这些数据都是人工生成的示例数据，并不代真实的品类及来源表现）。这类数据表可能来自网站的服务器日志，CRM系统，用户调研报告或者网站数据报告中。在这个简单的数据表里只包含有两个字段：品类和是否购买。其中品类表示用户访问过的页面所属的商品类别，是否购买表示用户最终是否付款。在这个数据表中，是否购买是我们所关注的结果。品类是维度。在使用贝叶斯公式开始计算之前，我们首先需要将数据表转化为以维度和结果组成的频率表，频率表中包含4类信息：每个品类用户的数量。购买和未购买用户的数量。不同品类购买和未购买的访问者数量。用户的总数量。我们将使用者四类信息来计算贝叶斯算法中所需要的 ...继续阅读 (19)

网站分析中经常会遇到需要预判的问题，比如我们之前经常提到的跳出率指标就属于这类问题。跳出率是连接流量端到网站端的指标，它既可以衡量流量的质量，也可以衡量Landingpage的表现，当跳出率发生变化时首先需要判断是流量质量发生了问题，还是Landingpage自身的问题。之前我们的解决方法是凭经验，对比所有到达同一个Landingpage的流量跳出率。如果所有流量的跳出率都很差，就判断是页面自身的问题，如果一部分流量跳出率较好，则判断是另一部分流量的质量问题。然后选择对下一步的分析方向（页面或流量渠道）。这种方法在大流量和较大指标差异时基本能准确判断。例如两个流量渠道10000次访问，90%和30%的跳出率差异，我们很容易做出判断。但对于较小的流量和较少的指标差异就很难做出判断了。例如网页中的咨询数据，或者来电数据，这些数据的量级要比访问量数据小很多，同时他们又比访问数据重要的多。这时需要一种方法来帮助我们准确的进行预判，这就是本篇文章要介绍的方差分析。方差分析(Analysis of Variance)简称ANOVA，主要用于分析多个样本数据间的差异显著性问题。方差分析的基本原理是认为不同样本数据间整体的数据差异(SSt )是由两种原因造成的，第一种原因是不可控的随机误差，也叫组内差异(SSw)。第二种原因是由可控的处理方式造成的，也叫组间差异(SSb)。方差分析通过分析这两种原 ...继续阅读 (115)

K-Means是聚类算法中的一种，其中K表示类别数，Means表示均值。顾名思义K-Means是一种通过均值对数据点进行聚类的算法。K-Means算法通过预先设定的K值及每个类别的初始质心对相似的数据点进行划分。并通过划分后的均值迭代优化获得最优的聚类结果。K值及初始质心K值是聚类结果中类别的数量。简单的说就是我们希望将数据划分的类别数。K值决定了初始质心的数量。K值为几，就要有几个质心。选择最优K值没有固定的公式或方法，需要人工来指定，建议根据实际的业务需求，或通过层次聚类(Hierarchical Clustering)的方法获得数据的类别数量作为选择K值的参考。这里需要注意的是选择较大的K值可以降低数据的误差，但会增加过拟合的风险。以下是一组用户的年龄数据，我们将K值定义为2对用户进行聚类。并随机选择16和22作为两个类别的初始质心。计算距离并划分数据我们以图的形式展示聚类的过程。在这组年龄数据中，我们选择了16和22作为两个类别的初始质心，并通过计算所有用户的年龄值与初始质心的距离对用户进行第一次分类。计算距离的方法是使用欧式距离。以下是欧式距离的计算公式。距离值越小表示两个用户间年龄的相似度越高。通过计算，我们获得了每个年龄数据点与两个初始质心的距离。这里我们以黑色实心圆点标记较大的距离值，空心圆点标记较小的距离值。例如第一个数据点15，到第一个初始质心16的距离为1，到 ...继续阅读 (15)

层次聚类(Hierarchical Clustering)是聚类算法的一种，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法，本篇文章介绍合并方法。层次聚类的合并算法层次聚类的合并算法通过计算两类数据点间的相似性，对所有数据点中最为相似的两个数据点进行组合，并反复迭代这一过程。简单的说层次聚类的合并算法是通过计算每一个类别的数据点与所有数据点之间的距离来确定它们之间的相似性，距离越小，相似度越高。并将距离最近的两个数据点或类别进行组合，生成聚类树。欧几里德距离矩阵层次聚类使用欧式距离来计算不同类别数据点间的距离（相似度）。我们在前面的几篇文章中都曾经介绍过欧氏距离的计算方法，本篇文章将通过创建一个欧式距离矩阵来计算和对比不同类别数据点间的距离，并对距离值最小的数据点进行组合。以下是欧式距离的计算公式。以下为示例数据，我们通过欧氏距离计算下面A到G的欧式距离矩阵，并通过合并的方法将相似度最高的数据点进行组合，并创建聚类树。创建欧式距离矩阵的方法很简单，将每个类别的数据点分别与A-G中的每个数据点计算距离值，其中A—>B表示数据点A到数据点B的距离，B—>A则代表数据点B到数据点A的距离。这两个距离值是相同的，因此欧式距离矩阵呈对角线对称（绿 ...继续阅读 (127)

K邻近算法(k-NearestNeighbor)简称KNN，是分类算法中的一种。KNN通过计算新数据与历史样本数据中不同类别数据点间的距离对新数据进行分类。简单来说就是通过与新数据点最邻近的K个数据点来对新数据进行分类和预测。我们以一个实例来说明KNN算法的原理及实现过程。下图是一组贷款用户还款情况的样本数据，其中包含了贷款用户的年龄，贷款金额和是否还款。我们将基于这些历史的贷款样本数据，通过KNN算法对新的贷款用户进行还款预测。将贷款用户的样本数据按还款情况进行分类，并将两类数据生成散点图。在散点图中，X轴为贷款用户年龄，Y轴为贷款金额。绿色的方块表示已经还款的用户，蓝色的三角表示未还款的用户，红色的圆圈代表新产生的数据（48岁用户贷款142000元）。我们将依据这些已有明确分类的数据点对新产生的数据进行分类和预测。寻找距离最近的邻居KNN中对新数据点进行分类的方法是计算它与其他所有数据点间的距离，并以距离最近的点所在的分类作为新数据点的类别。计算距离的方法很多种，欧式距离，曼哈顿距离和闵可夫斯基距离这里我们使用的是欧氏距离。欧几里德距离评价欧几里德距离评价在之前的协同过滤中我们已经介绍并使用过。以下是具体的计算公式。通过分别计算新增数据与历史数据在X和Y两个维度上的差值之和来获得距离值。下表是我们通过计算欧式距离获得的距离值，通过这些数据点与新增数据间的距离来对新增数据进行分类 ...继续阅读 (21)

线性判别分析(Linear Discriminant Analysis)简称LDA，是分类算法中的一种。LDA通过对历史数据进行投影，以保证投影后同一类别的数据尽量靠近，不同类别的数据尽量分开。并生成线性判别模型对新生成的数据进行分离和预测。LDA投影矩阵在维基百科中对投影的定义是：“投影是从向量空间映射到自身的一种线性变换，是日常生活中“平行投影”概念的形式化和一般化”。例如，在日常生活中，阳光会在大地上留下各种物体的影子。阳光将三维空间中的物体映射到影子的二维空间中，而影子随着一天中太阳照射角度的变化也会发生变化。如果你玩过游戏《Shadowmatic》就能理解LDA投影的过程。《Shadowmatic》是一款由TRIADA Studio开发的3D解谜游戏。游戏需要玩家在灯光下旋转，扭动悬浮在空中的不明物体，并通过灯光的投影在墙上寻找不明物体的真面目。只要找对角度就能成功。如下面的游戏截图中，不明物体在某个角度的投影是一只可爱的小兔子。LDA投影矩阵与《Shadowmatic》相似。其中的不明物体是历史数据样本。我们需要通过“旋转”和“扭动”这些历史数据，找到正确的角度发现其中的模式。以下是银行对企业贷款的样本数据，其中包含了企业经营时间和拖延还款天数以及最终是否还款的数据。我们把这些样本数据生成散点图，其中X轴是企业经营时间，Y轴是拖延还款天数，蓝色三角表示未还款数据，红色方 ...继续阅读 (44)

决策树和朴素贝叶斯是最常用的两种分类算法，本篇文章介绍朴素贝叶斯算法。贝叶斯定理是以英国数学家贝叶斯命名，用来解决两个条件概率之间的关系问题。简单的说就是在已知P(A|B)时如何获得P(B|A)的概率。朴素贝叶斯（Naive Bayes）假设特征P(A)在特定结果P(B)下是独立的。 1.   概率基础：在开始介绍贝叶斯之前，先简单介绍下概率的基础知识。概率是某一结果出现的可能性。例如，抛一枚匀质硬币，正面向上的可能性多大？概率值是一个0-1之间的数字，用来衡量一个事件发生可能性的大小。概率值越接近1，事件发生的可能性越大，概率值越接近0，事件越不可能发生。我们日常生活中听到最多的是天气预报中的降水概率。概率的表示方法叫维恩图。下面我们通过维恩图来说明贝叶斯公式中常见的几个概率。在维恩图中：S：S是样本空间，是所有可能事件的总和。P(A)：是样本空间S中A事件发生的概率，维恩图中绿色的部分。P(B)：是样本空间S中B事件发生的概率，维恩图中蓝色的部分。P(A∩B)：是样本空间S中A事件和B事件同时发生的概率，也就是A和B相交的区域。P(A|B)：是条件概率，是B事件已经发生时A事件发生的概率。对于条件概率，还有一种更清晰的表示方式叫概率树。下面的概率树表示了条件概率P(A|B)。与维恩图中的P(A∩B)相比，可以发现两者明显的区别。P(A∩B)是事件A和事件B同时发现的情 ...继续阅读 (8)

决策树是一种通过对历史数据进行测算实现对新数据进行分类和预测的算法。简单来说决策树算法就是通过对已有明确结果的历史数据进行分析，寻找数据中的特征。并以此为依据对新产生的数据结果进行预测。决策树由3个主要部分组成，分别为决策节点，分支，和叶子节点。其中决策树最顶部的决策节点是根决策节点。每一个分支都有一个新的决策节点。决策节点下面是叶子节点。每个决策节点表示一个待分类的数据类别或属性，每个叶子节点表示一种结果。整个决策的过程从根决策节点开始，从上到下。根据数据的分类在每个决策节点给出不同的结果。构造决策树是一个复杂的工作。下面我们将介绍决策树中的ID3算法和“信息熵”的概念。并手工创建一个简单的决策树，用以说明整个构建的过程和思路。ID3算法构造决策树的方法有很多种，ID3是其中的一种算法。ID3算法最早是由罗斯昆（J. Ross Quinlan）1975年在悉尼大学提出的一种分类预测算法，核心是“信息熵”。ID3算法认为“互信息”高的属性是好属性，通过计算历史数据中每个类别或属性的“信息熵”获得“互信息”，并选择“互信息”最高的类别或属性作为决策树中的决策节点，将类别或属性的值做为分支继续进行分裂。不断重复这个过程，直到生成一棵完整的决策树。信息熵的含义及分类信息熵是信息论中的一个重要的指标，是由香农在1948年提出的。香农借用了热力学中熵的概念来描述信息的不确定性。因此信息学中的 ...继续阅读 (21)

协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法（user-based collaboratIve filtering），和基于物品的协同过滤算法（item-based collaborative filtering）。简单的说就是：人以类聚，物以群分。下面我们将分别说明这两类推荐算法的原理和实现方法。基于用户的协同过滤算法（user-based collaboratIve filtering）基于用户的协同过滤算法是通过用户的历史行为数据发现用户对商品或内容的喜欢（如商品购买，收藏，内容评论或分享），并对这些喜好进行度量和打分。根据不同用户对相同商品或内容的态度和偏好程度计算用户之间的关系。在有相同喜好的用户间进行商品推荐。简单的说就是如果A,B两个用户都购买了x,y,z三本图书，并且给出了5星的好评。那么A和B就属于同一类用户。可以将A看过的图书w也推荐给用户B。1,寻找偏好相似的用户我们模拟了5个用户对两件商品的评分，来说明如何通过用户对不同商品的态度和偏好寻找相似的用户。在示例中，5个用户分别对两件商品进行了评分。这里的分值可能表示真实的购买，也可以是用户对商品不同行为的量化指标。例如，浏览商 ...继续阅读 (18)

三个网站分析中常见的场景：A,B两版广告创意，A版本转化率4.94%，B版本转化率5.75%，是否说明B版本比A版本转化效果好？网站首页对于新访客跳出率65.26%，老访客跳出率64.92%，是否说明新老访客在首页跳出率存在显著差异？男性用户在注册流程中退出率为15.99%，女性用户退出率为14.83%，是否说明男女用户在网站的注册流程中的表现有显著差异？本篇文章通过卡方检验来对网站分析中这三个常见的场景进行检验，用来说明这些指标间的差异是由偶然因素引起的还是在统计学上具有显著性意义。卡方检验主要用来检验实际数据与理论数据分布是否一致，或说有无显著差异问题。A/B版本广告转化率效果是否有差异？A,B两版广告创意，A版本转化率4.94%，B版本转化率5.75%，是否能说明B版本转化效果比A版好？建立假设首先建立假设：虚无假设：A B两版广告创意在转化率上不存在显著差异。备择假设：A B两版广告创意在转化率上存在显著差异。实测值以下是A,B两版广告的访问量和购买数量。我们将A,B版本广告的访问量数据分为产生购买的访问量和为产生购买的访问量，并进行转置，以获得用于进行卡方检验的实测值数据。以下是数据整理方法以及经过整理和分类后广告创意A,B的实测值数据。期望值除了实测值以外，还需要计算A B广告创意的理论值，也就是期望值。以下是期望值的计算公式。未购买数量占总访问量的比例为2135/22 ...继续阅读 (27)

跳出率的显著性检验是指特定渠道跳出率与已知的网站跳出率之间有无差异，也就是说，特定渠道跳出率是否在网站跳出率分布的置信区间之内。当np≥5(或nq≥5)以上时样本比率的分布为渐近正态分布。当我们在进行市场推广时，网站专题页的跳出率是62.55%，其中渠道A为专题页带来169316次访问中共有110502次跳出。那么该渠道跳出率与网站专题页跳出率是否存在显著差异呢？计算渠道A跳出率：110502/169316=65.25%p=65.25%，p0=62.55%，q0=1-p0=37.45%，n=31np=31*0.65=20.15np>5建立假设：虚无假设：渠道A与网站专题页的跳出率没有差异。Ho：p＝po备择假设：渠道A与网站专题页的跳出率存在显著差异。Hl：p≠poZ检验：Z=(0.65-0.62)/0.08=0.350.35<1.96 即P>0.95若Z>Zα(或Zα／2)为差异显著，拒绝H0假设，若Z<Zα(或Zα／2)为差异不显著，接受H0假设。因此，接受原假设，渠道A的跳出率与网站专题页的跳出率差异不显著。 再来检验下渠道B的情况，网站专题页的跳出率是62.55%，渠道B跳出率为45%。该渠道跳出率与网站专题页跳出率是否存在显著差异呢？p=45%，p0=62.55%，q0=37.45%，n=30np=30*0.45=13.5np> ...继续阅读 (16)

日常分析工作中经常会进行对比分析，其中比较常见的场景就是对两组广告带来的访问量效果进行对比。当两组访问量数据相差较大时，我们可以准确分辨出两者的差别。但有很多时候当两者的指标很接近时要判断广告的效果就比较复杂。本篇文章通过平均数差异显著性检验对访问量差异的显著性进行检验。 检验1：A B两版广告访问量效果对比平均数差异的显著性检验：平均数的显著性检验是指对两个样本平均数的差异进行的显著性检验。若检验的结果差异显著，表明两个样本间有差异。当总体分布非正态时，可以取大样本(n>30或n>50)进行 Z 检验。建立假设：虚无假设：广告A版本与广告B版本访问量没有差异。H0：μ1= μ2备择假设：广告B版本比广告A版本访问量存在显著提升。H1：μ2>μ1Z检验：A,B两个广告分别选取了31天的访问量数据，并计算出了A,B广告访问量的平均数和标准差。 SE=1047Z=(30366-23118)/1047Z=6.926.92>2.33 即P<0.99因此，可以认为在99%置信区间下，拒绝原假设A,B两个版本的广告访问量差异显著，广告B访问量比广告A有显著提升。检验2：C D两版广告访问量效果对比建立假设：虚无假设：广告C版本与广告D版本访问量没有差异。H0：μ1= μ2备择假设：广告C版本与广告D版本访问量存在显著差异。H1：μ1≠ μ2Z检 ...继续阅读 (22)

本篇文章通过常用的统计分析方法和图表发现流量数据中的规律和特征。主要使用的分析工具是Python。（说明：本篇文章还有另一个使用R的版本）下面将分别解释每一种统计方法的结果以及这些统计方法在Python中的实现方式。开始前的准备工作我们准备了一组原始的CSV数据，其中包含直接访问，引荐访问和SEM广告三个渠道近一个月的访问量数据。在开始分析之前先将原始数据导入到Python中。并将数据保存在名为traffic的数据表中，以备后面的操作。import pandas as pd import numpy as np import os import matplotlib as mpl import matplotlib.pyplot as plt 将数据导入Python中的方法traffic=pd.DataFrame(pd.read_csv('traffic.csv')) 流量属性的描述统计首先是描述统计，对于网站中不同渠道的访问量数据，通过描述统计可以快速的发现并对比不同渠道访问量的集中和离散趋势。在Python中给出的描述统计结果包括最小值，第一四分位数，中位数，均值，第三四分位数和最大值五个指标。（每个工具提供的描述统计结果都不一样，Excel的描述统计还会显示众数，标准差，方差等指标。Python中也有用对应的命令。）Python的描述统计方法traffic ...继续阅读 (193)

本篇文章通过常用的统计分析方法和图表发现流量数据中的规律和特征。主要使用的分析工具是R。（说明：本篇文章还有另一个使用Python版本）下面将分别解释每一种统计方法的结果以及这些统计方法在R中的实现方式。开始前的准备工作我们准备了一组原始的CSV数据，其中包含直接访问，引荐访问和SEM广告三个渠道近一个月的访问量数据。在开始分析之前先将原始数据导入到R中。并将数据保存在名为traffic的数据表中，以备后面的操作。将数据导入R中的方法traffic=data.frame(read.csv("traffic.csv"))流量属性的描述统计首先是描述统计，对于网站中不同渠道的访问量数据，通过描述统计可以快速的发现并对比不同渠道访问量的集中和离散趋势。在R中给出的描述统计结果包括最小值，第一四分位数，中位数，均值，第三四分位数和最大值五个指标。（每个工具提供的描述统计结果都不一样，Excel的描述统计还会显示众数，标准差，方差等指标。R中也有用对应的命令。）R的描述统计方法summary(traffic)集中趋势分析集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。R的描述统计中给出的算数平均数和中位数两个指标。如果访问量数据符合正态分布，那么算数平均数将能代表这一组数据的集中趋势，并且会与中位数接近。通过R中显示的描述统计结果可以发现，直接流量和S ...继续阅读 (16)

春节长假后的第一篇文章讨论如何对网站流量进行分析及预测。我们采取自下而上的方法，通过对不同类别的流量进行单独的分析及预测，再进行汇总的方法来预测整个网站的流量变化趋势。在开始之前首先需要了解网站流量的构成。在前面的文章中我曾详细介绍网站中不同的流量来源的分类及特征。了解这些分类及特征的目的是因为不同的流量背后的驱动因素是不一样的。这些背后的因素是造成了流量变化及趋势的主要原因。此外他们也分别代表了不同的用户群体以及访问网站的目的。因此，在对网站流量进行预测前，首先要对网站的流量组成进行分析，寻找不同流量的特征。 细分并分析流量的特征细分是进行网站流量分析及预测的第一步，按照通用的分类我们将网站的流量按来源渠道细分四大类别，分别是直接流量，引荐流量，搜索流量和广告流量。本篇文章我们主要以直接流量和广告流量中的SEM为例进行说明。完成流量细分之后，我们开始观察并分析不同流量渠道的趋势及特征。首先是直接流量，下图是网站直接流量的变化趋势，通过观察流量的变化情况可以发现，直接流量整体趋势起伏变化，在进一步观察发现直接流量的变化有固定的规律并有周期性。 幅度较大的变化主要集中在周末两天，而工作日则较为平稳。再来看下SEM的流量，由于SEM的流量是由SEM广告点击量驱动的，因此我们直接观察SEM点击量的变化趋势。通过下图可以发现，SEM点击量与直接流量的变化趋势截然不同，呈现较为复杂 ...继续阅读 (14)

世纪佳缘成立于2003年10月8日，是中国在线婚恋交友平台，通过互联网、无线平台和线下活动为单身人士提供严肃婚恋交友服务。2011年5月11日，世纪佳缘登陆美国纳斯达克进行首次公开募股，成为首家上市的中国在线婚恋交友平台，股票交易代码为“DATE”。截至2014年1月13日，世纪佳缘已拥有逾1亿注册用户。2015年12月7日，世纪佳缘和百合网宣布达成合并协议。世纪佳缘将成为一家私有公司，从纳斯达克退市。 世纪佳缘用户属性用户基本特征及属性根据Alexa Competitive Intelligence的数据显示，世纪佳缘网站的用户性别以女性为主，部分用户大学在读，也有少部分高学历人群。用户在工作中使用的频率较高。在年龄分布上，世纪佳缘大部分用户的年龄集中在25到44岁之间，其中尤为35-44岁的大龄青年居多。大部分用户收入范围在18-36万/年。注册,活跃及付费用户截止2012年第三季度，世纪佳缘的注册用户数为7319万人。（世纪佳缘从2012年Q3开始不在披露注册用户和新增用户数据）世纪佳缘官方给出的总体注册用户数已经超过1.4亿，配对成功数量达到1300万对。（考虑到注册用户在世纪佳缘上找到另一半后，不会在继续登陆，因此这里准确的说法应为累计注册过世纪佳缘的用户数超过1.4亿人。按注册用户与配对成功数据测算，配对成功率为9.28%。）世纪佳缘新注册用户以每季度约10% ...继续阅读 (14)

2016年的第一篇文章我们关注SEM的点击率。什么样的点击率对于一个SEM来说是合格的？或者说怎样判断你的SEM广告优于同页面中其他的广告或搜索结果？先来看一个场景。我们在搜索引擎中投放关键词广告，一天下来这个关键词对应的广告获得了1200次曝光和72次点击，点击率6%。我们该如何评价这个指标的表现呢？6%算是一个合格的点击率吗？随后我们对广告的创意进行了优化，再次投放时点击率变成了10%。我们如何来衡量这次优化的效果呢？这能说明新的广告创意是成功的吗？如果需要为点击率设定一个目标值的话，又该是多少呢？在前一篇文章中我们曾经从感性的角度对不同的SEM广告内容进行分词及对比。本篇文章我们从理性的角度通过概率模型来分析SEM的点击率。从事SEM的朋友都知道，用户从开始输入关键词到查看搜索结果并最终点击搜索结果是一个非常复杂的过程，我们在分析之前对这个搜索过程做了一些简化。假设用户只关注搜索引擎提供的结果信息。并且每次搜索都会点击其中一个。假设搜索引擎在结果页中展示10个同样形式的搜索结果。假设用户每次点击搜索结果前都有机会看到页面中的其他9个搜索结果。我们忽略了那些对广告敏感，只点击自然搜索结果的用户。并排除了每次点击多个搜索结果的用户。在这些假设的基础之上，我们开始对SEM的点击率指标进行分析。现在有100个用户在搜索相同的关键词，并且每次都能在10个搜索结果中看到你的SEM广告，用 ...继续阅读 (13)

Information is power – if you have the right tools.Alexa是一个对全球网站流量进行排名的网站。通过对过去三个月分布在全球的超过25,000个浏览器扩展程序获取网站每天的访问量和页面浏览量的采样数据，并通过估算提供每个网站在全球和特定国家的流量排名。这也是它最出名的免费功能之一。但这并不是Alexa的全部功能，本篇文章要介绍的是Alexa的另一项付费功能，竞争网站情报分析。Alexa的竞争情报分为5个部分，分别是竞争网站的历史流量趋势，竞争网站受众人口统计，网站流量来源分布和网络流量轨迹，SEO外链和搜索关键词以及网站用户参与度。我们以INSIGHT Plan为例，通过本博客的一些数据和其他可以公开获得的网站数据对Alexa竞争情报分析工具进行介绍和对比。1，竞争网站历史流量趋势分析Alexa竞争情报数据的第一部分是网站历史流量趋势。Alexa主要从三个指标展示竞争网站在过去三年中的的历史流量趋势数据，这三个指标分别是：Alexa流量排名，到达率和页面浏览率。Alexa流量排名：通过每天访问量和浏览量采样数据通过估算得到的网站排名。到达率：全球互联网受众每天访问此网站的估算百分比。页面浏览率：全球互联网受众每天浏览此网站页面的估算百分比。以上是国内几家主流P2P网站的历史流量趋势分析，通过Alexa流量排名指标可以发现 ...继续阅读 (25)

当我们在写广告创意时,我们想向用户传达哪些信息？不同的SEM广告创意之间有哪些差别？最近我对几个真实的理财网站SEM创意进行了语义分析，把创意分割为最基本的单元，通过名词，动词和形容词的使用来对比不同广告创意对用户表达的概念以及数量（名词数量），和召唤用户采取的行动（动词），以及对不同概念的描述（形容词）。先来看下名词，动词和形容词的具体含义：名词（Noun,简称），是词类的一种，属于实词，名词表示人、事物、地点或抽象概念的名称。在广告创意中表示用来像用户传递的概念和信息数量。动词（Verb），就是用来表示动作或状态的词汇。在广告创意中用来召唤用户采取行动。形容词（Adjective），很多语言中均有的主要词类中的一种。形容词主要用来描写或修饰名词或代词，表示人或事物的性质、 状态、特征、或属性，常用作定语，也可作表语、补语或状语。在广告创意中用来描述和修饰产品，服务和功能。下面我们分别对几个广告创意进行细分，观察不同广告创意中所表达的信息及差异。积木盒子广告创意语义分析：名词（概念和信息）：9个，财富，投融资，网络，com，平台，收益，积木盒子，投资。动词（召唤行动）：理财，预期，计息，领先，服务，提供，注册，实现，增值。形容词（修饰）：1个，稳定。形容词+名词（连贯性及含义）：稳定财富，稳定投融资，稳定网络，稳定com，稳定平台，稳定收益，稳定积木盒子，稳定投资。名词+动词：财 ...继续阅读 (29)

4Q Survey是一个网站调研及分析工具。我的博客从2010年开始使用这个免费的用户调研工具。访问过我博客的朋友中20%的人应该都被这个工具“骚扰”过，4Q会在你开始阅读页面之前跳出来询问你本次到访的目的，以及是否满意等问题。2015年初因为博客访问速度等更原因没有继续使用。最近整理了4Q Survey中的一些数据，拿出来和大家分享并介绍下这个网站调研及分析工具。4Q Survey的基础功能是免费的，可以满足中小网站调研和分析的大部分需求。如果你需要实时数据和一些更高级的功能也可以升级到收费版本。4Q Survey的设置和使用过程非常简单，主要包含5个功能模块。调研问卷设计，收集数据及代码实施，数据整合输出，调研数据分析和报告导出。下面我们会分别进行介绍。 1，设计调研问卷设计调研问卷是开始使用4Q Survey的第一步，在这一步中共包含三个小的环节。第一个环节是设置调研问卷中的问题，也就是你希望访问者回答的问题。这个环节4Q Survey提供了一些基本的问题和选项，包括询问用户所使用的设备，本次访问的来源，对本次访问的总体感受等等。你也可以按照需要对问题的内容和形式进行编辑修改。设置好调研问题及顺序后选择发布即可。第二个环节是对调研问卷的界面进行设置。这个环节主要的功能是在调研问卷中设置你的网站或公司的LOGO，以及调研开始页，回答问题页，以及最终感谢页面的风格。这部 ...继续阅读 (33)

StartFragment很久没有更新博客， 因为一直在忙，忙各种工作和生活的事情。当然这些都是借口，更多的原因是懒了。一件事做的久了就会形成习惯，之前每周不写一篇文章都会感觉少点什么。现在的懒惰也是一样，手机里记录了很多零碎的想法却没有一个变成文章。今天写这篇文章的目的要向大家介绍一个网站分析圈的好兄弟以及他的创业项目。这位兄弟的名字叫方志威，熟悉他的朋友叫他Kobe，也有人叫他方先生。曾经混迹于4A广告圈，和电商圈。从网络广告效果监测一路做到网站数据分析。后来和朋友一起创业，为海外电商网站导流量。去年年底，他响应了总理的号召变身做老板，建立了一家互联网金融平台开始创业。推荐Kobe的项目首先是因为我和他是多年的朋友，这个朋友做人办事都很靠谱。其次他平台的项目大都是来自对大型国企、央企的应收账款，有兴趣的同学不妨去研究一下。项目名称是：中融钱邦。这是Kobe的微信号：kobe-fang 无论是网站分析还是理财投资的问题都可以随时骚扰他。备注“网站分析”可以领取他为同行准备的加息劵。最后，Kobe还是单身，单身，单身。重要的事情说三遍！ ...继续阅读 (22)

Job DescriptionAnalyze consumer data to draw insights and make strategic recommendations around customer acquisition, customer retention, website activity and visitor behavior to drive optimization.Increase the traffic and usability of web platforms.Examine web site analytics using Google Analytics and various tools.Own and manage configurations, access rights, and analytics policies for site analytics tools.Optimize web platforms.Conduct data analysis on loading time, scripts control, users’ interaction reports.Focus on optimization via A/B testing.Business analysis on client’s requirements a ...继续阅读 (31)

泰奇互动（北京互联时代通讯科技有限公司）是神州泰岳软件股份有限公司（深交所股票代码：300002，以下简称“神州泰岳”）旗下子公司。核心团队来自完美世界、搜狐畅游、中国手游、昆仑万维等知名游戏发行公司，拥有全球最顶尖的游戏发行和运营经验。专注于全球手机游戏和网页游戏的发行和运营；致力于打造全球最顶尖的游戏发行运营团队和多语言互动娱乐平台；致力于向全球用户提供最优质的游戏产品和个性化服务。运营管理部-数据分析师（偏游戏运营）核心职责负责手游产品日常的监测和分析工作，从数据分析角度协助项目组优化产品和活动。负责定期全面分析产品、渠道、运营活动，及时反馈问题并提供合理建议。负责数据挖掘，指导产品调优和运营策略制定。负责整理业务指标体系，优化数据业务平台。完成上级交付的其他工作任务。任职资格本科或以上学历，数学、统计学、计算机等相关专业；有游戏行业工作经验；热爱游戏和数据分析，具备数据敏感性；有良好的沟通表达、组织协调能力；熟练使用SQL、EXCEL、PPT；使用过友盟、TalkingData等分析工具者优先。有数据平台建设、数据挖掘、数据建模等相关项目经历优先；工作主动积极，乐于面对挑战，能承受一定工作压力，具有高度的责任心及团队精神，执行力强。运营管理部-数据分析师(偏Marketing Research)核心职责负责建立数据监测体系，整理实施数据报告；负责市场研究与分析；负责广告、网 ...继续阅读 (18)

Mouse flow顾名思义,这是一个对用户鼠标行为进行追踪和分析工具。鼠标是用户与网站之间进行交互的主要工具，在网站分析中，我们经常需要对用户的鼠标行为进行追踪和分析，这其中使用最频繁的就是onclick事件。在使用Google Analytics的事件追踪时大部分的事件需要通过onclick触发，例如按钮点击和资料下载等等。除此以外，鼠标还会有很多不同的行为，如鼠标的双击，移动，悬停等等。下面我们列出了部分 JavaScript的属性列表，这些属性可插入 HTML 标签来定义事件动作。Mouseflow最主要的功能就是自动捕获用户鼠标在网页上的所有移动，点击和滚动行为。并以最直观的“录屏”（Recordings）形式还原用户在网站中的行为。在Mouseflow的工具后台，你能找到所有被记录的访问者鼠标轨迹“录像”列表。这些“录像”将为你还原这位访问者在整个访问期间的所有鼠标活动。Mouseflow将“录像”的列表分为了三类。第一类是所有的用户访问记录。在这里记录了Mouseflow追踪到的所有“录像”列表。列表中提供了一些基本维度信息，例如地理位置，来源，进入页面，“录像”的新鲜度，浏览深度，时长和访问者的设备信息。在所有记录列表中你可以通过按日期范围，浏览深度和访问时长对“录像”筛选。同时也可以按列表中提供的基本维度信息进行筛选和搜索。第二类是单一页面的用户访问记录，也就是我 ...继续阅读 (13)

Tynt是一个免费的社交分享监测工具。这个工具非常简单甚至有些无聊，他的主要功能就是追踪访问者在网站中的复制和粘贴行为。但是基于这些复制和粘贴数据Tynt在2012年10月的时候发布报告称美国82%的分享行为来自复制和粘贴，2%的页面浏览量与复制和粘贴行为有关。我的博客也一直在使用Tynt对文章内容进行监测。如果你从文章中复制一段内容（超过15个汉字）并分享给朋友时会发现，这段文字的后面多了一个访问原始文章的URL地址，并且在地址后面还有一个小尾巴。这就是Tynt的监测原理，访问者每次复制内容时，无论是使用Control+C还是点击鼠标右键中的复制命令，Tynt都会在复制的内容后面附上一个当前页面的URL地址，并在URL后面添加带有唯一标识的参数。每次复制的参数标识都不一样。当访问者将这些内容粘贴并分享给朋友时，带有唯一标识的URL地址也会一同显示出来。如果看到信息的人对内容感兴趣，点击了分享内容后的URL地址并返回原始文章页面时，Tynt则会根据URL中的唯一标识参数和Referer信息来辨别信息分享的位置，访问者的来源，以及访问者在网站中的后续浏览甚至转化行为。在Tynt的报告中，提供了网站内容被复制的总次数，新增的SEO链接数，以及通过这些被分享的内容带来的流量增长。这里的内容复制总次数由三部分组成，分别为文章的URL地址被复制的次数，文章的文字内容被复制的次数，以及文章中图 ...继续阅读 (23)

你的网站有多少个页面？大部分人可能都无法准确的回答这个问题。就像我虽然准确的知道自己写过多少篇文章，但不知道Wordpress程序通过分类，标签，日期和搜索功能自动的生成了多少个页面一样。为了满足不同访问者的访问目的和需求会产生大量各种各样的页面。有些页面承载了有价值的信息，有些页面仅仅是帮助访问者查找信息的一个步骤。有些页面是给真实的人看的，而有些页面则是为了满足搜索引擎的信息抓取。这些不同类别和使用场景的页面交织在一起，组成了我们的网站。对于这些形形色色的页面，准确的度量他们的表现及效果的前提条件是对页面进行分类，也就是创建页面的内容分组。页面的内容分组方法有很多种，同一个页面可能兼具多个维度，并且同时属于多个内容分组。如何对页面进行分组取决于你希望获得的信息和分析的目的。我们整理了5种最常见的页面分组方法。第一种是按所扮演的角色对页面进行分组，最常见的是导航类页面，功能类页面和内容类页面。第二种是按页面所在的层级进行分组，从首页的一级页面开始，可以逐级分为二级页面，三级页面。第三种方法是按页面内容进行分组，可以分为不同的频道，或不同的商品品类。第四种方法是按页面存在的目的，可以将页面分为访问者浏览的页面，投资人浏览的页面，合作伙伴浏览的页面和针对搜索引擎蜘蛛的页面。最后一种方法是按状态和场景将页面分为正常页面和错误页面。这里的错误页面例如404页面，搜索无结果页面等。除了以上 ...继续阅读 (7)