多维数据可视化是指通过一些手段将高维的数据展示在二维的平面中，在进行探索性数据分析及对聚类或分类问题的验证中有着重要的应用。本文将介绍一些常用的多维数据可视化的方法。首先请出万能的鸢尾花数据。importpandasaspddata=pd.read_csv('https://raw.github.com/pydata/pandas/master/pandas/tests/data/iris.csv')data.head()可以看到其中包含5列，前四列是特征，name是分类SepalLength SepalWidth PetalLength PetalWidth Name 0 5.1 3.5 1.4 0.2 Iris-setosa 1 4.9 3.0 1.4 0.2 Iris-setosa 2 4.7 3.2 1.3 0.2 Iris-setosa 3 4.6 3.1 1.5 0.2 Iris-setosa 4 5.0 3.6 1.4 ...继续阅读 (5)

最近经常听到禅宗三境界，百度了一下典故出处：佛教禅宗参禅三重境界，常被引申用来形容看待事物的不同境界。佛教禅宗史书《五灯会元》，唐代禅宗大师青原惟信语：老僧三十年前未参禅时，见山是山，见水是水。及即至后来，亲见知识，有个入处；见山不是山，见水不是水。而今得个休歇处，依前见山只是山，见水只是水。这类高度抽象认识论，往往是可以放之四海而皆准的真（zhuang）知（bi）灼（li）见（qi）。回想一下这些年的工作经验，在数据分析领域也是存在这三个阶段见山是山，见水是水往往初入职场的数据新人都处于这个阶段，这个阶段的数据新人对业务了解不多，对数据的解读往往只限于数据表现本身而不考虑其背后业务的意义，单纯的解读数据。见山不是山，见水不是水随着对业务了解的加深，这个阶段的分析师不仅仅关注数据，而是关注数据背后的业务意义。但是，其实一个数据可以从不同角度解读，如果带有太多的先入之见去解读，也就失去了 数据分析知识发现的作用，或对数据进行过渡解读，或者只是将数据作为验证某种业务经验的工具。见山只是山，见水只是水了解了先入之见的危害之后，就会再次回归数据本身，对应的数据分析认识论就是敬畏数据，不过多的去解读数据，而是应该大胆假设小心验证。至此为止，也就完成了认识论的一个否定之否定的螺旋上升过程。在现实的工作中，真正能够达到第三阶段的是凤毛麟角。最佳的工作状态还是业务人员与数据人员的组合，数据人员从数 ...继续阅读 (3)

近期的工作和Hive SQL打交道比较多，偶尔遇到一些SQL不好解决的问题，会将文件下载下来用pandas来处理，由于数据量比较大，因此有一些相关的经验可以和大家分享。大文本数据的读写有时候我们会拿到一些很大的文本文件，完整读入内存，读入的过程会很慢，甚至可能无法读入内存，或者可以读入内存，但是没法进行进一步的计算，这个时候如果我们不是要进行很复杂的运算，可以使用read_csv提供的chunksize或者iterator参数，来部分读入文件，处理完之后再通过to_csv的mode='a'，将每部分结果逐步写入文件。importpandasaspdinput=pd.read_csv('input.csv',chunksize=1000000)foriininput:chunk=dosomethig(input)# 进行一些操作chunk.to_csv('output.csv',mode='a',header=False)# 记得使用header=False不然会重复写入列名input=pd.read_csv('input.csv',iterator=True)whileloop:try:chunk=reader.get_chunk(1000000)chunk.to_csv('output.csv',mode='a',header=False)# 和上面的代码作用一样只是通过iter ...继续阅读 (4)

Cloga：这篇文章是国外两篇文章的翻译，试图解决营销中的归因分析问题，即GA中的多渠道如何给定权重。英文原文地址：Marketing attribution analysis: the remarkable (but scary) new world of data，Marketing attribution analysis part 2: Embrace the complexity最近，在与密切合作的分析公司的“午餐 + 学习”的演讲会上，出乎意料的令人震惊和振奋。我们在一个引人注目的时刻。新的分析技术发展允许我们研究行为中非常深入和复杂的模式。然而更加难以抵挡的是，处理由购物者每天产生的数据量以及难以置信购物路径，包括多种接触点以及多种设备。这引起了一些难题。销售该归功于哪个接触点？哪个路径带来了最多的销售？就转化而言，一个接触点组合是否优于另一个？从历史上来说，我们回答这些问题的能力很有限，通常需要使用最佳判断。但是，称为营销归因分析的新一代分析方法有望提供更加精确和有预测力的答案。什么是营销归因分析？营销归因分析是应用统计方法为购物路径上的每一个接触点分配值，这个值反应了营销接触点在带来销售上的相对强度。今天最受欢迎的是过分简化的“单点接触”归因。这种方法假设第一次或最后一次的接触产生了销售，但是，我们知道这是不充分不准确的假设。简化“多触点”方法是一个进步，不过，许 ...继续阅读 (345)

Cloga：这篇文章是国外两篇文章的翻译，试图解决营销中的归因分析问题，即GA中的多渠道如何给定权重。英文原文地址：Marketing attribution analysis: the remarkable (but scary) new world of data，Marketing attribution analysis part 2: Embrace the complexity最近，在与密切合作的分析公司的“午餐 + 学习”的演讲会上，出乎意料的令人震惊和振奋。我们在一个引人注目的时刻。新的分析技术发展允许我们研究行为中非常深入和复杂的模式。然而更加难以抵挡的是，处理由购物者每天产生的数据量以及难以置信购物路径，包括多种接触点以及多种设备。这引起了一些难题。销售该归功于哪个接触点？哪个路径带来了最多的销售？就转化而言，一个接触点组合是否优于另一个？从历史上来说，我们回答这些问题的能力很有限，通常需要使用最佳判断。但是，称为营销归因分析的新一代分析方法有望提供更加精确和有预测力的答案。什么是营销归因分析？营销归因分析是应用统计方法为购物路径上的每一个接触点分配值，这个值反应了营销接触点在带来销售上的相对强度。今天最受欢迎的是过分简化的“单点接触”归因。这种方法假设第一次或最后一次的接触产生了销售，但是，我们知道这是不充分不准确的假设。简化“多触点”方法是一个进步，不过，许 ...继续阅读 (3)

Cloga：这篇文章是Marketing in a Digital World的一篇课外阅读文章，英文原文地址：http://www.entrepreneurial-insights.com/understanding-marketing-mix-concept-4ps/营销最简单的定义是：”将正确的产品以正确的价格在正确的时间放在正确的地点。“尽管这听起来是一个非常简单的观点，但是，要贯彻这个简单的定义需要大量的艰苦工作和研究。并且即使如果只是一个元素偏离了轨道，那么一个很有希望的产品或服务也可能彻底失败，并且最终会掉公司。使用营销组合是确保“正确的产品放在正确的地方...”将发生的极好方式。营销组合是帮助理解可以提供什么产品或服务以及如何规划成功的产品供给至关重要的工具。营销组合通常通过4P营销来执行：价格（Price）、产品（Product）、促销（Promotion）和位置（Place）。有许多额外的P可以扩展甚至4C概念。但是4Ps是开始规划产品或评估现有产品供给的良好起点。在这篇文章中，我们将看一下4Ps营销组合的历史和术语营销组合的目的营销组合的关键特征开发一个营销组合关键挑战营销组合例子-NIVEA4P产品产品是想要满足特定消费者需求或要求的有形商品或无形服务。所有产品都遵循产品生命周期，对营销人员来说，理解不同阶段及其特有的挑战，并且作出对应的规划非常关键。理解产 ...继续阅读 (40)

Cloga：这篇文章是Marketing in a Digital World的一篇课外阅读文章，英文原文地址：http://www.entrepreneurial-insights.com/understanding-marketing-mix-concept-4ps/营销最简单的定义是：”将正确的产品以正确的价格在正确的时间放在正确的地点。“尽管这听起来是一个非常简单的观点，但是，要贯彻这个简单的定义需要大量的艰苦工作和研究。并且即使如果只是一个元素偏离了轨道，那么一个很有希望的产品或服务也可能彻底失败，并且最终会掉公司。使用营销组合是确保“正确的产品放在正确的地方...”将发生的极好方式。营销组合是帮助理解可以提供什么产品或服务以及如何规划成功的产品供给至关重要的工具。营销组合通常通过4P营销来执行：价格（Price）、产品（Product）、促销（Promotion）和位置（Place）。有许多额外的P可以扩展甚至4C概念。但是4Ps是开始规划产品或评估现有产品供给的良好起点。在这篇文章中，我们将看一下4Ps营销组合的历史和术语营销组合的目的营销组合的关键特征开发一个营销组合关键挑战营销组合例子-NIVEA4P产品产品是想要满足特定消费者需求或要求的有形商品或无形服务。所有产品都遵循产品生命周期，对营销人员来说，理解不同阶段及其特有的挑战，并且作出对应的规划非常关键。理解产 ...继续阅读 (6)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本1.4.1 简介Matplotlib可能是Python惟一一个最广泛使用的二维图包。它同时提供了从Python中可视化数据非常的快速方式以及多种格式的出版质量图片。我们将在交互模式下研究Matplotlib，包含大多数的常用案例。1.4.1.1 IPython和pylab模式IPython是强化版交互Python shell，有许多有趣的功能，包括：输入输出的命名、访问shell命令改进错误排除等。它位于Python中的科学计算工作流的核心，要让它与Matplotlib的结合使用：用命令行参数-pylab（--pylab从IPython0.12开始）启动IPython，获得带有Matlab/Mathematica类似功能的交互Matplotlib session。1.4.1.2 pylabpylab提供了matplotlib面向对象的绘图库的程序接口。它的模型与Matlab™非常相近。因此，py ...继续阅读 (41)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本1.4.1 简介Matplotlib可能是Python惟一一个最广泛使用的二维图包。它同时提供了从Python中可视化数据非常的快速方式以及多种格式的出版质量图片。我们将在交互模式下研究Matplotlib，包含大多数的常用案例。1.4.1.1 IPython和pylab模式IPython是强化版交互Python shell，有许多有趣的功能，包括：输入输出的命名、访问shell命令改进错误排除等。它位于Python中的科学计算工作流的核心，要让它与Matplotlib的结合使用：用命令行参数-pylab（--pylab从IPython0.12开始）启动IPython，获得带有Matlab/Mathematica类似功能的交互Matplotlib session。1.4.1.2 pylabpylab提供了matplotlib面向对象的绘图库的程序接口。它的模型与Matlab™非常相近。因此，py ...继续阅读 (4)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本作者：Emmanuelle Gouillart、Didrik Pinte、Gaël Varoquaux 和 Pauli Virtanen本章给出关于Numpy概述，Numpy是Python中高效数值计算的核心工具。1.3.1 Numpy 数组对象1.3.1.1 什么是Numpy以及Numpy数组？1.3.1.1.1 Numpy数组Python对象：高级数值对象：整数、浮点容器：列表（无成本插入和附加），字典（快速查找）Numpy提供：对于多维度数组的Python扩展包更贴近硬件（高效）为科学计算设计（方便）也称为面向数组计算importnumpyasnpa=np.array([0,1,2,3])aarray([0, 1, 2, 3])例如，数组包含：实验或模拟在离散时间阶段的值测量设备记录的信号，比如声波图像的像素、灰度或颜色用不同X-Y-Z位置测量的3-D数据，例如MRI扫描...为什么有用： ...继续阅读 (54)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本作者：Emmanuelle Gouillart、Didrik Pinte、Gaël Varoquaux 和 Pauli Virtanen本章给出关于Numpy概述，Numpy是Python中高效数值计算的核心工具。1.3.1 Numpy 数组对象1.3.1.1 什么是Numpy以及Numpy数组？1.3.1.1.1 Numpy数组Python对象：高级数值对象：整数、浮点容器：列表（无成本插入和附加），字典（快速查找）Numpy提供：对于多维度数组的Python扩展包更贴近硬件（高效）为科学计算设计（方便）也称为面向数组计算importnumpyasnpa=np.array([0,1,2,3])aarray([0, 1, 2, 3])例如，数组包含：实验或模拟在离散时间阶段的值测量设备记录的信号，比如声波图像的像素、灰度或颜色用不同X-Y-Z位置测量的3-D数据，例如MRI扫描...为什么有用： ...继续阅读 (2)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本作者 Chris Burns, Christophe Combelles, Emmanuelle Gouillart, Gaël VaroquauxPython中的科学计算这里我们介绍Python语言。这里只会仅仅解决可以用于Numpy和Scipy的最低要求。想要更多的了解这门语言，请参考http://docs.python.org/tutorial 这个非常好的教程。也可以借助专门的图书，比如：http://diveintopython.org/.Python是一门编程语言，与C、Fortran、BASIC和PHP等等类似。Python的一些特性如下：一种解释性（不是编译）语言。与C或者Fortran等不同，Python代码在执行前不会编译。另外，Python可以交互使用：有许多的Python 解释器，命令和脚本可以在其中执行。在开源证书下发布的免费软件：Python可以免费使用和分发，即使 ...继续阅读 (29)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本作者 Chris Burns, Christophe Combelles, Emmanuelle Gouillart, Gaël VaroquauxPython中的科学计算这里我们介绍Python语言。这里只会仅仅解决可以用于Numpy和Scipy的最低要求。想要更多的了解这门语言，请参考http://docs.python.org/tutorial 这个非常好的教程。也可以借助专门的图书，比如：http://diveintopython.org/.Python是一门编程语言，与C、Fortran、BASIC和PHP等等类似。Python的一些特性如下：一种解释性（不是编译）语言。与C或者Fortran等不同，Python代码在执行前不会编译。另外，Python可以交互使用：有许多的Python 解释器，命令和脚本可以在其中执行。在开源证书下发布的免费软件：Python可以免费使用和分发，即使 ...继续阅读 (2)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本作者 : Fernando Perez, Emmanuelle Gouillart, Gaël Varoquaux, Valentin Haenel1.1 为什么是Python？1.1.1 科学家的需求获得数据（模拟，实验控制）操作及处理数据可视化结果... 理解我们在做什么！沟通结果：生成报告或出版物的图片，写报告1.1.2 要求对于经典的数学方法及基本的方法，有丰富的现成工具：我们不希望重新编写程序去画出曲线、傅立叶变换或者拟合算法。不要重复发明轮子！易于学习：计算机科学不是我们的工作也不是我们的教育背景。我们想要在几分钟内画出曲线，平滑一个信号或者做傅立叶变换，可以方便的与合作者、学生、客户进行交流，代码可以存在于实验室或公司里面：代码的可读性应该像书一样。因此，这种语言应该包含尽可能少的语法符号或者不必要的常规规 定，使来自数学或科学领域读者愉悦的理解这些代码。语言高效，执行快...但是 ...继续阅读 (50)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn，完整的中文目录本文的IPython版本作者 : Fernando Perez, Emmanuelle Gouillart, Gaël Varoquaux, Valentin Haenel1.1 为什么是Python？1.1.1 科学家的需求获得数据（模拟，实验控制）操作及处理数据可视化结果... 理解我们在做什么！沟通结果：生成报告或出版物的图片，写报告1.1.2 要求对于经典的数学方法及基本的方法，有丰富的现成工具：我们不希望重新编写程序去画出曲线、傅立叶变换或者拟合算法。不要重复发明轮子！易于学习：计算机科学不是我们的工作也不是我们的教育背景。我们想要在几分钟内画出曲线，平滑一个信号或者做傅立叶变换，可以方便的与合作者、学生、客户进行交流，代码可以存在于实验室或公司里面：代码的可读性应该像书一样。因此，这种语言应该包含尽可能少的语法符号或者不必要的常规规 定，使来自数学或科学领域读者愉悦的理解这些代码。语言高效，执行快...但是 ...继续阅读 (3)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn这份文档是关于Python科学生态体系的教学资料，关于Python科学计算的核心工具及技术的快速入门。每章包含1到2小时的课程，专业难度从新手到专家不断提升。Python科学计算入门科学计算工具及流程Python语言NumPy：创建和操作数值数据Matplotlib：绘图Scipy：高级科学计算获取帮助及寻找文档高级话题Python高级功能（Constructs）高级Numpy代码除错代码优化SciPy中稀疏矩阵使用Numpy和Scipy进行图像操作及处理数学优化：找到函数的最优解与C进行交互包与应用Packages and applicationsSympy：Python中的符号数学Scikit-image：图像处理Traits：创建交互对话使用Mayavi进行3D作图scikit-learn：Python中的机器学习 ...继续阅读 (31)

Cloga：这份文档是euroscipy关于Python科学计算资源的一个教程。英文版地址为：http://scipy-lectures.github.io/，是学习Python科学计算生态体系很好的资料，因此，我会陆续将它翻译为中文，相关Gitbub地址为：https://github.com/cloga/scipy-lecture-notes_cn这份文档是关于Python科学生态体系的教学资料，关于Python科学计算的核心工具及技术的快速入门。每章包含1到2小时的课程，专业难度从新手到专家不断提升。Python科学计算入门科学计算工具及流程Python语言NumPy：创建和操作数值数据Matplotlib：绘图Scipy：高级科学计算获取帮助及寻找文档高级话题Python高级功能（Constructs）高级Numpy代码除错代码优化SciPy中稀疏矩阵使用Numpy和Scipy进行图像操作及处理数学优化：找到函数的最优解与C进行交互包与应用Packages and applicationsSympy：Python中的符号数学Scikit-image：图像处理Traits：创建交互对话使用Mayavi进行3D作图scikit-learn：Python中的机器学习 ...继续阅读 (3)

Google Tag Manager简介Google Tag Manager是Google提供的一个代码管理工具，准确的说其实在页面上提供了一个容器，在这个容器中可以放置任意的HTML及JS代码。可跟踪可量化是Digital Marketing的优势之一，随着而来的问题是需要在很多不同的页面上放置不同Vendor提供的监测代码，网站上要添加网站分析代码，转化页面需要添加Adwords转化代码或其他的Ad Network的转化代码，不同的代码有效期也可能不一致。代码管理工具应运而生，通过代码管理工具，网站分析师或者Digital营销人员可以自己管理页面上的代码，而不用每次都“劳烦”网站管理员。通过代码管理器可以有效的保证监测代码的一致性，也加快了响应速度。其实Google在这个领域也只是一个追随者，凭借免费及巨大的用户规模而使Google Tag Manager更广泛的被大家所了解。简单做一下市场调查的话，会发现市场上其实有许多类似的产品：Dynamic Tag Management：Adobe的代码管理器Universal Tag Management System：Signal的产品Open Tag：Qubit的代码管理器，应该是这个领域里面比较早的产品，同时他们还有A/B Test的产品代码管家：本地化的代码管理工具Google Tag Manager的组成元素GTM在近期更新 ...继续阅读 (41)

Google Tag Manager简介Google Tag Manager是Google提供的一个代码管理工具，准确的说其实在页面上提供了一个容器，在这个容器中可以放置任意的HTML及JS代码。可跟踪可量化是Digital Marketing的优势之一，随着而来的问题是需要在很多不同的页面上放置不同Vendor提供的监测代码，网站上要添加网站分析代码，转化页面需要添加Adwords转化代码或其他的Ad Network的转化代码，不同的代码有效期也可能不一致。代码管理工具应运而生，通过代码管理工具，网站分析师或者Digital营销人员可以自己管理页面上的代码，而不用每次都“劳烦”网站管理员。通过代码管理器可以有效的保证监测代码的一致性，也加快了响应速度。其实Google在这个领域也只是一个追随者，凭借免费及巨大的用户规模而使Google Tag Manager更广泛的被大家所了解。简单做一下市场调查的话，会发现市场上其实有许多类似的产品：Dynamic Tag Management：Adobe的代码管理器Universal Tag Management System：Signal的产品Open Tag：Qubit的代码管理器，应该是这个领域里面比较早的产品，同时他们还有A/B Test的产品代码管家：本地化的代码管理工具Google Tag Manager的组成元素GTM在近期更新 ...继续阅读 (5)

开发一个小应用放在互联网上给大家使用是一件成就感很高的事情，不过支持Python的免费空间不是很多，虽然GAE支持Python，不过由于众所周知的原因，在国内是很难打开GAE，这篇文章为大家介绍一下Heroku，heroku支持Python，并且在数据量不大的情况下是免费。涉及到的工具git：分布式版本管理工具，这里推荐大家看一下廖雪峰的GIT教程Virtualenv，Python的虚拟环境模块Virtualenvwrapper，在Virtualenv之上封装了一些更简便的方法Flask，Python的web框架Heroku Toolbelt，Heroku提供的命令行工具搭建本地的环境安装Virtualenv和Virtualenvwrappersudo pip install Virtualenv sudo pip install Virtualenvwrapper安装之后需要在.bash_profile中添加如下两行代码：export WORKON_HOME=$HOME/.virtualenvs source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh这里source的路径可以通过：which virtualenvwrapper.sh来确定创建一个叫做toyapp的文件夹，用 ...继续阅读 (172)

开通GA API访问权限首先要为你的google账号开通GA API的访问权限，请保证这个账号同时也有GA账号的访问权限，访问https://console.developers.google.com新建一个项目使用现有的项目也是可以的，点击项目名称，进入项目中，我这里使用的项目是Cloga_GA开启GA API点击右侧的APIS，在其中找到Analytics API，点击off开启GA API获取Client ID和Client Secret点击Credentials>creat new client ID，有三种类型可以选择，这里我们选择installed application，记下其中的CLIENT ID和CLIENT SECRET到这里GA的API就开通了。找到想要查询数据的view id在查询GA数据时需要指定对应的view id。对于GA来说每个跟踪代码（UA-XXX）对应的是property，可以理解为一个收集到数据集，在这个数据集上可以做一些过滤，重写等操作，操作后产生的就是一个view，因此，view是一个报告集。登陆GA账号，点击admin点击view setting找到对应的view id安装需要的module读取GA的数据，这里使用的是Google提供的gdata，此外，需要将GA数据保存为excel，这里使用的是Pandas。sudo pip inst ...继续阅读 (16)

开通GA API访问权限首先要为你的google账号开通GA API的访问权限，请保证这个账号同时也有GA账号的访问权限，访问https://console.developers.google.com新建一个项目使用现有的项目也是可以的，点击项目名称，进入项目中，我这里使用的项目是Cloga_GA开启GA API点击右侧的APIS，在其中找到Analytics API，点击off开启GA API获取Client ID和Client Secret点击Credentials>creat new client ID，有三种类型可以选择，这里我们选择installed application，记下其中的CLIENT ID和CLIENT SECRET到这里GA的API就开通了。找到想要查询数据的view id在查询GA数据时需要指定对应的view id。对于GA来说每个跟踪代码（UA-XXX）对应的是property，可以理解为一个收集到数据集，在这个数据集上可以做一些过滤，重写等操作，操作后产生的就是一个view，因此，view是一个报告集。登陆GA账号，点击admin点击view setting找到对应的view id安装需要的module读取GA的数据，这里使用的是Google提供的gdata，此外，需要将GA数据保存为excel，这里使用的是Pandas。sudo pip i ...继续阅读 (2)

Graphlab Create简介Graphlab Create是基于图形数据库的数据挖掘工具，底层是由C++编写 以保证最佳性能，同时提供了一个Python接口。数据结构SFrame：类似于Pandas及R的DataFrame，是由行列构成的表格化数据结构。SArray：与Pandas的Series类似的数组结构SGraph：Graphlab特有的数据结构，类似于NetWorkx的Graph，由节点和边构成此外，Graphlab Create对Pandas提供了很好的支持，可以直接读取Pandas的DataFrame来构建模型。支持的数据挖掘算法recommender：用于构建推荐引擎graph_analytics：用于进行网络分析，比如团体发现，寻找有影响力的个体或者虚假交易clustering：目前支持K-Means聚类regression：目前支持线性回归classification：目前支持SVMtext：文本挖掘模型，目前支持主题模型这里主要为大家介绍一下如何用Graphlab Create构建一个推荐引擎，其他的算法其实在其他的Python包里都有很好的支持。比如聚类回归判别这类常规的数据挖掘算法Sklearn也提供了丰富的方法，Graphlab Create的优势在于性能及可扩展性；对于Graph Analytics而言，networkx也已经给出了全面的算法支持； ...继续阅读 (26)

Graphlab Create简介Graphlab Create是基于图形数据库的数据挖掘工具，底层是由C++编写 以保证最佳性能，同时提供了一个Python接口。数据结构SFrame：类似于Pandas及R的DataFrame，是由行列构成的表格化数据结构。SArray：与Pandas的Series类似的数组结构SGraph：Graphlab特有的数据结构，类似于NetWorkx的Graph，由节点和边构成此外，Graphlab Create对Pandas提供了很好的支持，可以直接读取Pandas的DataFrame来构建模型。支持的数据挖掘算法recommender：用于构建推荐引擎graph_analytics：用于进行网络分析，比如团体发现，寻找有影响力的个体或者虚假交易clustering：目前支持K-Means聚类regression：目前支持线性回归classification：目前支持SVMtext：文本挖掘模型，目前支持主题模型这里主要为大家介绍一下如何用Graphlab Create构建一个推荐引擎，其他的算法其实在其他的Python包里都有很好的支持。比如聚类回归判别这类常规的数据挖掘算法Sklearn也提供了丰富的方法，Graphlab Create的优势在于性能及可扩展性；对于Graph Analytics而言，networkx也已经给出了全面的算法支持； ...继续阅读 (7)

经常有同学会问GA几个版本的方法有什么不同?为什么感觉差异很大?其实这个问题只要了解一点点JS编程基础知识就可以解答。可能有的同学会说我是做网站分析的，了解这些JS编程知识有用吗？我的观点是在没有认知负担的情况下，适当了解一下网站分析的工作原理对职业发展大有裨益。常见的几种GA方法先来看一下市面上常见的几种GA代码：最新的UA代码(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*newDate();a=s.createElement(o),m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)})(window,document,'script','//www.google-analytics.com/analytics.js','ga');ga('create','UA-xxxxxx-x');ga('send','pageview');GA异步版本var_gaq=_gaq||[];_gaq.push(['_setAccount','UA-xxxxxx-x']);_gaq.push(['_ ...继续阅读 (14)

经常有同学会问GA几个版本的方法有什么不同?为什么感觉差异很大?其实这个问题只要了解一点点JS编程基础知识就可以解答。可能有的同学会说我是做网站分析的，了解这些JS编程知识有用吗？我的观点是在没有认知负担的情况下，适当了解一下网站分析的工作原理对职业发展大有裨益。常见的几种GA方法先来看一下市面上常见的几种GA代码：最新的UA代码<script>(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*newDate();a=s.createElement(o),m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)})(window,document,'script','//www.google-analytics.com/analytics.js','ga');ga('create','UA-xxxxxx-x');ga('send','pageview');</script>GA异步版本<scripttype="text/javascript">var_ga ...继续阅读 (3)

本职位为4A广告公司核心职位，公司的待遇和福利在4A均为一流。职位名称： 数据分析经理/总监职位描述：1、根据广告推广活动目标，为其建立合理的监控体系，全面衡量活动效果和提升用户体验；2、从多种数据源组合数据进行深度诊断分析；在发现问题的基础上，能够对广告活动优化、业务机会提供高价值的策略和数据解决方案；3、优秀的报告撰写和陈述能力。岗位要求：1、有互联网、广告相关数据分析工作经历；2、对于网站分析工具有相当程度的掌握能力：例如： Webtrends, GA, 和Omniture。，熟练操作excel、SAS/SPSS、PPT等工具；3、良好的数据敏感度，能从海量数据提炼核心结果4、熟练独立编写商业数据分析报告，及时发现和分析其中隐含的变化和问题，具备良好的商业敏感度和创新意识，快速识别商业问题和机会；5、具备良好的抗压能力、沟通能力和团队精神，有独立开展分析研究项目经验。职位名称：数据分析师职位描述：负责广告主的数字化投放的数据监测和分析。负责部署数字化投放的监测，数据收集，数据整理，数据分析。并输出数据分析报告，为广告主提供分析见解，以衡量KPI完成情况及帮助优化投放效果。岗位要求：2年以上数据分析经验，互联网数字营销相关经验者优先，有4A工作经验者优先；熟悉GA, Omniture, Webtrends等分析工具之一，有实际部署经验者优先；工作有热情，好学，敢于挑战，较强的抗 ...继续阅读 (19)

机械战警是近期的一部热播影片，作为好莱坞的商业片，剧情中除了充斥枪战科幻这些元素外，也包含了一些搞笑桥段，大部分搞笑桥段都是来自Pope（即OmniCorp公司市场部总管）。让我们跟随Pope的视角来看一下整部影片，轻微剧透，不喜勿入。其实RobotCop最初是来自于Pope卖给大Boss的提高销售额的一个Idea：将机器人的应用到国内警察市场可以每年获得6000亿美元的收入，利润率上升60%。（感兴趣的同学可以等高清版出来后，研究一下背景中的数据，看一下Pope是如何将这个Idea兜售给Boss的。）< img src="/files/idea1.png" alt="idea1" width="400px" />Pope要带领他的Team打一个大的Campaign来改变美国民众对将机器人应用国内执法的看法。不过，这里Pope只给出要做一个Campaign的理由，而没有给出具体的Proposal，结果演变成Boss与法务（好吧，我也不知道这位女士到底是干什么的），讨论具体的Campaign内容，最终由大Boss拍板：既然美国民众不喜欢机器，那我们就把一个人放到机器里面。RobotCop项目诞生了，有木有~确定了Campaign的大方向后，接下来是具体是执行部分，第一步是找到把什么人放入机器中，Pope在这个过程很好的发挥了搞笑的作用。他选择几个候选人都存在这样那样的问题，体重超 ...继续阅读 (15)

机械战警是近期的一部热播影片，作为好莱坞的商业片，剧情中除了充斥枪战科幻这些元素外，也包含了一些搞笑桥段，大部分搞笑桥段都是来自Pope（即OmniCorp公司市场部总管）。让我们跟随Pope的视角来看一下整部影片，轻微剧透，不喜勿入。其实RobotCop最初是来自于Pope卖给大Boss的提高销售额的一个Idea：将机器人的应用到国内警察市场可以每年获得6000亿美元的收入，利润率上升60%。（感兴趣的同学可以等高清版出来后，研究一下背景中的数据，看一下Pope是如何将这个Idea兜售给Boss的。）< img src="/files/idea1.png" alt="idea1" width="400px"/>Pope要带领他的Team打一个大的Campaign来改变美国民众对将机器人应用国内执法的看法。不过，这里Pope只给出要做一个Campaign的理由，而没有给出具体的Proposal，结果演变成Boss与法务（好吧，我也不知道这位女士到底是干什么的），讨论具体的Campaign内容，最终由大Boss拍板：既然美国民众不喜欢机器，那我们就把一个人放到机器里面。RobotCop项目诞生了，有木有~确定了Campaign的大方向后，接下来是具体是执行部分，第一步是找到把什么人放入机器中，Pope在这个过程很好的发挥了搞笑的作用。他选择几个候选人都存在这样那样的问题， ...继续阅读 (3)

关于Pandas的基本使用介绍，请查看另一篇博文：Python中的结构化数据分析利器-Pandas简介推荐使用ipython的pylab模式，如果要在ipython notebook中嵌入图片，则还需要指定pylab=inline。ipython--pylab##ipython的pylab模式ipythonnotebook--pylab=inline##notebook的inline模式importpandasaspd基本画图命令Pandas通过整合matplotlib的相关功能实现了基于DataFrame的一些 作图功能。下面的数据是每年美国男女出生数据：url='http://s3.amazonaws.com/assets.datacamp.com/course/dasi/present.txt'present=pd.read_table(url,sep=' ')present.shape(63, 3)present.columnsIndex([u'year', u'boys', u'girls'], dtype='object')可以看到这个数据集共有63条记录，共有三个字段：Year，boys，girls。为了简化计算将year作为索引。present_year=present.set_index('year')plot是画图的最主要方法，Series和DataFrame都 ...继续阅读 (91)