scikit-learn中提供了用于特征选择的模块feature_selection，主要方法包括方差移除法，卡方检验法，基于L1的特征选择和基于树的特征选择。开始前的准备工作首先导入所需的库文件，这里只导入numpy和pandas，后面在过程中会陆续导入所需的库文件。#导入所需的库文件 import numpy as np import pandas as pd#读取并设置数据表 data=pd.DataFrame(pd.read_excel('fs.xlsx')) #设置特征和目标 X = np.array(data[['loan_amnt', 'funded_amnt_inv', 'installment', 'annual_inc', 'dti','inq_last_6mths', 'open_acc', 'revol_bal', 'revol_util', 'total_acc','total_pymnt', 'total_rec_prncp', 'total_rec_int']]) y = np.array(data['loan_status'])特征数据标准化导入数据预处理库对特征进行标准化处理。#导入数据预处理库 from sklearn import preprocessing #范围0-1缩放标准化 min_max_scaler = preprocessing. ...继续阅读 (7)

数据对于算法和模型的表现至关重要。原始数据中会包含各种各样的问题，我们在使用这些数据前要预先对这些问题进行处理。数据预处理的内容包括数据的清洗，如缺失值和零值的填充，数据标准化，二值化和哑编码等等。本篇文章介绍如何使用sklearn中的数据预处理库(preprocessing)对数据进行标准化处理。准备工作开始前的准备工作包括三个部分，首先导入需要使用的库，这里包括常规的数值计算库numpy和pandas，用于数据预处理的preprocessing库，用于分割训练集和测试集的交叉检验库cross_validation。#导入数值计算库 import numpy as np #导入科学计算库 import pandas as pd #导入数据预处理库 from sklearn import preprocessing #导入交叉验证库 from sklearn import cross_validation #导入缺失值填充库 from sklearn.preprocessing import Imputer第二个准备工作是读取数据并创建数据表，通过查看可以发现数据表中存在缺失值NaN。#读取并创建数据表 data=pd.DataFrame(pd.read_csv('p_data.csv')) #查看数据表 data.head()第三个准备工作是将数据表分解为特征值和目标值，并分割为 ...继续阅读 (14)

关联规则用来发现数据间潜在的关联，最典型的应用是电商网站的购物车分析。本文将通过一个简单的例子来说明关联规则中各个术语的含义以及具体的计算方法。这是一些用户的购物数据，uid是用户的ID，后面是每个用户具体购买的商品名称，我们使用字母进行标识。下面我们将使用关联规则对这些数据进行分析，挖掘不同商品间的联系。首先将前面的一维的购物车流水数据转换为二维的列表。然后在这个基础上计算不同商品及商品组成出现的频率。在关联规则中，有三个重要的术语，分别为支持度(Support)，可信度(Confidence)和作用度(Lift)。第一个属于是支持度，支持度是一件商品在所有购物车中出现的频率。如果我们希望分析的是两件商品的关联，那么支持度就是这两件商品同时出现的频率。支持度的作用是用来衡量关联规则重要性的指标，简单来说就是我们所要挖掘的关系有多大的普遍性，普遍性越大这条关联规则越重要。第二个术语是可信度，可信度是指两件商品中当第一件出现时，第二件商品同时出现的频率。可信度用来衡量关联规则的准确性。第三个术语是作用度，作用度用来衡量关联规则对于商品出现频率的影响。只有作用度大于1的关联规则才有实际的应用意义。下面我们分别介绍这三个术语的计算方法。支持度(Support)支持度是两件商品在所有购物车中同时出现的概率，可以记录为P（A U B）。支持度的计算公式为A,B两件物品同时出现的次数与购物车总 ...继续阅读 (11)

准备工作首先导入数据并创建名为lr_data的数据表。#读取并创建数据表 lr_data=data.frame(read.csv('lr_data.csv',header = 1))查看导入数据表的维度，结果显示456行，4列。#查看数据表维度 dim(lr_data) [1] 456 4查看数据表中各字段的名称，结果显示共有4个字段，三个变量和一个目标。#查看数据表的字段名称 names(lr_data) [1] "variable1" "variable2" "variable3" "goal"一元回归使用lm()函数对变量1和目标值进行一元回归分析，并创建回归方程。R方为0.7778。说明自变量可以对因变量78%的变化进行解释。#进行一元回归分析 fit=lm(goal~variable1,data=lr_data) summary(fit)多元回归使用三个变量和目标值进行多元回归分析，R方为0.85，说明三个自变量可以对因变量85%的变化进行解释。#进行多元回归分析 fit=lm(goal~variable1+variable2+variable3,data=lr_data) summary(fit)逐步回归(向后)使用逐步回归的方法从三个自变量中选择用于预测的变量。逐步回归中有向前和向后两种方 ...继续阅读 (12)

数据提取是数据分析日常工作中遇到最多的需求，本篇文章介绍如何通过R按特定的维度或条件对数据进行提取，完成数据提取需求。读取并创建数据表首先第一步是读取数据，并创建名称为loandata的数据表。后面我们将从这个表中进行数据提取。#读取并创建数据表 loandata=data.frame(read.csv('loan_data.csv',header = 1))将数据表中的用户ID列设置为索引列，下面是具体的代码和结果。#设置用户ID为索引 rownames(loandata)=loandata$member_id #查看数据表 head(loandata)提取行信息按行提取信息简单的方法是输入开始和结束的行号，下面的代码提取了第一行和第二行的信息。#提取数据表前两行信息 loandata[1:2,]也可以直接输入索引行的名称来提取特定行的信息，下面的代码提取了用户ID为1296599的贷款信息。#提取特定用户ID信息 loandata['1296599',]同样的方式可以同时准确的提取多个特定用户ID的贷款信息。#提取多个特定用户ID信息 loandata提取列信息按列提取信息的方式与行类似，输入开始的列号和结束的列号。下面的代码中提取了第一列和第二列的信息。#提取前两列信息 loandata[1:2]也可以直接输入列名称提取特定列的信息，例如下面的代码提取了数据表中term列的信 ...继续阅读 (6)

R中的merge函数类似于Excel中的Vlookup，可以实现对两个数据表进行匹配和拼接的功能。与Excel不同之处在于merge函数有4种匹配拼接模式，分别为inner，left，right和outer模式。 其中inner为默认的匹配模式。本篇文章我们将介绍merge函数的使用方法和4种拼接模式的区别。函数功能介绍merge函数的使用方法很简单，以下是官方的函数功能介绍和使用说明。merge函数中第一个出现的数据表是拼接后的left部分，第二个出现的数据表是拼接后的right部分。merge默认会按照两个数据表中共有的字段名称进行匹配和拼接。#查看merge帮助信息 ?merge读取并创建数据表开始使用merge函数进行数据拼接之前先读取需要进行匹配的两个数据表，并命名为loan_status表和member_info表。#读取并创建贷款状态数据表 loan_status=data.frame(read.csv('loan_status.csv',header = 1)) #读取并创建用户信息数据表 member_info=data.frame(read.csv('member_info.csv',header = 1))查看数据表下面我们分别查看了两个数据表中的内容。这个示例中的两个数据表较小，可以完整显示出来，如果数据量较大的话可以就不能这么直观的查看了。#查看贷款状态数 ...继续阅读 (9)

Citi Bike是纽约市在2013年5月27日启动的一项自行车共享计划，由“花旗银行”(Citi Bank)赞助并取名为“花旗单车”(Citi Bike)。在曼哈顿，布鲁克林，皇后区和泽西市有8,000辆自行车和500个车站。为纽约的居民和游客提供一种方便快捷，并且省钱的出行方式。人们随处都能借到Citi Bank，并在他们的目的地归还。使用Citi Bank的方法很简单，购买会员资格，然后在附近查找可以使用的Citi Bank，使用会员key解锁，在有效时间内(30或45分钟)归还并锁定Citi Bank。由于每个Citi Bank的租赁站点都有GPS位置信息，因此可以记录到用户租赁和骑行过程中的数据。“Citi Bank”官网提供了用户每一次骑行的数据，包括租赁开始及结束的位置及时间，整个骑行过程的时间，自行车ID，以及用户的性别和出生日期等数据。我们将使用python对“Citi Bank”2015年的数据进行分析，以了解纽约自行车共享计划的情况。并回答诸如谁在使用Citi Bike？他们什么时间开始骑行？每次骑行的时间和距离，以及哪些骑行线路最受欢迎等问题。开始前的准备工作首先我们将需要使用的库文件导入到python中，这里包括numpy，pandas，datetime和用于数据可视化的pyplot，后面根据不同的分析方向我们还会陆续导入其他的库文件。import num ...继续阅读 (8)

数据清洗是整个数据分析过程中一个非常重要的环节。数据清洗的目的有两个，第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。本篇文章将介绍几种简单的使用R进行数据清洗的方法。读取并创建数据表首先将数据读取到R中，并创建名为loan的数据表。后面我们将对这个数据表进行清洗。#读取并创建数据表 loan=data.frame(read.csv('loan.csv',header = 1))使用head函数查看数据表的前5行。#查看数据表前5行 head(loan)数据清洗重复值使用duplicated函数查看数据表中的用户ID列是否存在重复值，duplicated函数返回该字段每一行的检查结果，重复的标记为TURE，不重复的值标记为FALSE。在下面的结果中可以看到数据表的用户ID列最后四个值为重复值。#查看特定列是否有重复 duplicated(loan$member_id)[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE[23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRU ...继续阅读 (11)

本篇文章介绍如何使用R读取并查看数据，包含一些最基础的函数使用方法和说明。后面还会陆续介绍数据清洗，匹配和提取等相关的操作。查看函数帮助对于新手来说，在使用R时最重要的是了解不同函数的使用方法。很多时候我们都是边用边学的状态，拿到一个函数如何快速的使用起来，最快捷的方法就是查看函数的帮助。在R中查看函数的帮助有两种方法，第一种是使用help，第二种是直接在函数前加问好(?)。R会直接显示出这个函数是使用方法，函数说明和示例。下面是查看具体的代码和帮助内容的截图。help(read.csv) ?read.csv除了使用帮助功能以外，还有一个重要操作是tab键，在输入函数的过程中按下tab键,R会自动给出推荐的函数名称以及参数，避免很多记忆和重复输入的工作。准备工作在R中进行任何操作和分析工作之前，先需要读取数据。保存在工作目录中的数据可以直接读取，非工作目录的其他位置在读取时需要指明路径。因此第一步工作是了解R的工作目录。下面是具体的代码，输入getwd函数，R返回当前的工作目录。#查看工作目录 getwd() [1] "C:/Users/Documents"你也可以对R的工作目录进行更改，使用setwd函数可以更改工作目录的路径。下面是具体的代码。#设置工作目录 setwd("C:\\Users\\ r")设置好工作目录后，开始读取数据，并创 ...继续阅读 (6)

假设检验是统计学中的一种推断方法，用来判断两个样本或总体间的差异是由于抽样误差引起的还是本质差别造成的。R语言中提供了很多假设检验函数，如F检验，t检验和卡方检验等等。本篇文章介绍如何使用R语言中的这些函数进行假设检验。二项分布检验假设一个广告的点击率为0.02，更换新的广告创意后1000次曝光获得了23次点击，新广告在点击率上是否明显优于老广告？H0：新广告与老广告效果无差异H1：新广告效果优于老广告#老广告点击率0.02，新广告1000次广告曝光获得23次点击是否明显优于老广告 binom.test(x =23,n = 1000,p = 0.02,alternative = "greater",conf.level = 0.95 )p-value = 0.2778>0.05，在0.95的置信区间下接受原假设H0。新广告与老广告在点击率上没有显著差异。#1000次访问0.02点击率下差异显著的临界值 qbinom(p = 0.95,size = 1000,prob = 0.02)[1] 28新广告在1000次广告曝光中点击量需要提升到28次以上才能明显优于老广告的效果。 泊松分布检验假设一次市场推广活动中前一个小时有50人注册，后一个小时有60人注册，后一小时的注册人数是否明显高于前一小时？H0：前一小时与后一小时注册人数无差异H1：后一小时注 ...继续阅读 (7)

R语言中提供了很多概率函数，可以方便的计算事件发生的概率。如二项分布概率函数和泊松分布概率函数。本篇文章介绍如果使用R语言中的这些函数求解事件发生的概率。概率函数和前缀R语言中每个概率分布都有对应的函数名称，例如二项分布是binmo，泊松分布是pois，正态分布是norm等等。每个函数都分别有四个不同的前缀，加上前缀可以生成随机数，求解概率和临界值等等。下面是四个前缀对应功能的说明。r = random = 随机d= density = 密度p= probability = 概率q =quantile = 分位 二项分布概率假设网站的Landingpage页面中共有20个入口，那么我们预估每个入口被点击的概率为1/20，即P=0.05。(实际情况会复杂一些，每个入口在页面中的位置和展现的形式都 会不一样，一般首屏的入口比后面的入口会获得更多点击，图片和按钮形式的入口比文字类的入口更容易受到关注，导航和焦点图和Action按钮比其他类型的入口更容易 被点击。如有要获得最真实的点击概率，需要参考这个页面中每个入口的历史点击概率数据，这里我们只是假设一种理想情况来说明计算过程。)那么在10000次点击中， 关键按钮获得550次的概率是多少？先来简单介绍下R语言中的二项分布函数和其中参数的含义，二项分布函数为binom，前缀d表示求密度，前缀p表示求累计概率。参数中X表示实验的成 ...继续阅读 (4)

线性判别式分析(Linear Discriminant Analysis)简称LDA，是模式识别的经典算法。通过对历史数据进行投影，以保证投影后同一类别的数据尽量靠近，不同类别的数据尽量分开。并生成线性判别模型对新生成的数据进行分离和预测。本篇文章使用机器学习库scikit-learn建立LDA模型，并通过绘图展示LDA的分类结果。准备工作首先是开始前的准备工作，导入需要使用的库文件，本篇文章中除了常规的数值计算库numpy，科学计算库pandas，和绘图库matplotlib以外，还有绘图库中的颜色库，以及机器学习中的数据预处理和LDA库。#导入数值计算库 import numpy as np #导入科学计算库 import pandas as pd #导入绘图库 import matplotlib.pyplot as plt #导入绘图色彩库产生内置颜色 from matplotlib.colors import ListedColormap #导入数据预处理库 from sklearn import preprocessing #导入linear discriminant analysis库 from sklearn.lda import LDA读取数据读取并创建名称为data的数据表，后面我们将使用这个数据表创建LDA模型并绘图。#读取数据并创建名为data的数据表 dat ...继续阅读 (12)

支持向量机SVM(Support Vector Machine)是有监督的分类预测模型，本篇文章使用机器学习库scikit-learn中的手写数字数据集介绍使用Python对SVM模型进行训练并对手写数字进行识别的过程。准备工作手写数字识别的原理是将数字的图片分割为8X8的灰度值矩阵，将这64个灰度值作为每个数字的训练集对模型进行训练。手写数字所对应的真实数字作为分类结果。在机器学习sklearn库中已经包含了不同数字的8X8灰度值矩阵，因此我们首先导入sklearn库自带的datasets数据集。然后是交叉验证库，SVM分类算法库，绘制图表库等。#导入自带数据集 from sklearn import datasets #导入交叉验证库 from sklearn import cross_validation #导入SVM分类算法库 from sklearn import svm #导入图表库 import matplotlib.pyplot as plt #生成预测结果准确率的混淆矩阵 from sklearn import metrics读取并查看数字矩阵从sklearn库自带的datasets数据集中读取数字的8X8矩阵信息并赋值给digits。#读取自带数据集并赋值给digits digits = datasets.load_digits()查看其中的数字9可以发现，手写 ...继续阅读 (20)

K临近分类算法是数据挖掘中较为简单的一种分类方法，通过计算不同数据点间的距离对数据进行分类，并对新的数据进行分类预测。我们在之前的文章《K邻近(KNN)分类和预测算法的原理及实现》和《协同过滤推荐算法的原理及实现》两篇文章中都详细介绍过。本篇文章将介绍在python中使用机器学习库sklearn建立K临近模型(k-NearestNeighbor)的过程并使用模型对数据进行预测。准备工作首先是开始前的准备工作，导入我们需要使用的库文件。这里一共需要使用5个库文件。第一个是机器学习库，第二个是用于模型检验的交叉检验库，第三个是数值计算库，第四个是科学计算库，最后是图表库。#导入机器学习KNN分析库 from sklearn.neighbors import KNeighborsClassifier #导入交叉验证库 from sklearn import cross_validation #导入数值计算库 import numpy as np #导入科学计算库 import pandas as pd #导入图表库 import matplotlib.pyplot as plt读取并查看数据表读取并导入所需数据，创建名为knn_data的数据表，后面我们将使用这个数据对模型进行训练和检验。#读取并创建名为knn_data的数据表 knn_data=pd.DataFrame(pd.read ...继续阅读 (8)

回归分析是一种常见的统计方法，用于确定不同变量间的相互关系。在Excel中可以通过数据分析菜单中的回归功能快速完成。本篇文章将介绍在python中使用机器学习库sklearn建立简单回归模型的过程。准备工作首先是开始前的准备工作，在创建回归模型的过程中我们需要使用以下几个库文件，他们分别为sklearn库，numpy库，pandas库和matplotlib库。sklearn库用于计算线性回归模型中的关键参数，并对模型进行检验。numpy和pandas库用于数据导入，创建数据表和一些基础的计算工作。matplotlib库用于绘制散点图。#导入机器学习linear_model库 from sklearn import linear_model #导入交叉验证库 from sklearn import cross_validation #导入数值计算库 import numpy as np #导入科学计算库 import pandas as pd #导入图表库 import matplotlib.pyplot as plt读取并查看数据表准备工作完成后，开始读取数据，这里我们使用了一组每日广告成本和点击量的数据。将这组数据读取到python中并取名为cost_and_click。通过head函数查看数据表中前5行的内容。以下是数据读取和查看的代码和结果。#读取数据并创建数据表，名称为co ...继续阅读 (8)

本文介绍如果使用python汇总常用的图表，与Excel的点选操作相比，用python绘制图表显得比较比较繁琐，尤其提现在对原始数据的处理上。但两者在绘制图表过程中的思路大致相同，Excel中能完成的工作python大多也能做到。为了更清晰的说明使用python绘制图表的过程，我们在汇总图表的代码中进行注解，说明每一行代码的具体作用。并在文章的最后给出了自定义字体和图表配色的对应表。准备工作import numpy as np import pandas as pd #导入图表库以进行图表绘制 import matplotlib.pyplot as plt loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))折线图#设置日期字段issue_d为loandata数据表索引字段 loandata = loandata.set_index('issue_d') #按月对贷款金额loan_amnt求均值，以0填充空值 loan_plot=loandata['loan_amnt'].resample('M').fillna(0) #图表字体为华文细黑，字号为15 plt.rc('font', family='STXihei', size=15) #创建一个一维数组赋值给a a=np.array([1,2,3,4,5,6,7,8,9,10 ...继续阅读 (8)

数据提取是分析师日常工作中经常遇到的需求。如某个用户的贷款金额，某个月或季度的利息总收入，某个特定时间段的贷款金额和笔数，大于5000元的贷款数量等等。本篇文章介绍如何通过python按特定的维度或条件对数据进行提取，完成数据提取需求。准备工作首先是准备工作，导入需要使用的库，读取并创建数据表取名为loandata。import numpy as np import pandas as pd loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))设置索引字段在开始提取数据前，先将member_id列设置为索引字段。然后开始提取数据。Loandata = loandata.set_index('member_id')按行提取信息第一步是按行提取数据，例如提取某个用户的信息。下面使用ix函数对member_id为1303503的用户信息进行了提取。loandata.ix[1303503]按列提取信息第二步是按列提取数据，例如提取用户工作年限列的所有信息，下面是具体的代码和提取结果，显示了所有用户的工作年龄信息。loandata.ix[:,'emp_length']按行与列提取信息第三步是按行和列提取信息，把前面两部的查询条件放在一起，查询特定用户的特定信息，下面是查询member_id为1303503的用户的emp_length信息 ...继续阅读 (24)

数据清洗是一项复杂且繁琐(kubi)的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80%的时间都是在清洗数据，这听起来有些匪夷所思，但在实际的工作中确实如此。数据清洗的目的有两个，第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。换句话说就是有”脏”数据要洗，干净的数据也要洗。本篇文章将介绍几种简单的使用python进行数据清洗的方法。开始之前还是先在python中导入需要使用的库文件，然后进行数据读取，并创建名为loandata的数据表。这里为了更好的展示清洗的步骤和结果，我们使用的是lendingclub公开数据中的一小部分。import numpy as np import pandas as pd loandata=pd.DataFrame(pd.read_excel('loandata.xlsx'))数据清洗的目的有两个，第一是通过清洗让脏数据变的可用。这也是我们首先要解决的问题。无论是线下人工填写的手工表，还是线上通过工具收集到的数据，又或者是CRM系统中导出的数据。很多数据源都有一些这样或者那样的问题，例如：数据中的重复值，异常值，空值，以及多余的空格和大小写错误的问题。下面我们逐一进行处理。数据表中的重复值第一个要处理的问题是数据表中的重复值，pandas中有两个函数是专门用来处理重复值的，第一个是duplicated函数。D ...继续阅读 (24)

彼得·德鲁克曾经说过“你如果无法度量它，就无法管理它”(“It you can’t measure it, you can’t manage it”)。要想有效管理，就难以绕开度量的问题。在市场推广的过程中，我们借助各种分析工具和方法对营销全过程进行追踪和度量。并且产生了大量的指标。这些指标帮助我们选择媒体，锁定目标受众，评估广告创意和衡量营销成果。但这其中却忽略了对营销内容的度量，更准确的说是对文字质量的度量。文字是承载思想，交流信息的工具。高质量的文字可以清晰的传递你的想法。对广告和营销来说更是如此，无论是促销信息还是产品特点，大部分都将以文字的形式传递给受众。文字的内容越简单易懂，就能够接触和影响更多的受众。而如果受众无法理解文字中的信息，就无法产生预期的行动。衡量营销内容的方法有很多，在之前《SEM语义分析及跳出率优化》的文章中我们曾使用词性对广告创意进行分解，通过对名词，动词和形容词间的分析和对比发现不同广告创意间的差异。除此之外，衡量的方法还包括内容中使用字词的难易程度，单个词长度，出现次数及频率，以及句子的长度，其中包含字词的个数，以及所需的阅读时间等等。综合这些因素对营销内容的可读性进行评分。Dale-Chall Score是一种衡量内容可读性的方法。通过对内容中所使用的词语和句子的情况对内容进行可读性评分，并提供了可读性评分与可读性水平间的对应关系。可读性水平按受 ...继续阅读 (13)

Pandas中的merge函数类似于Excel中的Vlookup，可以实现对两个数据表进行匹配和拼接的功能。与Excel不同之处在于merge函数有4种匹配拼接模式，分别为inner，left，right和outer模式。 其中inner为默认的匹配模式。本篇文章我们将介绍merge函数的使用方法和4种拼接模式的区别。下面是我们准备进行拼接的两个数据表，左边是贷款状态表loan_stats，右边为用户等级表member_grade。我们将分别用merge函数的4种匹配模式对这两个表进行拼接。准备工作开始使用merge函数进行数据拼接之前先导入所需的功能库，然后将分别读取两个数据表，并命名为loanstats表和member_grade表。import numpy as np import pandas as pd loanstats=pd.DataFrame(pd.read_excel('loanStats.xlsx')) member_grade=pd.DataFrame(pd.read_excel('member_grade.xlsx'))函数功能介绍merge函数的使用方法很简单，以下是官方的函数功能介绍和使用说明。merge函数中第一个出现的数据表是拼接后的left部分，第二个出现的数据表是拼接后的right部分。第三个是数据匹配模 式，默认是inner模式。第四个参数on ...继续阅读 (6)

筛选和排序是Excel中使用频率最多的功能，通过这个功能可以很方便的对数据表中的数据使用指定的条件进行筛选和计算，以获得需要的结果。在Pandas中通过.sort和.loc函数也可以实现这两 个功能。.sort函数可以实现对数据表的排序操作，.loc函数可以实现对数据表的筛选操作。本篇文章将介绍如果通过Pandas的这两个函数完成Excel中的筛选和排序操作。首选导入需要使用的Pandas库和numpy库，读取并创建数据表，将数据表命名为lc。import pandas as pd import numpy as np lc=pd.DataFrame(pd.read_csv('LoanStats3a.csv',header=1))创建数据表后，开始使用Pandas的.sort函数对数据表进行排序操作，下面是Pandas官方对.sort函数语法和使用方法的说明。.sort函数主要包含6个参数，columns为要进行排序的列名称， ascending为排序的方式true为升序，False为降序，默认为true。axis为排序的轴，0表示index，1表示columns，当对数据列进行排序时，axis必须设置为0。inplace默认为False，表示对数据 表进行排序，不创建新实例。Kind可选择排序的方式，如快速排序等。na_position对NaN值的处理方式，可以选择first和l ...继续阅读 (10)

数据透视表是Excel中最常用的数据汇总工具，它可以根据一个或多个制定的维度对数据进行聚合。在python中同样可以通过pandas.pivot_table函数来实现这些功能。本篇文章将介绍 pandas.pivot_table函数与Excel数据透视表之间的联系，以及具体的使用方法。文章中的数据源来自Lending Club 2017-2011年的公开数据。pandas数据透视表函数pandas.pivot_table函数中包含四个主要的变量，以及一些可选择使用的参数。四个主要的变量分别是数据源data，行索引index，列columns，和数值values。可选择使用的参数包括数值的汇总 方式，NaN值的处理方式，以及是否显示汇总行数据等。下面是Pandas官网给出的函数说明。我们将pandas.pivot_table函数与Excel的数据透视表界面做了一个对比，并用不同的颜色和连线画出了两者之间的联系。在其中可以发现pandas.pivot_table的行索引index，列，和数值分别对 应了Excel数据透视表中的行，列和值三个部分。在实际的操作中Excel是将字段拖拽到相应的字段区间中，而在pandas.pivot_table中只需要将字段的的名称输入到等号后面就可以了。下面我们 来看下pandas.pivot_table具体的使用方法。首先导入需要使用的numpy和pa ...继续阅读 (13)

关于如何使用python进行数据分析的文章很多，相关的书籍也有很多。本文是基于Excel思维使用python进行数据分析，换句话说就是本文不是传统意义上的专业python文章。文章的内容共分为8个部分，从最基础的数据导入和读取到分析结果的图表化输出。这其中包含了很多与Excel非常相似的函数和分析功能，如SUM ，COUNTIF，TRANSPOSE函数，以及数据筛选，分类汇总和数据透视表等功能等等，这些在python中都能找到对应的代码。因此，只要你会使用基本的Excel函数就能看懂文中的python代码，并可以使用Python进行简单的数据分析。文章中的数据源来自Lending Club 2017-2011年的公开数据。1.开始前的准备工作使用Python进行数据分析之前，需要预先导入相对应的功能库。数据分析最常用的库包括用于数值计算的numpy，基于numpy构建的用于科学计算的Pandas库，用于数据可视化的matplotlib和提供各种操作系统功能接口的OS库。我们将这几个库导入到python中， import后是导入库的名称 as后是库的简称。例如pandas库的简称是pd，在后面的代码中看到pd就表示这个操作使用了pandas库。具体代码如下：import os as os import pandas as pd import numpy as np import ma ...继续阅读 (56)

单变量求解和规划求解是Excel中对未知数求解的两种常用的方法。单变量求解用于处理较为简单的单一变量求解问题，操作过程相对简单。规划求解可以看做是单变量求解的升级版，用于处理更加复杂的多个变量在特定约束条件下的求解问题。单变量求解单变量求解可以简单的理解为对一元方程式的求解，不一样的是在预先假定一个结果值的前提下计算方程式中变量取值的过程。在实际的应用场景中会复杂一些，为了说明单变量求解的计算过程，我们编了一组端到端的数据。大概的逻辑如下：在某种广告投放方式下，投入了10万元广告成本，按每次点击(CPC) 8元计算，可以获得12500次点击量。我们假定点击次数等于访问次数，在网站转化率为3.7%时将产生463次购买。以每张订单平均金额1000元计算，总订单金额为462500元。以平均利润率为1.8%计算，总利润为83250元。在已知利润和成本的情况下，计算ROI为0.833。转换成方程式就是下面的样子：此时，我们希望在不增加成本的情况下，通过优化过程数据来提升ROI的表现。换句话说就是在预先假设ROI从0.833变为1的情况下，如何调整过程数据。调整的方法有很多种，在不增加成本的情况下，通过调整CPC，转化率或客单价都可以实现ROI为1的目标。我们先从广告的每次点击价格(CPC)开始。以上过程转换为方程式就是在假定ROI的值为1，且其他值已知的情况下，求变量X的解。对假设的数据使用 ...继续阅读 (64)

数据的作用主要体现在两方面：解释过去和预测未来。本篇文章介绍如何通过数据解释过去发生的事情。包括过去发生了什么事情？这些事情有什么样的规律？驱动因素是什么？是否有明显的改进或提升？等等。在开始之前我们先来介绍下数据的获取来源以及数据的特点和分类。数据来源及分类我们以网站的数据为例，网站的数据来自于服务确日志和网站分析工具。下面是来自网站分析工具Google Analytics的一条日志信息。在这条日志中包含了一些用户及网站的信息。Google通过对这些信息的处理产生数据，并最终生成我们所看到的网站数据报告。我们将日志进行拆分展现，以便更加清晰的看到日志中所包含的具体信息。可以看到，每一条信息都是以一对参数和值的形式进行记录的。例如，参数t表示这条日志的类型，值pageview表示这是一条PV日志。(Google Analytics中除了PV日志，还包括event日志等其他多种日志类别)说明每条这样的日志都表示一次页面浏览。又如参数dl表示用户当前浏览的页面地址，值表示页面的具体URL。通过观察日志中的信息可以发现，日志中所包含的信息分为两大类，也就是参数后面的值类型。一类是类别变量，这在Google Aanalytics中参数值类型为text或boolean，例如客户ID，地理位置和屏幕分辨率等。另一类是数值变量，这在Google Analytics中参数值类别为integer或c ...继续阅读 (40)

相关分析（Analysis of Correlation）是网站分析中经常使用的分析方法之一。通过对不同特征或数据间的关系进行分析，发现业务运营中的关键影响及驱动因素。并对业务的发展进行预测。本篇文章将介绍5种常用的分析方法。在开始介绍相关分析之前，需要特别说明的是相关关系不等于因果关系。相关分析的方法很多，初级的方法可以快速发现数据之间的关系，如正相关，负相关或不相关。中级的方法可以对数据间关系的强弱进行度量，如完全相关，不完全相关等。高级的方法可以将数据间的关系转化为模型，并通过模型对未来的业务发展进行预测。下面我们以一组广告的成本数据和曝光量数据对每一种相关分析方法进行介绍。以下是每日广告曝光量和费用成本的数据，每一行代表一天中的花费和获得的广告曝光数量。凭经验判断，这两组数据间应该存在联系，但仅通过这两组数据我们无法证明这种关系真实存在，也无法对这种关系的强度进行度量。因此我们希望通过相关分析来找出这两组数据之间的关系，并对这种关系进度度量。1，图表相关分析（折线图及散点图）第一种相关分析方法是将数据进行可视化处理，简单的说就是绘制图表。单纯从数据的角度很难发现其中的趋势和联系，而将数据点绘制成图表后趋势和联系就会变的清晰起来。对于有明显时间维度的数据，我们选择使用折线图。 为了更清晰的对比这两组数据的变化和趋势，我们使用双坐标轴折线图，其中主坐标轴用来绘制广告曝 ...继续阅读 (29)

指数分布（Exponential distribution）是一种连续概率分布，用来预测独立随机事件间的时间间隔。例如客户进入商店的时间间隔，餐厅等位就餐的时间间隔，广告被连续点击的时间间隔，用户重复购买的时间间隔等等。本篇文章通过餐厅等位这件生活中经常出现的事情来说明指数分布的计算方法。下面是指数概率密度函数的计算公式，其中u表示独立事件发生时间间隔的期望值或均值，x表示独立事件发生的时间间隔，f(x)表示独立事件发生时间间隔的概率密度函数。e是自然常数（约为2.71828）除了指数概率密度函数的计算公式以外，还有一个用于描述指数分布的累积概率计算公式，用来表示时间间隔随机变量的值小于或等于某一特定值的累积概率。下面我们通过餐厅等位的时间间隔来具体说明指数分布概率密度函数和累积概率的计算方法。假设我们在一家热门餐厅排队等待用餐，并获知该餐厅的平均等位时间为20分钟。那么，这家餐厅等位用餐的概率密度函数是：通过这个函数我可以求出等待每一分钟的概率值。由于20分钟是一个期望值或均值，因此实际等待的时间可能会比这个短一些，也可能会更长。假设我已经等了10分钟的时间，现在不愿意过多的等待，又不想浪费时间。因此我想知道再继续等待5分钟就可以进去用餐的概率有多少，如果概率较高的话，我就继续等待一会儿，如果概率低的话，我就先去逛逛商场，然后在晚一些回来。假定这个时间是30分钟，那么我想知道这时 ...继续阅读 (15)

泊松分布(Poisson Distribution)是一种离散的概率分布，用于预测特定时间内随机事件发生的次数。如每小时通过收费站的汽车数量，网站每天的注册人数，以及餐厅每小时的就餐人数等等。在使用泊松分布时需要满足四个条件。1，事件发生的次数可以根据时间或空间进行定义。2，事件的发生是小概率事件。3，事件之间相互独立，相互不产生影响。4，事件发生的概率是稳定的。在统计学中，如果一件事的发生满足这四个条件，就服从泊松分布。下面是泊松概率函数的计算公式，其中x表示随机事件发生的次数，f(x)表示随机事件发生x次的概率，u表示上一个时间段随机事件发生的期望值或均值，e是自然常数（约为2.71828）。我们通过一个用户提前赎回定期理财商品的例子来说明泊松分布的计算过程。用户在购买定期理财产品后，如果在到期日前需要用钱，向理财平台申请赎回，就属于提前赎回。现在大部分的理财平台都支持随时赎回，每个平台对于提前赎回的流程，时间和费用成本不尽相同。这些不在本文的讨论范围内。对于理财平台来讲，用户提前赎回会造成平台资金的损失，因此需要对提前赎回事件的发生次数进行估算。理财产品的提前赎回可能发生在理财产品期限内的任何时间点，但不会超出一个理财产品的有效周期。大部分用户为了获得理财的利息收益，通常不会选择提前赎回。一个理财产品即使有部分用户提前赎回，其他用户依然会获得利息收益，因此提前赎回相互独立，相 ...继续阅读 (22)

热力图是网站页面分析和质量提升的重要工具。国双热力图以图像形式直观显示用户在页面中的点击分布，以像素为单位真实再现用户与网站页面的交互行为。以不同颜色对点击的重要度进行标示，帮助网站分析师快速了解用户对内容的偏好，并通过特有的异常流量判别机制对流量质量进行检验。网站页面设计是一个不断发现并适应用户行为习惯的过程，这就要求页面的改进和优化也必须是一个不断迭代的过程。国双热力图在这个过程中扮演了驱动者的角色。为每一步的改进提供数据支持。国双热力图报告中提供了像素级的点击行为数据（数据精确到每一个像素点，而不仅仅是链接）。无论是网站页面还是广告弹窗,国双的热力图工具都可以进行精确追踪并生成热力图报告。在对页面进行分析的过程中网站分析师可以选择热力图中任意感兴趣的区域进行框选，查看并分析这个区域的点击量、访问量、综合浏览量、跳出率甚至是购买转化率等多个基础指标，以及关键业绩的KPI完成情况。对于指标和KPI，国双的热力图采取了独特的展示方式。质与量的分析是网站分析中最常用的方法，对于页面的分析也是如此。一个页面中一部分链接可能很受用户欢迎，产生大量点击，而另一部分链接可能获得的点击量较低，却产生了较多的订单转化。在对页面的分析中这两类链接都需要网站分析师进行关注。在国双的热力图中支持分析师使用不同的指标绘制页面热力图，你可以选择仅从“量”的角度来查看链接受欢迎的程度，也可以选择“质”的角度 ...继续阅读 (8)

马尔可夫模型(Markov Model)是通过寻找事物状态的规律对未来事物状态进行预测的概率模型，在马尔可夫模型中假设当前事物的状态只与之前的n个状态有关。n=1时表示事物当前的状态只与上一个状态有关，这也是最简单的一阶马尔可夫模型。隐马尔科夫模型(Hidden Markov Model)是马尔可夫模型中的一种。马尔可夫模型的使用场景非常广泛，包括语言识别，自然语言处理和生物信息领域。Google的PageRank算法中也使用到了马尔可夫模型。我们以天气预测的示例来说明马尔可夫模型和隐马尔可夫模型的作用。现实中每一天的天气状态都可能会不同，比如：晴天，多云，或是雷雨等。我们希望通过天气状态的变化规律生成一个模型对未来一天的天气状态进行预测。为了简化计算过程，只选择三种天气状态进行说明。通过观察，我们发现晴天，多云和雷雨三种天气状态间的变化概率。下图详细说明了每种天气状态之间相互转换的概率。以晴天为例，假设每一天的天气状态只与前一天的天气状态有关(n=1)。如果第一天是晴天，那么第二天转换为多云的概率为0.38，转换为雷雨的概率为0.13，依旧是晴天的概率为0.50。晴天转换为这三种天气状态的概率的总和为1。下面我们通过概率矩阵列出了三种从昨天到今天三种天气状态之间的转换概率。注意，每一行的概率总和为1。除了天气间状态转换概率，我们还需要一个初始概率，就是昨天的天气状态，这里假设昨天 ...继续阅读 (28)