”凸优化“ 是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数，等式约束函数为仿射函数，并且定义域为凸集的优化问题为约束优化问题 。一、什么是凸优化不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。二、重要性“凸优化在数学规划领域具有非常重要的地位。”“一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。”——《<凸优化>译者序》凸优化之所以如此重要，是因为：1、其应用非常广泛，机器学习中很多优化问题都要通过凸优化来求解；2、在非凸优化中，凸优化同样起到重要的作用，很多非凸优化问题，可以转化为凸优化问题来解决；3、如上引用所述，凸优化问题可以看作是具有成熟求解方法的问题，而其他优化问题则未必。凸优化（Convex Optimization）之所以重要是因为它是所有优化问题中最容易解决的。凸优化包含但不限于线性优化（Linear Optimization）以及一些具有特殊性质的非线性优化（Nonlinear Optimization）。凸优化之所以‘容易’是因为任何可证明的局部最优解（Local Optimal Solution）都同时为全局最优解（Global ...继续阅读 (59)

强化学习（Reinforcement learning）：Reinforcement learning is an area of machine learning inspired by behaviorist psychology, concerned with how software agents ought to take actions in an environment so as to maximize some notion of cumulative reward. The problem, due to its generality, is studied in many other disciplines, such as game theory, control theory, operations research, information theory, simulation-based optimization, multi-agent systems, swarm intelligence, statistics, and genetic algorithms. In the operations research and control literature, the field where reinforcement learning meth ...继续阅读 (61)

独立成分分析（Independent Component Analysis, ICA）是近年来出现的一种强有力的数据分析工具（Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001）。1994年由Comon给出了ICA的一个较为严格的数学定义，其思想最早是由Heranlt和Jutten于1986年提出来的。 ICA从出现到现在虽然时间不长，然而无论从理论上还是应用上，它正受到越来越多的关注，成为国内外研究的一个热点。特别是从应用角度看，它的应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。 ICA是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是主成分分析（Principal Component Analysis, PCA）和因子分析（Factor Analysis）的一种扩展。对于盲源分离问题，ICA是指在只知道混合信号，而不知道源信号、噪声以及混合机制的情况下，分离或近似地分离出源信号的一种分析过程。 ICA是将原始数据降维并提取出相互独立的属性。我们知道两个随机变量独立则它们一定不相关，但2个随机变量不相关则不能保证它们不独立，因为独立是表示没有任何关系，而不相 ...继续阅读 (57)

主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对比，找出与之最近的图片。这里，如果我们为了提高查询的准确率，通常会提取一些较为复杂的特征，如sift，surf等，一幅图像有很多个这种特征点，每个特征点又有一个相应的描述该特征点的128维的向量，设想如果一幅图像有300个这种特征点，那么该幅图像就有300*vector（128维）个 ...继续阅读 (60)

因子分析与因子分析法主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标（变量）。在多变量分析中，某些变量间往往存在相关性。是什么原因使变量间有关联呢？是否存在不能直接观测到的、但影响可观测变量变化的公共因子？因子分析法（Factor Analysis）就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别。 例如，随着年龄的增长，儿童的身高、体重会随着变化，具有一定的相关性，身高和体重之间为何会有相关性呢？因为存在着一个同时支配或影响着身高与体重的生长因子。那么，我们能否通过对多个变量的相关系数矩阵的研究，找出同时影响或支配所有变量的共性因子呢？因子分析就是从大量的数据中“由表及里”、“去粗取精”，寻找影响或支配变量的多变量统计方法。可以说，因子分析是主成分分析的推广，也是一种把多个变量化为少数几个综合变量的多变量分析方法，其目的是用有限个不可观测的隐变量来解释原始变量之间的相关关系。http://blog.sina.com.cn/s/blog_8f03874a0102ux90.htmlhttp://blog.csdn.net/linkin1005/article/details/419447711. C++标准模板库从入门到精通 http://edu.csdn.n ...继续阅读 (60)

詹森不等式以丹麦数学家约翰·詹森（Johan Jensen）命名。它给出积分的凸函数值和凸函数的积分值间的关系。In mathematics, Jensen's inequality, named after the Danish mathematician Johan Jensen, relates the value of a convex function of an integral to the integral of the convex function. It was proven by Jensen in 1906.[1] Given its generality, the inequality appears in many forms depending on the context, some of which are presented below. In its simplest form the inequality states that the convex transformation of a mean is less than or equal to the mean applied after convex transformation; it is a simple corollary that the opposite is true ...继续阅读 (56)

混合高斯模型（Mixtures of Gaussians）:GMM（Gaussian Mixture Model） 统计学习的模型有两种，一种是概率模型，一种是非概率模型。 所谓概率模型，是指训练模型的形式是P(Y|X)。输入是X，输出是Y，训练后模型得到的输出不是一个具体的值，而是一系列的概率值（对应于分类问题来说，就是输入X对应于各个不同Y（类）的概率），然后我们选取概率最大的那个类作为判决对象（软分类--soft assignment）。所谓非概率模型，是指训练模型是一个决策函数Y=f(X)，输入数据X是多少就可以投影得到唯一的Y，即判决结果（硬分类--hard assignment）。 所谓混合高斯模型（GMM）就是指对样本的概率密度分布进行估计，而估计采用的模型（训练模型）是几个高斯模型的加权和（具体是几个要在模型训练前建立好）。每个高斯模型就代表了一个类（一个Cluster）。对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。然后我们可以选取概率最大的类所为判决结果。 从中心极限定理的角度上看，把混合模型假设为高斯的是比较合理的，当然，也可以根据实际数据定义成任何分布的Mixture Model,不过定义为高斯的在计算上有一些方便之处，另外，理论上可以通过增加Model的个数，用GMM近似任何概率分布。最大期望算法（Expecta ...继续阅读 (62)

k-means clustering is a method of vector quantization, originally from signal processing, that is popular for cluster analysis in data mining. k-means clustering aims to partition n observations into k clusters in which each observation belongs to the cluster with the nearest mean, serving as a prototype of the cluster. This results in a partitioning of the data space into Voronoi cells.The problem is computationally difficult (NP-hard); however, there are efficient heuristic algorithms that are commonly employed and converge quickly to a local optimum. These are usually similar to the expecta ...继续阅读 (58)

批量学习（batch learning），一次性批量输入给学习算法，可以被形象的称为填鸭式学习。在线学习（online learning），按照顺序，循序的学习，不断的去修正模型，进行优化。batch越小，训练完一组的时间越短，但可能需要更多的步数接近局部最佳值，从大体效果来说，batch对结果影响应该不大。http://blog.csdn.net/vividonly/article/details/51078186http://www.kuqin.com/shuoit/20141204/343705.html1. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33242.跟老菜鸟学C++http://edu.csdn.net/course/detail/29013. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/25924. 在VC2015里学会使用tinyxml库http://edu.csdn.net/course/detail/25905. 在Windows下SVN的版本管理与实战 http://edu.csdn.net/course/detail/25796.Visual Studio 2015开发C++程序的基本使用 http://edu.csdn.net/course/de ...继续阅读 (54)

交叉验证（Cross-Validation）：以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标.特征选择（Feature Selection）：特征选择是特征工程中的重要问题（另一个重要的问题是特征提取），坊间常说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程尤其是特征选择在机器学习中占有相当重要的地位。http://blog.csdn.net/linkin1005/article/details/42869331http://blog.csdn.net/linkin1005/article/details/430188271. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33242.跟老菜鸟学C++http://edu.csdn.net/course/detail/29013. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/2592 ...继续阅读 (67)

Error = Bias + VarianceError反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。BIAS是偏离率的意思，即信号检测估计理论中常用的一种参数。Variance是方差，方差是各个数据与其算术平均数的离差平方和的平均数。Generalization error是泛化误差，模型的泛化误差(generalization error)不仅包括其在样本上的期望误差，还包括在训练集上的误差。即在真实情况下模型的误差。模型训练出来后，在测试集（抽样）上测试会得出一个误差，姑且叫E(in)，但这个误差是否能真实反应这个模型的预测的准确性呢？不一定哦。如果测试集（抽样）并不能很好地代表真实情况（总体），这个E(in)的值就不能很好地反应模型实际情况下的表现。而模型在真实情况（总体）上的表现出的误差就称为泛化误差，这个误差才能真正地反映模型的预测的准确性。http://blog.csdn.net/linkin1005/article/details/42563229切诺夫界：Chernoff bound 马尔科夫不等式： X为非负随机变量，E(X)存在，对任意t>0,有 Pr[x>t]<=E[X]/tchernoff 界： X1,X2 ...继续阅读 (63)

Support Vector Machine是支持向量机，在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Support Vector Machine，简称SVM）。支持向量机的提出有很深的理论背景。支持向量机方法是在后来提出的一种新方法。SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而 使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；参考学习：http://blog.sciencenet.cn/blog-553254-731062.htmlhttp://lib.csdn.net/article/machinelearning/39695http://blog.csdn.net/erli11/article/details/33719105http://blog.csdn.net/yclzh0522/article/details/6900707http: ...继续阅读 (54)

1、 生成学习算法例：对恶性肿瘤和良性肿瘤的分类除了寻找一个将两类数据区分的直线外，还可以用如下方法：1) 遍历训练集，找到所有恶性肿瘤样本，直接对恶性肿瘤的特征建模；同理，对良性肿瘤建模。2) 对一个新的样本分类时，即有一个新的病人时，要判断其是恶性还是良性，用该样本分别匹配恶性肿瘤模型和良性肿瘤模型，看哪个模型匹配的更好，预测属于恶性还是良性。这种方法就是生成学习算法。 两种学习算法的定义：1) 判别学习算法：- 直接学习p(y|x)，即给定输入特征，输出所属的类- 或学习得到一个假设hθ(x)，直接输出0或12) 生成学习算法：- 对p(x|y)进行建模，p(x|y)表示在给定所属的类的情况下，显示某种特征的概率。处于技术上的考虑，也会对p(y)进行建模。- p(x|y)中的x表示一个生成模型对样本特征建立概率模型，y表示在给定样本所属类的条件下例：在上例中，假定一个肿瘤情况y为恶性和良性，生成模型会对该条件下的肿瘤症状x的概率分布进行建模- 对p(x|y)和p(y)建模后，根据贝叶斯公式p(y|x) = p(xy)/p(x) = p(x|y)p(y)/p(x)，可以计算：p(y=1|x) = p(x|y=1)p(y=1)/p(x)，其中， ...继续阅读 (52)

Softmax Regression是Logistic回归的推广，Logistic回归是处理二分类问题的，而Softmax Regression是处理多分类问题的。下面就是TensorFlow使用Softmax回归的例子：# Import MINST data import input_data mnist = input_data.read_data_sets("/tmp/data/", one_hot=True) import tensorflow as tf # Set parameters learning_rate = 0.01 training_iteration = 30 batch_size = 100 display_step = 2 # TF graph input x = tf.placeholder("float", [None, 784]) # mnist data image of shape 28*28=784 y = tf.placeholder("float", [None, 10]) # 0-9 digits recognition => 10 classes # Create a model # Set model weights W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable ...继续阅读 (63)

Ordinary Least Square是普通最小二乘法，简称OLS。是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础。英语的解释：In statistics, ordinary least squares (OLS) or linear least squares is a method for estimating the unknown parameters in a linear regression model, with the goal of minimizing the sum of the squares of the differences between the observed responses (values of the variable being predicted) in the given dataset and those predicted by a linear function of a set of explanatory variables. Visually this is seen as the sum of the squared vertical distances between each data point in the set and the corresponding point on the ...继续阅读 (52)

这一段主要讲的是广义线性模型的定义和假设，为了看明白逻辑回归，大家要耐着性子看完。1.The exponential family 指数分布族因为广义线性模型是围绕指数分布族的，因此需要先介绍，用NG大神的话说就是，“虽然不是全部，但是我们见过的大多数分布都属于指数分布族，比如：Bernoulli伯努利分布、Gaussian高斯分布、multinomial多项分布、Poisson泊松分布、gamma分布、指数分布、Dirichlet分布……”服从指数分布族的条件是概率分布可以写成如下形式：η 被称作natural parameter，它是指数分布族唯一的参数T(y) 被称作sufficient statistic，很多情况下T(y)=y a(η) 被称作 log partition functionT函数、a函数、b函数共同确定一种分布接下来看一下为什么说正态分布（高斯分布）属于指数分布族：正态分布（正态分布有两个参数μ均值与σ标准差，在做线性回归的时候，我们关心的是均值而标准差不影响模型的学习与参数θ的选择，因此这里将σ设为1便于计算）2.构成广义线性模型的三个假设p(y | x; θ) ∼ ExponentialFamily(η). 输出变量基于输入变量的条件概率分布服从指数分布族our goal is to predict the expected value of T(y) ...继续阅读 (52)

会话管理class tf.Session运行TensorFlow所有操作的会话管理类。 会话管理封装了所有被执行的操作对象，并且计算所有张量的值，例如： #创建一个图.a = tf.constant(5.0)b = tf.constant(6.0)c = a * b #在会话里运行图sess = tf.Session() #计算张量`c`.print(sess.run(c)) 会话有很多自己的资源：比如变量、队列和访问器，这些资源当会话不需要时就会释放这些资源，以便回收相应的资源，所以当调用close()函数，或者在环境管理器的模式下运行，也会自动回收这些资源： #使用`close()`函数.sess = tf.Session()sess.run(...)sess.close() #使用环境管理器with tf.Session() as sess: sess.run(...) 会话可以通过ConfigProto函数使用protocol buffer协议来获取所有配置变量，比如创建一个会话时，可以使用软件限制来代替硬件设备，并打印相应的结果，可以像下面这样创建会话：#创建会话运行图，打开软件限制和打印选项sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True, ...继续阅读 (56)

在机器学习课程里提到了这个矩阵，那么这个矩阵是从哪里来，又是用来作什么用呢?先来看一下定义：黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题。一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.在机器学习里，可以考虑采用它来计算n值比较少的数据，在图像处理里，可以抽取图像特征，在金融里可以用来作量化分析。图像处理可以看这个连接：http://blog.csdn.net/jia20003/article/details/16874237量化分析可以看这个：http://ookiddy.iteye.com/blog/2204127下面使用TensorFlow并且使用黑塞矩阵来求解下面的方程：代码如下：#python 3.5.3 蔡军生 #http://edu.csdn.net/course/detail/2592 # import tensorflow as tf import numpy as np def cons(x): return tf.constant(x, dtype=tf.float32) def comp ...继续阅读 (86)

编译旧的代码，会像下面这样提示出错：deconv_shape3 = tf.pack([shape[0], shape[1], shape[2], NUM_OF_CLASSESS])AttributeError: 'module' object has no attribute 'pack'因为TF后面的版本修改了这个函数的名称，把tf.pack改为 tf.stack。因此只需要替换掉，就可以编译通过了。1. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33242.跟老菜鸟学C++http://edu.csdn.net/course/detail/29013. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/25924. 在VC2015里学会使用tinyxml库http://edu.csdn.net/course/detail/25905. 在Windows下SVN的版本管理与实战 http://edu.csdn.net/course/detail/25796.Visual Studio 2015开发C++程序的基本使用 http://edu.csdn.net/course/detail/25707.在VC2015里使用protobuf协议http://edu.csdn.net/cour ...继续阅读 (91)

在计算机图形学里，学习过牛顿迭代法，在人工智能的课程也少不了，因为它是一种快速迭代的算法，同样在人工智能里也可以快找到回归的方法。NG介绍它如下：1. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33242.跟老菜鸟学C++http://edu.csdn.net/course/detail/29013. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/25924. 在VC2015里学会使用tinyxml库http://edu.csdn.net/course/detail/25905. 在Windows下SVN的版本管理与实战 http://edu.csdn.net/course/detail/25796.Visual Studio 2015开发C++程序的基本使用 http://edu.csdn.net/course/detail/25707.在VC2015里使用protobuf协议http://edu.csdn.net/course/detail/25828.在VC2015里学会使用MySQL数据库http://edu.csdn.net/course/detail/2672 ...继续阅读 (69)

在学习NG的课程里，他提到了感知机算法，大体内容如下：其实感知器学习算法，就是利用介绍的单层感知器。首先利用给的正确数据，计算得到输出值，将输出值和正确的值相比，由此来调整每一个输出端上的权值。首先 是一个“学习参数”，一般我将它设置成小于1的正数。T便是训练数据中的正确结果，便是第i个输入端的输入值，便是第i个输入端上面的权值。学习规则是用来计算新的权值矩阵W及新的偏差B的算法。感知器利用其学习规则来调整网络的权值，以便使该网络对输人矢量的响应达到数值为0或1的目标输出。对于输入矢量P，输出矢量A，目标矢量为T的感知器网络，感知器的学习规则是根据以下输出矢量可能出现的几种情况来进行参数调整的。1) 如果第i个神经元的输出是正确的，即有：ai＝ti，那么与第i个神经元联接的权值wij和偏差值bi保持不变；2)如果第i个神经元的输出是0，但期望输出为1，即有ai＝0，而ti＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输人矢量pj；类似的，新的偏差bi为旧偏差bi加上它的输入1；3) 如果第i个神经元的输出为1，但期望输出为0，即有ai＝1，而ti＝0，此时权值修正算法为：新的权值wij等于旧的权值wij减去输入矢量pj；类似的，新的偏差bi为旧偏差bi减去1。由上面分析可以看出感知器学习规则的实质为：权值的变化量等于正负输入矢量。更多网站：http://blog.cs ...继续阅读 (55)

伯努利分布 是一种离散分布,有两种可能的结果。1表示成功，出现的概率为p(其中0<1)。0表示失败，出现的概率为q=1-p。这种分布在人工智能里很有用，比如你问机器今天某飞机是否起飞了，它的回复就是Yes或No，非常明确，这个分布在分类算法里使用比较多，因此在这里先学习 一下。概率分布有两种类型：离散（discrete）概率分布和连续（continuous）概率分布。离散概率分布也称为概率质量函数（probability mass function）。离散概率分布的例子有伯努利分布（Bernoulli distribution）、二项分布（binomial distribution）、泊松分布（Poisson distribution）和几何分布（geometric distribution）等。连续概率分布也称为概率密度函数（probability density function），它们是具有连续取值（例如一条实线上的值）的函数。正态分布（normal distribution）、指数分布（exponential distribution）和β分布（beta distribution）等都属于连续概率分布。二项分布的例子：抛掷10次硬币，恰好两次正面朝上的概率是多少？假设在该试验中正面朝上的概率为0.3，这意味着平均来说，我们可以期待有3次是硬币正面朝上的。我定义掷硬币的所有可 ...继续阅读 (57)

tf.train.Optimizer.__init__(use_locking, name)优化器的构造函数，用来创建一个新的优化器。 参数: use_locking:布尔类型Bool.如果设置为真可以防止别的异步操作更新这些变量。name:非空字符串。优化器的名称。异常: ValueError:如果名称错误抛出此异常. tf.train.Optimizer.minimize(loss, global_step=None, var_list=None, gate_gradients=1, aggregation_method=None, colocate_gradients_with_ops=False, name=None, grad_loss=None)调用函数计算梯度让损失函数最小化，同时更新梯度到变量列表。这个函数简单地组合函数compute_gradients()和apply_gradients()的功能，如果你想分离处理这个过程，需要分开调用这两个函数。参数:loss:一个包含计算最小化的张量。global_step:可选，当变量更新一个之后增加一步。var_list:用来计算损失函数的变量列表，可选类型，默认是使用GraphKeys.TRAINABLE_VARIABLES里的变量.gate_gradients:计算梯度的方式：GATE_NONE, GATE_OP, o ...继续阅读 (79)

1. Classification这篇文章我们来讨论分类问题（classification problems），也就是说你想预测的变量 y 是一个离散的值。我们会使用逻辑回归算法来解决分类问题。之前的文章中，我们讨论的垃圾邮件分类实际上就是一个分类问题。类似的例子还有很多，例如一个在线交易网站判断一次交易是否带有欺诈性（有些人可以使用偷来的信用卡，你懂的）。再如，之前判断一个肿瘤是良性的还是恶性的，也是一个分类问题。在以上的这些例子中，我们想预测的是一个二值的变量，或者为0，或者为1；或者是一封垃圾邮件，或者不是；或者是带有欺诈性的交易，或者不是；或者是一个恶性肿瘤，或者不是。我们可以将因变量（dependant variable）可能属于的两个类分别称为负向类（negative class）和正向类（positive class）。可以使用0来代表负向类，1来代表正向类。现在，我们的分类问题仅仅局限在两类上：0或者1。之后我们会讨论多分类问题，也就是说，变量 y 可以取多个值，例如0，1，2，3。那么，我们如何来解决一个分类问题呢？来看以下例子：现在有这样一个分类任务，需要根据肿瘤大小来判断肿瘤的良性与否。训练集如上图所示，横轴代表肿瘤大小，纵轴表示肿瘤的良性与否，注意，纵轴只有两个取值，1（代表恶性肿瘤）和0（代表良性肿瘤）。通过之前的博文，我们已经知道对于以上数据集使用线性回 ...继续阅读 (58)

通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting），比如数据集是一个钟形的曲线。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的过拟合（overfitting），不符合数据真实的模型。 今天来讲一种非参数学习方法，叫做局部加权回归（LWR）。为什么局部加权回归叫做非参数学习方法呢？ 首先参数学习方法是这样一种方法：在训练完成所有数据后得到一系列训练参数，然后根据训练参数来预测新样本的值，这时不再依赖之前的训练数据了，参数值是确定的。而非参数学习方法是这样一种算法：在预测新样本值时候每次都会重新训练数据得到新的参数值，也就是说每次预测新样本都会依赖训练数据集合，所以每次得到的参数值是不确定的。 接下来，介绍局部加权回归的原理。有上面的原理，我们来实践一下，使用python的代码来实现，如下：#python 3.5.3 蔡军生 #http://edu.csdn.net/course/detail/2592 # 计算加权回归 import numpy as np import random import matplotlib.pyplot as plt def gaussian_kernel(x, x0, c, a=1.0): """ Gaussian kernel. ...继续阅读 (74)

多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。介绍多元线性回归的一些基本问题。但由于各个自变量的单位可能不一样，比如说一个消费水平的关系式中，工资水平、受教育程度、职业、地区、家庭负担等等因素都会影响到消费水平，而这些影响因素（自变量）的单位显然是不同的，因此自变量前系数的大小并不能说明该因素的重要程度，更简单地来说，同样工资收入，如果用元为单位就比用百元为单位所得的回归系数要小，但是工资水平对消费的影响程度并没有变，所以得想办法将各个自变量化到统一的单位上来。前面学到的标准分就有这个功能，具体到这里来说，就是将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。这时的回归方程称为标准回归方程，回归系数称为标准回归系数，表示如下：Zy= β1Z*1 + β2Z*2 + … + βkZ*k多元线性方程，一般采用矩阵来表示，因此在求多元线性方程的最小化函数时，就需要对矩阵进行求导，这个求导过程，NG已经给出了，如下：最终求出来的公式如下：这个公式也叫正规方程，它需要求解矩阵，所以数据比较多时，就比较慢。下面来给出一个计算简单线性回归的矩阵求法，假如数据：（1，6）， （2，5），（3，7)和（4， 10）计算代码如下：import numpy as np im ...继续阅读 (55)

LMS算法可认为是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想，在通信信号处理领域LMS也非常常见，比如自适应滤波器。其它就是利用梯度下降的算法来实现的，具体推导如下：最后这条公式，就是LMS算法的实现基础，可以使用python代码实现如下：import numpy as np import random from matplotlib import pyplot as plt # m是点的数量 def gradientDescent(x, y, theta, alpha, m, numIterations): #矩阵转置 xTrans = x.transpose() cost = None for i in range(0, numIterations): #点积 hypothesis = np.dot(x, theta) #计算最小平方数 loss = hypothesis - y cost = np.sum(loss ** 2) / (2 * m) #print("Iteration %d | Cost: %f" % (i, cost)) # 计算梯度 gradie ...继续阅读 (70)

在学习机器学习过程中，会遇到一个名词，就是梯度。因为很多情况之下，基本上没有完美的解，只能逐渐逼近它，往往要使用迭代法来求解，并且迭代法也是计算机的专长，可以说这世界上只有它是最会玩迭代算法了。在使用迭代法的过程中，又需要不断尝试各个方向。比如从一座山峰顶往下走，而这座山峰各个方向有不一样的坡度。如下图：从上图可以看到，有一些地方比较陡峭，那么我们就会说这里的梯度比较大，因为在这里下降得最快。接着，我们来看一下定义：在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。更严格的说，从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上，梯度是雅可比矩阵的一个特殊情况。在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和所研究的方向的点积来得到斜度。梯度的数值有时也被称为梯度。为了从最陡的地方走下去，那么机器怎么样才知道那个地方的梯度最大呢？导数在梯度下降中就是为了指出最快的方向，指示我们向局部最低点进发。导数（Derivative）是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。我们可以在物理里想一下 ...继续阅读 (51)

上次在寻找线性回归最小化函数时，又引出一个新的地雷，一个新的不知道，我们继续上路，开足马车继续寻找“似然函数”，它到底是什么呢？先来到WIKI上看看定义：In statistics, alikelihood function(often simply the likelihood) is a function of the parameters of a statistical model given data. Likelihood functions play a key role in statistical inference, especially methods of estimating a parameter from a set of statistics. In informal contexts, "likelihood" is often used as a synonym for "probability." In statistics, a distinction is made depending on the roles of outcomes vs. parameters. Probability is used before data are available to describe possible future outcomes given ...继续阅读 (77)

在这个世界里，你知道得越多，就发现有更多的不知道，就在知道与不知道之间来回寻找，这个世界就是这样神奇。当你正在看NG的公开课时，就像这样在知与不知中寻找，或者在其中迷茫，或紧张，或张望，希望有人拉你一把。当看到下面这个公式时：这个就是一个变量的线性回归最优化函数，NG当时没有解释为什么这样定义的，只是让这个J函数最小化，就可以达到最优化的线性方程回归了。同时，你如果看过我前面的文章，也会发现TensorFlow的例子里是这样来定义损失函数的：loss = tf.reduce_mean(tf.square(y - y_data))可以看到这里，tf.square(y - y_data)就是计算y - y_data的平方， tf.reduce_mean是计算所有平方的平均值，但没有除以2，因为除与不除都是一样的收敛性，所以省略了这个不必要的除法，还可以加快计算速度。但是我很好奇这个一元变量的损失函数是怎么得来的呢？在原来的视频里没有解释，也许是我还没有看到。后来仔细翻看讲义，后面有推导整个过程，详细如下：整个过程是通过《概率论》来推导的，然后通过似然函数（这里又引出了不知的概念？）变换，再对公式两边取对数，因为要l函数最大化，就是要后面负数项最小化，也就是推导出来最前面的公式了。有了这个公式和理论支持，当遇到线性回归的问题时，就可以使用这个公式来构造损失函数，最后判断损失函数最小化，就 ...继续阅读 (74)