PRML读书会第十四章 Combining Models主讲人 网神（新浪微博:@豆角茄子麻酱凉面）网神(66707180) 18:57:18大家好，今天我们讲一下第14章combining models，这一章是联合模型，通过将多个模型以某种形式结合起来，可以获得比单个模型更好的预测效果。包括这几部分：committees, 训练多个不同的模型，取其平均值作为最终预测值。boosting: 是committees的特殊形式，顺序训练L个模型，每个模型的训练依赖前一个模型的训练结果。决策树：不同模型负责输入变量的不同区间的预测，每个样本选择一个模型来预测，选择过程就像在树结构中从顶到叶子的遍历。conditional mixture model条件混合模型：引入概率机制来选择不同模型对某个样本做预测，相比决策树的硬性选择，要有很多优势。本章主要介绍了这几种混合模型。讲之前，先明确一下混合模型与Bayesian model averaging的区别，贝叶斯模型平均是这样的：假设有H个不同模型h，每个模型的先验概率是p(h)，一个数据集的分布是：整个数据集X是由一个模型生成的，关于h的概率仅仅表示是由哪个模型来生成的 这件事的不确定性。而本章要讲的混合模型是数据集中，不同的数据点可能由不同模型生成。看后面讲到的内容就明白了。首先看committes，committes是一大类，包括bo ...继续阅读 (86)

到二十世纪末，人们对「信号」这个词的理解已经发生了微妙的变化。如果在二十世纪上半叶的时候提到一个信号，人们还倾向于将它理解为一个连续的函数。而到下半叶，信号已经越来越多地对应于一个离散的数组。毫无疑问，这是电子计算机革命的后果。在这样的情形下，「不确定性原理」也有了新的形式。在连续情形下，我们可以讨论一个信号是否集中在某个区域内。而在离散情形下，重要的问题变成了信号是否集中在某些离散的位置上，而在其余位置上是零。数学家给出了这样有趣的定理：一个长度为 N 的离散信号中有 a 个非零数值，而它的傅立叶变换中有 b 个非零数值，那么 a+b ≥ 2√N。也就是说一个信号和它的傅立叶变换中的非零元素不能都太少。毫无疑问，这也是某种新形式的「不确定性原理」。在上面的定理中，如果已知 N 是素数，那么我们甚至还有强得多的结论（它是 N. Chebotarev 在 1926 年证明的一个定理的自然推论）：一个长度为素数 N 的离散信号中有 a 个非零数值，而它的傅立叶变换中有 b 个非零数值，那么 a+b > N。不幸的是这里「素数」的条件是必须的。对于非素数来说，第二条命题很容易找到反例，这时第一条命题已经是能够达到的最好结果了。这些定理有什么用呢？如果它仅仅是能用来说明某些事情做不到，就像它字面意思所反映出的那样，那它的用处当然相对有限。可是——这无疑是辩证法的一个好例证——这样一系列宣称 ...继续阅读 (34)

到二十世纪末，人们对「信号」这个词的理解已经发生了微妙的变化。如果在二十世纪上半叶的时候提到一个信号，人们还倾向于将它理解为一个连续的函数。而到下半叶，信号已经越来越多地对应于一个离散的数组。毫无疑问，这是电子计算机革命的后果。在这样的情形下，「不确定性原理」也有了新的形式。在连续情形下，我们可以讨论一个信号是否集中在某个区域内。而在离散情形下，重要的问题变成了信号是否集中在某些离散的位置上，而在其余位置上是零。数学家给出了这样有趣的定理：一个长度为 N 的离散信号中有 a 个非零数值，而它的傅立叶变换中有 b 个非零数值，那么 a+b ≥ 2√N。也就是说一个信号和它的傅立叶变换中的非零元素不能都太少。毫无疑问，这也是某种新形式的「不确定性原理」。在上面的定理中，如果已知 N 是素数，那么我们甚至还有强得多的结论（它是 N. Chebotarev 在 1926 年证明的一个定理的自然推论）：一个长度为素数 N 的离散信号中有 a 个非零数值，而它的傅立叶变换中有 b 个非零数值，那么 a+b > N。不幸的是这里「素数」的条件是必须的。对于非素数来说，第二条命题很容易找到反例，这时第一条命题已经是能够达到的最好结果了。这些定理有什么用呢？如果它仅仅是能用来说明某些事情做不到，就像它字面意思所反映出的那样，那它的用处当然相对有限。可是——这无疑是辩证法的一个好例证——这样一系列宣称 ...继续阅读 (11)

不确定性原理事实上不是一个单独的定理，而是一组定理的统称。基本上，凡是刻划一个信号不能在时空域和频域上同时过于集中的命题都可以称为不确定性原理，由于这里「集中」这一性质可以有不同的数学描述，也就对应着不同的数学定理。但是在所有冠以「不确定性原理」之名的定理中，最著名的当然是海森堡 (W. Heisenberg) 在 1927 年所提出的影响物理学发展至深的那个版本。它精确的数学描述是：假定一个信号的总能量为 1，则这个信号和它的傅立叶变换的能量的方差之积不小于换言之，两者各自的能量都可能很集中，但是不能同时很集中。如果时空域中能量的方差很小（亦即集中在一起），那么频域上能量的方差就不会太小（亦即必然会弥散开），反之亦然。对这个定理在量子物理中的意义的详细讨论超出了本文的话题范围，坊间相关的著作已有不少。不过，下面简单胪列了一些相关的历史事实：海森堡在 1927 年的那篇文章标题为 Ueber den anschaulichen Inhalt der quantentheoretischen Kinematik und Mechanik（《量子理论运动学和力学的直观内容》）。这篇文章很大程度上是对薛定谔 (E. Schrödinger) 在 1926 年所提出的薛定谔波动方程的回应。相较于海森堡的矩阵力学而言，薛定谔的方程很快由于它物理上的直观明晰而吸引了越来越多物理学家的赞赏。海森 ...继续阅读 (28)

傅立叶变换这种对偶关系的本质，是把一块信息用彻底打乱的方式重新叙述一遍。正如前面所提到的那样，一个信号可能在空域上显得内容丰富，但是当它在频域上被重新表达出来的时候，往往就在大多数区域接近于零。反过来这个关系也是对称的：一个空域上大多数区域接近于零的信号，在频域上通常都会占据绝大多数频率。有没有一种信号在空域和频域上的分布都很广泛呢？有的，最简单的例子就是噪声信号。一段纯粹的白噪声，其傅立叶变换也仍然是噪声，所以它在空域和频域上的分布都是广泛的。如果用信号处理的语言来说，这就说明「噪声本身是不可压缩的」。这并不违反直觉，因为信号压缩的本质就是通过挖掘信息的结构和规律来对它进行更简洁的描述，而噪声，顾名思义，就是没有结构和规律的信号，自然也就无从得以压缩。另一方面，有没有一种信号在空域和频域上的分布都很简单呢？换句话说，存不存在一个函数，它在空间上只分布在很少的几个区域内，并且在频域上也只占用了很少的几个频率呢？（零函数当然满足这个条件，所以下面讨论的都是非零函数。）答案是不存在。这就是所谓的 uncertainty principle（不确定性原理）。这一事实有极为重要的内涵，但是其重要性并不容易被立刻注意到。它甚至都不是很直观：大自然一定要限制一个信号在空间分布和频率分布上都不能都集中在一起，看起来并没有什么道理啊。这个原理可以被尽量直观地解释如下：所谓的频率，本质上反应的是一种 ...继续阅读 (30)