一般认为属于统计学的是线性模型(统计里面研究的最为成熟)、SV1M(毕竟是统计学家提出来的)、lasso、compressive sensing、sparse modeling、boostrapping等,传统的p-value, t统计量、AIC,BIC都是统计的;一般认为属于机器学习的是神经网络、蚁群优化、遗传算法、深度学习等,一般数学基础不是很牢固,对复杂的低噪音问题比较适合;统计和机器学习都沾边的是boosting,最开始adaboost是计算机的人提出来,但只是二元分类,给出了算法,数学基础不牢;然后斯坦福的统计学家巩固了数学基础,exponential loss之类的,然后发展到了回归问题,即gradient boosting machine,gbdt等;当年讨论的比较热烈。所以,显然地,对于低噪音的图像处理、下围棋等,深度学习等计算机学派完胜;但对于金融交易等高噪音数据,统计学家完胜。对于中间银行信用违约、医疗诊断,统计学家优势也是明显的;对于自然语言,一般认为计算机学家厉害一些,但更多是概率图方面,不是深度学习。总体而言,统计学家比较谨慎,机器学习则喜欢迈开大步子。类似于当年数学家和物理学家一样,牛顿提出微积分的时候,应用效果很好,但当时连数学里面的连续统理论都没有,数学基础薄弱;现在也一样,深度学习取得了很好的应用效果,但数学基础薄弱。这是数学家或者理论统计学家的问
...
继续阅读
(41)