来源：算法与数学之美原文：机器学习中导数最优化方法(基础篇)作者：daniel-D出处：http://www.cnblogs.com/daniel-D/1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇文章主要总结一下使用导数的最优化方法的几个基本方法，梳理相关的数学知识，本人也是一边写一边学，如有问题，欢迎指正，共同学习，一起进步。2. 几个数学概念1) 梯度（一阶导数）考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我们坡度到底有多陡。注意，梯度也可以告诉我们不在最快变化方向的其他方向的变化速度（二维情况下，按照梯度方向倾斜的圆在平面上投影成一个椭圆）。对于一个含有 n 个变量的标量函数，即函数输入一个 n 维 的向量，输出一个数值，梯度可以定义为：2) Hesse 矩阵（二阶导数）Hesse 矩阵常被应用于牛顿法解决的大规模优化问题(后面会介绍)，主要形式如下：当 f(x) 为二次函数时，梯度以及 Hesse 矩阵很容易求得。二次函数可以写成下列形式：其中 A 是 n 阶对称矩阵，b 是 n 维列向量， c 是常数。f(x) 梯度是 Ax b, He ...继续阅读 (8)

Neural and Evolutionary ComputingPrediction of Seasonal Temperature Using Soft Computing Techniques: Application in Benevento (Southern Italy) AreaSalvatore Rampone,Alessio ValenteJournal-ref: Journal of Ambient Intelligence and Humanized Computing (2016)Subjects:Neural and Evolutionary Computing (cs.NE); Atmospheric and Oceanic Physics (physics.ao-ph)In this work two soft computing methods, Artificial Neural Networks andGenetic Programming, are proposed in order to forecast the mean temperaturethat will occur in future seasons. The area in which the soft computingtechniques were applied is t ...继续阅读 (2)

我爱机器学习Machine Learning Daily: 2016-11-16arXiv Paper Daily: Wed, 16 Nov 2016机器学习中导数最优化方法(基础篇)深度学习大讲堂IJCAI16论文速读：Deep Learning论文选读（下）深度学习大讲堂IJCAI16论文速读：Deep Learning论文选读（下） ...继续阅读 (4)

链接：大牛讲堂 | Batch Normalization的分析与展望来源：HorizonRobotics本文由HorizonRobotics公众号授权转载。训练更深的神经网络近年来一直是深度学习领域的重要趋势之一。2015年初，Google提出了Batch Normalization 算法，使得深层神经网络的训练更加稳定，加快了收敛的速度，甚至同时起到了正则化的作用。本期《大牛讲堂》我们请来了地平线机器人技术资深算法研究员罗恒老师，由他为大家分析Batch Normalization背后的动机和原理，以及后续的发展。引言现在正是神经网络的第三次研究的热潮，与之前两次不同，这次神经网络（深度学习）在很多实际问题上取得了巨大的成功，吸引了越来越多的人投身其中。刚开始接触神经网络的同学们，往往发现无从下手，有很多理论的文章，但是似乎对实际用处不大。谈论最多的往往是各种各样的tricks。BatchNormalization [1] 是近年来最火爆的tricks之一，几乎成了前向神经网络的标配。在我看来，BN主要做的比较好的是在恰当的地方做标准化（Normalization），在矩阵乘之后，在激活之前；BN的参数和使得输出仍旧保持一定的灵活性；为什么这两方面比较重要下面我会做些分析。最后我会简单讨论一些把BN应用到RNN的工作。升降桌和中心极限定理在开始之前先来个广告，地平线机器人最近搬 ...继续阅读 (3)

Neural and Evolutionary ComputingDeep Learning with Sets and Point CloudsSiamak Ravanbakhsh,Jeff Schneider,Barnabas PoczosComments: under review at ICLRSubjects:Machine Learning (stat.ML); Learning (cs.LG); Neural and Evolutionary Computing (cs.NE)We study a simple notion of structural invariance that readily suggests aparameter-sharing scheme in deep neural networks. In particular, we definestructure as a collection of relations, and derive graph convolution andrecurrent neural networks as special cases. We study composition of basicstructures in defining models that are invariant to more com ...继续阅读 (2)

Neural and Evolutionary ComputingDeep Recurrent Neural Network for Mobile Human Activity Recognition with High ThroughputMasaya Inoue,Sozo Inoue,Takeshi NishidaComments: 10 pages, 13 figuresSubjects:Computer Vision and Pattern Recognition (cs.CV); Neural and Evolutionary Computing (cs.NE)In this paper, we propose a method of human activity recognition with highthroughput from raw accelerometer data applying a deep recurrent neural network(DRNN), and investigate various architectures and its combination to find thebest parameter values. The “high throughput” refers to short time at ...继续阅读 (8)

我爱机器学习(52ml.net)编者按：机器学习难，并不是因为数学难，而是因为选择什么工具及Debug难。快速有效Debug是现代机器学习中的必备技能，但机器学习的Debug相比普通程序要难很多：候选错误空间大、调试周期长。本文根据英文原文整理而成，加入了自己的理解。为了简单，Debug和Debugging本文不做区分。英文作者：S. Zayd Enam英文原文：http://ai.stanford.edu/~zayd/why-is-machine-learning-hard.html机器学习已经被广泛应用，教程、文章、开源代码到处都是，有些时候只需要你对机器学习算法稍有了解就可以在实际中很好的应用。但是机器学习还是非常难：推动机器学习研究进步的科学本身很困难，需要创新、实验和坚持；把已知的机器学习模型应用到实际工作中也是一件困难的事情；市场上的机器学习工程师比普通的软件工程师也要昂贵一些。困难并不是来自于数学，因为机器学习的相关实现并不要求很高的数学基础。困难来自于：选择什么样的机器学习工具这要求对每个算法和模型的优劣势都了如指掌，这个技能可以通过学过这些模型（课程、教程、Paper等）来获得。当然这类知识构建的困难是计算机所有领域都存在的，不仅仅是机器学习。机器学习很难调试这种困难表现在两方面：1）算法不work；2）算法work，但并未足够好。机器学习独有的特征是：查找上面问 ...继续阅读 (4)

作者：Ramanan Balakrishnan原文：https://engineering.semantics3.com/2016/11/13/machine-learning-practice-to-production/我爱机器学习(52ml.net)编者按：机器学习产品化时需要注意哪些问题？数据获取、数据预处理、编程语言/框架选择、训练模型、离线或实时、内嵌或接口、RPC或其它、预测监控、log处理、Online Learning等。Garbage in, garbage outDo I have a reliable source of data? Where do I obtain my dataset?Transforming data to inputWhat pre-processing steps are required? How do I normalize my data before using with my algorithms?Now, let’s begin?Which language/framework do I use? Python, R, Java, C++? Caffe, Torch, Theano, Tensorflow, DL4J?Training modelsHow do I train my models? Shou ...继续阅读 (2)

作者：猿辅导研究团队多任务学习（Multi-Task Learning, MTL）是一种归纳迁移机制，主要目标是利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，多任务学习通过使用共享表示并行训练多个任务来完成这一目标[1]。一言以蔽之，多任务学习在学习一个问题的同时，可以通过使用共享表示来获得其他相关问题的知识[2]。归纳迁移是一种专注于将解决一个问题的知识应用到相关的问题的方法，从而提高学习的效率。比如，学习行走时掌握的能力可以帮助学会跑，学习识别椅子的知识可以用到识别桌子的学习，我们可以在相关的学习任务之间迁移通用的知识。1背景在1997年之前，很多的归纳学习系统仅专注于单一任务，因此归纳迁移领域的研究者提出了这个问题：如何通过使用多个学习任务的知识来增强学习能力[3]？为达到同等水平的性能，归纳迁移学习可以减少训练样本的数目或训练的迭代次数 ，这对于训练样本不足的学习任务而言是非常有意义的。1997年，机器学习杂志发表了一个关于归纳迁移的特刊[4]，归纳迁移领域的主要研究者发表了一系列文章研究如何训练多个学习任务的问题。其中[1]提出一种学习多个任务的算法并介绍多任务学习的过程，在三个领域展现了多任务学习的能力以及讨论该算法可以应用的场景，实验结果表明，在现实中有很多可以应用多任务学习的场景。首先，多任务学习可以学到多个任务的共享表示，这个共享表示具有较强的抽 ...继续阅读 (8)

王晓峰 / 文贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后（详见大数据背后的神秘公式（上）：贝叶斯公式），开始引起学术界的注意和重视，而其上世纪八十年代在自然语言处理领域的成功，向我们展示了一条全新的问题解决路径。计算能力的不断提高和大数据的出现使它的威力日益显现，一场轰轰烈烈的“贝叶斯革命”正在发生。一  真正的突破自然语言处理就是让计算机代替人来翻译语言、识别语音、认识文字和进行海量文献的自动检索。但是人类的语言可以说是信息里最复杂最动态的一部分。人们最初想到的方法是语言学方法，让计算机学习人类的语法、分析语句等等。尤其是在乔姆斯基（有史以来最伟大的语言学家）提出 “形式语言” 以后，人们更坚定了利用语法规则的办法进行文字处理的信念。遗憾的是，几十年过去了，在计算机语言处理领域，基于这个语法规则的方法几乎毫无突破。其实早在几十年前，数学家兼信息论的祖师爷香农 (Claude Shannon)就提出了用数学方法处理自然语言的想法。遗憾的是当时的计算机根本无法满足大量信息处理的需要，所以他的这一想法并没有引起重视。率先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克 (Fred Jelinek)。他引入一个全新的视角，认为语音识别就是根据接收到的一个信号序列推测说话人实际发出的信号序列（说的话）和要表达的意思。这就把语音识别问题转化为一个通信问题 ...继续阅读 (16)

王晓峰 / 文大数据、人工智能、海难搜救、生物医学、邮件过滤，这些看起来彼此不相关的领域之间有什么联系？答案是，它们都会用到同一个数学公式——贝叶斯公式。它虽然看起来很简单、很不起眼，但却有着深刻的内涵。那么贝叶斯公式是如何从默默无闻到现在广泛应用、无所不能的呢？一  什么是贝叶斯公式18世纪英国业余数学家托马斯·贝叶斯（Thomas Bayes，1702～1761）提出过一种看上去似乎显而易见的观点：“用客观的新信息更新我们最初关于某个事物的信念后，我们就会得到一个新的、改进了的信念。” 这个研究成果，因为简单而显得平淡无奇，直到他死后的两年才于1763年由他的朋友理查德·普莱斯帮助发表。它的数学原理很容易理解，简单说就是，如果你看到一个人总是做一些好事，则会推断那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。与其他统计学方法不同，贝叶斯方法建立在主观判断的基础上，你可以先估计一个值，然后根据客观事实不断修正。1774年，法国数学家皮埃尔-西蒙·拉普拉斯(Pierre-Simon Laplace，1749－1827)独立地再次发现了贝叶斯公式。拉普拉斯关心的问题是：当存在着大量数据，但数据又可能有各种各样的错误和遗漏 ...继续阅读 (27)

Convex Optimization: Fall 2016链接：http://www.stat.cmu.edu/~ryantibs/convexopt/Machine Learning 10-725(cross-listed as Statistics 36-725)Instructors:Javier Peña(jfp at andrew dot cmu dot edu)Ryan Tibshirani(ryantibs at cmu dot edu)Go to:Schedule|Assignments|Miscellaneous一些中文笔记：凸优化－KKT条件凸优化－对偶问题凸优化－Proximal GD凸优化－次梯度下降凸优化－梯度下降凸优化－优化问题凸优化－凸集和凸函数 ...继续阅读 (3)

作者：韩龙飞原文：凸优化－KKT条件08 November 20151. 引言上一节我们讲了如何构建原问题的对偶问题，首先我们引入拉格朗日函数L(x,u,v)将有约束的优化问题转换为无约束的优化问题，然后对原问题的参数求导，获得使拉格朗日函数最小的拉格朗日对偶函数g(u,v)，最后使得对偶函数最大的问题则成为原问题的对偶问题。从上面的对偶问题构建方法可以看出获得对偶问题要对原问题参数极小，然后对拉格朗日乘子最大化，这样做的目的是使得转化后的对偶问题更容易求解。又因为对偶问题具有弱对偶性，即\(f^{\star} \geq g^{\star}\)，因此，对偶问题提供了原问题最优值的下界，如果可以满足某种条件使得二者相等，即具有强对偶性，那么这个时候我们就可以通过求解对偶问题的解来间接地获得原问题的解。因此，上段所说的“在满足某些条件的情况下”,这所谓的“满足某些条件”就是要满足KKT条件。上一节我们也提到过Slater's condition，可以保证对偶问题具有强对偶性。虽然该条件是一个很弱的条件，但是我们注意到该条件并未给出解的形式或者给出二者之间的联系，即原问题和对偶问题最优解的关系。同时，Slater’s Condition只是满足强对偶性的一个充分条件，但不是必要条件，即原问题的对偶问题具有强对偶性并不一定满足Slater’s Condition。而本文所要讲述的KKT条件 ...继续阅读 (8)

作者：韩龙飞原文：凸优化－对偶问题05 November 20151. 引言凡心所向，素履所往，生如逆旅，一苇以航。很高兴阿森纳能在欧冠上战胜拜仁，在虎扑上看到这样的一句话，颇有感触，借来作为这篇博文的开始，生活中我们需要一些勇气去追寻自己的理想。回到本篇内容上，对偶是个神奇的东西，从文学角度而言，对偶和对仗属于一种修辞手法，即用字数相等，语义对称的方法来表征想法或抒发情感。“凡心所向，素履所往，生如逆旅，一苇以航”或者“棋逢对手，将遇良才”都可看成是一种对偶。但是，本文是要阐述在数学问题上的对偶问题，它是优化问题中非常重要的方法，类似于文学的对偶，也是一种配对方式，只不过是将某种数学结构\(B\)。在优化问题中，可以将非凸问题转化为凸优化问题进行求解。虽然文学上和数学上表达对偶的意思相差甚远，但是我觉得二者在各自领域的重要性是可以比拟的。update:在完成本篇博文时，拜仁5:1战胜阿森纳，小组出线堪忧。说到对偶问题，我们先从线性规划谈起，考虑以下简单的线性规划（LP）问题，我们如何求得函数的下界：\(\begin{equation} \begin{split} \min \limits_{x,y} & \quad x+3y \\ subject \, to & \quad x+y \geq 2 \\ & \quad x, y \geq 0 \end{sp ...继续阅读 (8)

作者：韩龙飞原文：凸优化－Proximal GD28 October 20151. 引言Proximal算法是用于求解凸优化问题的方法之一，当无约束的凸优化问题可微，我们可以用梯度下降算法求解；当无约束的凸优化目标函数不可微，我们可以采用次梯度算法求解；当存在约束时，我们可以采用proximal相关梯度算法求解，这是因为，当目标函数存在约束时，我们可以把约束写入目标函数，但是这时候往往目标函数就从可微变成不可微，例如线性回归加入\(h(x)\)不可微）形式无约束问题的下降算法。虽然，我们仍然可以采用次梯度算法求解上述问题，但是该算法时间复杂度较高，这里所要讲述的proximal method既是可以降低复杂度至\(O(1/\epsilon)\)。2. Proximal Mapping对于形如\(prox_t(x)\)的最优解。当\(prox_t(x) = argmin_z \frac{1}{2t} \parallel x – z \parallel_2^2 = x\)；当\(prox_t(x) = argmin_{z \in C} \frac{1}{2t} \parallel x – z \parallel_2^2\)；当\(prox_t(x) = argmin_{z} \frac{1}{2t} \parallel x – z \parallel ...继续阅读 (2)

作者：韩龙飞原文：凸优化－次梯度算法02 October 20151. 次梯度在优化问题中，我们可以对目标函数为凸函数的优化问题采用梯度下降法求解，但是在实际情况中，目标函数并不一定光滑、或者处处可微，这时就需要用到次梯度下降算法。次梯度（*Subgradient*）与梯度的概念类似，凸函数的First-order characterization是指如果函数f可微，那么当且仅当\(g \in \mathbb{R}^n\)：\(f(y) \geq f(x) + g^T(y-x)\)其中，函数\(f\)可微。该定义说明，用次梯度对原函数做出的一阶展开估计总是比真实值要小。很明显，凸函数的次梯度一定存在，如果函数\(\parallel x \parallel_p\)范数为凸函数，但不满足处处可微的条件，因此，函数的次梯度不一定唯一，如下图：左一图为\(\{ z: \parallel z \parallel_2 \leq 1 \}\)中的任意一个元素；左二图为\([-1,1]\)中的任意一个元素；同样，绝对值函数\(f(x)=max\{ f_1(x), f_2(x) \}\)在不可微点处次梯度也不一定唯一，如下图：对于左二函数而言，其在满足\(\nabla f_2(x)\)之间。同理，我们还可以给出次微分（subdifferential）的定义，即：\(\partial f(x) = \ ...继续阅读 (4)

作者：韩龙飞原文：凸优化－梯度下降29 September 20151. 梯度下降算法在机器学习篇章的开始机器学习－梯度下降算法，我对梯度下降算法的推导证明以及应用都做了详细介绍，这里就不在做过多推导，直接给出梯度下降的计算公式：\(x^{(k)}=x^{(k-1)}-t_k \nabla f(x^{(k-1)}), \, k=1,2,3,\ldots\)对于梯度下降，其基本释义为如果对函数在点\(x\)做泰勒二阶展开，会得到如下公式：\(f(y) \approx f(x) + \nabla f(x)^T(y-x)+\frac{1}{2} \nabla^2 f(x)^T \parallel y-x \parallel_2^2\)如果我们采用\(y\)的二次函数，为：\(f(y) ＝ f(x) + \nabla f(x)^T(y-x)+\frac{1}{2t} \parallel y-x \parallel_2^2\)该函数明显是以\(x\)附近的目标函数。总体而言，泰勒公式是是用多项式函数去逼近光滑函数，利用函数在某点的信息描述其附近取值的公式。如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点邻域中的值。因此，接下来我们需要做的是寻找在该次迭代下这个二次多项式函数取得极小值的点。（题外话，如果不选择此步骤 ...继续阅读 (2)

作者：韩龙飞原文：凸优化－优化问题25 September 20151. 凸优化问题优化问题的定义为：\(\begin{split} \min \limits_{x \in D} \quad & f(x) \\ subject \, to \quad & g_i(x) \leq 0, \, i=1, \ldots, m \\ & h_j(x)=0, \, j=1, \ldots, r \end{split}\)其中，\(D=dom(f) \cap \bigcap_{i=1}^m dom(g_i) \cap \bigcap_{j=1}^pdom(h_j)\)。f被称为目标函数（objective or criterion function）；g被称为约束函数（inequality constraint function）；满足\(h_j(x)=0\)的点称为可行解（feasible point）；所有可行解中函数\(f^{\ast}\)；使得函数\(x\)称为最优解（optimal point、solution或minimizer），当然，不是所有凸函数都存在最优解，即解为空，例如直线就不存在；如果点\(\epsilon-suboptimal\)解。凸优化问题相对优化问题的定义而言，要求函数\(Ax+b=0\))。对于仿射集和凸集的差别在凸优化－凸集一文也做了 ...继续阅读 (2)

作者：韩龙飞原文：凸优化－凸集和凸函数24 September 2015题外话，来到CMU已经两周了，从刚开始的难以开口到现在可以沟通，从四处借东西蹭吃喝到现在学习做饭健身三不误，渐渐的开始适应了美国气息的生活。总的感觉，在这里无论是国人还是老外，自主性都很强，每天都有为之努力的目标，不知道这是不是跟due或者所谓的压力有关。这学期旁听了三门课，接下来要写的《凸优化》系列学习笔记就是其中之一，另两门是“16720－Computer Vision”和“10715－Advanced Introduction of Machine Learning”。在日后的时间里，我也会把机器学习相关的算法继续补充完整。整体来说，从听课和做作业的角度来讲，CMU课程的强度之大是公认的，一学期最多修3-4门课就不错了，不像国内的课程，很多硕士一学期会选9-10门课程，然并卵，走形式而已，真正可以学到的知识少之又少。这一现象基本上是国内各大院校的普遍现象，如果想要提高国内科研水平，提高课程质量和效果是必须的。因为，CMU本科生或者硕士生一年课程代码量基本在5万行，而且对于领域相关知识的掌握很充分，相比之下，国内本科生基本不写代码，硕士毕业下来代码量也不会超过2万行，加上上课基本没什么用，所以理论与实践上的差距就体现出来了。当然，开篇废话这么多，无外乎是想把自己感受到的表达出来，生活是需要积极向上的，不能沉 ...继续阅读 (12)

Neural and Evolutionary ComputingProceedings of the Workshop on Brain Analysis using COnnectivity Networks – BACON 2016Sarah Parisot,Jonathan Passerat-Palmbach,Markus D. Schirmer,Boris GutmanSubjects:Neural and Evolutionary Computing (cs.NE)Understanding brain connectivity in a network-theoretic context has shownmuch promise in recent years. This type of analysis identifies brainorganisational principles, bringing a new perspective to neuroscience. At thesame time, large public databases of connectomic data are now available.However, connectome analysis is still an emerging field and th ...继续阅读 (8)

来源：机器之心作者：吴攀、李亚洲原文：TensorFlow开源一周年：这可能是一份最完整的盘点本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载TensorFlow 宣布开源已经过去一年时间了。在谷歌的支持下，TensorFlow 成为了 GitHub 上今年最受欢迎的机器学习开源项目（据 GitHub 开源报告）。今天，Google Research Blog 上发表了一篇 TensorFlow 开源一周年的介绍文章，我们也对之前谷歌在 TensorFlow 框架上展开的项目进行了盘点（谷歌所公开的）。自 Google Brain 团队开源 TensorFlow 以来已经过去了一整年的时间——这是 TensorFlow 成果丰硕的一年，它帮助加速了对机器学习的研究，同时也助力科技为人们带来更好的服务。基于 TensorFlow 的项目在这一年里面层出不穷：超过 480 人为 TensorFlow 做出了直接贡献，其中包括谷歌自己人、外部研究者、独立程序开发者、学生和其它公司的资深开发者。现在，TensorFlow 已经成为了 GitHub 上最受欢迎的机器学习项目。过去 12 个月，TensorFlow 项目收到了超过 10,000 次 commits，实现了很大的性能提升，增加了对分布式训练、iOS、树莓派开发板的支持，并且还实现了 Tensor ...继续阅读 (2)

来源：机器之心作者：吴攀、李亚洲原文：TensorFlow开源一周年：这可能是一份最完整的盘点本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载TensorFlow 宣布开源已经过去一年时间了。在谷歌的支持下，TensorFlow 成为了 GitHub 上今年最受欢迎的机器学习开源项目（据 GitHub 开源报告）。今天，Google Research Blog 上发表了一篇 TensorFlow 开源一周年的介绍文章，我们也对之前谷歌在 TensorFlow 框架上展开的项目进行了盘点（谷歌所公开的）。自 Google Brain 团队开源 TensorFlow 以来已经过去了一整年的时间——这是 TensorFlow 成果丰硕的一年，它帮助加速了对机器学习的研究，同时也助力科技为人们带来更好的服务。基于 TensorFlow 的项目在这一年里面层出不穷：超过 480 人为 TensorFlow 做出了直接贡献，其中包括谷歌自己人、外部研究者、独立程序开发者、学生和其它公司的资深开发者。现在，TensorFlow 已经成为了 GitHub 上最受欢迎的机器学习项目。过去 12 个月，TensorFlow 项目收到了超过 10,000 次 commits，实现了很大的性能提升，增加了对分布式训练、iOS、树莓派开发板的支持，并且还实现了 Tensor ...继续阅读 (1)

来源：机器之心选自Facebook Code作者：贾扬清、Peter Vajda参与：李泽南、吴攀原文：Facebook贾扬清宣布新机器学习系统Caffe2Go：可在移动设备上实现实时风格迁移本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载风格迁移一直是机器学习领域内的一项重要任务，很多研究机构和研究者都在努力打造速度更快、计算成本更低的风格迁移机器学习系统，比如《怎么让你的照片带上艺术大师风格？李飞飞团队开源快速神经网络风格迁移代码》、《谷歌增强型风格迁移新算法：实现基于单个网络的多种风格实时迁移》。今天，Facebook 又在其官方博客上宣布了一种可以用在移动设备实现实时风格的深度学习系统 Caffe2Go，自称能在眨眼之间完成处理的任务，而且还能实现高质量的视频风格迁移。Facebook 还表示该项目将会在未来几个月内进行部分开源。随着视频通话逐渐成为人们交流的主要方式，Facebook 希望创造最新的视频创意工具来帮助人们表达自我。最近，他们在手机 app 中测试了新的相机应用，实时在视频中添加艺术元素。这项技术被称为「风格转换」。它可以将一张图片中的艺术风格，例如梵高的画作，加入普通的图片或视频中去。这是以往技术上难以实现的事，通常这需要将参考图和要处理的数据发送到数据中心，通过大型服务器进行处理。Facebook 最新开发的移动端深度学 ...继续阅读 (1)

来源：机器之心选自Facebook Code作者：贾扬清、Peter Vajda参与：李泽南、吴攀原文：Facebook贾扬清宣布新机器学习系统Caffe2Go：可在移动设备上实现实时风格迁移本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载风格迁移一直是机器学习领域内的一项重要任务，很多研究机构和研究者都在努力打造速度更快、计算成本更低的风格迁移机器学习系统，比如《怎么让你的照片带上艺术大师风格？李飞飞团队开源快速神经网络风格迁移代码》、《谷歌增强型风格迁移新算法：实现基于单个网络的多种风格实时迁移》。今天，Facebook 又在其官方博客上宣布了一种可以用在移动设备实现实时风格的深度学习系统 Caffe2Go，自称能在眨眼之间完成处理的任务，而且还能实现高质量的视频风格迁移。Facebook 还表示该项目将会在未来几个月内进行部分开源。随着视频通话逐渐成为人们交流的主要方式，Facebook 希望创造最新的视频创意工具来帮助人们表达自我。最近，他们在手机 app 中测试了新的相机应用，实时在视频中添加艺术元素。这项技术被称为「风格转换」。它可以将一张图片中的艺术风格，例如梵高的画作，加入普通的图片或视频中去。这是以往技术上难以实现的事，通常这需要将参考图和要处理的数据发送到数据中心，通过大型服务器进行处理。Facebook 最新开发的移动端深度学 ...继续阅读 (3)

网站：http://academictorrents.com/16T的研究数据All：http://academictorrents.com/browse.php?search=&c5=1&c6=1&c7=1Video Lectures:academictorrents.com/collection/video-lecturesDeep Learning:academictorrents.com/collection/deep-learningSpatial Datasets:academictorrents.com/collection/spatial-datasetsComputer Vision:academictorrents.com/collection/computer-vision ...继续阅读 (7)

网站：http://academictorrents.com/16T的研究数据All：http://academictorrents.com/browse.php?search=&c5=1&c6=1&c7=1Video Lectures:academictorrents.com/collection/video-lecturesDeep Learning:academictorrents.com/collection/deep-learningSpatial Datasets:academictorrents.com/collection/spatial-datasetsComputer Vision:academictorrents.com/collection/computer-vision ...继续阅读 (3)

来源：亚马逊AWS官方博客原文：程序员的深度学习入门指南本文根据费良宏在2016QCon全球软件开发大会（上海）上的演讲整理而成。今天我想跟大家分享的话题与深度学习有关。事实上，深度学习本身是一个非常庞大的知识体系。今天的内容，不会涉及深度学习的理论知识，更多想从程序员的视角出发，让大家观察一下深度学习对我们程序员意味着什么，以及我们如何能够利用这样一个高速发展的学科，来帮助程序员提升软件开发的能力。前言1973年，美国上映了一部热门的科幻电影叫做《Westworld》，三年之后又有一个续集叫做《Futureworld》。这部电影在80年代初被引进到中国叫《未来世界》。那部电影对我来讲简直可以说得上是震撼。影片中出现了很多机器人，表情丰富的面部下面都是集成电路板。这让那时候的我觉得未来世界都是那么遥远、那么样的神秘。时间转到了2016年，很多朋友可能都在追看HBO斥巨资拍摄的同一个题材的系列剧《Westworld》。如果前两部电影还是局限在机器人、人工智能这样的话题，2016年的新剧则在剧情、以及对于人工智能的思考方面有了很大的突破。不再渲染机器人是否会威胁到人类，而是在探讨 “Dreams are mainly memories“这一类更具哲理的问题。记忆究竟如何影响了智能这个话题非常值得我们去思考，也给我们一个很好的启示 – 今天，人工智能领域究竟有了怎样的发展和进步。今天我们 ...继续阅读 (4)

来源：亚马逊AWS官方博客原文：程序员的深度学习入门指南本文根据费良宏在2016QCon全球软件开发大会（上海）上的演讲整理而成。今天我想跟大家分享的话题与深度学习有关。事实上，深度学习本身是一个非常庞大的知识体系。今天的内容，不会涉及深度学习的理论知识，更多想从程序员的视角出发，让大家观察一下深度学习对我们程序员意味着什么，以及我们如何能够利用这样一个高速发展的学科，来帮助程序员提升软件开发的能力。前言1973年，美国上映了一部热门的科幻电影叫做《Westworld》，三年之后又有一个续集叫做《Futureworld》。这部电影在80年代初被引进到中国叫《未来世界》。那部电影对我来讲简直可以说得上是震撼。影片中出现了很多机器人，表情丰富的面部下面都是集成电路板。这让那时候的我觉得未来世界都是那么遥远、那么样的神秘。时间转到了2016年，很多朋友可能都在追看HBO斥巨资拍摄的同一个题材的系列剧《Westworld》。如果前两部电影还是局限在机器人、人工智能这样的话题，2016年的新剧则在剧情、以及对于人工智能的思考方面有了很大的突破。不再渲染机器人是否会威胁到人类，而是在探讨 “Dreams are mainly memories“这一类更具哲理的问题。记忆究竟如何影响了智能这个话题非常值得我们去思考，也给我们一个很好的启示 – 今天，人工智能领域究竟有了怎样的发展和进步。今天我们 ...继续阅读 (2)

Neural and Evolutionary ComputingBio-Inspired Spiking Convolutional Neural Network using Layer-wise Sparse Coding and STDP LearningAmirhossein Tavanaei,Anthony S. MaidaSubjects:Neural and Evolutionary Computing (cs.NE)Hierarchical feature discovery using non-spiking convolutional neuralnetworks (CNNs) has attracted much recent interest in machine learning andcomputer vision. However, it is still not well understood how to create spikingdeep networks with multi-layer, unsupervised learning. One advantage of spikingCNNs is their bio-realism. Another advantage is that they represent informationu ...继续阅读 (1)

Neural and Evolutionary ComputingBio-Inspired Spiking Convolutional Neural Network using Layer-wise Sparse Coding and STDP LearningAmirhossein Tavanaei,Anthony S. MaidaSubjects:Neural and Evolutionary Computing (cs.NE)Hierarchical feature discovery using non-spiking convolutional neuralnetworks (CNNs) has attracted much recent interest in machine learning andcomputer vision. However, it is still not well understood how to create spikingdeep networks with multi-layer, unsupervised learning. One advantage of spikingCNNs is their bio-realism. Another advantage is that they represent informationu ...继续阅读 (2)