作者：jasonfreak原文：关于线性模型你可能还不知道的二三事（一、样本）1 样本的表示形式在数据挖掘过程中，样本以特征值矩阵X和目标值向量Y的形式表示。容量为n，有m个特征的样本，其特征值矩阵X由n个维度为m的列向量组成，第j个列向量为样本中第j个个体的特征值向量；目标值向量Y的第j个分量为样本中第j个个体的目标值： 2 由线性模型产生的样本已知样本的特征值矩阵X，由线性模型生成样本的目标值向量的方式由以下公式定义：权值向量W是维度为m的行向量，误差向量e为维度为n的行向量，其分量独立同分布，服从均值为0的正态分布。之所以说这样的样本是由线性模型生成，是因为满足：也就是说，从期望的角度来说，目标值和特征值存在线性关系！在假设样本是由线性模型产生的前提下，我们通常使用基于线性模型的机器学习算法来解决回归问题，例如：最小均方法（LMS），最小二乘法，回归支持向量机法等。但是，假设让一个完全没有机器学习背景的人来解决回归问题，他该如何入手呢？解决回归问题，归根结底是要预测新个体的目标值。一个最直观的方式就是，让新个体（测试样本中的个体）与已知个体（训练样本中的个体）比较相似性（特征向量相似），相似度越高意味着新个体的目标值与该已知个体的目标值更接近。这样一来，计算新个体与已知个体的相似性成为预测工作的关键之处。余弦相似性与欧式距离是衡量向量相似的最基本的两个方法。暂且让我 ...继续阅读 (2)

作者：坤承来源：阿里技术原文链接：[干货]语音技术最新进展-Interspeech总结注：本文为阿里技术公众号授权转载，请勿二次转载。2016年9月7日-12日，语音与信息处理技术领域顶级的国际会议Interspeech在美国旧金山举行，阿里几位语音技术专家参加了此次会议。Interspeech是语音领域两个重要的国际会议之一(另一个为ICASSP)，学术界和工业界的从业人员在会议上进行了深入的交流，此次会议内容涵盖了语音识别、语音合成、声纹识别、语种识别、语音增强、多模态、语言模型等多个方向【语音识别】1. CTC及类似技术CTC作为过去两年来最为火热的语音识别技术在此次会议上遇到了一次寒流，文章数量较之前的会议有所下降，相关文章中比较有代表性的一篇是Bengio的学生将Deep CNN CTC做work，而此前很多人一直认为CNN CTC在语音上没有效果。相关论文：Ying Zhang, Mohammad Pezeshki, et al. “Towards End-to-End Speech Recognition with Deep Convolutional Neural Networks”.Daniel Povey正式发表了他们前段时间在kaldi上进行的chain的工作，该工作可以看做是对CTC的进一步扩展，直接使用句子级区分性准则进行模型的训练，该方法被认为是下一步提 ...继续阅读 (62)

Neural and Evolutionary ComputingInvestigating the effects Diversity Mechanisms have on Evolutionary Algorithms in Dynamic EnvironmentsMatthew HughesSubjects:Neural and Evolutionary Computing (cs.NE)Evolutionary algorithms have been successfully applied to a variety ofoptimisation problems in stationary environments. However, many real worldoptimisation problems are set in dynamic environments where the successcriteria shifts regularly. Population diversity affects algorithmicperformance, particularly on multiobjective and dynamic problems. Diversitymechanisms are methods of altering evolutio ...继续阅读 (1)

作者：张戎来源：数学人生原文：异常值检测算法（三）本文为数学人生公众号授权转载，请勿二次转载异常值检测算法在数据挖掘的诸多领域有着应用场景，例如金融领域，信息传输领域，图像领域等。在研究过程中，有学者给出了异常点的一个定义：An outlier is an observation that deviates so much from other observations as as to arouse suspicion that it was generated by a different mechanism.RNN 算法的主要思想在这篇文章中，我们将会介绍一个多层的前馈神经网络，该神经网络可以用来进行异常值的检测。这个神经网络模拟的是一个恒等映射，输入层的神经元个数和输出层的神经元个数是一样的。这类的神经网络被称为 Replicator Neural Networks (RNNs)，请注意这里的 RNN 算法指的并不是 Recurrent Neural Networks（RNNs），而是 Replicator Neural Networks，尽管它们拥有着同样的缩写名字 RNNs。具体来说， Replicator Neural Networks (RNNs)，或者说自编码器，是一个多层前馈的神经网络 (multi-layer feed-forward neural netwo ...继续阅读 (1)

作者：张戎来源：数学人生原文：异常值检测算法（二）本文为数学人生公众号授权转载，请勿二次转载前面一篇文章《异常点检测算法（一）》简要的介绍了如何使用概率统计的方法来计算异常点，本文将会介绍一种基于矩阵分解的异常点检测方法。在介绍这种方法之前，先回顾一下主成分分析（Principle Component Analysis）这一基本的降维方法。（一）主成分分析（Principle Component Analysis）对高维数据集合的简化有各种各样的原因，例如：（1）使得数据集合更容易使用；（2）降低很多算法的计算开销；（3）去除噪声；（4）更加容易的描述结果。在主成分分析（PCA）这种降维方法中，数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据集本身所决定的。第一个新坐标轴的方向选择的是原始数据集中方差最大的方向，第二个新坐标轴的选择是和第一个坐标轴正交并且具有最大方差的方向。该过程一直重复，重复的次数就是原始数据中特征的数目。如此操作下去，将会发现，大部分方差都包含在最前面的几个新坐标轴之中。因此，我们可以忽略余下的坐标轴，也就是对数据进行了降维的处理。为了提取到第一个主成分（数据差异性最大）的方向，进而提取到第二个主成分（数据差异性次大）的方向，并且该方向需要和第一个主成分方向正交，那么我们就需要对数据集的协方差矩阵进行特征值的分析，从而获得这些主成分的方向。一旦我们计 ...继续阅读 (4)

作者：张戎来源：数学人生原文：异常点检测算法（一）本文为数学人生公众号授权转载，请勿二次转载 异常点检测（又称为离群点检测）是找出其行为很不同于预期对象的一个检测过程。这些对象被称为异常点或者离群点。异常点检测在很多实际的生产生活中都有着具体的应用，比如信用卡欺诈，工业损毁检测，图像检测等。异常点（outlier）是一个数据对象，它明显不同于其他的数据对象，就好像它是被不同的机制产生的一样。例如下图红色的点，就明显区别于蓝色的点。相对于蓝色的点而言，红色的点就是异常点。一般来说，进行异常点检测的方法有很多，最常见的就是基于统计学的方法。（一）基于正态分布的一元离群点检测方法假设有 n 个点，那么可以计算出这 n 个点的均值和方差。均值和方差分别被定义为：在正态分布的假设下，区域包含了99.7% 的数据，如果某个值距离分布的均值超过了，那么这个值就可以被简单的标记为一个异常点（outlier）。（二）多元离群点的检测方法涉及两个或者两个以上变量的数据称为多元数据，很多一元离群点的检测方法都可以扩展到高维空间中，从而处理多元数据。（1）基于一元正态分布的离群点检测方法假设 n 维的数据集合形如，那么可以计算每个维度的均值和方差具体来说，对于，可以计算在正态分布的假设下，如果有一个新的数据，可以计算概率如下：根据概率值的大小就可以判断 x 是否属于异常值。运用该方法检测到的异常 ...继续阅读 (6)

作者：张戎来源：数学人生原文：异常点检测算法综述本文为数学人生公众号授权转载，请勿二次转载异常点检测（又称为离群点检测）是找出其行为很不同于预期对象的一个检测过程。这些对象被称为异常点或者离群点。异常点检测在很多实际的生产生活中都有着具体的应用，比如信用卡欺诈，工业损毁检测，图像检测等。本文主要介绍一些常见的异常点检测算法，包括基于统计的模型，基于距离的模型，线性变换的模型，非线性变换的模型等。异常点检测和聚类分析是两项高度相关的人物。聚类分析发现数据集中的各种模式，而异常点检测则是试图捕捉那些显著偏离多数模式的异常情况。异常点检测和聚类模型服务于不同的目的。 ...继续阅读 (2)

来源：https://joanbruna.github.io原文：Stat212b: Topics Course on Deep Learning来自Berkeley统计系的Deep Learning课程，偏数学、统计一些。讲师：by Joan Bruna, UC Berkeley, Stats Department时间：Spring 2016Detailed Syllabus and LecturesLec1: Intro and LogisticsLec2: Representations for Recognition : stability, variability. Kernel approaches / Feature extraction.Elements of Statistical Learning, chapt. 12, Hastie, Tibshirani, Friedman.Lec3: Groups, Invariants and Filters.Learning Stable Group Invariant Representations with Convolutional NetworksUnderstanding Deep Convolutional Networks, S. Mallat.A Wavelet Tour of Signal Proce ...继续阅读 (1)

Neural and Evolutionary ComputingTemporal Ensembling for Semi-Supervised LearningSamuli Laine,Timo AilaSubjects:Neural and Evolutionary Computing (cs.NE); Learning (cs.LG)In this paper, we present a simple and efficient method for training deepneural networks in a semi-supervised setting where only a small portion oftraining data is labeled. We introduce temporal ensembling, where we form aconsensus prediction of the unknown labels under multiple instances of thenetwork-in-training on different epochs, and most importantly, under differentregularization and input augmentation conditions. This ...继续阅读 (5)

作者：刘帝伟原文：Adaboost – 新的角度理解权值更新策略关于Adaboost，在先前的一篇文章里，也介绍过它的步骤与实现，但理论上的推导未曾涉及。虽然Adaboost算法思想通俗易懂，但权值更新公式的由来，想必并非人人皆知。本文着重于从理论层面进一步阐述Adaboost，最终推导出迭代时的样本权值更新公式。关于本文使用的数学符号的具体解释，见下表：变量符号描述训练数据\((X, Y)\)第\(i\)个样本为\((x_i, y_i)\)，其中\(x_i =( x_{i1}, x_{i2}, \cdots, x_{id} )\)，\(y_i \in \lbrace 1, -1 \rbrace \)错误率\(e\)第\(m\)个弱分类器的错误率为\(e_m\)分类器的系数\(\alpha\)第\(m\)个弱分类器的系数为\(\alpha_m\)样本权重向量\(D\)迭代至第\(m\)次时的第\(i\)个样本的权值为\(D_{m,i}\)，初始阶段，所有样本的权重值均为\(\frac{1}{N}\)归一化因子\(Z\)迭代至第\(m\)次的的归一化因子为\(Z_m\)组合分类器f(x)迭代至第\(m\)次的组合分类器为\(f_m(x)\)最终分类器G(X)最终分类器为\(G(X) = sign(f_M(x))\)下面来看看Adaboost的算法思想与其权值的推导。算法思 ...继续阅读 (3)

作者：刘帝伟原文：Machine Learning algorithm – AdaboostGithub源码实现：https://github.com/csuldw/MachineLearning/tree/master/Adaboost本文主要介绍的是Adaboost算法，利用AdaBoost元算法来提高分类器的性能，主要参考《机器学习实战》来学习Adaboost，同时结合Wikipedia以及各位同道人士的经验等，希望可以通过总结达到学习效果。基于数据集多重抽样的分类器先来看看Adaboost的优缺点。FeatureAdaBoost优点泛化错误率低，易编码，可以应用在大部分分类器上，无需参数调整缺点对离群点敏感数据数值型和标称型数据下面，来看看bagging和boosting的不同：bagging: 一种基于数据随机重抽样的分类器构建方法。自举汇聚法(bootstrap aggregating),也叫做bagging方法，是从原始数据集选择\(S\)次（有放回的抽取）后得到\(S\)个新数据集的一种技术。新数据集和原始数据集的大小相等（维数和列数都相等）。每个数据集都是通过在原始数据集中随机选择一个来进行替换而得到的。在S个数据集建好之后，将某个机器学习算法分别作用域每个数据集就可以得到S个分类器。当我们对新数据进行分类时，就可以应用S个分类器进行分类。与此同时，选 ...继续阅读 (4)

来源：机器之心作者：Marion Marking英文原文：Learning to Translate in Real-time with Neural Machine Translation参与：权利、吴攀原文链接：神经机器翻译再立新功：实时机器翻译取得重大进展（附论文）本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载前段时间，谷歌报告了其在神经机器翻译上所取得的重大研究进展，并也实现了 Google Translate 应用上汉语-英语翻译的商品化（参阅《谷歌翻译整合神经网络：机器翻译实现颠覆性突破》和《谷歌神经网络翻译系统发布后，我们和Google Brain的工程师聊了聊》）；近日，来自纽约大约、香港大学和卡内基梅隆大学的研究者又报告了神经机器翻译在实时机器翻译上的突破。尽管机器学习技术发展迅猛，但谷歌也承认机器翻译还是会犯人类永远不会犯的错误。这一问题增加了实时输入的挑战，让问题变得十分棘手。实时机器翻译的使用范围涵盖消费者应用（如 Skype Translator）到有望能够帮助专业语言学家显著提高生产力的自适应机器翻译工具。在2016年10月3日发表的一篇论文《Learning to Translate in Real-time with Neural Machine Translation》（点击阅读原文下载）中，研究人员说他们「第一 ...继续阅读 (2)

来源：机器之心英文原文：Distributed Deep Learning, Part 1: An Introduction to Distributed Training of Neural Networks作者：Alex Black 、Vyacheslav Kokorin参与：Xuwen Wang、Xavier Massa、吴攀、李亚洲原文链接：分布式深度学习：神经网络的分布式训练本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载本文编译自 Skymind 的技术博客，作者是深度学习工程师 Alex Black 和 Vyacheslav Kokorin。按照计划，《Distributed Deep Learning》系列文章一共有三篇，本文是其中的第一篇，后续的文章机器之心还将继续跟进。这是关于「神经网络的分布训练」的三篇系列文章中的第一部分。在第一部分，我们将看到如何在 GPU 上用分布式计算大大加速深度学习模型的训练速度，并讨论近期该领域上的一些挑战和近期的研究。同时，我们还要考虑：在什么时候，神经网络的分布式训练是适合或不适合特定的案例的？在第二部分，我们将上手式地看看在 Apache Spark 上的 Deeplearning4j 的网络训练的实现，并从头到尾展示一个「如何在实践中执行训练」的例子。最后，在第三部分我们将探索 Deeple ...继续阅读 (4)

来源：新智元(微信号AI_era)英文来源：TensorFlow in a Nutshell — Part Three: All the Models来源：Medium作者：Camron Godbout译者：文强原文链接：TensorFlow 实用技巧：模型盘点，使用情况及代码样例本文为新智元授权转载，严禁二次转载。本文将介绍当前 TensorFlow 上的所有抽象模型，描述每个模型的使用情况以及简单的代码样例。详细的示例请访问这里：https://github.com/c0cky/TensorFlow-in-a-Nutshell递归神经网络（RNN）使用情况：语言建模、机器翻译、词汇嵌入、文本处理自从长短时记忆（LSTM）和门控递归单元（GRU）提出以后，递归神经网络（RNN）相较其他自然语言处理模型有了飞跃式的发展。RNN 的输入可以是表征字符的向量，可以经过训练在训练数据集的基础上生成新的句子。RNN 模型的好处在于保留句子中的情景，能够推演“cat sat on mat”的意思是猫在垫子上面。TensorFlow 出现以后，编写这类网络变得愈发简单。下面是一个简单样例：卷积神经网络（CNN）使用情况：图像处理、人脸识别、计算机视觉卷积神经网络（CNN）特别之处在于，设计这种模型时它的输入就已经被定为图像。CNN 可以通过一个小窗口对一幅图像进行卷积处理（滑动），小窗口被称为 ...继续阅读 (3)

来源：DataOnFocus原文：27 Free Data Mining BooksAn Introduction to Statistical Learning: with Applications in ROverview of statistical learning based on large datasets of information. The exploratory techniques of the data are discussed using the R programming language.Data Science for Business: What you need to know about data mining and data-analytic thinkingAn introduction to data sciences principles and theory, explaining the necessary analytical thinking to approach these kind of problems. It discusses various data mining techniques to explore information.Modeling With DataThis book focus some ...继续阅读 (2)

作者：晓惑来源：阿里技术原文链接：[干货]基础机器学习算法注：本文为阿里技术公众号授权转载，请勿二次转载。本篇内容主要是面向机器学习初学者,介绍常见的机器学习算法，当然,欢迎同行交流。哲学要回答的基本问题是从哪里来、我是谁、到哪里去，寻找答案的过程或许可以借鉴机器学习的套路：组织数据->挖掘知识->预测未来。组织数据即为设计特征，生成满足特定格式要求的样本，挖掘知识即建模，而预测未来就是对模型的应用。特征设计依赖于对业务场景的理解，可分为连续特征、离散特征和组合高阶特征。本篇重点是机器学习算法的介绍，可以分为监督学习和无监督学习两大类。无监督学习算法很多，最近几年业界比较关注主题模型，LSA->PLSA->LDA为主题模型三个发展阶段的典型算法，它们主要是建模假设条件上存在差异。LSA假设文档只有一个主题，PLSA假设各个主题的概率分布不变（theta都是固定的），LDA假设每个文档和词的主题概率是可变的。LDA算法本质可以借助上帝掷骰子帮助理解，详细内容可参加Rickjin写的《LDA数据八卦》文章，浅显易懂，顺便也科普了很多数学知识，非常推荐。监督学习可分为分类和回归，感知器是最简单的线性分类器，现在实际应用比较少，但它是神经网络、深度学习的基本单元。线性函数拟合数据并基于阈值分类时，很容易受噪声样本的干扰，影响分类的准确性。逻辑回归（Logistic ...继续阅读 (2)

来源：caltech原文：Machine Learning Video Library机器学习相关知识点汇总：Caltech的机器学习相关视频，对应公开课程为《Learning from Data》，具体信息如下：OutlineThis is an introductory course in machine learning (ML) that covers the basictheory, algorithms, and applications. ML is a key technology in Big Data, and in many financial, medical, commercial, and scientific applications. It enables computational systems to adaptively improve their performance with experience accumulated from the observed data. ML has become one of the hottest fields of study today, taken up by undergraduate and graduate students from 15 different majors at Calte ...继续阅读 (3)

来源：新智元(微信号AI_era)英文来源：Google Research作者：Sujith Ravi，Google Research 研究员译者：李静怡、胡祥杰原文链接：重磅 | 谷歌发布Graph Learning平台，解密图像识别核心技术（附论文）本文为新智元授权转载，严禁二次转载。【新智元导读】近来机器学习突飞猛进使计算机系统能够解决现实世界中的复杂问题。其中之一便是谷歌的大规模、基于图的机器学习平台。这一技术使用了半监督式学习方法，目前已经在谷歌大量的产品中得到应用，其中就包括内置在谷歌最新手机Pixel中的聊天应用Allo。近来机器学习突飞猛进使计算机系统能够解决现实世界中的复杂问题。其中之一便是谷歌的大规模、基于图的机器学习平台，这是由 Google Research 的 Expander 团队制作的。很多你日常使用的谷歌产品及功能背后，都有基于图的机器学习，这是一种强大的工具，能够用于收件箱提醒、Allo 智能信息回复等功能，基于图的机器学习和深度神经网络一起，为 Google Photos 最新的图像识别系统提供动力。在最低的监督下学习深度学习和机器学习近来的成功主要可以归功于这样一些模型，它们在经过大规模（通常几百万的）带标签的数据训练以后，展现出了极高的预测能力。我们把这种机器学习模型叫做“监督学习”，因为它需要监督，也就是由人加了标签的数据进行训练。（相对的 ...继续阅读 (6)

作者：刘帝伟原文：Logistic Regression Theory出于学习的目的，笔者决定将逻辑回归总结一次。本文主要介绍逻辑回归的推导，囊括Sigmoid函数、极大似然估计、损失函数以、梯度下降以及正则化。文章内容纯属总结性知识，并不是对LR进行大篇长论。如有理解不到位的地方，还请读者指出。什么是逻辑回归？引用StatisticsSolutions的解释就是：Logistic regression is the appropriate regression analysis to conduct when the dependent variable is dichotomous (binary). Like all regression analyses, the logistic regression is a predictive analysis. Logistic regression is used to describe data and to explain the relationship between one dependent binary variable and one or more metric (interval or ratio scale) independent variables.通常监督学习问题可归纳为以下三个步骤：寻找假设空间中的 ...继续阅读 (1)

概述作者以募捐数据（正例:负例 < 1:20）为例，通过一系列实验比较了不平衡数据的多种处理方法。如果不做任何处理，用随机森林可以达到97%的准确率，但实际上存在很多的false positives和false negatives，用平衡数据统计大概只有77%的精度。confusionMatrix(  # the original model predictedforleadership levels, too,whichIdon't care in terms of accuracy fct_collapse(predictedoutcomes$rf, donor = c('donor','leadership')), fct_collapse(predictedoutcomes$actual, donor = c('donor','leadership')) )  ## Confusion Matrix and Statistics ## not the exact real-life numbers ## ## Reference ## Prediction donor no gift ## donor3002 ...继续阅读 (12)

Neural and Evolutionary ComputingSequence-based Sleep Stage Classification using Conditional Neural FieldsIntan Nurma Yulita,Mohamad Ivan Fanany,Aniati Murni ArymurthyComments: 14 pages. Submitted to Computational and Mathematical Methods in Medicine (Hindawi Publishin). Article ID 7163687Subjects:Neural and Evolutionary Computing (cs.NE); Learning (cs.LG)Sleep signals from a polysomnographic database are sequences in nature.Commonly employed analysis and classification methods, however, ignored thisfact and treated the sleep signals as non-sequence data. Treating the sleepsignals as sequence ...继续阅读 (28)

Neural and Evolutionary ComputingNonlinear Systems Identification Using Deep Dynamic Neural NetworksOlalekan Ogunmolu,Xuejun Gu,Steve Jiang,Nicholas GansComments: American Control Conference, 2017Subjects:Neural and Evolutionary Computing (cs.NE)Neural networks are known to be effective function approximators. Recently,deep neural networks have proven to be very effective in pattern recognition,classification tasks and human-level control to model highly nonlinearrealworld systems. This paper investigates the effectiveness of deep neuralnetworks in the modeling of dynamical systems with comple ...继续阅读 (24)

Neural and Evolutionary ComputingAdaptive Neuron Apoptosis for Accelerating Deep Learning on Large Scale SystemsCharles Siegel,Jeff Daily,Abhinav VishnuComments: 11 pages, 7 figuresSubjects:Neural and Evolutionary Computing (cs.NE)We present novel techniques to accelerate the convergence of Deep Learningalgorithms by conducting low overhead removal of redundant neurons — apoptosisof neurons — which do not contribute to model learning, during the trainingphase itself. We provide in-depth theoretical underpinnings of our heuristics(bounding accuracy loss and handling apoptosis of se ...继续阅读 (1)

Neural and Evolutionary ComputingSuperconducting optoelectronic circuits for neuromorphic computingJeffrey M. Shainline,Sonia M. Buckley,Richard P. Mirin,Sae Woo NamComments: 34 pages, 22 figuresSubjects:Neural and Evolutionary Computing (cs.NE); Superconductivity (cond-mat.supr-con); Optics (physics.optics)We propose a hybrid semiconductor-superconductor hardware platform for theimplementation of neural networks and large-scale neuromorphic computing. Theplatform combines semiconducting few-photon light-emitting diodes withsuperconducting-nanowire single-photon detectors to behave as spiking ...继续阅读 (4)

来源：新智元(微信号AI_era)英文来源：machinelearningmastery.com作者：Jason Brownlee译者：闻菲原文链接：机器学习常用 35 大算法盘点（附思维导图）本文为新智元授权转载，严禁二次转载。【新智元导读】本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式或功能分类。在阅读完本文以后，你将会对监督学习中最受欢迎的机器学习算法，以及它们彼此之间的关系有一个比较深刻的了解。事先说明一点，我没有涵盖机器学习特殊子领域的算法，比如计算智能（进化算法等）、计算机视觉（CV）、自然语言处理（NLP）、推荐系统、强化学习和图模型。下面是一张算法思维导图，点击放大查看。 从学习方式分类算法对一个问题建模的方式很多，可以基于经历、环境，或者任何我们称之为输入数据的东西。机器学习和人工智能的教科书通常会让你首先考虑算法能够采用什么方式学习。实际上，算法能够采取的学习方式或者说学习模型只有几种，下面我 ...继续阅读 (2)

Computer Vision and Pattern RecognitionLatent fingerprint minutia extraction using fully convolutional networkYao Tang,Fei Gao,Jufu FengSubjects:Computer Vision and Pattern Recognition (cs.CV)Minutiae have played an important role in fingerprint identification.Extracting effective minutiae is difficult for latent fingerprints which areusually of poor quality. Instead of conventional hand-craft features, a fullyconvolutional network(FCN) is learned end-to-end to extract minutiae from rawfingerprints in pixel level. FCN is used to map raw fingerprints to acorrespondingly-sized minutia-score map ...继续阅读 (58)

来源：新智元(微信号AI_era)来源：PNAS、IBM Research Blog译者：闻菲原文链接：重磅 | IBM TrueNorth 类脑芯片突破，SNN 杀手级应用有望诞生本文为新智元授权转载，严禁二次转载。【新智元导读】IBM 研究人员昨天在 PNAS 发文，报告他们训练卷积神经网络在 TrueNorth 处理器上分类图像和语音，精度接近目前最先进水平，每秒处理 1200~2600 帧，能耗只需 25~275 毫瓦（相当于超过 6000 fps/W）。这一工作首次将深度学习算法的力量和神经形态处理器的高能效相结合，为研发下一代嵌入式智能终端铺平道路。进入新智元公众号，在对话框输入“0922”下载论文。2014 年，IBM TrueNorth 推出的时候，Yan LeCun 评论称：TrueNorth 实现的是积累放电脉冲神经元构成的网络。这种类型的神经网络从来没有在任何有意义的任务（比如从 ImagetNet 数据集中识别物体）上得出能够与最先进技术相提并论的精度。脉冲神经元的输出是二元的，其优点在于不需要乘法器（神经元的状态本身就是二元的）。但是，要完成像 ImageNet 这样的任务，需要神经元状态达到 8 位的精度。要达到 8 位精度，需要等好几个周期让脉冲“平均下来”。这降低了整体计算的速度。现在，这个问题得到了初步解决——IBM Almaden 研究中心研究员 ...继续阅读 (4)

作者：我爱自然语言处理原文：反向传播算法入门资源索引1、一切从维基百科开始，大致了解一个全貌：反向传播算法Backpropagation2、拿起纸和笔，再加上ipython or 计算器，通过一个例子直观感受反向传播算法：A Step by Step Backpropagation Example3、再玩一下上篇例子对应的200多行Python代码:Neural Network with Backpropagation4、有了上述直观的反向传播算法体验，可以从1986年这篇经典的论文入手了：Learning representations by back-propagating errors5、如果还是觉得晦涩，推荐读一下”Neural Networks and Deep Learning“这本深度学习在线书籍的第二章：How the backpropagation algorithm works6、或者可以通过油管看一下这个神经网络教程的前几节关于反向传播算法的视频:Neural Network Tutorial7、hankcs同学对于上述视频和相关材料有一个解读:反向传播神经网络极简入门8、这里还有一个比较简洁的数学推导：Derivation of Backpropagation9、神牛gogo同学对反向传播算法原理及代码解读：神经网络反向传播的数学原理10、关于反向传播算法， ...继续阅读 (1)

Neural and Evolutionary ComputingProposal for a Leaky-Integrate-Fire Spiking Neuron based on Magneto-Electric Switching of Ferro-magnetsAkhilesh Jaiswal,Sourjya Roy,Gopalakrishnan Srinivasan,Kaushik RoySubjects:Neural and Evolutionary Computing (cs.NE)The efficiency of the human brain in performing classification tasks hasattracted considerable research interest in brain-inspired neuromorphiccomputing. Hardware implementations of a neuromorphic system aims to mimic thecomputations in the brain through interconnection of neurons and synapticweights. A leaky-integrate-fire (LIF) spiking model i ...继续阅读 (1)

Neural and Evolutionary ComputingTraining a Probabilistic Graphical Model with Resistive Switching Electronic SynapsesS. Burc Eryilmaz,Emre Neftci,Siddharth Joshi,SangBum Kim,Matthew BrightSky,Hsiang-Lan Lung,Chung Lam,Gert Cauwenberghs,H.-S. Philip WongComments: submitted to IEEE Transactions on Electron DevicesSubjects:Neural and Evolutionary Computing (cs.NE); Distributed, Parallel, and Cluster Computing (cs.DC); Emerging Technologies (cs.ET)Current large scale implementations of deep learning and data mining requirethousands of processors, massive amounts of off-chip memory, and consumegi ...继续阅读 (1)