Neural and Evolutionary ComputingRecurrent Neural Networks for Spatiotemporal Dynamics of Intrinsic Networks from fMRI DataR Devon Hjelm,Sergey M. Plis,Vince CalhounComments: Accepted to “Brain and Bits” workshop for NIPS 2016Subjects:Neural and Evolutionary Computing (cs.NE); Neurons and Cognition (q-bio.NC)Functional magnetic resonance imaging (fMRI) of temporally-coherent bloodoxygenization level-dependent (BOLD) signal provides an effective means ofanalyzing functionally coherent patterns in the brain. Intrinsic networks andfunctional connectivity are important outcomes of fMR ...继续阅读 (3)

Neural and Evolutionary ComputingExtensions and Limitations of the Neural GPUEric Price,Wojciech Zaremba,Ilya SutskeverSubjects:Neural and Evolutionary Computing (cs.NE); Artificial Intelligence (cs.AI)The Neural GPU is a recent model that can learn algorithms such asmulti-digit binary addition and binary multiplication in a way that generalizesto inputs of arbitrary length. We show that there are two simple ways ofimproving the performance of the Neural GPU: by carefully designing acurriculum, and by increasing model size. The latter requires careful memorymanagement, as a naive implementatio ...继续阅读 (2)

作者：Not_GOD（简书作者）原文：[译] 理解 LSTM 网络本文译自Colah 的博文Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。RNN 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。RNN 包含循环在上面的示例图中，神经网络的模块，A，正在读取某个输入 \(x_i\)，并输出一个值 \(h_i\)。循环可以使得信息可以从当前步传递到下一步。这些循环使得 RNN 看起来非常神秘。然而，如果你仔细想想，这样也不比一个正常的神经网络难于理解。RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这个循环展开：展开的 RNN链式的特征揭示了 RNN 本质上是与序列和列表相关的。他们是对于这类数据的最自然的神经网络架构。并且 RNN 也已经被人们应用了！在过去几年中，应用 RNN 在语音识别，语言建模，翻译，图片描述等 ...继续阅读 (2)

来源：机器之心原文：微软重磅论文提出LightRNN：高效利用内存和计算的循环神经网络本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载摘要循环神经网络（RNN）已经在许多自然语言处理任务上取得了最出色的表现，比如语言建模和机器翻译。然而当词汇量很大时，RNN 模型会变得很大（可能超过 GPU 最大的内存能力），这样训练将变得很低效。在这项工作中，我们提出一种全新的方法来解决这一挑战。其中的关键思想是使用二分量（2-Component(2C)）共享的词表征的嵌入（embedding for word representations）。我们将词汇表中的每一个词都分配到一个表格中，其中每一行都关联了一个向量，每一列则关联了另一个向量。根据一个词在表中的位置，该词可由行向量和列向量两个维度联合表示。因为该表中同一行具有相同的行向量，同一列具有相同的列向量，所以我们仅仅需要 2p|V|个向量来表示带有|V|个词的词汇表，这远远少于现有的方法所需要的向量数|V|。基于二分量（2-Component）共享嵌入的方法，我们设计了一种新的 RNN 算法，并且使用几个基准数据集上的语言建模任务对其进行了评估。结果表明，我们的算法可以显著地减少模型的大小，并且能在不牺牲精度的情况下加快训练速度（它实现了与当前最佳的语言模型相近或更好的困惑度（perplexity））。值 ...继续阅读 (13)

来源：新智元(微信号AI_era)作者：Augustus Odena, Vincent Dumoulin, Chris Olah来源：distill.pub译者：刘小芹原文链接：消除 Artifact，用缩放卷积神经网络生成高清图像（TensorFlow 代码）本文为新智元授权转载，严禁二次转载。【新智元导读】非常仔细地观察神经网络生成的图像时，经常会看到一些奇怪的棋盘格子状的伪影（棋盘效应，checkboard artifacts）。本文作者讨论了棋盘效应出现的原因以及反卷积难以避免棋盘效应的原因，最后作者提出了一种避免棋盘效应的替代方法（缩放卷积），并提供了在TensorFlow上实现的代码。当我们非常仔细地观察神经网络生成的图像时，经常会看到一些奇怪的棋盘格子状的伪影（artifact）。这种现象有些情况下比其他情况更明显，但最近的模型很多都会出现这种现象。不可思议的是，这些棋盘图案在颜色深的图像中最突出。这是怎么回事？神经网络讨厌明亮的颜色吗？这些伪影出现的实际原因其实非常简单。反卷积&重叠当我们用神经网络生成图像时，我们经常从低分辨率、高阶描述中构建图像。这会让网络先描绘粗糙的图像，再填充细节。因此，我们需要能让图像从较低分辨率达到较高分辨率的方法。我们通常使用反卷积操作。大致来说，反卷积层允许模型使用小图像中的每个点来“绘制”更大的图像中的方块。【译注：反卷积有 ...继续阅读 (2)

Neural and Evolutionary ComputingSurrogate-Assisted Partial Order-based Evolutionary OptimisationVanessa Volz,Günter Rudolph,Boris NaujoksSubjects:Neural and Evolutionary Computing (cs.NE)In this paper, we propose a novel approach (SAPEO) to support the survivalselection process in multi-objective evolutionary algorithms with surrogatemodels – it dynamically chooses individuals to evaluate exactly based on themodel uncertainty and the distinctness of the population. We introduce variantsthat differ in terms of the risk they allow when doing survival selection.Here, the anytime perfo ...继续阅读 (3)

Neural and Evolutionary ComputingTensor Switching NetworksChuan-Yung Tsai,Andrew Saxe,David CoxSubjects:Neural and Evolutionary Computing (cs.NE); Learning (cs.LG); Machine Learning (stat.ML)We present a novel neural network algorithm, the Tensor Switching (TS)network, which generalizes the Rectified Linear Unit (ReLU) nonlinearity totensor-valued hidden units. The TS network copies its entire input vector todifferent locations in an expanded representation, with the location determinedby its hidden unit activity. In this way, even a simple linear readout from theTS representation can implemen ...继续阅读 (56)

整理者：我爱机器学习本文将持续更新，烦请留言告知遗漏的高质量资源Awesome Chatbot链接：https://github.com/shaohua/awesome-chatbotDEEP LEARNING FOR CHATBOTS链接：DEEP LEARNING FOR CHATBOTS聊天机器人技术的研究进展链接：聊天机器人技术的研究进展使用深度学习打造智能聊天机器人链接：使用深度学习打造智能聊天机器人如何制作一个聊天机器人？链接：https://www.zhihu.com/question/28283196聊天机器人中文语料链接：https://github.com/rustcbf/dgk_lost_conv九款工具帮您打造属于自己的聊天机器人链接：九款工具帮您打造属于自己的聊天机器人Awesome Telegram Chatbots You Should Check Out链接：Awesome Telegram Chatbots You Should Check OutMac Neural Conversational Model 自动聊天机器人实验链接：https://ask.julyedu.com/question/7410Paper1:https://arxiv.org/pdf/1409.3215v3.pdfPaper2:https://arxiv.org/pdf ...继续阅读 (7)

来源：http://breezedeus.github.io/Sep 24, 2016Chatbot 6: 对话交互时代的各种Bot——可控性与智能性的权衡Sep 22, 2016Chatbot 5: 创建Bot的中文平台——一个AI（yige.ai）Sep 1, 2016Chatbot 4: Viv能搅动bot市场吗？Jun 15, 2016Chatbot 3: 利用LSTM构建半检索式ChatbotsMay 26, 2016Chatbot 2: 低价制造chatbots的利器 Wit.aiMay 19, 2016Chatbot 1: Google的智能问答技术 ...继续阅读 (14)

原文：机器学习精简入门教程机器学习精简入门教程机器学习教程 一-不懂这些线性代数知识 别说你是搞机器学习的(2016-04-01)机器学习教程 二-安装octave绘制3D函数图像(2016-04-30)机器学习教程 三-用scikit-learn求解一元线性回归问题(2016-05-30)机器学习教程 四-用scikit-learn求解多元线性回归问题(2016-05-30)机器学习教程 五-用matplotlib绘制精美的图表(2016-05-31)机器学习教程 六-用scikit-learn求解多项式回归问题(2016-06-01)机器学习教程 七-用随机梯度下降法(SGD)做线性拟合(2016-06-01)机器学习教程 八-用scikit-learn做特征提取(2016-06-01)机器学习教程 九-二元分类效果的评估方法(2016-06-02)机器学习教程 十-用scikit-learn的网格搜索快速找到最优模型参数(2016-06-02)机器学习教程 十一-用scikit-learn做聚类分析(2016-06-03)机器学习教程 十二-神经网络模型的原理(2016-07-29)机器学习教程 十三-用scikit-learn做逻辑回归(2016-08-03)机器学习教程 十四-利用tensorflow做手写数字识别(2016-08-03)机器学习教程 十五-细解卷积神经网 ...继续阅读 (7)

来源：http://www.shareditor.com/原文：自己动手做聊天机器人教程自己动手做聊天机器人教程自己动手做聊天机器人 一-涉及知识(2016-06-09)自己动手做聊天机器人 二-初识NLTK库(2016-06-10)自己动手做聊天机器人 三-语料与词汇资源(2016-06-12)自己动手做聊天机器人 四-何须动手？完全自动化对语料做词性标注(2016-06-17)自己动手做聊天机器人 五-自然语言处理中的文本分类(2016-06-21)自己动手做聊天机器人 六-教你怎么从一句话里提取出十句话的信息(2016-06-22)自己动手做聊天机器人 七-文法分析还是基于特征好啊(2016-06-23)自己动手做聊天机器人 八-重温自然语言处理(2016-06-24)自己动手做聊天机器人 九-聊天机器人应该怎么做(2016-06-25)自己动手做聊天机器人 十-半个小时搞定词性标注与关键词提取(2016-06-28)自己动手做聊天机器人 十一-0字节存储海量语料资源(2016-07-01)自己动手做聊天机器人 十二-教你如何利用强大的中文语言技术平台做依存句法和语义依存分析(2016-07-04)自己动手做聊天机器人 十三-把语言模型探究到底(2016-07-05)自己动手做聊天机器人 十四-探究中文分词的艺术(2016-07-06)自己动手做聊天机器人 十五-一篇文章读懂 ...继续阅读 (4)

作者：许家铭原文：漫谈四种神经网络序列解码模型【附示例代码】以下为漫谈，即瞎聊，利用通俗的语言来谈谈神经网络模型中4种序列解码模型，主要是从整体概念和思路上进行通俗解释帮助理解。预警，以下可能为了偷懒就不贴公式了，一些细节也被略过了，感兴趣的可以直接去阅读原文[1][2][3]。[1]Sequence to Sequence Learning with Neural Networks[2]Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation[3]Neural Machine Translation by Jointly Learning to Align and Translate利用神经网络进行序列编码的模型主要为RNN，目前比较火的一些变种模型有LSTM和GRU，只是cell单元不同而已。以下统统用RNN来代表。编码模型比较简单，如下图所示，输入文本{X1-X6}经过循环迭代编码，在每个时刻得到当前时刻的一个隐层状态，最后序列结束后进行特征融合得到句子的表示。注意，一种比较常用的方式是将编码模型最后一个时刻的隐层状态做为整个序列的编码表示，但是实际应用中这种效果并不太好，因而我们的图例中直接采用了整个序列隐层编码进行求和平均的方式得到序列的编码向 ...继续阅读 (3)

来源：新智元(微信号AI_era)作者：Arthur Juliani来源：chatbotslife.com译者：刘小芹原文链接：ResNets、HighwayNets、DenseNets：用 TensorFlow 实现超深度神经网络本文为新智元授权转载，严禁二次转载。【新智元导读】在许多任务中，神经网络越深，性能就越好。最近几年神经网络的趋势是越来越深。几年前最先进的神经网络还仅有12层深，现在几百层深的神经网络已经不是稀奇事了。本文中作者介绍了三个非常深的神经网络，分别是ResNet、HighwayNet和DenseNet，以及它们在Tensorflow上的实现。作者用CIFAR10数据集训练这些网络进行图像分类，在一小时左右的训练之后均实现了90%以上的精度。神经网络设计的趋势：Deeper谈到神经网络设计，最近几年的趋势都指向一个方向：更深。几年前最先进的神经网络还仅有12层深，现在几百层深的神经网络已经不是稀奇事了。对许多应用来说，神经网络越深，性能就越好，这在物体分类任务中影响最显著。当然，前提是它们能被恰当地训练。本文中我将介绍三个最近的深度学习网络背后的逻辑，分别是ResNet、HighwayNet和DenseNet。它们都能克服传统网络设计上的限制，使深度网络更容易训练。我也会提供在Tensorflow上实现这些网络的代码。 ImageNet竞赛胜出者的网 ...继续阅读 (5)

Neural and Evolutionary ComputingLearning to Reason With Adaptive ComputationMark Neumann,Pontus Stenetorp,Sebastian RiedelSubjects:Computation and Language (cs.CL); Neural and Evolutionary Computing (cs.NE)Multi-hop inference is necessary for machine learning systems to successfullysolve tasks such as Recognising Textual Entailment and Machine Reading. In thiswork, we demonstrate the effectiveness of adaptive computation for learning thenumber of inference steps required for examples of different complexity andthat learning the correct number of inference steps is difficult. We introducethe f ...继续阅读 (5)

来源：新智元(微信号AI_era)英文来源：10 Machine Learning Online Courses For Beginners翻译：刘小芹原文链接：机器学习免费课程 Top 10本文为新智元授权转载，严禁二次转载。【新智元导读】Hackerlists 盘点了机器学习十大免费入门课程，都可以在线学习。其中包括吴恩达在 Coursera上的机器学习。从授课内容来看，涵盖了案例研究、统计学习、回归、无监督机器学习隐马尔可夫模型Python 等方面。1. 机器学习https://www.coursera.org/learn/machine-learning#授课：Andrew Ng制作：斯坦福大学开课时间：10月31日这是本列表中最受欢迎的课程。该课程将广泛介绍机器学习、数据挖掘和统计模式识别。相关主题包括：监督式学习（参数和非参数算法、支持向量机、核函数和神经网络）。无监督学习（集群、降维、推荐系统和深度学习）。机器学习实例（偏见/方差理论；机器学习和AI领域的创新）。课程将引用很多案例和应用，你还需要学习如何在不同领域应用学习算法，例如智能机器人（感知和控制）、文本理解（网络搜索和垃圾邮件过滤）、计算机视觉、医学信息学、音频、数据库挖掘等领域。本课程持续11周，用户评分平均4.9/5.0分。课程免费，你也可以在完成课程后花79美元获得证书。2. 机器学习基础：案例研究ht ...继续阅读 (5)

来源：THU数据派作者：刘念宏、付睿校对：洪舒越编辑：刘文清、张梦原文：【资源帖】深度学习视觉领域常用数据集汇总［导读］“大数据时代”，数据为王！无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。大公司们一般会有自己的数据，但对于创业公司或是高校老师、学生来说，“Where can I get large datasets open to the public?”是不得不面对的一个问题。本文结合笔者在研究生学习、科研期间使用过以及阅读文献了解到的深度学习视觉领域常用的开源数据集，进行介绍和汇总。MNIST深度学习领域的“Hello World!”，入门必备！MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为28*28。此数据集是以二进制存储的，不能直接以图像格式查看，不过很容易找到将其转换成图像格式的工具。最早的深度卷积网络LeNet便是针对此数据集的，当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程，其中Tensorflow关于MNIST的教程非常详细。数据集大小：~12MB下载地址：http://yann.lecun.com/exdb/mnist/index.htmlImagenetMNIST将初学者领进了深度学习领域，而Imagenet数据集对深度学习的浪潮起了巨大的推动作用。深度学 ...继续阅读 (11)

Computer Vision and Pattern RecognitionLocal Similarity-Aware Deep Feature EmbeddingChen Huang,Chen Change Loy,Xiaoou TangComments: 9 pages, 4 figures, 2 tables. Accepted to NIPS 2016Subjects:Computer Vision and Pattern Recognition (cs.CV); Learning (cs.LG)Existing deep embedding methods in vision tasks are capable of learning acompact Euclidean space from images, where Euclidean distances correspond to asimilarity metric. To make learning more effective and efficient, hard samplemining is usually employed, with samples identified through computing theEuclidean feature distance. However, the g ...继续阅读 (23)

作者：刘帝伟原文：分类之性能评估指标本文主要介绍几种常用的用于分类的性能评估指标，同时介绍如何绘制ROC曲线以及计算AUC值的便捷方法。最后再附上一个绘制ROC曲线和计算AUC的Python源码实现。Precision和Recall首先我们来看看下面这个混淆矩阵：pred_label/true_labelPositiveNegativePositiveTPFPNegtiveFNTN如上表所示，行表示预测的label值，列表示真实label值。TP，FP，FN，TN分别表示如下意思：TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正；FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正；FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负；TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负.根据以上几个指标，可以分别计算出Accuracy、Precision、Recall（Sensitivity，SN），Specificity（SP）。$$Accuracy = \frac{TP TN}{TP FP TN FN}$$$$Precision = \frac{TP}{TP FP}$$$$Recall = \frac{TP}{TP FN}$$$$SP = \ ...继续阅读 (4)

Computer Vision and Pattern RecognitionMask-off: Synthesizing Face Images in the Presence of Head-mounted DisplaysYajie Zhao,Qingguo Xu,Xinyu Huang,Ruigang YangSubjects:Computer Vision and Pattern Recognition (cs.CV)A head-mounted display (HMD) could be an important component of augmentedreality system. However, as the upper face region is seriously occluded by thedevice, the user experience could be affected in applications such astelecommunication and multi-player video games. In this paper, we first presenta novel experimental setup that consists of two near-infrared (NIR) cameras topoint ...继续阅读 (5)

Computer Vision and Pattern RecognitionSpatial Relationship Based Features for Indian Sign Language RecognitionB. M. Chethana Kumara,H. S. Nagendraswamy,R. Lekha ChinmayiComments: 7 Pages, 9 Figures, 4 TablesJournal-ref: Int’l Journal of Computing, Communications & Instrumentation Engg.(IJCCIE) Vol. 3, Issue 2 (2016) ISSN 2349-1469 EISSN 2349-1477Subjects:Computer Vision and Pattern Recognition (cs.CV)In this paper, the task of recognizing signs made by hearing impaired peopleat sentence level has been addressed. A novel method of extracting spatialfeatures to capture hand movements ...继续阅读 (7)

来源：新智元(微信号AI_era)来源：Fortune作者：Roger Parloff译者：王楠、胡祥杰、刘小芹原文链接：更正 |《财富》万字长文回溯深度学习革命，盘点 16 大历史时刻本文为新智元授权转载，严禁二次转载。【新智元导读】《财富》封面文章报道深度学习推动的人工智能如何在整个计算生态系统引发革命。文章从深度学习发展的历史关键点入手，介绍重大的标志性技术突破，讲述了 Hinton、LeCun、李飞飞、吴恩达等研究者的故事，以及围绕技术和人才在谷歌、Facebook、微软、百度这些大公司之间展开的角逐。这篇文章可能是近期对深度学习最好的总结及介绍，也是深度学习已经跃居世界主流舞台的最好证明。过去四年来许多领域的技术都取得了跨越性的发展。其中，最引人瞩目的是智能手机的语音识别功能比以往有了显著提升。当我们用声音命令手机给另一半打电话时，我们能够与他们取得联系，手机没有再将电话错拨给陌生人或已经不在一起的那个人。实际上，我们现在越来越多地通过对话与计算机互动，无论是亚马逊的 Alexa、苹果的 Siri、微软的 Cortana，还是谷歌许多产品中的语音反馈功能。中国搜索巨头百度表示，使用语音界面的用户在过去 18 个月翻了三倍。机器翻译和其他语言处理也有了长足的发展，谷歌、Facebook、微软和百度每个月都有新功能发布。谷歌翻译现在能提供 32 种语言对的语音翻译（输入是语音 ...继续阅读 (7)

作者：侠天来源：神机喵算原文链接：【完结篇】机器学习可视化：模型评估和参数调优本文已获得神机喵算公众号授权，请勿二次转载。写在之前：前两篇讲述了特征分析：《可视化图表让机器学习“biu”的一样简单：特征分析》和模型选择：《机器学习模型选择如此简单》。本篇文章详细阐述机器学习模型评估和参数调优。将主要围绕两个问题来阐述：“知其所以然”：当你选择的一个机器学习模型运行时，你要知道它是如何工作的；“青出于蓝”：更进一步，你得知道如何让此机器学习模型工作的更优。模型评估的方法一般情况来说，F1评分或者R平方(R-Squared value)等数值评分可以告诉我们训练的机器学习模型的好坏。也有其它许多度量方式来评估拟合模型。你应该猜出来，我将提出使用可视化的方法结合数值评分来更直观的评判机器学习模型。接下来的几个部分将分享一些有用的工具。首先想声明的，单单一个评分或者一条线，是无法完全评估一个机器学习模型。偏离真实场景来评估机器学习模型（’good’ or ‘bad’）都是“耍流氓”。某个机器学习模型若可“驾驭”小样本数据集生成最多预测模型（即，命中更多预测数据集）。如果一个拟合模型比其它拟合过的模型形式或者你昨天的预测模型能够得到更好的结果，那即是好（’good’）。下面是一些标准指标：confusion_matrix ...继续阅读 (12)

作者：侠天来源：神机喵算原文链接：可视化图表让机器学习“biu”的一样简单：特征分析本文已获得神机喵算公众号授权，请勿二次转载。–视觉诊断让你对机器学习了如指掌。写在之前：此篇文章在InfoQ首发。Python和high level的机器学习/深度学习库，比如Scikit-learn，TensorFlow，NLTK，PyBrain，Theano和MLPY让机器学习走进“大众”（开发社区）视野。随着这些工具的开源，现在有了越来越多的机器学习从业者。与此同时，机器学习的份额并没有增加。预测工具正在成为各行各业（从商业，艺术，和工程到教育，法律和国防）的决策驱动。当我们使用几行Python代码来示例和拟合一个模型时，如何才能确保我们的预测结果是可信的和健壮的？fromsklearn.linear_modelimportLinearRegression model=LogisticRegression()model.fit(X,y)model.predict(X)选择什么样的初始模型？使用哪些特征？哪些特征需要归一化？如何来甄别一些问题（比如，局部极小值和过拟合）？从弱模型可以得到优化模型吗？为了帮助我们解决以上问题，让我们来看一下以下4个二维数组，为每个生成预测模型：importnumpyasnp i=np.array( ...继续阅读 (3)

Neural and Evolutionary ComputingSTDP allows close-to-optimal spatiotemporal spike pattern detection by single coincidence detector neuronsTimothée MasquelierComments: 10 pages, 5 figures, 1 tableSubjects:Neural and Evolutionary Computing (cs.NE); Neurons and Cognition (q-bio.NC)By recording multiple cells simultaneously, electrophysiologists have foundevidence for repeating spatiotemporal spike patterns. In sensory systems inparticular, repeating a sensory sequence typically elicits a reproducible spikepattern, which carries information about the sensory sequence. How thisinformation is ...继续阅读 (6)

作者：侠天来源：神机喵算原文链接：机器学习模型选择如此简单写在之前：有些概念跟平时你见过的机器学习文章描述的可能不太一样，但是它会给你一种“心里一颤“的感觉。机器学习的讨论经常会涉及到的问题是：什么机器学习模型才是最好的？是逻辑回归模型，随机森林模型，贝叶斯方法模型，支持向量机模型？抑或是神经网络模型？每个人似乎都有自己心中最爱！但这些讨论试图把机器学习的挑战缩减为单个问题，而这对机器学习的初学者带来了特别严重的误解。选择一个好的机器学习模型固然重要，但这远远不够。在缺乏领域知识，基本假设，数据选型和实际的应用的情况下，还是值得商榷的。关于机器学习模型评价这部分将留在下一篇文章阐述。feature engineering (FE)，algorithm selection (AS)，and parameter tuning (PT)；模型选择能训练一个“合适”的模型和预测是相当依赖特征工程、参数调优和模型选择。模型选择是机器学习过程比较难的部分，复杂、迭代，经常不断的去“试错”和重复。模型选择实战相信大家对Scikit-Learn“如何选择Estimator”里的流程图非常熟悉了，不熟悉的点开链接读读。这个流程图是给初学者一个选择机器学习算法的最佳实践的参考手册。首先，看下我们的数据集（三个数据集参考上篇《可视化图表让机器学习“biu”的一样简单：特征分析》）的样本数是否够50。pr ...继续阅读 (6)

作者：神牛链接：https://zhuanlan.zhihu.com/p/23177950著作权归作者所有，已联系作者获得授权，禁止二次转载。今天英语流利说正式开源了kaldi-ctc，kaldi-ctc 可用于构建 Connectionist Temporal Classification (CTC) 端到端语音识别系统，基于 kaldi、warp-ctc 和 cudnn 实现。Training 和 Decoding 的速度都是极快的，基于 cudnn 实现的 LSTM-RNN 训练速度约为kaldi/src/nnet/lstm的5~6倍（开源只支持 cudnn RNN），支持多GPU训练；frame_subsampling_factor设置为3时，Decoding可达到0.02Real-Time-Factor。尖峰现象Fig1. CrossEntropy-RNN Softmax概率值Fig2. CTC-RNN Softmax 画出了概率Fig3. CTC-RNN Softmax 没有画出概率以 CTC 准则训练的 RNN 模型输出概率有明显的尖峰现象(Fig2,3)，与以 CrossEntropy 为准则训练的RNN模型(Fig1)有很大不同。从Fig2、Fig3可看出绝大部分帧的 Softmax 概率值处非常接近1.0，在 Decoding 阶段可以跳过这些帧不进行解码网络的 ...继续阅读 (19)

Computer Vision and Pattern RecognitionEnhanced Object Detection via Fusion With Prior Beliefs from Image ClassificationYilun Cao,Hyungtae Lee,Heesung KwonSubjects:Computer Vision and Pattern Recognition (cs.CV)In this paper, we introduce a novel fusion method that can enhance objectdetection performance by fusing decisions from two different types of computervision tasks: object detection and image classification. In the proposed work,the class label of an image obtained from image classification is viewed asprior knowledge about existence or non-existence of certain objects. The priorknowle ...继续阅读 (4)

作者：猿辅导研究团队引言普通的深度学习监督算法主要是用来做分类，如图1(1)所示，分类的目标是要识别出图中所示是一只猫。而在ILSVRC（ImageNet Large Scale Visual Recognition Challenge)竞赛以及实际的应用中，还包括目标定位和目标检测等任务。其中目标定位是不仅仅要识别出来是什么物体（即分类），而且还要预测物体的位置，位置一般用边框（bounding box）标记，如图1(2)所示。而目标检测实质是多目标的定位，即要在图片中定位多个目标物体，包括分类和定位。比如对图1(3)进行目标检测，得到的结果是好几只不同动物，他们的位置如图3中不同颜色的框所示。(1)目标分类(2)目标定位(3)目标检测图1 目标分类、定位、检测示例简单来说，分类、定位和检测的区别如下：分类：是什么？定位：在哪里？是什么？（单个目标）检测：在哪里？分别是什么？（多个目标）目标检测对于人类来说并不困难，通过对图片中不同颜色模块的感知很容易定位并分类出其中目标物体，但对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，再加上有时候多个物体和杂乱的背景混杂在一起，目标检测更加困难。但这难不倒科学家们，在传统视觉领域，目标检测就是一个非常热门的研究方向，一些特定目标的检测，比如人脸检测和行人检测已经有非常成熟的技术了。普通的目标检 ...继续阅读 (7)

来源：新智元(微信号AI_era)作者：Alberto Quesada英文来源：neuraldesigner.com译者：刘小芹原文链接：训练神经网络的五大算法：技术原理、内存与速度分析本文为新智元授权转载，严禁二次转载。【新智元导读】 训练神经网络的算法有成千上万个，最常用的有哪些，哪一个又最好？作者在本文中介绍了常见的五个算法，并从内存和速度上对它们进行对比。最后，他最推荐莱文贝格－马夸特算法。用于神经网络中执行学习过程的程序被称为训练算法。训练算法有很多，各具不同的特征和性能。问题界定神经网络中的学习问题是以损失函数f的最小化界定的。这个函数一般由一个误差项和一个正则项组成。误差项评估神经网络如何拟合数据集，正则项用于通过控制神经网络的有效复杂性来防止过拟合。 损失函数取决于神经网络中的自适应参数（偏差和突触权值）。我们可以简便地把它们组合成单个n维权值向量w。下图表示损失函数f(w)  如上图所示，点w*是该损失函数的最小值。在任何点A，我们可以计算损失函数的一阶和二阶导数。一阶导数用梯度向量组成，可以写成：ᐁif(w) = df/dwi (i = 1,…,n) 类似地，损失函数的二阶导数可以用Hessian矩阵，写成：Hi,jf(w) = d2f/dwi·dwj (i,j = 1,…,n) 许多连续 ...继续阅读 (7)

Neural and Evolutionary ComputingAn Evolving Neuro-Fuzzy System with Online Learning/Self-learningYevgeniy V. Bodyanskiy,Oleksii K. Tyshchenko,Anastasiia O. DeinekoJournal-ref: I.J. Modern Education and Computer Science, 2015, 2, 1-7Subjects:Artificial Intelligence (cs.AI); Neural and Evolutionary Computing (cs.NE)An architecture of a new neuro-fuzzy system is proposed. The basic idea ofthis approach is to tune both synaptic weights and membership functions withthe help of the supervised learning and self-learning paradigms. The approachto solving the problem has to do with evolving online neu ...继续阅读 (8)