来源：沙漠之鹰原文：神秘13位编码：用机器学习预测机动车摇号沙漠君按机动车摇号概率低于千分之一，一辈子都摇不到号的可能性接近一半。《沙漠之鹰》的上一篇文章《绝对公平，破解北京机动车摇号》在发布之后，各渠道总阅读量高达百万，不少读者觉得意犹未尽。当时成文仓促，很多细节没有理清。先开个胃：读者可以先看看自己申请编码的第7位，如果是0，多半你已经摇到号了，如果是4或者5，那恐怕概率很低了。另外，您可以关注微信公众号【沙漠之鹰】(右上角关注，或文章末尾二维码)，在后台回复13位用户编码， 即可查询当前用户的中签概率，中断的期号和不幸度排名。两月磨一剑，看看我们能否解决这些问题：13位用户编码真的是随机的吗？我们能否用机器学习的方式预测摇号结果？摇号池中有哪些未曾发现的规律和模式？笔者尽量保证客观，但不对文中的猜想做任何保证。1. 如何确定摇号资格和中签倍率？能够拥有摇号资格是比较幸运的：北京户口工作居住证社保满五年现役在京军人和武警部队在读普通高校学生(包括已毕业)平均每年新增50万摇号用户，学生应该占了相当的比例。学生即使毕业，离开北京，好像也能参与摇号，因为没有发现成规模的未摇中但停止摇号的用户。摇号社保满五年的判定和买房不一样。摇号时，社保允许断月，不能断年。但买房则一个月都不能断。所以摇号的门槛还是低了很多。当你摇号的次数每多六次，中签比率就增加一倍。但是三次摇号后如果没有按时上官 ...继续阅读 (5)

来源：沙漠之鹰原文：绝对公平？破解北京机动车摇号的秘密 每两个月一次的“二姨妈”偶数月的26号中午11点到下午1点，沙漠君的手机上就会收到一条短信，不是中介和广告，但内容肯定是一样的：“很遗憾，该编码本次摇号未中签或摇号资格已过期”。二姨妈真是比大姨妈都准时！呵呵！几年过去了，在帝都辛苦挤地铁的你，是否和沙漠君有同样的疑问？现在摇号到底有多难？哪些人摇到了号？平均摇了几回？有没有提升摇号概率的方法？摇号算法是什么？是绝对公平的吗？沙漠君用真实的数据，告诉你答案。摇到号的概率是多少？2016到2017年，北京每年各有15万个小汽车指标。新能源比例达到40%，普通号只剩9万个，一年6次，每次15000个。但是！2016年第3次摇号，摇号池总数量是9917981！总摇号人数270.7万！如果你摇号次数在24次之内，那么本次摇到的概率为千分之一！花166年摇一千次都不中的概率是37%！每摇12次没中签，真的会像官方的说法，可能性增加一倍么？太天真！因为你增加，别人的也在增加。除非你是第一批参加摇号的人，否则会有更多的人比你增加更高的概率。因此，号是越来越难摇的。五年间，摇到号的人数总共94万人。2011年时，每隔10个人就会有一个幸运儿，几年前买车确实比现在买车容易太多。看看这张图：2012年和2014年算是摇号黄金期，每期都有接近两万人摇到号，可是到了2016年，这个数字降为1 ...继续阅读 (7)

Neural and Evolutionary ComputingParticle Swarm Optimization for Generating Fuzzy Reinforcement Learning PoliciesDaniel Hein,Alexander Hentschel,Thomas Runkler,Steffen UdluftSubjects:Neural and Evolutionary Computing (cs.NE); Artificial Intelligence (cs.AI); Learning (cs.LG); Systems and Control (cs.SY)Fuzzy controllers are known to serve as efficient and interpretable systemcontrollers for continuous state and action spaces. To date these controllershave been constructed by hand, or automatically trained either on expertgenerated problem specific cost functions or by incorporating detailedkn ...继续阅读 (6)

Neural and Evolutionary ComputingScaling Up MAP-Elites Using Centroidal Voronoi TessellationsVassilis Vassiliades,Konstantinos Chatzilygeroudis,Jean-Baptiste MouretSubjects:Neural and Evolutionary Computing (cs.NE)The recently introduced Multi-dimensional Archive of Phenotypic Elites(MAP-Elites) is an evolutionary algorithm capable of producing a large archiveof diverse, high-performing solutions in a single run. It works by discretizinga continuous feature space into unique regions according to the desireddiscretization per dimension. While simple, this algorithm has a main drawback:it cannot ...继续阅读 (4)

Neural and Evolutionary ComputingEvolving the Structure of Evolution StrategiesSander van Rijn,Hao Wang,Matthijs van Leeuwen,Thomas BäckComments: 10 pages. Extended (pre-print) version of SSCI 2016 submissionSubjects:Neural and Evolutionary Computing (cs.NE)Various variants of the well known Covariance Matrix Adaptation EvolutionStrategy (CMA-ES) have been proposed recently, which improve the empiricalperformance of the original algorithm by structural modifications. However, inpractice it is often unclear which variation is best suited to the specificoptimization problem at hand. As one ...继续阅读 (27)

作者：刘帝伟原文：机器学习算法比较本文主要回顾下几个常用算法的适应场景及其优缺点！（提示：部分内容摘自网络）。机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-validation）对各个算法一个个地进行测试，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。偏差&方差在统计学中，一个模型好坏，是根据偏差和方差来衡量的，所以我们先来普及一下偏差和方差：偏差：描述的是预测值（估计值）的期望E’与真实值Y之间的差距。偏差越大，越偏离真实数据。方差：描述的是预测值P的变化范围，离散程度，是预测值的方差，也就是离其期望值E的距离。方差越大，数据的分布越分散。模型的真实误差是两者之和，如下图：如果是小训练集，高偏差/低方差的分类器（例如，朴素贝叶斯NB）要比低偏差/高方差大分类的优势大（例如，KNN），因为后者会过拟 ...继续阅读 (4)

来源：机器之心记者：赵云峰、赵巍编辑：老红本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载两年前，知乎作者「谢熊猫君」将「waitbutwhy」上的 The AI Revolution 译为中文。他巧妙引入「吓尿指数」，人工智能也被披上了「玄学」外衣。半年前，AlphaGo 对阵李世乭。这场「人机大战」让「人工智能」这一并不新鲜的名词，第一次获得了大规模的主流关注。兴奋、怀疑与惶恐，比挑战人类智力「试金石」更让人不知所措的，是站在改变「临界点」上的迷茫。「比赛期间有一张让人印象深刻的照片。照片中一边是需要千台机器的 AlphaGo，另一边是李世乭和一杯咖啡。大自然的鬼斧神工一直让人肃然起敬，而这其中最杰出的造物，莫过于我们人类自己。」说出这句话的人是田渊栋。在 AlphaGo 和李世乭人机大战正酣之时，这位人工智能领域杰出的华人专家因其主导开发了 Facebook 的人工智能围棋研究项目 DarkForest 以及在知乎上独到而专业的比赛点评，迅速为大众所熟知。卡耐基梅隆大学机器人系博士、前谷歌无人驾驶汽车项目组研究员、现 Facebook 人工智能组研究员，多重身份的加持和前沿、专业的研究为田渊栋吸引了相当多的目光。「我们要做的，不是成为高谈阔论的事前事后评论人，而是去当那一两个先行者。他们才是明白事实真相，才是真正改变历史轨迹的人。」除了前沿研 ...继续阅读 (3)

Neural and Evolutionary ComputingHadamard Product for Low-rank Bilinear PoolingJin-Hwa Kim,Kyoung Woon On,Jeonghee Kim,Jung-Woo Ha,Byoung-Tak ZhangComments: 13 pages, 1 figure, & appendix includedSubjects:Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI); Neural and Evolutionary Computing (cs.NE)Bilinear models provide rich representations compared to linear models. Theyhave been applied in various visual tasks, such as object recognition,segmentation, and visual question-answering, to get state-of-the-artperformances taking advantage of the expanded represen ...继续阅读 (4)

作者：Jacob Joseph系列名称：Improving analytics output with feature engineeringPart1:How to Improve Machine Learning: Tricks and Tips for Feature EngineeringPart2:Enhance Machine Learning with Standardizing, Binning, ReducingPart3:Get instant access to actionable big data eBooks – for freeInteractivity, Non-normality, and Missing Values: How to Address Common Data ChallengesPart4:Dimension Reduction and Intuitive Feature Engineering for Machine Learning注：本文是我爱机器学习(52ml.net)编者的简单总结，但也加入了自己的理解。1. 数值变量标准化不同数据的Scale不一样，所以需要标准化。比如身高和体重。不做标准化，有些算法会死得很惨，比如SVM、神经网络、K-means之类。标准化的一种方法是均值方差法。不是什么时候都需要标准化， ...继续阅读 (2)

来源：机器之心英文原文：Deep learning architecture diagrams参与：老红、李亚洲原文链接：图解LSTM神经网络架构及其11种变体（附论文）本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载就像雨季后非洲大草原许多野生溪流分化成的湖泊和水洼，深度学习已经分化成了各种不同的专门架构。并且，每个架构都会有一个图解，这里将详细介绍它们。神经网络在概念上很简单，并且它们十分动人。在层级上，有着一堆同质化的元素和统一的单位，并且它们之间还存在在一系列的加权连接。这就是神经网络的所有，至少从理论上来说是这样。然而，时间证明的结果却有所不同。并非工程的特性，我们现在拥有的是建筑工程，而非工程的特性，正如 Stephen Merrity 描述的那样：深度学习的浪漫主义描述通常预示着手工制作工程特性的日子一去不复返了，这个模型的本身是足以先进到能够解决问题的。正如大多数广告一样，它同时具备真实性和误导性。虽然深度学习在很多情况下简化了工程特性，但它肯定还没有彻底地摆脱它。随着工程特性的减少，机器学习模型本身的结构变得越来越复杂。大多数时候，这些模型架构会特定于一个给定的任务，就像过去的工程特性那样。需要澄清一下的是，这仍然是很重要的一步。结构工程要比工程特性更具一般性，并且提供了许多新的机会。正如我们提到的，我们不能无视这样一个事实：我们 ...继续阅读 (9)

来源：Datamation原文：Artificial Intelligence Software: 45 AI Projects to Watch注：本文只摘选软件相关名字，详细信息请参考原文IBM1.Watson APIs2.Watson Marketplace3.SystemMLGoogle4.TensorFlow5.Google Cloud Machine Learning6.DeepMind7.RankBrainMicrosoft8.Cortana9.CNTK10.Distributed Machine Learning Toolkit11.Microsoft Cognitive Services12.Project Malmo13.TayFacebook14.Wit.aiAmazon15.Alexa16.Amazon Machine LearningApple17.SiriIntel18.Saffron TechnologyYahoo19.Caffe on Spark20.SkyPhraseSalesforce21.MetaMind22.PredictionIOOthers23.Accord.NET Framework24.Apace Mahout25.Braina26.Caffe27.ConvNetJS28.Cyc29.Deeplearning4j30.Encog31. ...继续阅读 (14)

编译自：http://www.datamation.com/open-source/slideshows/15-top-open-source-artificial-intelligence-tools.html作者： Cynthia Harvey原创：LCTThttps://linux.cn/article-7830-1.html译者： Chao-zhi原文地址：https://linux.cn/article-7830-1.html人工智能是科技研究中最热门的方向之一。像 IBM、谷歌、微软、Facebook 和亚马逊等公司都在研发上投入大量的资金、或者收购那些在机器学习、神经网络、自然语言和图像处理等领域取得了进展的初创公司。考虑到人们对此感兴趣的程度，我们将不会惊讶于斯坦福的专家在人工智能报告中得出的结论：“越来越强大的人工智能应用，可能会对我们的社会和经济产生深远的积极影响，这将出现在从现在到 2030 年的时间段里。”在最近的一篇文章中，我们概述了 45 个十分有趣或有前途的人工智能项目。在本文中，我们将聚焦于开源的人工智能工具，详细的了解下最著名的 15 个开源人工智能项目。以下这些开源人工智能应用都处于人工智能研究的最前沿。1. Caffe它是由贾扬清在加州大学伯克利分校的读博时创造的，Caffe是一个基于表达体系结构和可扩展代码的深度学习框架。使它声名鹊起的是它的 ...继续阅读 (20)

来源：机器之心参与：李亚洲原文链接：微软开源GB框架LightGBM，表现超越已有boosting工具本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的快速的、分布式的、高性能 gradient boosting（GBDT、GBRT、GBM 或 MART）框架，可被用于排行、分类以及其他许多机器学习任务中。开源项目地址：https://github.com/Microsoft/LightGBMLightGBM 是一个梯度 boosting 框架，使用基于学习算法的决策树。它可以说是分布式的，高效的，它有以下优势：更快的训练效率低内存使用更好的准确率支持并行学习可处理大规模数据在公开数据上的实验表明 LightGBM 能在学习效率和准确率上都表现出比其他已有 boosting 工具更好的表现，而且有着更低的内存消耗。此外，实验也表明 LightGBM 通过使用多台机器进行特定设定的训练，它能取得线性加速。优化速度和内存使用很多 boosting 工具使用 pre-sorted based 算法进行决策树学习。这是一种简单的解决方案，但不易于优化。LightGBM 使用 histogram based 算法，将连续特征（属性）值装进离散的容器中，从而加 ...继续阅读 (34)

作者：jasonfreak来源：博客园原文：使用sklearn进行数据挖掘1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在《使用sklearn做单机特征工程》中，我们最后留下了一些疑问：特征处理类都有三个方法fit、transform和fit_transform，fit方法居然和模型训练方法fit同名（不光同名，参数列表都一样），这难道都是巧合？显然，这不是巧合，这正是sklearn的设计风格。我们能够更加优雅地使用sklearn进行特征工程和模型训练工作。此时，不妨从一个基本的数据挖掘场景入手：我们使用sklearn进行虚线框内的工作（sklearn也可以进行文本特征提取）。通过分析sklearn源码，我们可以看到除训练，预测和评估以外，处理其他工作的类都实现了3个方法：fit、transform和fit_transform。从命名中可以看到，fit_transform方法是先调用fit然后调用transform，我们只需要关注fit方法和transform方法即可。transform方法主要用来对特征进行转换。从可利用信息的角度来说，转换分为无信息转换和有信息转换。无信息转换是指不利用任何其他信息进行转换，比如指数、对数函数转换等。有信息 ...继续阅读 (23)

作者：jasonfreak来源：博客园原文：使用sklearn做单机特征工程1 特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。首次接触到sklearn，通常会被其丰富且方便的算法模型库吸引，但是这里介绍的特征处理库也十分强大！本文中使用sklearn中的IRIS（鸢尾花）数据集来对特征处理功能进行说明。IRIS数据集由Fisher在1936年整理，包含4个特征（Sepal.Length（花萼长度）、Sepal.Width（花萼宽度）、Petal.Length（花瓣长度）、Petal.Width（花瓣宽度）），特征值都为正浮点数，单位为厘米。目标值为鸢尾花的分类（Iris Setosa（山鸢尾）、Iris Versicolour（杂色鸢尾），Iris Virginica（维吉尼亚鸢尾））。导入IRIS数据集的代码如下：1fromsklearn.datasetsimportload_iris23#导入IRIS数据集4iris=load_iris() ...继续阅读 (32)

作者：robert_ai来源：博客园原文：注意力机制（Attention Mechanism）在自然语言处理中的应用近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的神经网络在自然语言处理（NLP）领域的论文，现在来对attention在NLP中的应用进行一个总结，和大家一起分享。1 Attention研究进展Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN模型上使用了attention机制来进行图像分类。随后，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近，如何在CNN中使用attention机制 ...继续阅读 (6)

作者：Jason Ding原文：机器学习系列Data science is best learned by doing, but a good foundation of statistics and machine learning matters too.有关Python的科学计算和机器学习库的使用和学习实例，请参考我的github项目pyDataScienceToolkits_Base，喜欢就给我star哦！机器学习基础系列文章机器学习基础引入机器学习算法的分类——关于如何选择机器学习算法和适用解决的问题生成模型和判别模型从感知机模型说起理解为什么机器可以学习——PAC学习模型理解为什么机器可以学习——Hoeffding不等式理解为什么机器可以学习——VC理论VC维与模型复杂度、样本复杂度噪声与误差线性回归基础Logistic回归基础将回归模型用于分类问题非线性变换过拟合正则化验证机器学习中的三个技巧原则线性可分支持向量机对偶支持向量机核支持向量机软间隔支持向量机核逻辑回归支持向量回归混合和装袋自适应提升决策树算法随机森林算法梯度提升决策树机器学习的数学背景系列文章* 数学基础从西格玛代数、测度空间到随机变量广义逆高斯分布及其特例比例混合分布* 贝叶斯及概率统计角度贝叶斯概念学习贝叶斯框架下二元离散随机变量的概率分布…机器学习实验系列文章用Python进行机器学习实验学习Py ...继续阅读 (2)

Neural and Evolutionary ComputingTensorial Mixture ModelsOr Sharir,Ronen Tamari,Nadav Cohen,Amnon ShashuaComments: 19 pages including figures and not including appendices, 9 figures. A git repository for reproducing our experiments is available at:this https URLSubjects:Learning (cs.LG); Neural and Evolutionary Computing (cs.NE); Machine Learning (stat.ML)We introduce a generative model, we call Tensorial Mixture Models (TMMs)based on mixtures of basic component distributions over local structures (e.g.patches in an image) where the dependencies between the local-structures arerepresented by a ...继续阅读 (2)

作者：刘帝伟原文：概率分布 Probability Distributions在机器学习领域，概率分布对于数据的认识有着非常重要的作用。不管是有效数据还是噪声数据，如果知道了数据的分布，那么在数据建模过程中会得到很大的启示。本文总结了几种常见的概率分布，比如离散型随机变量的分布代表伯努利分布以及连续型随机变量的分布代表高斯分布。对于每种分布，不仅给出它的概率密度函数，还会对其期望和方差等几个主要的统计量进行分析。目前文章的内容还比较简洁，后续再不断进行完善。本文主要从三个方面进行阐述：一个函数：Gamma函数六大分布：伯努利分布、二项分布、多项式分布、Beta分布、Dirichlet分布、高斯分布一个理论：共轭先验一个函数：Gamma函数Gamma函数是阶乘在实数上的推广，其公式如下：$$\Gamma(k) = \int_0^\infty x^{k-1} e^{-x} \, dx, \quad k \in (0, \infty)$$Gamma函数有着一个特别的性质，即：$$\Gamma(n) = (n-1)!$$六大分布伯努利分布伯努利分布（Bernoulli distribution）是关于布尔变量\(x \epsilon \lbrace 0,1 \rbrace \)的概率分布，其连续参数\(\mu \epsilon [0,1] \)表示变量\(x=1\)的概率。其概率分布可以写 ...继续阅读 (7)

作者：刘帝伟原文：Computational Learning Theory – VC Dimension在计算学习理论里面，有一个比较重要的概念，那就是VC维（Vapnic-Chervonenkis Dimension）。它解释了机器学习算法为什么可以去学习，数据又为什么可以被学习。在机器学习领域，VC维可以说是一个非常基础的定量化概念，可用来刻画分类系统的性能，也因此给诸多机器学习方法的可学习性提供了坚实的理论基础。网上有许多讲解VC维的博文，自己在学习VC维的时候也搜到很多，数量多的同时质量难免也良莠不齐。所以在这里，强烈推荐一下pluskid写的关于VC theory的系列文章，总结的确实非常深入。由于pluskid的VC维系列比较深入，如果有一定的数学基础，那么学起来倒不难，但对初学者来说可能就比较困难。不过，不用担心，还有一份比较好的入门级学习教程，就是林轩田老师的《机器学习基石》，该课程前面几堂课讲的都是VC维，并且林老师讲解VC维时将理论与实例结合在一起，以讲故事的形式来阐述VC维，极力推荐一下，的确值得一听。有兴趣的同学可以去Google找找资料，这里推荐一个学者在听课过程中总结的笔记“《机器学习基石课程笔记》“。然而，虽然目前已经有很多前辈都透彻地阐述了VC维，但要想将知识转为己有，就必须自己反复地去琢磨，去回顾归纳并去总结。本文对于VC维而言可以说 ...继续阅读 (5)

Neural and Evolutionary ComputingRetiNet: Automatic AMD identification in OCT volumetric dataStefanos Apostolopoulos,Carlos Ciller,Sandro I. De Zanet,Sebastian Wolf,Raphael SznitmanComments: 14 pages, 10 figures, Code availableSubjects:Computer Vision and Pattern Recognition (cs.CV); Learning (cs.LG); Neural and Evolutionary Computing (cs.NE)Optical Coherence Tomography (OCT) provides a unique ability to image the eyeretina in 3D at micrometer resolution and gives ophthalmologist the ability tovisualize retinal diseases such as Age-Related Macular Degeneration (AMD).While visual inspection of ...继续阅读 (1)

作者：AlgorithmDog来源网站：http://www.algorithmdog.com/原文链接：EM算法原理和应用EM算法是带隐变量概率模型的推断算法。今天我们介绍 EM 算法的原理和应用。我们先介绍推导出 EM 算法的一般方法，再介绍另一种 EM 算法推导方法，最后将 EM 算法应用于高斯混合模型。1.EM 算法的推导我们让 \(\pmb{y}\) 表示可见变量，\(\pmb{x}\) 表示隐变量，\(\theta\) 表示模型参数。EM算法的目标是得到一个参数\(\theta\)，使得概率模型 \(p(\pmb{y}|\theta)\) 似然值极大。\begin{eqnarray}\theta &=& argmax_{\theta} p(\pmb{y}|\theta) \nonumber \\&=& argmax_{\theta}lnp(\pmb{y}|\theta) \nonumber \\&=& argmax_{\theta} ln\sum_{\pmb{x}}p(\pmb{x},\pmb{y}|\theta) \nonumber\end{eqnarray}在通常情况下, 直接优化 \(lnp(\pmb{y}|\theta)\) 很困难。我们希望找到 \(lnp(\pmb{y}|\theta)\) 的一个下界函数，然后 ...继续阅读 (2)

来源：新智元(微信号AI_era)英文来源：tkipf.github.io作者：Thomas Kipf译者：刘小芹原文链接：Graph 卷积神经网络：概述、样例及最新进展本文为新智元授权转载，严禁二次转载。【新智元导读】Graph Convolutional Network（GCN）是直接作用于图的卷积神经网络，GCN 允许对结构化数据进行端到端的学习，也即输入可以是任意大小和形状的图。本文介绍 GCN 最新进展，讨论各种方法的优势和缺陷。GCN 未来如何拓展用于解决特定类型的问题，例如学习指示图或关系图，以及怎样用学习的图嵌入更多任务，也值得期待。现实世界里很多重要的数据集都以图表或网络的形式呈现，例如：社交网络、知识图谱、蛋白质相互作用网络、万维网，等等。然而直到最近，神经网络模型对这些结构化数据集的泛化仍然很少得到关注。过去几年，很多研究重新思考了推广神经网络用于任意结构化图表的问题（Bruna et al., ICLR 2014; Henaff et al., 2015; Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Defferrard et al., NIPS 2016; Kipf & Welling, 2016），其中有些已经在某些领域取得了非常不错的结果，而这些领域过去使用基于核函数的方法、基于图的正则化 ...继续阅读 (6)

来源：新智元(微信号AI_era)英文来源：wildml.com作者：Denny Britz译者：刘小芹原文链接：学习强化学习：代码、练习及答案（附下载）本文为新智元授权转载，严禁二次转载。【新智元导读】谷歌大脑的 Denny Britz 在他的个人博客上发表了一篇强化学习经验总结，包括好用的教程和教材，最关键的，是他经试着用 Python、OpenAI Gym、Tensorflow 写了大部分标准强化学习算法，并且按章节列出，还提供了练习和答案，是为强化学习实践的好资料。为什么要学习强化学习？强化学习（Reinforcement Learning，RL）是我最感兴趣的领域之一。过去几年里强化学习取得的一些成果得到了很多关注，例如掌握围棋、从原始像素学会玩 Atari 游戏，但强化学习还可以广泛应用在机器人学、图像处理和自然语言处理。强化学习和深度学习技术结合的效果非常好。这两个领域在很大程度上相互影响。从强化学习的角度看，深度神经网络可以作为函数逼近器学习好的表征，例如，处理 Atari 游戏图像或理解围棋棋局。从深度学习的角度看，RL 技术能监督通常由深度学习处理的问题。例如，RL 技术用于在图像处理时执行注意机制，或用于优化对话界面和神经翻译系统的长期奖励机制。最后，由于强化学习关注最佳决策，它和人类心理学、神经科学以及许多其他领域有一些非常有趣的相似之处。随着基础性研究出现 ...继续阅读 (7)

来源：新智元(微信号AI_era)英文来源：kdnuggets.com作者：Gregory Piatetsky译者：刘小芹原文链接：数据科学家最常用的十种算法和方法本文为新智元授权转载，严禁二次转载。最近KDnuggets针对数据科学家最常使用的算法作了一个调查，有一些意外的发现，包括最学术向的算法和最产业向的算法。下面是调查结果，总调查人数是 844 人。数据科学家最常用的Top 10种算法和方法，以及投票比例：表1：数据科学家最常用的Top 10算法&方法。所有算法和方法的列表在文末。说明：这个投票的本意是找出数据科学家最常用的工具，但“工具”这个词含义不明确，所以为了简便我最初把这个表成为top 10“算法”。当然，正如有读者指出的，“统计学”或“可视化”以及其他几个都不是算法，更好的描述应该是“方法”。所以我把这个表更名为Top 10算法和方法。投票者平均使用的算法/方法数是8.1中，比2011年的类似调查增加了很多。在2011年的调查“数据科学/数据挖掘的常用算法”中，我们提到最常用的方法是回归、聚类、决策树/决策规则，以及可视化。两次调查中投票数增加最多的是：提升方法，2016年票数占32.8%，2011年占23.5%，票数增加40%文本挖掘，从2011年的27.7%到2016年的35.9%，票数增加30%可视化，从2011年的38.3%到2016年的48.7% ...继续阅读 (2)

下载链接：http://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/copy.htmlUnderstanding Machine Learning: From Theory to AlgorithmsByShai Shalev-ShwartzandShai Ben-DavidCambridge University PressAboutMachine learning is one of the fastest growing areas of computer science, with far-reaching applications. The aim of this textbook is to introduce machine learning, and the algorithmic paradigms it offers, in a principled way. The book provides a theoretical account of the fundamentals underlying machine learning and the mathematical derivations that transform these principles into practical algo ...继续阅读 (3)

Neural and Evolutionary ComputingLong Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech RecognitionXiangang Li,Xihong WuComments: Published in INTERSPEECH 2015, September 6-10, 2015, Dresden, GermanySubjects:Computation and Language (cs.CL); Neural and Evolutionary Computing (cs.NE)Long short-term memory (LSTM) recurrent neural networks (RNNs) have beenshown to give state-of-the-art performance on many speech recognition tasks, asthey are able to provide the learned dynamically changing contextual window ofall sequence history. On the other hand, the ...继续阅读 (3)

作者：神牛链接：https://zhuanlan.zhihu.com/p/22473137来源：知乎著作权归作者所有，本文为作者授权转载。如果能二秒内在脑袋里解出下面的问题，本文便结束了。已知：，其中。求：，，。到这里，请耐心看完下面的公式推导，无需长久心里建设。首先，反向传播的数学原理是“求导的链式法则” :设和为的可导函数，则。接下来介绍矩阵、向量求导的维数相容原则利用维数相容原则快速推导反向传播编程实现前向传播、反向传播卷积神经网络的反向传播快速矩阵、向量求导这一节展示如何使用链式法则、转置、组合等技巧来快速完成对矩阵、向量的求导一个原则维数相容，实质是多元微分基本知识，没有在课本中找到下列内容，维数相容原则是我个人总结：维数相容原则：通过前后换序、转置使求导结果满足矩阵乘法且结果维数满足下式：如果，，那么。利用维数相容原则解上例：step1：把所有参数当做实数来求导，，依据链式法则有，，可以看出除了，和的求导结果在维数上连矩阵乘法都不能满足。step2：根据step1的求导结果，依据维数相容原则做调整：前后换序、转置依据维数相容原则，但中、，自然得调整为；同理：，但中、，那么通过换序、转置我们可以得到维数相容的结果。对于矩阵、向量求导：“当做一维实数使用链式法则求导，然后做维数相容调整，使之符合矩阵乘法原则且维数相容”是快速准确的策略；“对单个元素求导、再整理成矩阵形式”这 ...继续阅读 (9)

作者：jasonfreak原文：关于线性模型你可能还不知道的二三事（三、特征值与奇异值的魔力）1 L2惩罚项1.1 惩罚项为了防止世界被破坏，为了维护世界的和平……不好意思，这篇一开头就荒腔走板！某些线性模型的代价函数包括惩罚项，我们从书本或者经验之谈中学习到惩罚项主要有两个作用：为了防止模型过拟合，为了维护模型的简洁性。常见的惩罚项有L0、L1和L2惩罚项，其中L0惩罚项为权值向量W中不为0的分量个数，L1惩罚项为权值向量W各分量的绝对值之和，这两个惩罚项皆可以很好地维持权值W的稀疏性。单目标值时，L2惩罚项为权值向量W的模，多目标值时，L2惩罚项为权值矩阵W的奇异值的最大值，L2惩罚项可以很好地防止模型过拟合。在《机器学习中的范数规则化之（一）L0、L1与L2范数》中，作者直观地说明了为什么L1在维持简洁性上更具优势，而L2在防止过拟合上力压群芳。更进一步说，带惩罚项的线性模型的求解过程本质上是解含先验信息的极大似然估计。含有L1惩罚项的线性模型，其假设权值向量W服从双指数分布；含有L2惩罚项的线性模型，其假设权值向量服从高斯分布。在另外的博文中，我将进一步说明其中的奥义。1.2 L2惩罚项与过拟合L0惩罚项本就是最原始的模型简洁性的表示，L1以及单目标值L2惩罚项的几何意义都比较显见，我们也很容易从几何角度上深刻地理解其对防止过拟合或者维持简洁性的原理。在本文中，我们主要关注 ...继续阅读 (4)

作者：jasonfreak原文：关于线性模型你可能还不知道的二三事（二、也谈民主）1 如何更新权值向量？在关于线性模型你可能还不知道的二三事（一、样本）中我已提到如何由线性模型产生样本，在此前提下，使用不同机器学习算法来解决回归问题的本质都是求解该线性模型的权值向量W。同时，我们常使用线性的方式来解决分类问题：求解分隔不同类别个体的超平面的法向量W。不论回归还是分类，都是求解向量W，而求解的核心思想也英雄所见略同：向量W倾向于指向某些“重要”的个体。然而哪些个体是重要的呢？不同的机器学习算法有不同的定义。 2 最小均方法（LMS）与感知机：低效的民主最小均方法（LMS）使用的随机梯度下降法与感知机的训练法则类似，两者都是迭代更新的方式。假设本次迭代中的权值为W，那么更新后的权值W\’为（eta为更新率）：随机梯度下降法：感知机：通过观察可知，权值更新是一个迭代的过程，不论是回归（最小均方法）还是分类（感知机），权值更新时视当前轮次中误差大的个体为“重要”的个体。这种权值更新办法比较直观，但是同时也比较低效：人人都有发言的权利，每次只考虑部分人，容易顾此失彼。 3 最小二乘法：完美的民主二乘即是平方，最小二乘法旨在于求解权值向量W使得误差平方和最小：通过对权值向量的每个分量进行求导可得：至此，我们可以发现最小二乘法可解的条件为特征矩阵X是可逆的。假设特 ...继续阅读 (2)