作者：Sebastian Nowozin原文链接：Where will Artificial Intelligence come from?人工智能接下来会在哪些领域取得重大突破？1. Composable Differentiable Architectures (aka Deep Learning)2. Brain Simulations3. Algorithmic Information Theory and Universal Intelligence4. Artifical Life5. Robotics and Autonomous Systems6. Game Playing7. Knowledge Bases ...继续阅读 (18)

来源：将门创业原文链接：重磅 | 美国《自动驾驶汽车政策》正式颁布，都把安全给我重视起来 (附下载)本文经将门创业微信公众号授权转载，禁止二次转载事情的发展总是如此：新技术永远先于相关法规。飞机在天空翱翔了许久才出现了控制塔台，手机和短信技术早已遍布才出现了开车时禁止发短信的交规。法律法规几乎不可能预测哪些变革的新机将会改变世界。紧紧跟随着前不久刚上路的自动驾驶车辆技术，美国交通运输部(US Department of Transportation)今天正式颁布了专门针对自动驾驶车辆的联邦政策，为自动驾驶技术提供了制度保障。美国交通运输部部长Anthony Foxx在发布会上表示：“自动驾驶车辆有希望拯救成千上万条生命，让他们远离交通事故，带领我们国家的交通安全迈出前所未有的一大步。此次新政策的颁布对于联邦政府来说是史无前例的。它意味着政府开始运用科技发展所带来的果实，并为它的安全使用提供了保障性的框架。”该政策旨在为促进创新提供各项安全保障，主要体现在四个关键方面。一份包含15项内容的“安全评估”，清晰地囊括了政府为汽车生产商在自动驾驶车辆生产和配置过程中设定的标准。其中涉及：技术的恰当实施数据记录和分享车辆防撞能力以及在碰撞后的反应等其内容也包含联邦监督和伦理问题，包括当碰撞不可避免时，无人驾驶汽车应该通过预先程序的设定选择撞向哪个障碍物。针对各个州的政策中，强调了联邦政府和州 ...继续阅读 (7)

来源：阅面科技作者：Tomasz Malisiewicz翻译：赵毅力原文链接：从特征描述符到深度学习：计算机视觉发展20年本文经阅面科技微信公众号授权转载，禁止二次转载我们都知道在过去两年，深度卷积神经网络在目标检测与识别的基准测试中有过辉煌的成绩，所以你可能会问：在此之前的物体识别技术是什么样子？早期识别系统的设计和现代以多层卷积为基础的框架之间的关系是什么？让我们先来回顾一下过去20年里计算机视觉研究中的一些重要理论和方法。1995年至2000年：局部特征描述符的崛起1999年当英属哥伦比亚大学教授大卫·罗伊（David Lowe）提出SIFT（尺度不变特征变换的缩写，Scale Invariant Feature Transform）算法后，计算机视觉研究的世界几乎在一夜之间发生了改变。SIFT是一种对图像块进行比较和匹配的鲁邦解决方案。在大卫·罗伊没有提出SIFT算法之前，人们通常只使用SSD（平方距离的总和）作为图像块比较的距离度量标准，对此并没有太多的考虑。SIFT描述符计算方法：梯度方向和规范化技巧SIFT又被称为局部特征描述符 – 这是一个雄心勃勃的研究人员在图像方面超过十年研究的成果之一。 大卫·罗伊和英属哥伦比亚大学为SIFT算法申请了专利，并且大卫·罗伊还在自己的主页上公布了SIFT实现的一条经过编译后的二进制程序，供研究人员在他们的工作中使用。 SIFT允许 ...继续阅读 (3)

来源：沈MM的小喇叭原文链接：十分钟看懂图像语义分割技术本文经作者授权转载，禁止二次转载大多数人接触“语义”都是在和文字相关的领域，或语音识别，期望机器能够识别你发出去的消息或简短的语音，然后给予你适当的反馈和回复。嗯，看到这里你应该已经猜到了，图像领域也是存在“语义”的。今天是AI大热年，很多人都关注与机器人的语音交互，可是有没有想过，将来的机器人如果不能通过图像来识别主人，家里的物品、宠物，那该多没意思。说近一些，假如扫地机器人能够机智地绕开你丢在地上的臭袜子而扫走旁边的纸屑，一定能为你的生活解决不少麻烦。没错，图像语义分割是AI领域中一个重要的分支，是机器视觉技术中关于图像理解的重要一环，是不是听上去即重要又牛X闪闪的。近年的自动驾驶技术中，也需要用到这种技术。车载摄像头探查到图像，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。图像语义分割的意思就是机器自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，机器判断后应当能够生成右侧图，红色标注为人，绿色是车（黑色表示back ground）。所以图像分割对图像理解的意义，就好比读古书首先要断句一样。在Deeplearning技术快速发展之前，就已经有了很多做图像分割的技术，其中比较著名的是一种叫做“Normalized cut”的图划分方法，简称“N-cut”。N-cut的计算有一些连接权重的公式，这里就不 ...继续阅读 (3)

来源：机器之心原文链接：深度学习专业名词表：从激活函数到word2vec本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载本文整理了一些深度学习领域的专业名词及其简单释义，同时还附加了一些相关的论文或文章链接。本文编译自wildml，编译如有错漏之处请指正。激活函数（Activation Function）为了让神经网络能够学习复杂的决策边界（decision boundary），我们在其一些层应用一个非线性激活函数。最常用的函数包括sigmoid、tanh、ReLU（Rectified Linear Unit 线性修正单元）以及这些函数的变体。AdadeltaAdadelta 是一个基于梯度下降的学习算法，可以随时间调整适应每个参数的学习率。它是作为Adagrad的改进版提出的，它比超参数（hyperparameter）更敏感而且可能会太过严重地降低学习率。Adadelta 类似于rmsprop，而且可被用来替代vanillaSGD。参考：Adadelta：一种自适应学习率方法斯坦福 CS231n：优化算法梯度下降优化算法概述AdagradAdagrad 是一种自适应学习率算法，能够随时间跟踪平方梯度并自动适应每个参数的学习率。它可被用来替代vanillaSGD；而且在稀疏数据上更是特别有用，在其中它可以将更高的学习率分配给更新不频繁的参数。参考： ...继续阅读 (10)

来源：阅面科技作者：Li Yang Ku (Gooly)原文链接：卷积神经网络在机器人技术中的研究本文经阅面科技微信公众号授权转载，禁止二次转载正如我之前提到的，深度学习和卷积神经网络（CNN）在计算机视觉领域已经获得了很多的关注，并在许多基准上优于其他算法。然而，将这些技术应用到机器人中却并不简单，有两个原因：首先，训练神经网络需要大量的训练数据，并且收集这些数据也是很困难的。研究机器人不仅在许多试验后会有网络或硬件故障。在收集数以百万计的数据所用的时间和资源也是很重要的。还有，训练的神经网络是机器人特定的，不能直接使用在不同的机器人上面，所以也限制了这样的网络训练。第二，CNN是一个良好分类网络，但是当我们与一个动态的环境相互作用时，它并没有直接的关系。当你看见光剑「lightsaber」它并没有显示如何与它互动，但你却可以编码这些信息，然而这只是使用在计算机视觉上的深度学习，而不是机器人。尽管将深度学习和神经网络成功应用在机器人上有些困难，但接下来我还要讨论三个关于这些有趣的事情：1.“End-to-end training of deep visuomotor policies.”2.“Deep Spatial Autoencoders for Visuomotor Learning.”3.“Supersizing Self-supervision: Learning to ...继续阅读 (24)

作者：Preetham V V#AI & #MachineLearning enthusiast. Author: Java Web Services / Internet Security & Firewalls. VP, Brand Sciences & Products@inMobi#UltraRunner原文链接：Bayesian Regularization for #NeuralNetworks注：本文作者暂时未联系上，如侵权可能删后半部分原文。编者按：本文分四个部分介绍了神经网络相关的贝叶斯优化。1. 基本的贝叶斯理论2. 贝叶斯推导在神经网络中的意义3. 最大似然学习4. 贝叶斯推导和最大后验主要通过贝叶斯理论串讲了一下先验似然后验之间的关系，引出参数零均值高斯先验和L2正则之间的关系，其实和神经网络关系不大。If you are a Science or Math nerd, there is no way in hell you would have not heard ofBayes’s Theorem. It’s pervasive and quite a powerful inference model to understand and model anything from growth of Cancer cells, to ...继续阅读 (16)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载在上一章，我们学习了深度神经网络通常比浅层神经网络更加难以训练。我们有理由相信，若是可以训练深度网络，则能够获得比浅层网络更加强大的能力，但是现实很残酷。从上一章我们可以看到很多不利的消息，但是这些困难不能阻止我们使用深度神经网络。本章，我们将给出可以用来训练深度神经网络的技术，并在实战中应用它们。同样我们也会从更加广阔的视角来看神经网络，简要地回顾近期有关深度神经网络在图像识别、语音识别和其他应用中的研究进展。然后，还会给出一些关于未来神经网络又或人工智能的简短的推测性的看法。这一章比较长。为了更好地让你们学习，我们先粗看一下整体安排。本章的小结之间关联并不太紧密，所以如果读者熟悉基本的神经网络的知识，那么可以任意跳到自己最感兴趣的部分。本章主要的部分是对最为流行神经网络之一的**深度卷积网络**的介绍。我们将细致地分析一个使用卷积网络来解决 MNIST 数据集的手写数字识别的例子（包含了代码和讲解）：我们将从浅层的神经网络开始来解决上面的问题。通 ...继续阅读 (17)

作者：廖君_Jun原文链接：机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)《Brief History of Machine Learning》介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Overview》介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本《神经网络与深度学习综述》本综述的特点是以时间排序，从1940年开始讲起，到60-80年代，80-90年代，一直讲到2000年后及最近几年的进展。涵盖了deep learning里各种tricks，引用非常全面.《A Gentle Introduction to Scikit-Learn: A Python Machine Learning Library》介绍:这是一份python机器学习库,如果您是一位python工程师而且想深入的学习机器学习.那么这篇文章或许能够帮助到你.《How to Layout and Manage Your Mach ...继续阅读 (81)

编译：机器之心参与：Terrence L、李亚洲原文链接：深度 | KDnuggets 官方调查：数据科学家最常用的十种算法本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载最新一期的 KDnuggets 调查展示了一份数据科学家使用度最高的算法列表，这份列表中包含了很多惊喜，包括最学术的算法和面向产业化的算法。哪些方法/算法是您在过去 12 个月中运用到一个实际的数据科学相关的应用程序中的？这是基于 844 个投票者的结果排名前十的算法以及他们的投票者的比例分布如下：图 1 ：数据科学家使用度最高的 10 大算法文末有全部算法的集合列表每个受访者平均使用 8.1 个算法，这相比于 2011 的相似调查显示的结果有了巨大的增长与 2011 年关于数据分析/数据挖掘的调查相比，我们注意到最常用的方法仍然是回归、聚类、决策树/Rules 和可视化。相对来说最大的增长是由 (pct2016 /pct2011 – 1) 测定的以下算法：Boosting，从 2011 年的 23.5% 至 2016 年的 32.8％，同比增长 40％文本挖掘，从 2011 年的 27.7% 至 2016 年的 35.9％，同比增长 30％可视化，从 2011 年的 38.3% 至 2016 年的 48.7％，同比增长 27％时间序列/序列分析，从 2011 年的 ...继续阅读 (5)

作者：Gregory Piatetsky来源：KDnuggets原文链接：Top Algorithms Used by Data ScientistsLatest KDnuggets Poll askedWhich methods/algorithms you used in the past 12 months for an actual Data Science-related application?.Here are the results, based on 844 voters.The top 10 algorithms and their share of voters are:Fig. 1: Top 10 algorithms used by Data Scientists.See full table of all algorithms at the end of the post.The average respondent used 8.1 algorithms, a big increase vs a similar poll in 2011.Comparing with 2011 PollAlgorithms for data analysis / data miningwe note that the top methods are still Regr ...继续阅读 (2)

作者：计算机的潜意识来源：博客园原文：从机器学习谈起在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一：图1 机器学习界的执牛耳者与互联网界的大鳄的联姻这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉，Andrew Ng，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性。而他们的研究方向，则全部都是机器学习的子类–深度学习。下图是图二：图2 语音助手产品这幅图上描述的是什么？Windows Phone上的语音助手Cortana，名字来源于《光环》中士官长的助手。相比其 ...继续阅读 (13)

作者：计算机的潜意识来源：博客园原文：神经网络浅讲：从神经元到深度学习神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。本文以一种简单的，循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求，但是懂一些机器学习基础会更好地帮助理解本文。神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。图1 人脑神经网络那么机器学习中的神经网络是如何实现这种模拟的，并且达到一个惊人的良好效果的？通过本文，你可以了解到这些问题的答案，同时还能知道神经网络的历史，以及如何较好地学习它。由于本文较长，为方便读者，以下是本文的目录：一.前言二.神经元三.单层神经网络（感知器）四.两层神经网络（多层感知器）五.多层神经网络（深度学习）六.回顾七.展望八.总结九.后记十.备注一. 前言让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。后文中，我们统一使用这种颜色来表达神经网络的结构。图2 神经网络结构图在开始介绍前，有一些知 ...继续阅读 (5)

来源：深度学习大讲堂公众号深度学习大讲堂是高质量原创内容的平台，邀请学术界、工业界一线专家撰稿，致力于推送人工智能与深度学习最新技术、产品和活动信息！原文链接：SeetaFace开源人脸识别引擎介绍区分不同的人是很多智能系统的必备能力。为实现此目的，一种可能的技术手段是通过对人脸的光学成像来感知人、识别人，即所谓的人脸识别技术。经过几十年的研发积累，特别是近年来深度学习技术的涌现，人脸识别取得了长足的进步，在安防、金融、教育、社保等领域得到了越来越多的应用，成为计算机视觉领域最为成功的分支领域之一。然而，人脸识别并非完全成熟的技术，离公众期望的全面应用尚有距离，还需要学术界、工业界的共同努力。为此，整个人脸识别社区需要有基准（Baseline）系统，而且基准系统的水平显然会极大影响着该领域的发展水平。可是令人尴尬的是，这个领域迄今尚无一套包括所有技术模块的、完全开源的基准人脸识别系统！我们希望改变现状，因此开源了SeetaFace人脸识别引擎。该引擎由中科院计算所山世光研究员带领的人脸识别研究组研发。代码基于C 实现，且不依赖于任何第三方的库函数，开源协议为BSD-2，可供学术界和工业界免费使用。SeetaFace人脸识别引擎包括了搭建一套全自动人脸识别系统所需的三个核心模块，即：人脸检测模块SeetaFace Detection、面部特征点定位模块SeetaFace Alignm ...继续阅读 (80)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载假设你是一名工程师，接到一项从头开始设计计算机的任务。某天，你在工作室工作，设计逻辑电路，构建 \(AND\) 门，\(OR\) 门等等时，老板带着坏消息进来：客户刚刚添加了一个奇特的设计需求：整个计算机的线路的深度必须只有两层：你惊呆了，跟老板说道：“这货疯掉了吧！”老板说：“他们确实疯了，但是客户的需求比天大，我们要满足它。”实际上，在某种程度上看，他们的客户并没有太疯狂。假设你可以使用贵重特殊的逻辑门可以\(AND\)起来你想要的那么多的输入。同样也能使用多值输入的 \(NAND\) 门——可以\(AND\)多个输入然后求否定的门。有了这类特殊的门，构建出来的两层的深度的网络便可以计算任何函数。但是仅仅因为某件事是理论上可能的，就代表这是一个好的想法。在实践中，在解决线路设计问题（或者大多数的其他算法问题）时，我们通常考虑如何解决子问题，然后逐步地集成这些子问题的解。换句话说，我们通过多层的抽象来获得最终的解答。例如，我们来设计一个逻辑线路来做 ...继续阅读 (3)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载神经网络的一个最引人注目的特点就是它实际上可以计算任何的函数。也就是说，假设某个人给你某种复杂而奇特的函数，\(f(x)\)：不管这个函数是什么样的，总会有一个神经网络能够对任何可能的输入 \(x\)，网络可以得到对应的值 \(f(x)\)（或者某个足够准确的近似），如图：即使函数有很多输入或者多个输出，这个结果都是成立的，\(f=f(x_1,…,x_m)\) 。例如，这里有一个输入为 \(m=3\) 和输出为 \(n=2\) 的网络：结果表明神经网络拥有一种*普遍性*（universality）。不过拿过来什么函数，我们都确信存在一个神经网络可以计算它。而且，这个普遍性定理甚至在我们限制了神经网络只在输入层和输出层存在一个中间层的情况下成立。所以即使是很简单的网络架构都极其强大。这个定理在使用神经网络的人群中非常著名。但是它为何正确却不被广泛地理解。现有的大多数的解释都具有很强的技术性。例如，最原始的论文使用了 Hahn-Banach ...继续阅读 (11)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载权重初始化创建了神经网络后，我们需要进行权重和偏差的初始化。到现在，我们一直是根据在第一章中介绍的那样进行初始化。提醒你一下，之前的方式就是根据独立的均值为 \(0\)，标准差为 \(1\) 的高斯随机变量随机采样作为权重和偏差的初始值。这个方法工作的还不错，但是非常 ad hoc，所以我们需要寻找一些更好的方式来设置我们网络的初始化权重和偏差，这对于帮助网络学习速度的提升很有价值。结果表明，我们可以比使用正规化的高斯分布效果更好。为什么？假设我们使用一个很多的输入神经元，比如说 \(1000\)。假设，我们已经使用正规化的高斯分布初始化了连接第一隐藏层的权重。现在我将注意力集中在这一层的连接权重上，忽略网络其他部分：我们为了简化，假设，我们使用训练样本 x 其中一半的神经元值为 \(0\)，另一半为 \(1\)。下面的观点也是可以更加广泛地应用，但是你可以从特例中获得背后的思想。让我们考虑带权和 \(z=\sum_j w_j x_j b\) 的隐藏 ...继续阅读 (2)

来源：新智元(微信号AI_era)译者：闻菲原文链接：【干货】机器学习常用 35 大算法盘点（附思维导图）本文为新智元授权转载，严禁二次转载。新智元编译来源：machinelearningmastery.com作者：Jason Brownlee译者：闻菲 【新智元导读】本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式或功能分类。在阅读完本文以后，你将会对监督学习中最受欢迎的机器学习算法，以及它们彼此之间的关系有一个比较深刻的了解。事先说明一点，我没有涵盖机器学习特殊子领域的算法，比如计算智能（进化算法等）、计算机视觉（CV）、自然语言处理（NLP）、推荐系统、强化学习和图模型。下面是一张算法思维导图，点击放大查看。从学习方式分类算法对一个问题建模的方式很多，可以基于经历、环境，或者任何我们称之为输入数据的东西。机器学习和人工智能的教科书通常会让你首先考虑算法能够采用什么方式学习。实际上，算法能够采取的学习方式或者说 ...继续阅读 (7)

来源：新智元(微信号AI_era)译者：闻菲原文链接：2016 机器学习之路：一年从无到有掌握机器学习本文为新智元授权转载，严禁二次转载。【新智元导读】程序员 Per Harald Borgen 在 Medium 刊文，介绍了他在一年的时间里，从入门到掌握机器学习的历程。Borgen 表示，即使没有博士学位和高深的数学造诣也能掌握机器学习。这一点相信对不少人都挺有吸引力和启发。不过，博士学位或许真的并非必须，但要掌握机器学习，学再多的数学也不会嫌多。下面就来看 Borgen 不脱产，从菜鸟变熟手提升业绩的故事。第一步：Hacker News 和 UdactiyBorgen 对机器学习的兴趣始于 2014 年。跟很多人一样，他最初是看到 Hacker News 的帖子，单纯觉得教计算机学东西很酷。那时候他还只是个业余的编码爱好者，连程序员都谈不上。于是，Borgen 开始了他的机器学习之路。首先，到 Uadcity 看监督学习的视频，然后阅读所有能找到的、跟机器学习有关的读物。Borgen 总结说，“这给了我一点概念上的理解，不过没有实践技巧。”同时，他也十分坦承，Udacity 的 MOOC 他并没有上完——只要是 MOOC，他几乎都没有坚持上完过。这一点，无论怎么说，至少让篇文章的置信度倍增。第二步：挂掉 Coursera 机器学习课2015 年初，Borgen 为了成为正式的开 ...继续阅读 (6)

Author: Per Borgen (Twitter,GitHub)OriURL:https://medium.com/learning-new-stuff/machine-learning-in-a-year-cdb0b0ebd29c#.1infqh7ixThis is a follow up to an article I wrote last year,Machine Learning in a Week,on how I kickstarted my way into machine learning (ml) by devoting five days to the subject.Machine Learning in a WeekGetting into machine learning (ml) can seem like an unachievable task from the outside.medium.comAfter this highly effective introduction, I continued learning on my spare time and almost exactly one year later I did my first ml project at work, which involved using variou ...继续阅读 (43)

Author: Per Borgen (Twitter,GitHub)OriURL:https://medium.com/learning-new-stuff/machine-learning-in-a-week-a0da25d59850#.5w1dkudojGetting into machine learning (ml) can seem like an unachievable task from the outside.And it definitely can be, if you attack it from the wrong end.However, after dedicating one week to learning the basics of the subject, I found it to be much more accessible than I anticipated.This article is intended to give others who’re interested in getting into ml a roadmap of how to get started, drawing from the experiences I made in my intro week.BackgroundBefore my machine ...继续阅读 (1)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载过匹配和规范化诺贝尔奖得主美籍意大利裔物理学家恩里科·费米曾被问到他对一个同僚提出的尝试解决一个重要的未解决物理难题的数学模型。模型和实验非常匹配，但是费米却对其产生了怀疑。他问模型中需要设置的自由参数有多少个。答案是“4”。费米回答道：“我记得我的朋友约翰·冯·诺依曼过去常说，有四个参数，我可以模拟一头大象，而有五个参数，我还能让他卷鼻子。”这里，其实是说拥有大量的自由参数的模型能够描述特别神奇的现象。即使这样的模型能够很好的拟合已有的数据，但并不表示是一个好模型。因为这可能只是因为模型中足够的自由度使得它可以描述几乎所有给定大小的数据集，不需要对现象的本质有创新的认知。所以发生这种情形时，模型对已有的数据会表现的很好，但是对新的数据很难泛化。对一个模型真正的测验就是它对没有见过的场景的预测能力。费米和冯·诺依曼对有四个参数的模型就开始怀疑了。我们用来对 MNIST 数字分类的 \(30\) 个隐藏神经元神经网络拥有将近 \(24,000\) 个参 ...继续阅读 (1)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载当一个高尔夫球员刚开始学习打高尔夫时，他们通常会在挥杆的练习上花费大多数时间。慢慢地他们才会在基本的挥杆上通过变化发展其他的击球方式，学习低飞球、左曲球和右曲球。类似的，我们现在仍然聚焦在反向传播算法的理解上。这就是我们的“基本挥杆”——神经网络中大部分工作学习和研究的基础。本章，我会解释若干技术能够用来提升我们关于反向传播的初级的实现，最终改进网络学习的方式。本章涉及的技术包括：更好的代价函数的选择——交叉熵代价函数；四中规范化方法（L1 和 L2 规范化，dropout 和训练数据的人工扩展），这会让我们的网络在训练集之外的数据上更好地泛化；更好的权重初始化方法；还有帮助选择好的超参数的启发式想法。同样我也会再给出一些简要的其他技术介绍。这些讨论之间的独立性比较大，所有你们可以随自己的意愿挑着看。另外我还会在代码中实现这些技术，使用他们来提高在第一章中的分类问题上的性能。当然，我们仅仅覆盖了大量已经在神经网络中研究发展出的技术的一点点内容。此处我 ...继续阅读 (2)

作者：Tim DettmersTim Dettmers is a masters student in informatics at the University of Lugano where he works on deep learning research. Before that he studied applied mathematics and worked for three years as a software engineer in the automation industry. He runs ablog about deep learningand takes part in Kaggle data science competitions where he has reached a world rank of 63.原文链接：Deep Learning in a Nutshell: Core ConceptsDeep Learning in a Nutshell: History and TrainingDeep Learning in a Nutshell: Sequence LearningDeep Learning in a Nutshell: Reinforcement LearningDeep Learning的Nutshell系列，一共分 ...继续阅读 (17)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD翻译原文：https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn本文经翻译作者允许转载，严禁二次转载在上一章，我们看到了神经网络如何使用梯度下降算法来学习他们自身的权重和偏差。但是，这里还留下了一个问题：我们并没有讨论如何计算代价函数的梯度。这是很大的缺失！在本章，我们会解释计算这些梯度的快速算法，也就是反向传播。反向传播算法最初在 1970 年代被发现，但是这个算法的重要性直到David Rumelhart、Geoffrey Hinton和Ronald Williams的1986年的论文中才被真正认可。这篇论文描述了对一些神经网络反向传播要比传统的方法更快，这使得使用神经网络来解决之前无法完成的问题变得可行。现在，反向传播算法已经是神经网络学习的重要组成部分了。本章在全书的范围内要比其他章节包含更多的数学内容。如果你不是对数学特别感兴趣，那么可以跳过本章，将反向传播当成一个黑盒，忽略其中的细节。那么为何要研究这些细节呢？答案当然是理解。反向传播的核心是对代价函数 \(C\) 关于 \(w\) （或者 \(b\) 的偏导数 \(\partial C ...继续阅读 (2)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：xhzhu，xhzhu.nju@gmail.com翻译原文：https://www.gitbook.com/book/tigerneil/neural-networks-and-deep-learning-zh本文经翻译作者允许转载，严禁二次转载人类视觉系统是世界上众多奇迹之一。看看下面的手写数字序列：大多数人毫不费力就能够认出这些数字为 504192. 这么容易反而让人觉着迷惑了。在人类的每个脑半球中，有着一个初级视觉皮层，常称为 V1，包含 1 亿 4 千万个神经元及数百亿条神经元间的连接。但是人类视觉不是就只有 V1，还包括整个视觉皮层——V2、V3、V4 和 V5——他们逐步地进行更加复杂的图像处理。人类的头脑就是一台超级计算机，通过数十亿年的进化不断地演变，最终能够极好地适应理解视觉世界的任务。识别手写数字也不是一件简单的事。尽管人类在理解我们眼睛展示出来的信息上非常擅长，但几乎所有的过程都是无意识地。所以，我们通常并不能体会自身视觉系统解决问题的困难。如果你尝试写出计算机程序来识别诸如上面的数字，就会明显感受到视觉模式识别的困难。看起来人类一下子就能完成的任务变得特别困难。关于我们识别形状——“9 顶上有一个圈，右下方则是一条竖线 ...继续阅读 (23)

原版作者：Michael Nielsen原文链接：http://neuralnetworksanddeeplearning.com/翻译作者：Not_GOD，xhzhu.nju@gmail.com翻译原文：https://www.gitbook.com/book/tigerneil/neural-networks-and-deep-learning-zh本文经翻译作者允许转载，严禁二次转载神经网络和深度学习是一本免费的在线书。本书会教会你：神经网络，一种美妙的受生物学启发的编程范式，可以让计算机从观测数据中进行学习深度学习，一个强有力的用于神经网络学习的众多技术的集合神经网络和深度学习目前给出了在图像识别、语音识别和自然语言处理领域中很多问题的最好解决方案。本书将会教你在神经网络和深度学习背后的众多核心概念。想了解本书选择的观点的更多细节，请看这里。或者直接跳到第一章开始你们的旅程。译者的话：本书是 Michael Nielsen 的 Neural Networks and Deep Learning 的中译本。目前已经完成第二章、第三章、第五章和第六章的内容。后续会进行剩下章节的翻译。如果想要提供意见或者建议，给出翻译的笔误，都可以直接通过 xhzhu.nju@gmail.com 联系到我。 ...继续阅读 (39)

来源：LinkedIn原文：https://www.linkedin.com/pulse/mathematics-machine-learning-wale-akinfaderin机器学习需要哪些数学知识的问题在QQ群内高频出现，这个问题没有标准答案，取决于每个人本身的能力和面对的问题。但无论分歧多大，大家貌似一致首推Linear Algebra，Strang老人家讲得太好可能也是原因之一。这篇文章的作者甚至把机器学习所需数学量化为5个维度的饼图了，不妨看看。摘录了作者部分结论：1.Linear Algebra:A colleague,Skyler Speakman, recently said that “Linear Algebra is the mathematics of the 21st century” and I totally agree with the statement. In ML, Linear Algebra comes up everywhere. Topics such as Principal Component Analysis (PCA), Singular Value Decomposition (SVD), Eigendecomposition of a matrix, LU Decomposition, QR De ...继续阅读 (12)

课程链接：Mathematics of Machine LearningCourse FeaturesLecture notesAssignments and solutionsPrerequisites18.100C Real Analysis18.06SC Linear Algebra18.05 Introduction to Probability and StatisticsCourse DescriptionBroadly speaking, Machine Learning refers to the automated identification of patterns in data. As such it has been a fertile ground for new statistical and algorithmic developments. The purpose of this course is to provide a mathematically rigorous introduction to these developments with emphasis on methods and their analysis.You can read more about Prof. Rigollet’s work and cours ...继续阅读 (3)

作者：AlgorithmDog来源网站：http://www.algorithmdog.com/原文链接：朴素贝叶斯分类器本质上是线性分类器朴素贝叶斯分类器是一种应用贝叶斯定理的分类器。线性分类器是通过特征的线性组合来做出分类决定的分类器。本质上，朴素贝叶斯分类器是一种线性分类器。朴素贝叶斯分类器是建立在属性变量相互独立的基础上，后验概率为判定准则的分类器。下面不等式成立，样例 \(\pmb{x}=(x_1,x_2,x_3,…,x_n)\) 为正类；否则样例为负类。\begin{eqnarray}\prod_{i=1}^{n}p(x_i|T)p(T) – \prod_{i=1}^{n}p(x_i|F)p(F) > 0\end{eqnarray}线性分类器则是直观地来说，是在高维样本空间中找到一组超平面，将样本空间划分了两个区域。每个区域对应于不同的类别。数学上来说，线性分类器能找到权值向量 \(\pmb{w}\), 使得判别公式可以写成特征值的线性加权组合。\begin{eqnarray}\sum_{i=1}^{n}w_i x_i – w_0 > 0\label{linear}\end{eqnarray}如果上面的不等式成立，则样本属于正类；反之，则样本属于负类。离散特征的朴素贝叶斯分类器一般离散特征的取值范围有两种，\({0,1}\ ...继续阅读 (9)