自然语言处理是研究和实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文主要介绍深度学习在自然语言处理中的应用。自然语言处理简介自然语言处理是研究和实现人与计算机之间用自然语言进行有效通信的各种理论和方法。具体的任务包括：问答系统（如Siri、Alexa和Cortana的功能）情感分析（判断某个句子表达的是正面还是负面情绪）图像-文字映射（看图写话）机器翻译（语言之间相互翻译）语音识别句子成分分析命名实体识别传统的NLP方法需要借助大量语言学的领域知识。理解音素和词素等术语是基本功，有专门的语言培训课程。我们先来看看传统的NLP方法是如何理解下面这个词语：假设我们的目标是从该词提取出一些信息（情感偏向、词意等等）。根据语言学知识，该词可以分割为下面三部分：我们知道前缀”un”表示相反或是反面意思，后缀”ed”表明了词的时态（过去式）。再通过识别词干”interest”的意思，我们就很容易推导出这个单词的含义和情感偏向了。似乎很简单对吧？但是，当真正去梳理英语里的所有前缀和后缀时，你会发现所有前缀和后缀组合很多很多，只有非常资深的语言学家才能理解它们的含义。深度学习的介入深度学习本质上还是一种表示学习的方法。例如，CNN模型就是用一系列滤波器的组合来将对象划分到不同类别。因此，作者认为我们也可以借用同样的方法来表示单词。本文概述作者按照构建深度神经网络模型的基本顺序来撰写本 ...继续阅读 (23)

著名物理学家、加州理工学院教授以及畅销书作者理查德·费曼（ Richard Feynman）离开人世的那一天，其教室的黑板上写着：「我不能创造的，我也不理解（What I cannot create, I do not understand）。」当 Ian Goodfellow 解释其在谷歌大脑正进行的研究时，他引用了费曼的这一格言，但他指代的不是自己或者谷歌的任何员工，而是机器：「人工智能不能创造的，其也不理解（What an AI cannot create, it does not understand）。」Goodfellow 是当今人工智能领域最重要的研究者之一，在 OpenAI （谷歌大脑的竞争者，由 Elon Musk 和 Sam Altman 联合创建）短暂工作之后，他又重返谷歌，组建一个新的研究团队探索「生成模型」，其可以创建图片、声音和真实世界的其他表征。 Goodfellow 同意费曼的观点，认为这一努力是实现所有人工智能的一条重要路径。Ian Goodfellow 说：「这会促进人工智能学习真实存在的世界结构。」「如果人工智能对世界的想象包含真实细节，即懂得如何生成真实的图像和声音，这会促进人工智能学习真实存在的世界结构。」Goodfellow 解释说。「世界结构可以帮助人工智能理解其看到的图像或听到的声音。」2014 年 Goodfellow 还是蒙特利尔 ...继续阅读 (23)

作者|张柔这几天在微信群里又聊到.NET可以救中国但是案例太少不深的问题，我说.NET玩爬虫简直就是宇宙第一，于是大神朱永光说，你为何不来写一篇总结一下？那么今天就全面的来总结一下，在.NET生态下，如何玩爬虫关于爬虫从搜索引擎开始，爬虫应该就出现了，爬的对象当然也就是网页URL，在很长一段时间内，爬虫所做的事情就是分析URL、下载WebServer返回的HTML、分析HTML内容、构建HTTP请求的模拟、在爬虫过程中存储有用的信息等等，而伴随着App的发展以及CS系统通讯方式的HTTP化，对服务接口特别是HTTP RESTFul接口的爬虫也开始流行。爬虫的具体形式，包括模拟浏览器行为和模拟HTTP行为。在爬虫的发展过程中，也涌现出无数的工具和语言实践，而今天要说的就是，.NET生态是爬虫最好的伴侣一、先谈一谈对于爬虫的理解很多人在研究爬虫的初期，热衷于进行浏览器行为的模拟，包括使用一些语言中的WebBrowser控件或者类似PhantomJS这样的无头浏览器，来模拟真实Web行为，进行Dom元素的填写、按钮点击、滚动条操作等等。虽然这样的做法更接近真实场景，但由于浏览器事件的复杂性，在批量高速的处理场景中，这样的做法稳定程度会大打折扣，我个人非常不赞同这样的理念。我认为只有从本质上对Web行为进行HTTP的分析，才是关键，任何复杂的浏览器行为，最终都可以准确的拆分为JS逻辑和HT ...继续阅读 (26)

我是吴瑞诚，现在负责斗鱼数据平台部，今天给大家分享一下斗鱼大数据这块的玩法。我先做个自我介绍，我是11年初华科通信硕士毕业就进入淘宝，主要做HBase相关开发，后来回武汉后在1号店转向应用架构方向。我是14年9月加入斗鱼，当时斗鱼研发是30人的规模，从0开始搭建斗鱼大数据平台，单枪匹马一个人，大概干了三个月，招不到大数据开发，哪怕只是基本了解Hadoop的都很招不到，干的很苦。所以团队第一批组员是组内培养的，会一些Java开发基础的应届生，生拉硬拽凑到大数据团队。其中一位武汉理工15年的本科应届生，现在已经成长为我们部门BI/DW团队的Leader。到现在，加上即将入职的应届生，数据平台部团队规模接近60人，分为四个组：大数据处理组、BI/DW组、数据挖掘组、基础架构组。在武汉招开发难，招大数据开发更难，这也是我、柴楹和猫友会发起这个收费群的主要目的。让整个武汉互联网圈看着起势的时候，会有一个大数据的圈子。大家多沟通，多交流，把整个圈子的气氛带动起来。这样对于我们研发人员本身和武汉本地的公司都是极大的利好。先简单介绍一下斗鱼：1.国内最大游戏直播平台，从16年开始向泛娱乐化方向发展；2.日活用户 2000万，最高同时在线人数约500万；3.主播日活 40,000人，每天产生原创视频数万小时。；4.ALEXA排名：全球约200名、国内约20名（近期略下滑，今天中午看在30多名，比优酷 ...继续阅读 (16)

身为数据极客，在2017年应该能感觉很幸福。去年，我们曾经问过大家“大数据还是个值得关注的大事吗？”，并注意到由于大数据更像是一种“系统化工程”，因此在企业的接受速度方面要落后于整个业界的炒作。大数据技术用了多年时间进行演化，才从一种看起来很酷的新技术变成企业在生产环境中实际部署的核心企业级系统。2017年，我们已经很适应这样的部署阶段。“大数据”这个词正在逐渐淡出我们的视野，但这种技术本身还在飞速扩张。各行各业的各种轶事和证据证明相关产品越来越成熟，在越来越多的财富1000强企业内开始投入实用，很多初创公司借助这些技术快速实现了收入增长。与此同时，宣传炒作的泡沫开始毋庸置疑地转向了这个生态系统中机器学习和人工智能等领域。过去几个月来，人工智能领域涌现出一种“大爆炸”式的集体意识，这一情况与几年前大数据技术的“遭遇”相差无几，不过发展速度更快。从另一个角度来看，2017年也是激动人心的一年：望穿秋水的IPO。今年头几个月，大数据领域的初创公司在这方面活动频频，并得到了公开市场的热切欢迎。总的来说，数据生态系统在2017年终于实现了火力全开。与以往每年一样，我们将通过一年一次的大数据领域回顾为大家提供一个详细的“国情咨文”，将我们针对这一行业的见解总结为关键趋势奉献给大家。开始吧！上层趋势大数据 + 人工智能 = 全新技术栈任何风险投资机构有幸看到的各种宣传都能证明，2016年，每家 ...继续阅读 (28)

Google TPU让“脉动阵列”（systolic array）这项“古老”的技术又回到大家的视野当中。短短几天，各种争论不绝于耳。其中有一个评论我比较喜欢，“这次google tpu让像我这样的年轻后辈又有机会能重新认识systolic，也很有意思”。是啊，还是让我们静下心来，重新认识一下“脉动阵列”这位老朋友吧。Why systolic architectures?要真正理解脉动阵列，首先要问的就是发明者的初衷。这正好也是1982年H. T. Kung论文的题目[1]。对于为什么要设计这样的架构，作者给出了三个理由：Simple and regular design：可以说，简单和规则是脉动阵列的一个重要原则。而这样的设计主要是从“成本”的角度来考虑问题的。“Cost-effectiveness has always been a chief concern in designing special-purpose systems; their cost must be low enough to justify their limited applicability.”换言之，由于一个专用系统往往是功能有限的，因此它的成本必须足够低才能克服这一劣势。这也是设计专用处理器的一个基本考虑。更进一步，作者把成本分成两部分：nonrecurring cost（设计 design） ...继续阅读 (23)

文 | Josh Anderson 译者 | toypipi5 个常见的展示不同类型数据的错误形式以及如何避免 数据可视化的普及和影响在相对较短的时间内急剧增加。Google趋势显示，自2009年以来，数据可视化的搜索频率几乎增长了100%，我们已经看到了大量可用的工具和软件，几乎任何人都可以相对轻松地创建数据可视化。比起文本，我们本能地更热衷于图像，因为大脑能够以更快的速度处理图像。 然而，这并不意味着你可以把大量的图像和形状放在仪表板上，并期望你的观众赞叹。 就像在我们被图像吸引背后的认知方面，还有其他固有的东西，在某种程度上，与潜意识的行为变得相关。 其中之一就是第一印象。我们都知道这句话：第一印象持续一生。 但它背后有多少真理呢? 好吧，事实证明：非常多。 类似于本能战斗或逃跑反应，人类执行无意识思维的行为，称为快速认知; 比我们习惯的刻意的决策风格更直观，更快速。快速认知是我们从一个非常短暂的经验中深入挖掘和衡量真正重要的能力。 正如我们被告知从来不要通过一本书的封面判断它一样，我们每天都使用这种能力，它通过快速解析大量的信息，决定什么是最重要的，而不采取较慢，更理性的思维方式。心理学家称这种现象为“薄片(thin-slicing)”：在几秒钟内感知细节或信息需要大脑的理性部分花费几个月或几年的时间去评估。 Malcolm Gladwell将其描述如下：薄片(Thin-s ...继续阅读 (20)

在当下的机器学习热潮，人才匮乏十分显著。截至目前，国内开设人工智能（AI）专业的高校不多，相当多的开发者是跨界入门，需要自学大量知识并摸索。因而优质的学习资源至关重要。因此，雷锋网搜集了全世界范围内最受欢迎的机器学习课程，整理成这份“机器学习十大入门公开课”盘点，集中呈现给各位。这份推荐榜颇费心血，综合考虑了难易、侧重点、时效性等诸多因素，希望能帮助大家找到最适合自己的学习资源。这些课程全部免费开放，但有些需翻墙，有的缺少中文字幕。1. 吴恩达“机器学习”公开课课程名称：机器学习 Machine Learning主讲人：吴恩达 Andrew Ng授课机构：斯坦福大学发布平台：Coursera语言：英语，汉语字幕网址：https://www.coursera.org/learn/machine-learning无论国内国外，这是最火的机器学习入门课程，没有之一。无数新手都是通过这门课对机器学习初窥门径。吴恩达老师用极其清楚直白的语言，对机器学习的几种主要算法做了初步介绍。这门课最大的特点，是它侧重于概念理解而不是数学。数学推导过程基本被略过，重点放在让初学者理解这背后的思路。另外，它还十分重视联系实际和经验总结：1. 课程中吴恩达老师列举了许多算法实际应用的例子 2. 他提到当年他们入门 AI 时面临的许多问题，以及处理这些难题的经验。课程中代码教程使用的是Octave/MATLAB ...继续阅读 (33)

据外媒报道，自称“Shadow Brokers”的黑客组织在周五曝光大量被认为是是美国国家安全局（NSA）所使用的Windows系统零日漏洞攻击工具。一个名为“SWIFT”的泄露目录下包含涉及迪拜银行和反洗钱组织EastNets内部结构的文件。全球有许多银行每天使用SWIFT消息系统进行万亿美元的转账操作，如果泄露的文件准确无误，似乎暗示NSA试图通过入侵SWIFT系统监控银行间的资金往来。安全研究员Mustafa Al-Bassam发推称NSA将EastNets彻底黑了个遍。尽管大波黑客工具的泄露引起舆论哗然，不过EastNets仍然声称其系统是安全的。公司称：“EastNets服务部运行在单独的安全网络上，不可能通过公共网络访问。推特上所谓泄露的照片是关于已经过时的页面，生成自一个在2013年之后就已停运的低级内部服务器。”外媒报道，SWIFT 也声称没有证据表明其服务器被访问。不过早在2013年，斯诺登曝光的文件就显示NSA 存在对 SWIFT 和 VISA 的监控，NSA 还建有自己的金融数据库以便进行这些间谍项目。文章来源：51CTO ...继续阅读 (26)

将近年关，这个于1956年被正式提出的学科——人工智能，在60年后终于迎来了真正意义上的爆发期，雷锋网也一直在关注AI的最新进展。这个听起来很高大上的名词其实已经在慢慢渗入我们的日常生活，比如谷歌的神经翻译系统，除此之外，人工智能也在重塑着各个领域，对我们的职业技能也提出了新的要求。未来，会是AI的世界吗？在澳大利亚的西海岸，Amanda Hodgson正在用无人机从高空俯拍印度洋的海面。拍摄的照片将会用来寻找柏斯（澳大利亚城市）附近海湾的儒艮（海牛），以防止这种濒危的海洋哺乳动物灭绝。麻烦的是，Hodgson和她的团队没有时间来一一检查这些航拍照片。总共有45000张照片，在这些照片中找出儒艮对于没有训练过的人来说太困难了，因此她将这份工作交给了深度神经网络。神经网络是一种机器学习模型，比如可以用来识别你的Facebook信息流中照片的面孔。它也可以识别你对你的安卓手机提出的问题，或者帮助运行谷歌的搜索引擎。类似人类大脑中的神经元网络，这种广泛的数学模型通过分析海量的数字数据来学习这些技能。如今，珀斯默多克大学的海洋生物学家Hodgson，使用相同的技术来在成千上万张开放水域的照片中寻找儒艮，并且都利用了相同的开源软件——谷歌的TensorFlow。正如Hodgson所说，探测儒艮是一种对精确度要求很高的任务，主要是因为这些动物在海洋的表面下进食。“它们看起来像水面上的浪花或者眩 ...继续阅读 (23)

深度学习的力量为其在真实世界的应用创造出了巨大的机会。但深度学习的训练往往需要巨大的计算能力，有时候我们却没法（或没钱）去使用强大的服务器或 NVIDIA 的 Jetson 那样的嵌入式加速平台。假如你需要使用一块树莓派开发板为你家的小院子开发一个目标跟踪器呢？换句话说，如果你需要在没有加速器的 ARM CPU 上运行一个 CNN，你该怎么做？德国 BuddyGuard GmbH 的机器学习工程师 Dmytro Prylipko 近日在 LinkedIn 上发表了一篇文章，分享了他在弱硬件上运行深度神经网络的经验方法。机器学习社区已经在加速神经网络推理上进行了很长一段时间的研究了，也已经出现了大量可能有效的解决方案。在这篇文章中，我将尝试回答一个简单的问题：什么软件库/工具包/框架可以帮助改善我们训练好的模型的推理时间？出于文章篇幅的考虑，这篇文章我不会考虑修改网络架构（尽管这确实是一个好方法，比如 SqeezeNet），而是仅仅探讨那些已经可以在 ARM 设备上投入生产并且提供了 C/C++ 接口（因为我们很少在嵌入式设备上使用 Lua 或 Python）的工具包和软件库。所以在这里我仅仅实验了 Caffe、TensorFlow 和 MXNet。我们可以做什么要加速你的计算，我们有两个主要的大方向：1）修改模型；2）加速框架。当然，也可能是将这两者结合起来（而且确实是不错的想法） ...继续阅读 (16)

物体检测一向是比较热门的研究方向，它经历了传统的人工设计特征+浅层分类器的框架，到基于大数据和深度神经网络的End-To-End的物体检测框架的发展，然而许多人其实并未系统的了解过物体检测算法的整个发展内容。正因如此，本次阅面科技邀请了资深研究员童志军从传统检测算法核心、深度神经网络框架、检测技术难点等方面来进行干货分享。童志军：阅面科技资深研究员，2012年毕业于东南大学获硕士学位，先后加入虹软、阿里巴巴从事图像算法和机器学习工作，曾参与淘宝“拍立淘图像搜索”、“3D试衣”等产品研发，目前主要专注于深度学习的视觉检测分类和移动端深度学习模型压缩技术。在传统视觉领域，物体检测是一个非常热门的研究方向。受70年代落后的技术条件和有限应用场景的影响，物体检测直到上个世纪90年代才开始逐渐走入正轨。物体检测对于人眼来说并不困难，通过对图片中不同颜色、纹理、边缘模块的感知很容易定位出目标物体，但对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，再加上物体姿态、光照和复杂背景混杂在一起，使得物体检测更加困难。检测算法里面通常包含三个部分，第一个是检测窗口的选择， 第二个是特征的设计，第三个是分类器的设计。随着2001年Viola Jones提出基于Adaboost的人脸检测方法以来，物体检测算法经历了传统的人工设计特征+浅层分类器的框架，到基于大数 ...继续阅读 (31)

初学者在学习神经网络的时候往往会有不知道从何处入手的困难，甚至可能不知道选择什么工具入手才合适。近日，来自意大利的四位研究者发布了一篇题为《神经网络初学者：在 MATLAB、Torch 和 TensorFlow 中的快速实现（Neural Networks for Beginners A fast implementation in Matlab, Torch, TensorFlow）》的论文，对 MATLAB、Torch 和 TensorFlow 这三种神经网络工具进行了介绍和比较。机器之心对其中部分内容进行了编译介绍（其中第 6 节比较结论部分进行了全部介绍）。本报告的目的本报告提供了最常见的开发环境内一些机器学习工具的介绍。本报告主要关注实际问题，跳过了任何理论介绍。本报告面向的读者是想要进入机器学习领域的学生和正在寻找新框架的专家。这篇论文是关于人工神经网络（ANN，[1,2]）的，因为这是目前最热门的主题，并且在许多人工智能任务上都达到了当前最佳的水平。在单独介绍了每一种框架之后，我们同时也给出实现一些一般常见问题的设置方法，从而使它们的比较更简单。因为这个主题已经得到了广泛的研究，而且还在持续快速地增长，所以我们将这个文档和一个 GitHub 库进行了配对，这个库中的文档是动态更新的，而且以后可能还会扩大规模。GitHub 地址：https://github.com/A ...继续阅读 (22)

​​雷锋网(公众号：雷锋网)AI科技评论按：虽然简笔画与实物的逼真程度相去甚远，但即便是一个小孩也能轻易理解图案中的内容。原因其实很简单，因为人类懂得通过判断图案中的关键特征，与现实物体进行匹配。那么，如果是用 RNN 教机器学会画画，它是否能抽象出画中的概念，并用同样的方式作画呢？谷歌大脑的 David Ha 近日撰文指出了他与 Douglas Eck 在研究 sketch-rnn 时的一些想法和观点。人们在传递思想、进行交流时有一个非常关键的要素，那就是懂得如何用抽象的视觉内容进行沟通。我们从小就培养孩子用画笔描述事物的能力，画出一个物体甚至表达自己的情绪。这些简笔画并不一定像照片一样逼真，但诚然，它们传递出了人们如何重现与重构身边事物的方法。一些 sketch-rnn 创作的画在 David Ha 与 Douglas Eck 合作的论文《A Neural Representation of Sketch Drawings》中，研究者设计了一个名为「sketch-rnn」的生成式 RNN，它能够用简单的笔触描绘出日常物体，系统旨在训练机器如何像人类一样提炼事物的抽象概念。研究者在一个手绘 sketches 数据集中进行训练，控制提笔落笔的时间及方向，进而创造一个具有可观前景的应用：不仅能帮助艺术家迸发艺术灵感，还能教授学生绘画的基本技巧。鉴于采用神经网络之时，生成模型用于训练的 ...继续阅读 (28)

人工智能（AI）问世之初曾经狂妄自大、令人失望，它如何突然变成当今最热门的技术领域？这个词语首次出现在1956年的一份研究计划书中。该计划书写道：“只要精心挑选一群科学家，让他们一起研究一个夏天，就可以取得重大进展，使机器能够解决目前只有人类才能解决的那些问题。”至少可以说，这种看法过于乐观。尽管偶有进步，但AI在人们心目中成为了言过其实的代名词，以至于研究人员基本上避免使用这个词语，宁愿用“专家系统”或者“神经网络”代替。“AI”的平反和当前的热潮可追溯到2012年的ImageNet Challenge在线竞赛。ImageNet是一个在线数据库，包含数百万张图片，全部由人工标记。每年一度的ImageNet Challenge竞赛旨在鼓励该领域的研究人员比拼和衡量他们在计算机自动识别和标记图像方面的进展。他们的系统首先使用一组被正确标记的图像进行训练，然后接受挑战，标记之前从未见过的测试图像。在随后的研讨会上，获胜者分享和讨论他们的技术。2010年，获胜的那个系统标记图像的准确率为72%（人类平均为95%）。2012年，多伦多大学教授杰夫·辛顿（Geoff Hinton）领导的一支团队凭借一项名为“深度学习”的新技术大幅提高了准确率，达到85%。后来在2015年的ImageNet Challenge竞赛中，这项技术使准确率进一步提升至96%，首次超越人类。2012年的比赛结果被恰如 ...继续阅读 (24)

“今天人工智能的投资和估值肯定泡沫化了，所以我们会很谨慎的投那些公司。”李开复谈到人工智能热潮时说，“每个商业计划都加上了人工智能，前一阵我见了一个创业者，他说要做内衣的人工智能。”同一个活动上，紫牛基金创始合伙人张泉灵也被问起人工智能到底是泡沫还是风口？“在价格上，目前在国内的资本市场上，普遍的看法是有泡沫的。目前的状况是钱太多了，猎人太多了，但是狼不够用了。”张泉灵说。对人工智能泡沫的担忧并不新鲜。2016年10月360公司董事长周鸿祎发表演讲时说：“今天再出来做一个公司，你要不说自己是用深度学习、人工智能，你都不好意思出来混。我觉得这个有泡沫的成分。”而这样的警告在最近变得越来越普遍。不久前在三亚的一场论坛上，语音识别出身的李开复直言，“语音识别是所有技术里面最不成熟的，当我看到一个一个的计划非常担忧，99%会死掉。”今天他也再次抛出同样的言论。家用人形机器人同样被他不看好。“家用机器人是一个大风口，但千万不要做人型的家用机器人。因为做不出来，人的期望太多，家庭主妇、孩子买了以后会很失望，因为没有像《星际大战》里那么可爱。”尽管多有批评，李开复依然继续为人工智能的未来摇旗呐喊，“我大胆的预测在未来十年，人工智能能理解、能判断、能分类、能预测，任何一个以大数据为核心的领域里面，当一个人的工作是10秒钟以内能做出判断，或者重复性的工作，他们的工作将会被机器取代，不是一台机器取代一 ...继续阅读 (9)

我们每天都能见到大量的共享单车，有的地方共享单车成排投放，有的地方却看不到这些小车的身影。对于平台来说，在哪里投放共享单车、投放多少共享单车是一个值得研究的问题。如果投放车辆的地方没人需要，那投放效果就会大打折扣；如果人们在需要的地方找不到车，平台也会蒙受损失。但是怎样确定哪里是合适的投放地点呢？单车被骑走到城市的各个角落后，如何调度才能保证它们能被更多人骑到呢？每天都有成千上万的故障车辆图片被上报给平台，其中的真假又如何分辨呢？近日，摩拜数据科学家尹大飞进行了一次分享，探讨了在解决上述问题中所采用的人工智能手段。以下是尹大飞的演讲记录，经凤凰科技编辑：大家下午好！我是摩拜单车的数据科学家尹大飞，非常有幸在今天下午跟大家在这儿分享一下我们过去几个月时间在摩拜单车平台上做的一些数据分析和数据挖掘，甚至人工智能方面的一些研究。今天讲座主要讲的是我们怎么样利用人工智能或者大数据的方法解决运营的问题。因为我们有几百万辆车，怎么样科学高效调度，几乎所有关心我们的朋友都会问到这样的问题。我的演讲过程中大家谁有问题可以随时举手提问。我们数据部门不光是支持运营，我们也支持公司的财务部门、客户部门、包括运维。所以，应该说今天所讲的人工智能只是在我们公司一个部门的应用。今天给大家分享的是怎么样通过科学的调度方法以及预测方法解决在城市中管理上百万单车的事情。首先，经过我们的一段时间运营之后发现，在各个城 ...继续阅读 (16)

2016年可以说是人工智能产业在全球被极大热炒的一年，AlphaGo打败世界级选手李世石的事件引发了全球的关注，Facebook、Amazon、谷歌、IBM和微软结成史上最大人工智能联盟再次轰动产业界，而创投和各类资本已经自2015年就全面涌入人工智能领域。站在全球人工智能60年的历史之交，人工智能产业化已经蓄势待发。随着人工智能产业的迅速发展，全球人工智能产业也初现技术大格局，形成了大型软件与应用公司、大型硬件芯片级公司、以高校为主的开源社区三极鼎立的局面。其中，大型软件与应用公司包括了微软、Google、Facebook等，大型硬件芯片级公司包括了英特尔、NVIDIA、IBM等，开源社区包括了UC Berkeley大学、卡耐基﹒梅隆大学、Montreal大学等，而创业公司就在这三大生态中选择站队。然而，来自中国的第四极势力正在全球人工智能产业竞争博弈中扮演越来越重要的角色。2017年1月12日，在笔者与浪潮集团高性能计算总经理刘军的访谈中，刘军表示鉴于谷歌在开源社区强大的号召力和强势推广，现在要警惕谷歌TensorFlow垄断人工智能产业，浪潮作为全球领先的服务器和高性能计算系统厂商，正全力扶持源自UC Berkeley大学的Caffe社区等第三方开源生态，从而突破国际产业巨头的重压。开源人工智能软件的陷阱2015年以来，令全球人工智能产业界以及人工智能产业创业者十分兴奋的是， ...继续阅读 (13)

尽管人工智能取得了巨大的进步，但在许多方面仍然存在局限。例如，在电脑游戏中，如果AI智能体未预先编程游戏规则，则必须尝试数百万次才能确定正确的选择。人类可以在更短的时间内完成相同的壮举，因为我们擅长通过使用语言将过去的知识转移到新的任务中。在一个屠龙游戏中，AI智能体需要尝试许多其他的动作(对着墙或是花丛喷火)，才能理解它必须杀死龙。然而，如果AI智能体理解语言，人类可以简单地使用语言来指示它：“杀死龙才能使游戏获胜”。在人类如何概括技能并将其应用于新任务方面上，基于视觉的语言发挥着重要作用，这对于机器仍然是一个重大挑战。开发复杂的语言系统对于机器变得真正智能，并获得像人类一样学习的能力至关重要。作为实现这一目标的第一步，百度IDL实验室开发了一个使用监督学习和强化学习的组合系统，允许虚拟教师向虚拟AI智能体教授语言，通过将语言与感知和动作连接起来，就像父母教他们的宝宝一样。IDL实验室的结果表明，在训练结束后，AI智能体能够以自然的语言正确地解读老师的指令，并采取相应的行动。更重要的是，AI智能体开发了“zero-shot学习能力”，这意味着智能体能够理解潜在的语句，研究院发现，“这项研究使我们向教机器像人类一样学习迈进一步。”论文链接：http://arxiv.org/abs/1703.09831学习概况该研究在称为XWORLD的2D迷宫般的环境中进行，百度的虚拟智能体需要根据 ...继续阅读 (19)

你能猜到这个谜语的答案吗?如果你学习机器学习，它将随处可见……如果你是一个程序员，你会用它上千次……如果你练习过任何技术，这俨然是第二个你……不，答案不是狂饮咖啡……而是「迭代(iteration)」!是的，迭代是为了实现某种结果而重复一组任务的过程。等等，这难道不是词典的定义吗?好吧，是的，这就是迭代真正的意思。我们并不是要揭开一些令人兴奋的秘密。但我们希望以一种对你来说可能是新的方式来构建这个简单的概念。我们的目标是从不同的角度概览机器学习的基本概念，这有别于教科书里的常规方法。我们知道，大多数书都按照正向顺序(sequential)讲解机器学习的过程：加载数据、预处理、拟合模型、预测等。这种顺序方法当然是合理和有帮助的，但现实的机器学习很少如此线性。相反，实用机器学习有一个特殊的循环(cyclical)性质，需要不断的迭代、调整和改进。因此，我们想展示简单的迭代技术是如何在机器学习中具有美丽形式和深刻意义的。这篇文章是针对初学者写的，但更有经验的读者也不妨一读。为什么讨论迭代问题?迭代是机器学习的核心概念，它在许多方面至关重要。了解这个简单的概念在机器学习工作流程中的确切位置，这会带来很多切实的好处：1. 你能更好地理解算法2. 你能制定出更实际的项目进度时间表3. 你会发现更容易实现的模型改进方法4. 帮助你更容易坚持下去，即使初步结果较差5. 帮助你进一步解决机器学习中更 ...继续阅读 (36)

这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。一、数据不平衡在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀，都会存在“长尾现象”，也就是所谓的“二八原理”。下图是新浪微博交互分布情况：可以看到大部分微博的总互动数(被转发、评论与点赞数量)在0-5之间，交互数多的微博(多于100)非常之少。如果我们去预测一条微博交互数所在档位，预测器只需要把所有微博预测为第一档(0-5)就能获得非常高的准确率，而这样的预测器没有任何价值。那如何来解决机器学习中数据不平衡问题呢?这便是这篇文章要讨论的主要内容。严格地讲，任何数据集上都有数据不平衡现象，这往往由问题本身决定的，但我们只关注那些分布差别比较悬殊的;另外，虽然很多数据集都包含多个类别，但这里着重考虑二分类，因为解决了二分类中的数据不平衡问题后，推而广之就能得到多分类情况下的解决方案。综上，这篇文章主要讨论如何解决二分类中正负样本差两个及以上数量级情况下的数据不平衡问题。不平衡程度相同(即正负样本比例类似)的两个问题，解决的难易程度也可能不同，因为问题难易程度还取决 ...继续阅读 (14)

自从 Google 的人工智能 AlphaGO 成为围棋界的百胜将军开始，AI(Artificial Intelligence，人工智能)这两个英文字，刹那间成为科技业最热门的关键字之一。而就在2017年初，早在 AI 领域打下深厚底子的 IBM Watson，除了打进一些数据服务公司、科技公司外，甚至进军医疗领域，能够依照病患资料判定青光眼，准确率高达95%。我们现在已经迈入了AI与机器人逐渐取代人类工作的年代，在不知不觉间，AI的相关技术已经开始渗透每个人生活的角落，从Google与Facebook依照兴趣投放的广告、可以帮你找资料设定日历的语音助理Siri，背后都含有AI的概念与技术。未来的生活无论是投资、交通、医疗、学习、生产，将无处不是AI的踪影，这个技术也将彻底改变人们的生活模式。是什么让AI从“科幻”变“科技”?AI其实是个庞大而复杂的概念，但大都奠基于一项基础的关键技术，这个技术叫做“机器学习 Machine Learning”。机器学习技术，就是让机械拥有自主学习的能力，说起来很简单，但在1950年代技术萌芽期间，演算法和硬体条件都不够成熟，是直到近年来日益优异的演算法，与强劲的硬体运算能力，才让机器学习的能力有突破性进展，而其中带进展最为快速的一项关键技术，就是大家最耳熟能详的──“深度学习”。我们来看看这个数据：2015年机器学习的周边市场规模约3.6亿美元， ...继续阅读 (21)

在3月23号，三六零科技股份有限公司与华泰联合证券签订了IPO上市辅导协议，这意味着360会以IPO的方式回归A股。不久后，周鸿祎接受了中国证券报专访，谈及了为何退市，对人工智能的看法，以及对自家手机的定位。谈到从美国退市，周鸿祎表示，主要是出于对当时网络安全形势的考虑。当时360已经是国内最大、全球前三的网络安全公司，除了普通用户，还服务着不少国企，重要单位，甚至是敏感的基础设施。后来，互联网主管部门的领导找到360，希望从国家安全、国家利益的角度出发，360能退回来从外资公司变成内资公司。周鸿祎称，退市解决了身份问题，未来在军民融合的过程也能参与国防项目。他同时认为，360必须扎根在中国，希望能为中国国家网络安全、社会的网络安全贡献一份力量，在网络安全建设中担任重要角色。在谈到国内安全产业现状时，他认为，360在包括非对称的技术对抗等一些领域与国际领先水平相比差距已经不大，甚至在某些领域是比较领先的。他称，360应该是第一家利用云端大数据、机器学习算法解决对未知攻击的预警。而国内外的主要的差距，是对络安全的认识和基础技术领域方面。而对于人工智能，周鸿祎也有自己的看法，其最核心的安全业务就与人工智能有莫大的关系。在人工智能与360的核心业务网络安全的结合上，他表示，“360是最早把人工智能技术用在了网络安全上的”。他们做了一个QVM引擎，用机器学习的算法，把很多已知的病毒样本送进 ...继续阅读 (15)

Google公布TPU深度学习在这两年如日中天，使用深度学习来做自动驾驶、金融服务、安全防卫等等业务的公司如雨后春笋般纷纷冒出。Google一向是深度学习的领军者，在四年前就已经意识到了深度学习算法的重要性，早早就把深度学习应用在搜索、广告、垃圾邮件识别、图片人脸识别的业务上，还推出了TensorFlow的机器学习架构，去年更是率AlphaGO战胜世界围棋第一人李世石，成为深度学习人工智能的标志性事件。除了软件算法领先之外，Google在深度学习的硬件研发上也占了先机。去年年中，Google推出了第一款得到大规模使用的专用深度学习加速芯片Tensor Processing Unit （TPU），据称比GPU领先许多。TPU推出后很久，内部架构一直不为人知，直到昨天Google正式公布了介绍TPU的论文，让我们得以一窥究竟。深度学习的硬件执行瓶颈大约五年前，人们在跑机器学习算法时用的主要还是CPU，因为CPU通用性好，编程模型很成熟，对于程序员来说非常友好。然而，当机器学习算法的运算量越来越大时，人们发现CPU执行机器学习的效率并不高。CPU为了满足通用性，芯片面积有很大一部分都用于复杂的控制流，留给运算单元的面积并不多。而且，机器学习算法（尤其是机器视觉卷积神经网络算法）中运算量最大的运算是一种张量（Tensor）运算，而CPU对于矢量运算也只能说是部分支持，更不用说张量运算。这时 ...继续阅读 (24)

人机对战无疑是4月10日的新闻焦点之一。一边在海南澄迈，德州扑克人工智能“冷扑大师”（Libratus）经过5日激战，在33000手一对一无限注德扑比赛中完胜中国“龙之队”的6名高手，斩获200万人民币奖金；另一边在北京的中国棋院，谷歌宣布被中国网民称为“阿尔法狗”的围棋人工智能AlphaGo将在5月下旬的乌镇对阵柯洁领衔的中国顶尖棋手，上演终极一战。一南一北，一牌一棋，两则人机对战重磅消息在同一天出炉，虽然未必是有意针锋相对，但也足够令无心的观众相互比较。有些读者认为，连围棋这样高深的智力运动都早已被阿尔法狗拿下，扑克这样门槛低、上手简单的大众娱乐又何足挂齿呢？但反方则指出，扑克不是单纯靠计算的游戏，牵扯到很多心理上的博弈，有时甚至需要“飙演技”，AI能掌握这类游戏有些匪夷所思。那么，德扑和围棋这两种智力游戏，对AI来说到底有什么区别？哪个难度更大一些？针对这些问题，编辑就冷扑大师和阿尔法狗的相关资料进行了梳理与比较。托马斯桑德霍姆（Tuomas Sandholm） 资料图不过，冷扑大师的开发者、美国卡内基梅隆大学（CMU）计算机系教授托马斯桑德霍姆（Tuomas Sandholm）在听到阿尔法狗将来华挑战的消息后，评价非常的简单：问题的关键并不在于中国顶尖棋手能不能赢，而在于生活中几乎不存在像围棋这样的“完美信息游戏”，因而阿尔法狗也缺乏实用场景。围棋和德扑对于AI来说，性质是 ...继续阅读 (24)

由斯嘉丽·约翰逊主演的科幻电影《攻壳机动队》已于2017年4月7日在内地上映。这部影片不仅仅让原著迷们趋之若鹜，也让第一次接触这部经典作品的普通观影大众，享受了一场关于未来世界的华丽视觉盛宴。说起《攻壳机动队》，在很多动漫迷眼中，这可是一部划时代的作品。科幻电影的经典之作《黑客帝国》，当年如日中天，说它是许多观众对“科幻电影”的启蒙作品也不为过。其实《黑客帝国》几乎是完全脱胎于《攻壳机动队》，其中对人物设定、脑联网以及对虚拟与现实的探讨，都与后者如出一辙。之后的科幻电影多多少少都从《黑客帝国》的设定中有所借鉴，由此看出《攻壳机动队》对“科幻”这一概念的贡献与地位。那么，未来世界，是否真的会成为片中设定的样子呢？这样的未来又有多远？其实，《攻壳机动队》所展现的未来世界已经悄然来到我们身边，物联网时代的来临让这一切都不是梦。什么是物联网呢？根据国际电信联盟(ITU)的定义，物联网主要解决物品与物品(Thing to Thing,T2T)，人与物品 (Human to Thing,H2T)，人与人(Human to Human,H2H)之间的互连。小编也知道这样的解释不好理解。其实，换成大白话来说，科幻世界的一切都是物联网。素子的“热光学迷彩战衣”皮肤不少观众和小编一样，是斯嘉丽女神的忠实粉丝。提前放出的预告片中，完美还原了原著中女主角素子作为打击犯罪秘密小组中的一员，在危机关头裸身跳下 ...继续阅读 (23)

Sharp Sight Labs 近日在 r-bloggers 上发表了一篇文章，论述了为什么当今的数据科学工作者应该学习 R 语言的原因。为了给大家提供一个明晰的对比，我们在后面补充了 2016 年初的一篇文章：R vs.Python。在前一段时间的博客中，我解释了为什么你应该掌握 R 语言（即便它最终可能过时）：http://sharpsightlabs.com/blog/master-r-obsolete/。我写这篇文章是为了向那些声称掌握 R 语言浪费时间的人致辞。（因为它最终会变得过时）。但是当我认为 R 语言最终会变得过时时，这似乎引起了恐惧——仿佛 R 语言已经过时了。我想要消除你的恐惧：R 语言仍然很流行。R 语言是过去十年中发展最快的编程语言之一。事实上，如果你开始学习数据科学，我仍然推荐从 R 语言开始。所以，我想向你保证。R 语言绝对没有过时的。事实上，R 语言是非常受欢迎的而且是最好的数据语言。为此，我想解释为什么我对 R 语言的长期前景非常乐观，以及为什么我认为这也许是今天可以学习的最好的数据科学语言。R 语言始终是最好的语言之一我想让你们明白的一件事情是：目前 R 语言是存在的最受尊敬、排名最高、增长最快的语言之一。在很多方面，R 语言就代表了数据语言。在数据科学领域，这是一个仍处于顶端的语言（只有 1 到 2 个真正的竞争者）。为什么这么说呢？让我们看 ...继续阅读 (14)

人工智能技术的发展越来越快，这个行业竞争也越来越激烈。最近在美国联邦法院备案的涉及人工智能技术人才的诉讼数量，就是对此最好的证明。例如，特斯拉正在起诉其前任自动驾驶Autopilot负责人斯特林•安德森（Sterling Anderson）。特斯拉指控安德森将自动驾驶数据泄露给竞争对手Aurora创新公司，而Aurora公司对此否认。这件事本身在竞争激烈的人工智能开发领域并不是什么大事，但是这却引起了市场观察者的普遍注意。谷歌公司开发的Waymo无人驾驶汽车传统的汽车制造厂商的危机意识是相当强的，他们更认可在人工智能方面投入巨资，甚至愿意出十亿美元收购一个做显示软件的几十个人的小公司。巡航自动化公司（Cruise Automation）只有40个员工，美国通用汽车公司在2016年7月就以10亿美元并购了这家公司。2016年8月，优步公司收购了Otto公司，Otto公司是仅建立了7个月的致力于自动驾驶技术开发的创业型公司，优步收购Otto公司的金额达到6.8亿美元。（但是Otto公司目前正在受到谷歌旗下自动驾驶公司Waymo的起诉，也是指控优步公司窃取知识产权）。人们要问到为什么那些大公司会投入巨资并购这些刚起步，甚至没有品牌名声的小创业公司呢。美国商业内幕记者认为，其实这些起诉和所谓的知识产权没有多大问题，而起诉的目标是这些热门的自动驾驶技术开发的人工智能人才。这是因为全球市场都在 ...继续阅读 (15)

为了鼓励新工具的出现，机器学习和数据分析领域似乎已经成了“开源”的天下。Python 和 R 语言都具有健全的生态系统，其中包括了很多开源工具和资源库，从而能够帮助任何水平层级的数据科学家展示其分析工作。机器学习和数据分析之间的差异有些难以言明，但二者最主要的不同就在于，比起模型的可解释性，机器学习更加强调预测的准确性;而数据分析则更加看重模型的可解释性以及统计推断。Python ，由于更看重预测结果的准确性，使其成为机器学习的一把利器。 R ，作为一种以统计推断为导向的编程语言，在数据分析界也得到广泛应用。当然，这并不代表二者只能在各自的一个领域中得到应用。Python 也可以高效地完成数据分析工作，R 在机器学习中也具有一定的灵活性。它们都拥有相当多的资源库去实现彼此特定的函数功能，比如 Python 就有很多资源库来提高自己统计推断的能力，R 也有很多包可以提升预测的准确率。Python 中关于机器学习和数据分析的包虽然 Python 本身就更倾向于机器学习， 但它还是有很多包可以进一步优化这一属性。PyBrain 是一个模块化的机器学习资源库，其中包含很多有效的算法可以满足机器学习任务的需要。除了很多直观灵活的算法，这个资源库还内置很多环境可以用来检验和比较这些机器学习算法的效果。Scikit-learn 可能是 Python 最受欢迎的机器学习资源库了。基于 Numpy ...继续阅读 (31)

摘要目前语言建模的主要方法都是基于循环神经网络的。在本研究中，我们提出了一种使用卷积方式处理的语言建模方式。我们引入了一种新的门控机制，可以缓和梯度传播，它的表现比 LSTM 方式的门控（Oord 等人，2016）更加优秀。我们的方法在 WikiText-103 上创造了新的最高纪录，同时我们也在 Google Billion Word 基准上进行了单 GPU 测试，结果创造了新的最快记录。因为可以并行运算，在对延迟敏感的任务中，我们的模型的速度相较其他模型提升了一个数量级。目前为止，这是第一次出现非训话方式在此类任务中超越了循环方式。用于语言建模的门控卷积网络架构引言：统计语言模型被用于估算词序列的概率分布。这相当于给定一个词，对下一个词的概率进行建模，例如：其中 wi 是词汇表中的离散字索引。语言模型是语音识别系统（Yu&Deng;，2014）以及机器翻译系统的关键组成部分（Koehn，2010）。近年来，神经网络在此类任务的表现超过了 n 元语法模型（Kneser & Ney，1995；Chen & Goodman，1996）。经典的语言模型面临数据短缺的问题，无法准确表征长段语句，缺乏分析长范围从属关系的能力。神经语言模型通过在应用神经网络的连续空间中嵌入单词来解决这个问题。语言建模的当前技术水平基于长短期记忆网络（LSTM; Hochreiter 等人，1997），理论上 ...继续阅读 (38)