来源：http://www.cio.com/article/3193689/artificial-intelligence/which-deep-learning-network-is-best-for-you.html开源的深度学习神经网络正是当今的潮流，但是有很多提供机器学习和人工智能的方案，并且这些平台超过专业的方案和平台。对你来说，哪一个开源框架平台是你的最佳选择呢？在这篇文章“Big data – a roadmap for smarter data”里，我说明了机器学习的框架平台功能，比如图片、手写、视频、语音、自然语言等处理和物体识别。但是没有完美的深度学习网络，将解决你所有的业务问题。希望本文帮助你选择合适的方案和平台，下面的表格与大纲将提供给您进行参考，同时根据您的业务问题的选择最适合的框架平台。下图说明了深度学习框架平台在GitHub网站上最受欢迎的排名，排名的依据是GitHub网站开发者对这个平台的星级评价。下面的数据是2017年5月初的数据。TensorFlowGoogle的TensorFlow早期的名称叫做DistBelief V2，它是Google大脑项目里开发深度神经网络的一部分。也有人说TensorFlow是从Theano重新开发的架构平台。当Google开源TensorFlow平台时，它立即就获得了大量开发者注意。TensorFlow支持广泛的功能 ...继续阅读 (77)

tf.invert_permutation(x,name=None)计算序列的逆置换（inverse permutation）。本操作是计算张量的索引的逆置换。x是一维的整数张量，表示一个以0为开始的索引数组，然后根据这里元素的值来放入整数什，计算公式如下：y[x[i]] = i for i in [0, 1, ..., len(x) -1]从0开始，没有重复和负数值。例如:# 张量 `x` 是 [3, 4, 0, 2, 1]invert_permutation(x) ==> [2, 4, 3, 0, 1]参数:· x: 张量，必须是下面类型之一： int32, int64。 1-D。· name: 操作的名称，可选。返回值:张量，与x类型相同。1-D。#python 3.5.3/TensorFlow 1.0.1/win 10 #2017-04-26 蔡军生 http://blog.csdn.net/caimouse # #导入要使用的库 import tensorflow as tf import numpy as np #演示API的类 class DemoTF: def __init__(self): '''构造函数''' self.num1 = tf.Variable([1, 2, 0, ...继续阅读 (80)

暴雪1998年经典RTS游戏《星际争霸》，这款给业界带来深远影响的经典，在今天暴雪给了我们最后一个甜蜜的礼物。免费下载，免费玩，上网对战开始了......《星际争霸》最近升级到了1.18版，这也是最近8年来暴雪发布的首个补丁。更刺激的是，现在《星际争霸》和其资料片Brood War（母巢之战）已经彻底免费了。 最新版本的《星际争霸》和《星际争霸：母巢之战》支持窗口全屏和窗口模式，UTF-8，观战模式，为了replay而加入的自动存档，新的OpenGL后端，修复了对Windows 7，8.1和10的兼容稳定性。 注意，我们上个月月底曾报道过《星际争霸》免费的消息，不过那是PTR公测版，而现在是正式版。有兴趣的玩家可以点击下面这个链接下载安装，支持PC和Mac。 下载地址： PC版：https://battle.net/download/getInstallerForGame?os=WIN&version;=LIVE&gameProgram;=STARCRAFT Mac版：https://battle.net/download/getInstallerForGame?os=MAC&version;=LIVE&gameProgram;=STARCRAFT下载连接：https://battle.net/download/getInstallerForGame? ...继续阅读 (81)

MIT的《深度学习》精读（23）There are two main ways of measuring the depth of a model. The first view is based on the number of sequential instructions that must be executed to evaluate the architecture. We can think of this as the length of the longest path through a flow chart that describes how to compute each of the model’s outputs given its inputs. Just as two equivalent computer programs will have different lengths depending on which language the program is written in, the same function may be drawn as a flowchart with different depths depending on which functions we allow to be used as individual s ...继续阅读 (75)

http://colah.github.io/posts/2015-08-Understanding-LSTMs/http://www.csdn.net/article/2015-11-25/2826323循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍： 1. RNNs的基本介绍以及一些常见的RNNs(本文内容)； 2. 详细介绍RNNs中一些经常使用的训练算法，如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法，以及梯度消失问题(vanishing gradient problem) 3. 详细介绍Long Short-Term Memory(LSTM，长短时记忆网络)； 4. 详细介绍Clockwork RNNs(CW-RNNs，时钟频率驱动循环神经网络)； 5. 基于Python和Theano对RNNs进行实现，包括一些常见的RNNs模型。多层反馈 ...继续阅读 (87)

The idea of learning the right representation for the data provides one perspective on deep learning. Another perspective on deep learning is that depth allows the computer to learn a multi-step computer program. Each layer of the representation can be thought of as the state of the computer’s memory after executing another set of instructions in parallel. Networks with greater depth can execute more instructions in sequence. Sequential instructions offer great power because later instructions can refer back to the results of earlier instructions. According to this view of deep learning, not a ...继续阅读 (70)

The quintessential example of a deep learning model is the feedforward deep network ormultilayer perceptron (MLP). A multilayer perceptron is just a mathematical function mapping some set of input values to output values. The function is formed by composing many simpler functions. We can think of each application of a different mathematical function as providing a new representation of the input. 深度学习模型的典型例子就是前馈神经网络或者多层感知机（MLP），多层感知机仅仅是将输入值映射到输出值的一种数学函数变换，这种函数变换是由许多简单的函数组成。我们可以认为每个不同的数学函数的使用是提供了对输入数据的一种新的表示方式。对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, MLP)，可以将其看成是一个特殊的Logistic ...继续阅读 (69)

TensorFlow 1.0.1Bug Fixes and Other ChangesChange GraphConstructor to not increase the version when importing, but instead take the min of all versions.Google Cloud Storage fixes.Removed tf.core and tf.python modules from the API. These were never intended to be exposed. Please use the same objects through top-level tf module instead.DownloadsSource code (zip)升级命令如下：1. TensorFlow API攻略http://edu.csdn.net/course/detail/44952. TensorFlow入门基本教程http://edu.csdn.net/course/detail/43693. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33244.跟老菜鸟学C++http://edu.csdn.net/course/detail/29015. 跟老菜鸟学pytho ...继续阅读 (97)

机器学习的大局观：使用神经网络和TensorFlow来对文本分类 https://medium.freecodecamp.com/big-picture-machine-learning-classifying-text-with-neural-networks-and-tensorflow-d94036ac2274 机器学习的开发人员常常说，如果你想学习机器学习，必须先学习算法是怎么样工作的原理，但是我的经验告诉我，不是这样的。 我说，你应该首先能够看到大局：机器学习的应用程序是怎么样工作的。一旦你理解它，你就可以轻松地深入学习和体会到机器学习算法的工作原理。 所以怎么样才形成一种直觉的知识和通过大局观来理解机器学习呢？我认为一个好的方法是通过创建机器学习的模型。 如果你仍然不知道如何从头开始创建所有的这些算法，也没有关系，你可以使用一些现成的机器学习算法库来学习，比如使用TensorFlow。 在这篇文章里，我们主要学习文本分类的机器学习的模型，所以有由下面的几步学习：1. TensorFlow是怎么样工作的2. 机器学习的模型是什么3. 神经网络是什么4. 神经网络是怎么样学习5. 怎么样操作数据，并且让数据通过神经网络计算6. 怎么样运行这个模型和获取预测结果在这个过程里，你发现有很多不懂的知识需要学习，让我们立即开始吧！ TensorFlowTensorFlow是一个GO ...继续阅读 (82)

Deep learningsolves this central problem in representation learning by introducing representations that are expressed in terms of other, simpler representations. Deep learning allows the computer to build complex concepts out of simpler concepts. Figure1.2shows how a deep learning system can represent the concept of an image of a person by combining simpler concepts, such as corners and contours, which are in turn defined in terms of edges. 要解决这些问题的核心思想，就是采用特征值学习算法和深度学习结合的方式，因为这些特征值可以被其它更加简单的特征值来组合表示出来。深度学习的方式让计算机可以通过简单的概念来理解复杂的概念。图1.2所示就解释了深度学习系统怎么样通过简单的概念来表示复杂的概念的例子，比如角和轮廓就通过一些边来表示出来。图1.2 Il ...继续阅读 (104)

GOOGLE开发自己的加速机器学习的芯片已经不是什么秘密了，最先发布出来的是TPU（Tensor Processing Units），在2016年5月I/O开发大会上发布的，但是没有公布相关的细节情况，只是说T ensorFlow框架在上面运行机器学习算法可以优化运行。今天，GOOGLE第一次把这些项目的细节和评判标准公布出来。论文下载地址：http://download.csdn.net/detail/caimouse/98049271. TensorFlow API攻略http://edu.csdn.net/course/detail/44952. TensorFlow入门基本教程http://edu.csdn.net/course/detail/43693. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33244.跟老菜鸟学C++http://edu.csdn.net/course/detail/29015. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/25926. 在VC2015里学会使用tinyxml库http://edu.csdn.net/course/detail/25907. 在Windows下SVN的版本管理与实战 http://edu.csdn.net/cour ...继续阅读 (77)

https://blog.dbrgn.ch/2013/3/26/perceptrons-in-python/ 目前，我在HSR上参加了一个神经网络和机器学习的课程，其中学习到一个最简单的神经网络模型，就是感知机（perceptronperceptronperceptron）。 背景资料最简单的神经网络的模型就是感知机分类器，它有不同的输入（x1, x2,......xn)，然后有不同的权重值（w1, w2,......Wn)，如下式计算：每个对应的权重值与输入值进行相乘，再相加在一起，然后通过一个阶梯函数f:为了理解整个过程，下面就是它的简化版本的流程图：用Python代码来编写下面是使用Python和NumPy库来编写最简单的感知机，它由两个输入值，接着使用它来学习布尔运算OR的操作，第一步，先导入要使用的库：from random import choicefrom numpy import array, dot, random接着编写阶梯函数，把它的定义为unit_step:unit_step = lambda x: 0 if x < 0 else 1http://reference.wolfram.com/language/ref/UnitStep.html接着下来编写输入与输出的映射关系的数据，使用Numpy数组来表示，第一个元素是一个三个元素的元组表示，而这个元组的前两 ...继续阅读 (91)

Of course, it can be very difficult to extract such high-level, abstract features from raw data. Many of these factors of variation, such as a speaker’s accent, can be identified only using sophisticated, nearly human-level understanding of the data. When it is nearly as difficult to obtain a representation as to solve the original problem, representation learning does not, at first glance, seem to help us. 当然，从原始数据里抽取如此高级的、抽象的特征值是非常困难的。许多变化的因素是要求复杂的、接近人类水平的数据理解能力，才可以抽取出来，比如说话者的口音。当我们解决这些困难的问题时，抽取这些特征值就非常困难，凭感觉上来看，特征值学习算法也显然无济于事。如何从普通话口音判断说话者是哪里人，这个问题的核心其实牵涉的是语言学上的二语习得机制，也就是人怎么学会第二语言的规律。首先要了解第 ...继续阅读 (77)

A major source of difficulty in many real-world artificial intelligence applications is that many of the factors of variation influence every single piece of data we are able to observe. The individual pixels in an image of a red car might be very close to black at night. The shape of the car’s silhouette depends on the viewing angle. Most applications require us todisentanglethe factors of variation and discard the ones that we do not care about .在现实世界里，应用人工智能的主要难题是我们观察到的每一份数据，都受到各种变化的因素影响。比如一辆红色汽车的每个像素在晚上就十分像黑色的像素点，汽车的轮廓外形就随着不同的角度看去不一样形状。大多数的应用场合，需要我们把这些变化的因素整理出来，把不需要的因素进行丢弃掉。1. TensorFlow A ...继续阅读 (77)

Tensorflow揭秘 https://medium.com/@gk_/tensorflow-demystified-80987184faf7 为了理解新的Tensorflow框架--Google的机器学习计算平台，通过一个玩具级的例子来学习它。 下面就是Google介绍这个框架的描述：TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。 What goes on within machine learning code is math, it helps to organize this in a way that simplifies and keeps the computative flow organized. 张量（Tensors）首先遇到的第一个问题就是：张量是什么东西？它是怎么样流动 ...继续阅读 (106)

曾经在半个世纪之前，作为深度学习的思想和模型就开始研究和探索了，但是为什么现在深度学习才流行起来呢？其实原因有三个：计算机技术高速发展、互联网产生大数据和神经网络训练方法改进。在半个世纪之前，可以想象计算机是多么的落后，一台普通的PC就几十平方的房子那么大，计算能力还不及目前一个台普通的智能手机，可想而知，在那样的计算能力之下来研究深度学习，简直就是恶梦。因为内存只有几K，而目前随便使用手机来拍摄一张图片，就有几M大小了，这么大的图片在当时的计算机是不能处理的，所以很难让人来研究更高级的应用，所以当时只能来做一些玩具的神经模型，比如布尔运算中的与、非、或，并且还不能计算异或这个操作。因此，在当时只是理论上设计和分析居多，实际练习和试验就少得多了。随着计算机技术高速发展之下，目前一台手机就有4G的内存，储存空间就有128G的大小，而像百度的数据中心，就更加强劲了。当然有了计算能力超强之后，还不能引爆深度学习，像上个世纪末已经有很多超级计算机中心出现了，这时这些计算机中心主要用来模拟运行核弹，或者天气预报这些。并没有对深度学习生产深入的影响，而在互联网从1997年左右开始兴起之后，互联网就产生了大量的数据，并且这些数据很容易用来标记和共享。比如大量的个人网页的出现，大量网站的出现，然后产生了收集所有数据的想法，就导致网络爬虫的出现。有了爬虫之后，就可以大规则地收集互联网上的数据，再进行 ...继续阅读 (73)

在TF里，使用32位整数来计算倒数时会抛出这个异常：Traceback (most recent call last): File "C:\python35\lib\site-packages\tensorflow\python\client\session.py", line 1022, in _do_call return fn(*args) File "C:\python35\lib\site-packages\tensorflow\python\client\session.py", line 1000, in _run_fn self._extend_graph() File "C:\python35\lib\site-packages\tensorflow\python\client\session.py", line 1049, in _extend_graph self._session, graph_def.SerializeToString(), status) File "C:\python35\lib\contextlib.py", line 66, in __exit__ next(self.gen) File "C:\python35\lib\site-packages\tensorflow\python\framewo ...继续阅读 (122)

When designing features or algorithms for learning features, our goal is usually to separate thefactors of variation that explain the observed data. In this context, we use the word “factors” simply to refer to separate sources of influence; the factors are usually not combined by multiplication. Such factors are often not quantities that are directly observed. Instead, they may exist either as unobserved objects or unobserved forces in the physical world that affect observable quantities. They may also exist as constructs in the human mind that provide useful simplifying explanations or infer ...继续阅读 (78)

The quintessential example of a representation learning algorithm is theautoencoder. An autoencoder is the combination of anencoderfunction that converts the input data into a different representation, and adecoderfunction that converts the new representation back into the original format. Autoencoders are trained to preserve as much information as possible when an input is run through the encoder and then the decoder, but are also trained to make the new representation have various nice properties. Different kinds of autoencoders aim to achieve different kinds of properties. 最为经典的特征值学习算法就是aut ...继续阅读 (72)

随着人工智能的到来，在软件开发管理系统里，应该引入更加强劲的人工智能（AI），这样对整个系统更加节省人力，以及更加高效率。目前，我想到在这个方面特别适合使用目前深度学习算法来解决。比如在开发的过程中，软件开发完之后，需要交给测试人员去测试，测试人员进行测试，然后把发现的BUG上交，在这一步里，上交BUG时，其实包含了截图，这样在BUG管理平台的后台，就可以采用深度学习的方式来判断这些BUG的图片是否是同样的BUG，就可以进行分类，如果BUG相同，就自动归类，并合并相同的BUG，这样减少人工去分类，以及干扰开发人员，以及相关的管理人员。如下图所示：1. TensorFlow API攻略http://edu.csdn.net/course/detail/44952. TensorFlow入门基本教程http://edu.csdn.net/course/detail/43693. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33244.跟老菜鸟学C++http://edu.csdn.net/course/detail/29015. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/25926. 在VC2015里学会使用tinyxml库http://edu.csdn.net/course/deta ...继续阅读 (77)

One solution to this problem is to use machine learning to discover not only the mapping from representation to output but also the representation itself. This approach is known asrepresentation learning. Learned representations often result in much better performance than can be obtained with hand-designed representations. They also allow AI systems to rapidly adapt to new tasks, with minimal human intervention. A representation learning algorithm can discover a good set of features for a simple task in minutes, or a complex task in hours to months. Manually designing features for a complex t ...继续阅读 (85)

However, for many tasks, it is difficult to know what features should be extracted. For example, suppose that we would like to write a program to detect cars in photographs. We know that cars have wheels, so we might like to use the presence of a wheel as a feature. Unfortunately, it is difficult to describe exactly what a wheel looks like in terms of pixel values. A wheel has a simple geometric shape but its image may be complicated by shadows falling on the wheel, the sun glaring off the metal parts of the wheel, the fender of the car or an object in the foreground obscuring part of the whee ...继续阅读 (83)

Many artificial intelligence tasks can be solved by designing the right set of features to extract for that task, then providing these features to a simple machine learning algorithm. For example, a useful feature for speaker identification from sound is an estimate of the size of speaker’s vocal tract. It therefore gives a strong clue as to whether the speaker is a man, woman, or child. 许多人工智能的任务可以通过设计合适的数据表示方式，然后使用简单的器学习算法根据这些数据特征就可以解决相关的任务。比如在声音识别的场合下，说话者的声调高低的特征，就提供了一个强有力的线索，通过这个线索就可以区分说话者是男人、女人，或者小孩。音调主要由声音的频率决定。对一定强度的纯音，音调随频率的升降而升降；对一定频率的纯音、低频纯音的音调随响度增加而下降，高频纯音的音调却随响度增加而上升。音调的高低还与发声体的结构有 ...继续阅读 (77)

This dependence on representations is a general phenomenon that appears throughout computer science and even daily life. In computer science, operations such as searching a collection of data can proceed exponentially faster if the collection is structured and indexed intelligently. People can easily perform arithmetic on Arabic numerals, but find arithmetic on Roman numerals much more time-consuming. It is not surprising that the choice of representation has an enormous effect on the performance of machine learning algorithms. For a simple visual example, see figure1.1. 在计算机科学里，甚至日常生活中，对数据的表示 ...继续阅读 (77)

在数学中，双曲函数类似于常见的（也叫圆函数的）三角函数。基本双曲函数是双曲正弦“sinh”，双曲余弦“cosh”，从它们导出双曲正切“tanh”等。也类似于三角函数的推导。反函数是反双曲正弦“arsinh”（也叫做“arcsinh”或“asinh”）依此类推。y=tanh x，定义域：R，值域：(-1,1)，奇函数，函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y=1和y=-1之间。它的导数如下：它的曲线图：源码：#python 3.5.3/TensorFlow 1.0/win 10 #2017-03-27 蔡军生 http://blog.csdn.net/caimouse # import pylab import numpy as np N = 500 delta = 0.6 X = -1 + 2. * np.arange(N) / (N - 1) pylab.plot(X, (1.4 + np.tanh(4. * X / delta)) / 4, 'k-',linewidth = 5) pylab.show()它的意义：第一个问题：为什么引入非线性激励函数？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合 ...继续阅读 (86)

The performance of these simple machine learning algorithms depends heavily on therepresentationof the data they are given. For example, when logistic regression is used to recommend cesarean delivery, the AI system does not examine the patient directly. Instead, the doctor tells the system several pieces of relevant information, such as the presence or absence of a uterine scar. Each piece of information included in the representation of the patient is known as afeature. Logistic regression learns how each of these features of the patient correlates with various outcomes. However, it cannot i ...继续阅读 (70)

在神经网络里经常使用sigmoid做激活函数，它的导数是怎么样求解呢？因为要使用它的导数来计算梯度下降。这个过程如下：1. sigmoid函数：f(z) = 1 / (1 + exp( − z))导数：f(z)' = f(z)(1 − f(z))求导过程如下：下文解释e的来由：https://betterexplained.com/articles/an-intuitive-guide-to-exponential-functions-e/1. TensorFlow API攻略http://edu.csdn.net/course/detail/44952. TensorFlow入门基本教程http://edu.csdn.net/course/detail/43693. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33244.跟老菜鸟学C++http://edu.csdn.net/course/detail/29015. 跟老菜鸟学pythonhttp://edu.csdn.net/course/detail/25926. 在VC2015里学会使用tinyxml库http://edu.csdn.net/course/detail/25907. 在Windows下SVN的版本管理与实战 http://edu.csdn.net/co ...继续阅读 (75)

生物的神经元结构如下：与人工神经元：这种现象叫做仿生学。可以使用代码来实现两个权值的感知机：w = [0, 0] b = 0 def createDataSet(): """ create dataset for test """ return [[(3, 3), 1], [(4, 3), 1], [(1, 1), -1]] def update(item): """ update with stochastic gradient descent """ global w, b w[0] += item[1] * item[0][0] w[1] += item[1] * item[0][1] b += item[1] def cal(item): """ calculate the functional distance between 'item' an the dicision surface. output yi(w*xi+b). """ res = 0 for i in range(len(item[0])): res += item[0][i] * w[i] res += b res *= item[1] ...继续阅读 (72)

The difficulties faced by systems relying on hard-coded knowledge suggest that AI systems need the ability to acquire their own knowledge, by extracting patterns from raw data. This capability is known as machine learning. The introduction of machine learning allowed computers to tackle problems involving knowledge of the real world and make decisions that appear subjective. A simple machine learning algorithm called logistic regression can determine whether to recommend cesarean delivery (Mor-Yosefet al.,1990). A simple machine learning algorithm called naive Bayes can separate legitimate e-m ...继续阅读 (77)

在Python里，经常遇到这样一种情况，自己编写的一些模块，想比较清晰地管理不同的模块，所以在当前目录下面建立了不同的子目录，如下图：在子目录mod里包含着要使用的py文件，如果想要使用它，可以按模块的方式来导入，但是有一种更简单的方法，就是让python搜索到mod目录，即可以使用了。比如要使用上面的文件test2.py，那么就可以按下面的代码来编写：#python 3.5.3 #2017-03-24 蔡军生 http://blog.csdn.net/caimouse # import sys sys.path.append("mod/") import test2 print(test2.test)输出如下：========================= RESTART: D:\demo\test1.py =========================test2>>>test2.py的内容如下：test = 'test2'通过这种方式，可以比较快捷地使用，而不用建立__init__.py文件，并且还可以不管子目录里的依赖问题。当然也可以使用安装的方式，把这个模块安装python库目录里，但是那样要制作安装程序，又多了一道工序。1. TensorFlow API攻略http://edu.csdn.net/course/detail/44952. Tens ...继续阅读 (85)