引言：在多台机器上分布数据以及处理数据是Spark的核心能力，即我们所说的大规模的数据集处理。为了充分利用Spark特性，应该考虑一些调优技术。本文每一小节都是关于调优技术的，并给出了如何实现调优的必要步骤。本文选自《Spark GraphX实战》。1 用缓存和持久化来加速 Spark我们知道Spark 可以通过 RDD 实现计算链的原理 ：转换函数包含在 RDD 链中，但仅在调用 action 函数后才会触发实际的求值过程，执行分布式运算，返回运算结果。要是在 同一 RDD 上重复调用 action 会发生什么？RDD 持久化一般 RDD 不会保留运算结果，如果再次调用 action 函数，整个 RDD 链会重新 运算。有些情况下这不会有问题，但是对于许多机器学习任务和图处理任务，这就 是很大的问题了。通常需要多次迭代的算法，在同一个 RDD 上执行很多次，反复 地重新加载数据和重新计算会导致时间浪费。更糟糕的是，这些算法通常需要很长 的 RDD 链。看来我们需要另一种方式来充分利用集群可用内存来保存 RDD 的运算结果。 这就是 Spark 缓存（缓存也是 Spark 支持的一种持久化类型）。要在内存中缓存一个 RDD，可以调用 RDD 对象的 cache 函数。以下在 spark- shell 中执行的代码，会计算文件的总行数，输出文件内容 ：val filen ...继续阅读 (85)

引言：相比传统网络数据平面，通用可编程数据平面让网络用户可以自定义数据包的完整处理流程，实现理想的协议无关网络数据处理。作为一种理想的SDN数据平面，通用可编程数据平面还不够完善，还需要在不断的尝试中摸索前进。本文选自《重构网络：SDN架构与实现》。相比传统网络数据平面，通用可编程数据平面让网络用户可以自定义数据包的完整处理流程，实现理想的协议无关网络数据处理。而当下的OpenFlow模型还无法成为一种完全的通用可编程数据转发模型，还无法实现协议无关的转发。只有实现了真正的通用可编程数据平面，才会真正释放网络的可编程能力，从而逐步实现网络的软件化和程序化。对于网络用户和网络服务供应商，通用可编程数据平面使得他们可以快速地开发新网络功能及部署新网络服务。网络用户可以从软件产业过去几十年已发展成熟的软件编程理论、软件工程实践和工具中受益。计算机软件工程师也能够很容易对网络数据平面设备进行编程、测试和调试，以一个完全可编程的方式来管理整个网络。对于网络芯片供应商，通用可编程数据平面使他们能专注于设计及改进那些可重用的数据包处理架构和基本模块，而不是纠缠特定协议里错综复杂的细节和异常行为。而且，一旦证明这些架构和基本模块可行，供应商就可以在多代交换芯片的设计中重复使用它们，不必为客户不断产生的新需求而反复修改。对于网络研究人员，通用可编程数据平面为他们验证新想法提供了新的契机。OpenFl ...继续阅读 (65)

引言：SDN为什么会出现？是什么原因使得学术界提出SDN？我们为什么需要SDN？如果你刚接触SDN方案时，你一定有这样的疑问。而问题的答案是：我们需要拥有更多可编程能力的网络，来支持快速增长的网络业务需求。本文选自《重构网络：SDN架构与实现》。众所周知，相比发展迅速的计算机产业，网络产业的创新十分缓慢。每一个创新都需要等待数年才能完成技术标准化。为了解决这个问题，SDN创始人Nick McKeown教授对计算机产业的创新模式和网络产业的创新模式进行了研究和对比。在分析了计算机产业的创新模式之后，他总结出支撑计算机产业快速创新的如下三个因素。计算机工业找到了一个面向计算的通用硬件底层：通用处理器，使得计算机的功能可以通过软件定义的方式来实现。计算机功能的软件定义方式带来了更加灵活的编程能力，使得软件应用的种类得到爆炸式的增长。计算机软件的开源模式，催生了大量的开源软件，加速了软件开发的进程，推动了整个计算机产业的快速发展，Linux开源操作系统就是最好的证明。相比之下，传统的网络设备与上世纪60年代的IBM大型机类似，网络设备硬件、操作系统和网络应用三部分紧耦合在一起组成一个封闭的系统。这三部分相互依赖，通常隶属于同一家网络设备厂商，每一部分的创新和演进都要求其余部分做出同样的升级。这样的架构严重阻碍了网络创新进程的开展。如果网络产业能像当今计算机产业一样，也具备通用 ...继续阅读 (69)

引言：一个复杂问题进行拆分，最后会形成一个数量巨大的细分问题群。如果没有严格的按照“逐层不漏不重”原则进行，细分出的问题将很难形成合力来完整有效地支撑解决原问题。本文以策划一个会议为例，来了解结构化思维的应用。本文选自《数源思维：业务导向的数据思维秘籍》。在对问题进行拆分时，应该采用什么样的逻辑或者结构呢？当然最直接的办法就是采用前人已经总结好的问题思考框架，比如在战略分析领域有经典的SWOT框架、BCG矩阵或GE矩阵（图1）等。图1 GE矩阵在外部环境分析时有波特五力模型（图2）、PEST框架等。图2 波特五力模型在研究市场、用户时有马斯诺需求层次（图3），营销4P等。图3 马斯洛需求层次应该说在几乎所有领域里，通用性的问题都有前人的研究给出的分析框架来引导我们去拆分、分析问题。但是一方面根据上述框架拆分出的子问题仍然可能太大而不能马上着手操作，还需要进一步细分；另一方面在大部分个性化的具体问题上，还是需要自己来找到拆分问题的框架。而这个过程中就要遵循“逐层不漏不重”原则。“逐层”的意思是拆分问题要一步一步进行，每一步只分出同一层的子问题。比如将用户划分为男、女，男、女就是同一个层次的概念。如果把用户划分成了男、少女就错层了。少女是从女性中分出的一个子类，处在男、女的下一层。要保证同层，就是拆分问题时一层只能使用一个维度或一个标准（图4）。图4 用户的逐层划分示意“ ...继续阅读 (76)

引言：深入理解机器学习并完全看懂sklearn文档，需要较深厚的理论基础。但是，要将sklearn应用于实际的项目中，只需要对机器学习理论有一个基本的掌握，就可以直接调用其API来完成各种机器学习问题。本文选自《全栈数据之门》，将向你介绍通过三个步骤来解决具体的机器学习问题。sklearn介绍scikit-learn是Python语言开发的机器学习库，一般简称为sklearn，目前算是通用机器学习算法库中实现得比较完善的库了。其完善之处不仅在于实现的算法多，还包括大量详尽的文档和示例。其文档写得通俗易懂，完全可以当成机器学习的教程来学习。如果要说sklearn文档的重要性，个人觉得，应该可以与佛经中的《金刚经》相比。如果能将其当成《金刚经》一样来阅读，你的机器学习水平一定会有质的提升。一般初阅佛经，肯定会被其中的一些名词弄糊涂，就像初次阅读sklearn的文档一样，会被诸如training data、testing data、model select、cross validation等这样的词汇弄糊涂。但实际上，只要肯用心读，把这些基础概念弄明白，后续学习就比较容易了。sklearn必须要结合机器学习的一些基础理论来理解，就像佛经必须要结合一些佛法基础理论来理解一样。既然是通用的机器学习库，sklearn中包含了大量常用的算法。正如其介绍一样，基本功能主要分为6个部分：分类、回归、 ...继续阅读 (79)

引言：和 Hadoop 一样，Spark 提供了一个 Map/Reduce API（分布式计算）和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。 本文选自《SparkGraphX实战》。大数据对一些数据科学团队来说是 主要的挑战，因为在要求的可扩展性方面单机没有能力和容量来运行大规模数据处 理。此外，即使专为大数据设计的系统，如 Hadoop，由于一些数据的属性问题也很难有效地处理图数据，我们将在本章的其他部分看到这方面的内容。Apache Spark 与 Hadoop 类似，数据分布式存储在服务器的集群或者是“节点”上。 不同的是，Spark 将数据保存在内存（RAM）中，Hadoop 把数据保存在磁盘（机械 硬盘或者 SSD 固态硬盘）中。定义 ：在图和集群计算方面，“节点”这个词有两种截然不同的意思。 图数据由顶点和边组成，在这里“节点”与顶点的意思相近。在集群计算 方面，组成集群的物理机器也被称为“节点”。为避免混淆，我们称图的 节点为顶点，这也是 Spark 中的专有名词。而本书中的“节点”这个词我 们严格定义为集群中的单个物理计算节点。大数据因为数据量大单机无法处理。Hadoop 和 Spark 都是把数据分布在集群节点上的分 布式框架中。Spark 把分布式数据集存放在内存中， ...继续阅读 (75)

引言：Python标准库内容非常多，有人专门为此写过一本书。本文将选择几个呈现出来，一来显示标准库之强大功能，二来演示如何理解和使用标准库。sys是常用的标准库，已经不陌生了；copy也是已经用过的标准库。先从熟悉的入手，容易理解，这也是“杀熟”。本文选自《跟老齐学Python：轻松入门》。sys这是一个跟Python解释器关系密切的标准库，前面已经使用过：sys.path.append()。显示了sys的基本文档，第一句话概括了本模块的基本特点。在诸多sys函数和属性中，下面选择常用的来说明。1．sys.argvsys.argv是专门用来向Python解释器传递参数的，所以称为“命令行参数”。先解释什么是命令行参数。这里的--version就是命令行参数。如果使用python –help，则可以看到更多：这里只显示了部分内容，所看到的如-B、-h都是参数，比如python -h，其功能同上。所以，-h也是命令行参数。sys.arg的作用就是通过它向解释器传递命令行参数。比如：将上述代码保存，文件名是22101.py。然后如此操作：将结果和前面的代码做个对比。在$ python sys_file.py中，“sys_file.py”是要运行的文件名，同时也是命令行参数，是前面的python这个指令的参数，其地位与python-h中的参数-h是等同的。sys.argv[0]是第一个参数 ...继续阅读 (71)

引言：Spark由AMPLab实验室开发，其本质是基于内存的快速迭代框架，“迭代”是机器学习最大的特点，因此非常适合做机器学习。得益于在数据科学中强大的表现，Python语言的粉丝遍布天下，如今又遇上强大的分布式内存计算框架Spark，两个领域的强者走到一起，自然能碰出更加强大的火花（Spark可以翻译为火花），因此本文主要讲述了PySpark。 本文选自《全栈数据之门》。全栈框架Spark由AMPLab实验室开发，其本质是基于内存的快速迭代框架，“迭代”是机器学习最大的特点，因此非常适合做机器学习。 框架由Scala语言开发，原生提供4种API，Scala、Java、Python以及最近版本开始支持的R。Python不是Spark的“亲儿子”，在支持上要略差一些，但基本上常用的接口都支持。得益于在数据科学中强大的表现，Python语言的粉丝遍布天下，如今又遇上强大的分布式内存计算框架Spark，两个领域的强者走到一起，自然能碰出更加强大的火花（Spark可以翻译为火花），因此PySpark是本节的主角。 在Hadoop发行版中，CDH5和HDP2都已经集成了Spark，只是集成的版本比官方的版本要略低一些。当前最新的HDP2.4已经集成了1.6.1（官方最新为2.0），可以看出，Hortonworks的更新速度非常快，紧跟上游的步伐。 除Hadoop的Map-Reduce计算框架 ...继续阅读 (86)

引言：Python的强大体现在“模块自信”上，因为Python不仅有很强大的自有模块（标准库），还有海量的第三方模块（或者包、库），并且很多开发者还在不断贡献在自己开发的新模块（或者包、库）。本文将向大家概述介绍Python的自有模块——标准库。本文选自《跟老齐学Python：轻松入门》。“Python自带‘电池’”，这种说法流传已久。在Python被安装的时候，就有不少模块也随着安装到本地的计算机上了。这些东西就如同“电力”一样，让Python拥有了无限生机，能够轻而易举地免费使用很多模块。所以，称其为“自带电池”。那些在安装Python时就默认已经安装好的模块被统称为“标准库”。熟悉标准库是学习编程必须要做的事。引用的方式所有模块都服从下述引用方式，以下是最基本的，也是最常用的，还是可读性非常好的引用方式。importmodulename例如：>>> import pprint>>> a = {"lang":"python","book":"www.itdiffer.com","teacher":"qiwsir","goal":"from beginner to master"}>>pprint.pprint(a) {'book':'www.itdiffer.com','goal':'from beginner to master','lang':'python','teach ...继续阅读 (71)

引言：如果你在使用Java8，或者计划使用Java9，有很大可能是要么在评估G1垃圾收集器，要么已经在使用它。本文将从G1设计开始向您介绍系统介绍G1垃圾收集器如何工作，助您更加系统的学习了解G1。本文选自《Java性能调优指南》。G1设计G1将Java堆分成多个分区。分区的大小可以依据堆的尺寸而改变，但必须是2的幂，同时最小为1MB，最大为32MB。由此得出可能的分区尺寸是1 MB、2MB、4 MB、8 MB、16 MB和32MB。所有分区的大小都一样，在JVM运行过程中它们的尺寸也不会发生变化。分区尺寸是基于Java堆内存的初始值和最大值的平均数来进行计算的，这样对于这个平均堆尺寸就会有2000个左右的分区。举个例子，对一个16G的Java堆使用-Xmx16g -Xms16g命令行选项，G1就会选择采用16GB/2000 = 8MB的分区尺寸。如果Java堆内存初始值和最大值相差很远，或者这个堆内存的尺寸非常大，很有可能就会产生远超过2000个的分区。类似地，若堆内存很小，那分区数量会远远小于2000。每个分区都有一个关联的已记忆集合（remembered set，该集合用来记录跟踪分区外指向分区内的引用，简称RSet），这样就避免了对整个堆的扫描，使得各个分区的GC更加独立。RSet总体大小有限，但也不容忽 ...继续阅读 (89)

引言：G1垃圾收集器采用一个略微不同的手段来解决并行、串行以及CMS GC的众多缺陷。对于大的Java堆来说，通过将Java堆拆分成一个个分区，G1会比其他垃圾收集器有更好的综合表现。本文选自《Java性能调优指南》。G1垃圾收集器采用一个略微不同的手段来解决并行、串行以及CMS GC的众多缺陷。G1将堆拆成一系列的分区，这样在一个时间段内，大部分的垃圾收集操作就只是在一个分区内执行，而不是整个堆或整个（老年）代。在G1里，年轻代就是一系列的内存分区，这意味着不用再要求年轻代是一个连续的内存块。类似地，老年代同样也是由一系列的分区组成。这样也就不需要在JVM运行时考虑哪些分区是老年代，哪些是年轻代。事实上，G1通常的运行状态是映射G1分区的虚拟内存随着时间的推移在不同的代之间前后切换。一个G1分区最初被指定为年轻代，经过一次年轻代的回收之后，整个年轻代分区都被划入到未被使用的分区中，那它也就可以被使用在别的地方了。一个可用分区能被用于或指定为年轻代或老年代分区。很可能在完成一个年轻代收集之后，一个年轻代的分区在未来的某个时刻被用于老年代分区。同样地，在一个老年代分区完成收集之后，它就成为了可用分区，在未来某个时候作为一个年轻代分区来使用。G1年轻代的收集方式是并行stop-the-world。在垃圾收集线程执行过程中，并行stop-the-world回收将暂停所有Ja ...继续阅读 (74)

引言：数据工作就组成结构和流程来说还是比较简单的，因为这个工作本来就很年轻，分工还没有很细。总体来讲，我把数据工作看成相互连接的三部分：取数、理数、用数，这是一个闭环。用数的需求会驱动取数工作，并对取数工作提出具体操作性要求。《数源思维》一书正是以此本质为核心内容，提出了一套简便实用的方法来实现对数据工作价值的把控。取数取数工作解决的是数据源的问题，具体来讲是由下面的一系列工作组成：[1]设计并实现产品中取数的方法和规则[2]产品运行过程中，实时的或周期性的从产品端获取数据。[3]传输、接收、校验数据[4]格式化归档存储数据。经过取数工作后，就形成了由业务运行产生的原始数据。原始数据是极其丰富的，有很多种分类方法，而从用户的观点来看可以大致分为两种。一种是用户意识到的主动提供的，如注册数据，发表的文字等；另一种是用户不容易意识到的被动提供的，如上网IP地址，操作动作（像PC上的鼠标移动，手机上的滑动）。之所以用这个数据工作者不常用的维度来分类原始数据是想提醒产品经理在产品设计时也需要一点数据思维。能采用第二种方式得到数据，就不用第一种方式去麻烦用户。理数整理数据。这一步并不是必须的，尤其对初创企业来说，直接用原始数据是更经常的事。一方面因为初创时期的业务重点还不在于数据问题，另一方面也因为一些原始数据是结构化的，直接入数据库的，已经能用，比如用户注册数据 ...继续阅读 (75)

引言：TensorFlow是谷歌2015年开源的主流深度学习框架，目前已在谷歌、优步（Uber）、京东、小米等科技公司广泛应用。本文将通过TensorFlow游乐场来简单介绍神经网络的主要功能以及计算流程。本文选自《Tensorflow：实战Google深度学习框架》。本文将通过TensorFlow游乐场来快速介绍神经网络的主要功能。TensorFlow游乐场（http://playground.tensorflow.org）是一个通过网页浏览器就可以训练的简单神经网络并实现了可视化训练过程的工具。下图给出了TensorFlow游乐场默认设置的截图。TensorFlow游乐场界面截图从上图中可以看出，TensorFlow游乐场的左侧提供了4个不同的数据集来测试神经网络。默认的数据为左上角被框出来的那个。被选中的数据也会显示在上图中最右边的“OUTPUT”栏下。在这个数据中，可以看到一个二维平面上有黑色或者灰色的点，每一个小点代表了一个样例，而点的颜色代表了样例的标签。因为点的颜色只有两种，所以这是一个二分类的问题。在这里举一个例子来说明这个数据可以代表的实际问题。假设需要判断某工厂生产的零件是否合格，那么灰色的点可以表示所有合格的零件而黑色的表示不合格的零件。这样判断一个零件是否合格就变成了区分点的颜色。为了将一个实际问题对应 ...继续阅读 (70)

引言：数源思维是为非专业数据技术人员提供的一种有效利用数据解决问题的思维方法。这种方法的简单描述就是“从业务中来，回业务中去”。让非技术人员读懂数据、利用数据、还原数据背后的真实市场。在本文中，数源思维通过问、拆、解、谋四步就能将数据及其方法很好的融合到业务问题的解决中，从而将业务解题能力从经验时代提升到数据时代。本文选自《数源思维：业务导向的数据思维秘籍》。制定工作目标是各级各岗位的基础工作之一，可要做好却不简单。因为尽管制定原则说起来很简单——既可行又要有挑战，但可行与有挑战是两个方向相反的要求，所以它俩的交集空间本身就很小，要预测准确甚是困难。那该如何操作才能看上去比拍脑袋定目标更靠谱呢？先把问题提的更可操作些原始问题——目标值定多少？工作目标实际就是目标考核的对象或指标在时间轴上推移到特点时点（目标制定的周期，比如年度计划就是一年后的时点）上期望达到的结果。因此目标设定问题可以描述为目标考核对象在单位时间内的增量来表示，也就是以考核指标的增长速度来表示。这样我们就把原来对未来时点的目标区预测问题转化为了从眼前开始的增长率估计问题。这样对可行与挑战的估计难度就大大下降了。转换后的问题：目标速度定多少？这个问题里还有一个不确定的元素——目标。目标具体考核什么？就是考核指标定什么？再把问题提的更具体些我们不妨假设一个最复杂的情况，也就是一家新创立的企业 ...继续阅读 (80)

引言：Python是最好最热门的编程语言之一，以简单易学、应用广泛、类库强大而著称，是实现机器学习算法的首选语言。本文以人工神经网络的实战为例，证明需要深入理解算法的原理、优劣势等特点以及应用场景，以能达到应用自如的程度。本文选自《Python大战机器学习：数据科学家的第一个小目标》。在本次操作前，这里需要导入的包为：感知机学习算法的原始形式给出生成线性可分数据集的生成算法：参数■n：正类的样本点数量，也是负类的样本点数量。总的样本点数量为2n。返回值：所有的样本点组成的数组，形状为(2*n,4)。数组中的每一行代表一个样本点，由其特征x和标记y组成。其过程为：首先在z轴坐标为20 的上方生成n个随机点作为正类，在z轴坐标为10 的下方生成n个随机点作为负类。此时在平面z= 10, z= 20 作为隔离带。然后45度旋转x坐标轴，再返回这些点在新坐标轴中的坐标。注意这里混洗了数据，否则会发现数据集的前半部分都是正类，后半部分都是负类，需要混洗数据从而让正负类交叉出现。绘制数据集的函数为：参数■ax：一个Axes3D实例，负责绘制图形。■samples：代表训练数据集的数组，形状为(N,n_features+1)，其中N为样本点的个数，n_features代表特征数量（这里为3，表示三个特征）。plot_samples函数的用法为：然后给出感知机学习算法的原始形 ...继续阅读 (108)

引言：对技术而言，每一年的双11都是一场严峻的考验，从被流量冲击得溃不成军，被迫奋起抗击，到现在通过技术的力量不断改写双11的用户体验和参与感，阿里的技术伴随着双11成长起来，强壮起来，自信起来。对各位而言，希望大家可以从书中学习更多，掌握更多。本文选自博文视点与阿里巴巴集团联手推出的重磅新书《尽在双11——阿里巴巴技术演进与超越》，精彩片段抢先试读，不容错过。全链路压测被誉为大促备战的“核武器”。如果之前关注过阿里双11相关的技术总结，对全链路压测一定不会陌生，这个词的出场率几乎是100%，从对双11稳定性的价值来看，用“核武器”来形容全链路压测毫不为过。执笔人游骥：阿里巴巴中间件技术部高级技术专家，容量规划、全链路压测、线上管控等稳定性体系负责人；隐寒：阿里巴巴中间件技术部高可用架构技术专家，全链路压测负责人。背景历年的双11备战过程中，最大的困难在于评估从用户登录到完成购买的整个链条中，核心页面和交易支付的实际承载能力。自2009年第一次双11以来，每年双11的业务规模增长迅速，零点的峰值流量带给我们的不确定性越来越大。2010年，我们上线了容量规划平台从单个点的维度解决了容量规划的问题，然而在进行单点容量规划的时候，有一个前提条件：下游依赖的服务状态是非常好的。实际情况并非如此，双11 零点到来时，从CDN到接入层、前端应用、后端服务、缓存、存储 ...继续阅读 (82)

摘要： 对技术而言，每一年的双11都是一场严峻的考验，从被流量冲击得溃不成军，被迫奋起抗击，到现在通过技术的力量不断改写双11的用户体验和参与感，阿里的技术伴随着双11成长起来，强壮起来，自信起来。对各位而言，希望大家可以从书中学习更多，掌握更多。从2009年到2016年有一种“买买买”叫双11你我已熟知那激动人心的熬夜抢购那争分夺秒的零点瞬间……还有那刷新不出的页面和那挤爆了的服务器……八年演进、八年创新、八年突破这举世瞩目的双11，背后靠什么支撑？这八年阿里经历了哪些挑战与考验？又如何应对？这八年阿里收获了哪些经验与教训？又可否借鉴？这八年双11对阿里乃至整个社会的发展起到了哪些作用？……这一切的答案 ——尽 在 双 1 1 阿里巴巴集团双11技术团队 著由电子工业出版社博文视点与阿里巴巴集团联合出版的《尽在双11——阿里巴巴技术演进与超越》，现已开启预售！双11技术团队以双11为着眼点，从技术的角度，展示了阿里巴巴的演进、变革与发展，系统地阐述了阿里巴巴重要阶段的技术进步历程，通过阿里领先的交易、支付、物流系统，以及强大的计算平台、海量数据、智能算法和一系列的方案案例，揭秘世界奇迹双11背后的“故事”。 “双 11”，诞生于杭州，成长于阿里，风行于互联网，成就于新经济，贡献于全世界。双11驱动阿里电商架构体系不断迭代升级双11促进阿里建立世界领先的稳定性保障体 ...继续阅读 (78)

引言：随着AlphaGo战胜李世石，人工智能和深度学习这些概念已经成为一个非常火的话题。人工智能、机器学习与深度学习这几个关键词时常出现在媒体新闻中，并错误地被认为是等同的概念。本文将介绍人工智能、机器学习以及深度学习的概念，并着重解析它们之间的关系。本文将从不同领域需要解决的问题入手，依次介绍这些领域的基本概念以及解决领域内问题的主要思路。本文选自《Tensorflow：实战Google深度学习框架》。从计算机发明之初，人们就希望它能够帮助甚至代替人类完成重复性劳作。利用巨大的存储空间和超高的运算速度，计算机已经可以非常轻易地完成一些对于人类非常困难，但对计算机相对简单的问题。比如，统计一本书中不同单词出现的次数，存储一个图书馆中所有的藏书，或是计算非常复杂的数学公式，都可以轻松通过计算机解决。然而，一些人类通过直觉可以很快解决的问题，目前却很难通过计算机解决。这些问题包括自然语言理解、图像识别、语音识别，等等。而它们就是人工智能需要解决的问题。计算机要像人类一样完成更多智能的工作，需要掌握关于这个世界海量的知识。比如要实现汽车自动驾驶，计算机至少需要能够判断哪里是路，哪里是障碍物。这个对人类非常直观的东西，但对计算机却是相当困难的。路有水泥的、沥青的，也有石子的甚至土路。这些不同材质铺成的路在计算机看来差距非常大。如何让计算机掌握这些人类看起来非常直观的常识，对于人工智能的发展 ...继续阅读 (76)

引言：自TensorFlow于2015年底正式开源，距今已有一年多，不久前，TensorFlow正式版也发布了。这期间TensorFlow不断给人以惊喜，推出了分布式版本，服务框架TensorFlowServing，可视化工具TensorFlow，上层封装TF.Learn，其他语言（Go、Java、Rust、Haskell）的绑定、Windows的支持、JIT编译器XLA、动态计算图框架Fold，以及数不胜数的经典模型在TensorFlow上的实现（InceptionNet、SyntaxNet等）。在这一年多时间，TensorFlow已从初入深度学习框架大战的新星，成为了几近垄断的行业事实标准。目前看来，对于人工智能这个领域依然有不少怀疑的声音，但不可否认的是，人工智能仍然是未来的发展趋势。本文整理了黄文坚和唐源两位老师在开源中国高手问答中一些与TensorFlow相关的精彩问答，主要分为以下几类。TensorFlow之入门篇TensorFlow之性能篇TensorFlow之适用场景TensorFlow之实战篇其他相关的问题一、TensorFlow之入门篇1.没接触过，刚了解了一下，这个东西就是把某种东西用数据描述出来，然后用一些样本告诉机器它是什么，或者要对他进行什么操作，训练后，机器就能告诉我们输入的数据是什么，或者自动的进行操作吗？比如输入一堆图片告诉他哪个是猫，以后它就能自 ...继续阅读 (88)

摘要： 微信浏览器是在微信安装时内置在微信中的，针对浏览器的类型我们可以设置相应的安全策略——仅允许在微信内置浏览器中打开。本文选自《微信企业号开发完全自学手册》。1 JSAPI模式介绍在介绍JSAPI模式之前，首先需要介绍一下微信内置浏览器。可能很多人注意到了，在打开微信“朋友圈”链接的时候会出现进度条，如图5.1所示，这实际上就是微信内置浏览器访问页面的进度。也就是说，“朋友圈”是通过微信内置的浏览器访问的手机页面，并且微信浏览器是在微信安装时内置在微信中的。微信内置浏览器进度条注意：iPhone（苹果）和Android（安卓）的微信内置浏览器不同，安卓手机上的微信使用的是QQ浏览器X5内核，苹果手机上的微信使用的则是Safari浏览器。JSAPI模式是通过调用微信JS-SDK开发手机Web页面的模式，本质上亦是开发B/S（Browser/Server，浏览器/服务器模式）服务，只是业务上较以往的PC业务更加方便，功能上也稍具差异。在微信JSAPI模式下，不仅可以调用微信拍照、选图、语音、位置等手机功能，还可以实现微信分享、扫一扫等微信特有的功能，同时，可以使用HTML5完成页面效果的丰富，实现更加完美的用户体验。2 浏览器类型安全访问针对浏览器的类型我们可以设置相应的安全策略—仅允许在微信内置浏览器中打开。通过ServletActionContext.getRequest() ...继续阅读 (68)

摘要： 昨天的推送中，我们阐述了数据连接的进入阶段。本文中，我们学习一下其更新和退出机制。 本文选自《图说D3：数据可视化利器从入门到进阶》。让我们回到之前那个“怪咖”Frank那里，重新审视一下他的那些小报封面数据，看一下Frank手头前3个月的数据，以及我们之前做过的事情。到目前为止，我们只让1月的数据“进入”页面，并渲染出一系列文本元素。让文本进入页面。页面上有文本元素，每个都表示janData中的一个数据点。现在我们要更新页面，显示2月的数据。就像“进入”一样，我们选中页面上的文本元素，并用data()方法调用数据连接。区别在于，这次页面上已经有文本元素了。所以，我们要将数据绑定到已经存在的数据上，而不是创建新的元素。这就是“更新”。我们使用新的数据更新元素。现在，由于新数据被绑定到元素上，我们可以通知页面顶部的文本读取“Jennifer Aniston”，而不是“Angelina Jolie”（将在后面的章节描述具体细节）。注意，此处并没有update()的方法。通过enter()方法调用，你创建了一个特殊的对象占位集，每一个占位表示数据集中一个尚未绑定的数据点。但是，为了更新页面上已有的元素，你并不需要这么做。只要创建这些元素的选择集，就可以通知它们基于最新绑定的数据进行渲染了。你可能会很好奇，上图中那个很醒目的问号是什么？其存在的理由是：2月的数据有5个点，而1月只有 ...继续阅读 (75)

引言：数据连接是D3中的面包和黄油。D3不提供制图的基础函数，相反，它靠的是数据连接。数据连接可以让页面元素进入网页，一旦进入，可以修改、更新及退出。本文将主要介绍“进入”部分。本文选自《图说D3：数据可视化利器从入门到进阶》。什么是数据连接顾名思义，数据连接肯定是将数据和某些东西连接起来。这些东西是网页上的一个或一组——< rect>、< circle>、< div>等所有值得怀疑的常见元素。具体一点，就是这些常见元素的一个D3选择集。在深入了解之前，让我们忘记D3一会儿。现在，想象有一幅可交互的图形，可以是你以前看到过的、自己写的或者刚刚想象出来的，其中有一些代表数据的图形及一些用来控制某些数据显示与否的按钮。当你点击这些按钮，图形会发生变化：位置偏移了，发光或者闪烁，颜色也变了，甚至可以一起从屏幕中飞出——要多疯狂有多疯狂。现在，不管你的图形多么复杂，包含了多少数据，从基础层面看，涉及的这些形状（或线、文本标签、颜色及纹理）都只是在做以下3件事情。显示在页面上——没有数据和图形就不可能有数据可视化，所以图形需要显示出来。变换——当你点击按钮或调整滑块，图形的属性会按你想看到的最新数据进行更新。离开页面——有时，如果一个或多个图形表示的数据不再有效，其会从页面完全移除。就是这样的3件事情。一个交互式图形就像一座剧院，当演出的时候，演员进入舞台，表演节目，然后退场。 ...继续阅读 (74)

引言：Druid作为一款开源的实时大数据分析软件，自诞生以来，凭借自己优秀的特质，不仅逐渐在技术圈收获了越来越多的知名度与口碑，并且陆续成为了很多技术团队解决方案中的关键一环，从而真正在很多公司的技术栈中赢得了一席之地。本文通过对小米公司技术团队对Druid 的实践案例与经验的介绍，让大家对Druid有更加全面和深入的了解，希望能够帮助你事半功倍地学习Druid 这项年轻的技术。本文选自《Druid实时大数据分析原理与实践》。小米公司正式成立于2010 年4 月，是一家专注于高端智能手机、互联网电视以及智能家居生态链建设的创新型科技企业。“让每个人都能享受科技的乐趣”是小米公司的愿景。小米公司应用互联网模式开发产品，用工匠精神做产品，用互联网模式节省了中间环节，致力于让全球每个人都能享用来自中国的优质科技产品。小米大云平台技术架构示意图Druid 在数据分析层帮助实时收集海量的事件数据，快速进行商业分析，在多个场景中都有应用。这里介绍Druid 在小米统计产品和小米广告平台中的部分技术实践。场景一：小米统计服务小米统计是小米为App 开发者提供的移动应用数据统计服务，帮助开发者通过数据了解应用发展状况、渠道推广效果和用户参与情况等信息，使开发者可以更好地优化体验和运营，促进产品不断发展进步。小米统计的入口是tongji.xiaomi.com，服务界面如下。小米统计服务界面实时的数据 ...继续阅读 (78)

引言：集群利用率100%意味着什么？从某种意义上来说，Mesos集群上没有任何空闲资源时，就可以说达到了100%的利用率。 但是，即使某个框架为某个任务（比如一个web服务器）预留了资源，该任务可能并不会完全使用所有这些资源。实际上，在大多数集群上，实际使用率仅仅有10%～30%。为了解决这个问题，Mesos推出了超配特性。该特性允许Mesos集群自动使用预留但是未使用的资源。 本文选自《用Mesos框架构建分布式应用》。Mesos超配特性是基于Google的Heracles系统，是解决低实际使用率问题的方案。 要理解超配，首先需要定义slack。slack是指认为被使用了的资源和实际使用的资源之间的差。 CPU、内存的分配slack和使用slack降低slack是所有人的共同目标：slack纯粹是浪费，这里的资源本来可以做一些有产出的事情，却白白空闲着。Mesos集群里有两种类型的slack：分配slack分配slack（allocation slack）是集群上的可用资源和框架预留资源之间的差。Mesos从设计上就可以高效解决这一类型的slack，通过向所有连接着的框架重复重新提供资源来实现。这样，如果某个框架不需要或者无法利用某些资源，其他框架就有机会使用这些资源。一些框架，比如Spark，通过启动很多使用少量资源的小型任务来利用这一点，这样它们能够在很多机器上得到很小的资源 ...继续阅读 (80)

摘要： 上期我们介绍了“微天气”的API与界面代码编写，今天我们继续介绍逻辑层代码以及查询代码的编写。 本文选自《从零开始学微信小程序开发》。编写逻辑层代码由于在index.js中还没有设置初始化数据，所以在界面中看不到具体的数据，从而也导致界面的效果没达到设置的要求。接下来就编写逻辑层代码index.js，为了检查界面设计效果，首先编写初始数据，然后再逐步深入地编写其他相关业务逻辑代码。1 编写数据初始化代码在index.wxml中编写了很多数据，因此需要在index.js中先把这些数据进行初始化，然后在开发工具的模拟器中就可预览结果。打开index.js文件，删除原来的内容，重新编写以下代码：Page({data: {weather:{wendu:18,ganmao:'昼夜温差较大，较易发生感冒，请适当增减衣服。体质较弱的朋友请注意防护。',yesterday:{date:'17日星期四',type:'阴',fx:'南风',fl:'微风级',low:'低温 8℃',high:'高温 16℃'},forecast:[ {date:'18日星期五',type:'阴',high:'高温 16℃',low:'低温 8℃',fengxiang:'南风',fengli:'微风级'},{date:'18日星期五',type:'阴',high:'高温 16℃',l ...继续阅读 (66)

引言：在智能手机软件的装机量中，天气预报类的APP排在比较靠前的位置。说明用户对天气的关注度很高。因为人们无论是工作还是度假旅游等各种活动都需要根据自然天气来安排。跟着本文开发一个“微天气”小程序，方便微信网友随时查看天气。接下来两天小编将同您一起开发一个“微天气”小程序，本文首先向大家介绍“微天气”的API与界面代码编写。本文选自《从零开始学微信小程序开发》。在一套软件系统中，微信小程序通常是作为前端来使用的，一般还需要有后端的系统提供支持，这就需要开发者（或运营者）购买云服务器（或有自己的独立主机），将后端系统部署其上。对于很多初学者来说，这些条件不容易达到。但我们可以选择使用在线免费API接口，开发者只需要编写好前端系统（微信小程序），在前端系统中直接调用这些免费API即可获得相应的数据。1 天气预报API要开发天气预报类APP，首先要考虑的问题就是天气预报数据的来源。有了天气预报的数据来源，才能按需要在微信小程序中显示出来。其实，微信小程序就是一个显示天气信息的前端系统，而天气预报API就是后端系统。由于天气预报API可以在网上免费获取，因此，本案例中开发者不需要开发后端系统，只需要根据API的要求进行访问即可。中华万年历的天气预报接口中华万年历的天气预报接口地址如下：http://wthrcdn.etouch.cn/weather_mini?city=北京该接口很简单，只 ...继续阅读 (67)

摘要： D3是一个开源的JavaScript程序库。它对设计师来说很友好，因为它能让设计师使用SVG这种常见的图形格式进行创作。它对程序员来说也很合适，因为它是兼容Web标准的。下面让我们开启D3，聊聊这个在Web上实现数据可视化最牛的工具。 本文选自《图说D3：数据可视化利器从入门到进阶》。D3，即“Data Driven Documents”（数据驱动文档）的缩写，是由才华横溢的Mike Bostock编写的一个JavaScript程序库。D3名副其实，能将数据绑定到Web文档，然后基于数据来操纵那些文档。酷吧，但是这又能做什么呢？我们先从D3是JavaScript编程库这件事说起。D3不是像Adobe Illustrator那样需要下载下来使用的软件，也不是类似R语言那样可以通过命令行工具来分析和生成图表的开发环境，更不是像Google Charts或Tableau Public那样能让你登录一个站点、插入一些数字然后就能生成股票图形的工具。换言之，就像每个用其他语言开发的扩展包一样，D3完全就是一个开源的JavaScript扩展。D3扩充了JavaScript的能力，特别是在数据可视化方面非常有用。如果你是一个编程新手，这个答案可能让你感到不太满意。什么是程序库？物理上这个库里面又包含了哪些东西？答案是：一堆函数和方法（非常像函数的东西）。函数和 ...继续阅读 (67)

摘要： Mesos为很多不同的用户场景都提供了精妙的，考虑周全的API。持久化卷是由新的acceptOffers API引入的特性。持久化卷让用户可以为Mesos构建数据库框架，Mesos可以在任何不可预见的故障和错误发生并且影响整个系统时，使数据持久化。本文选自《用Mesos框架构建分布式应用》。直到最近，Mesos都仅仅能够运行无须向磁盘存储数据的服务。这是因为没有方法预留所需的磁盘块。从Mesos 0.23版本开始，可以预留磁盘了。我们可以将Mesos当作一个部署系统。如果MySQL数据库能够自动将自身备份，并且按需创建新的副本，是不是很好呢？或者如果拥有一个简单的，自服务的REST API，能够创建新的Riak和Cassandra集群，又会怎么样呢？为Mesos构建数据库框架的工作从2014年就开始了。这些框架的问题是每个主机都必须创建特别的数据分区，并且在Mesos之外加以管理。使用持久化卷，类似Apache Cotton（MySQL所用）以及Cassandra和Riak Mesos框架的项目就都能够独立启动和维护了。在Mesos的设计里，磁盘空间是短暂的，并且是按任务隔离的。这通常是一件好事，除非用户想要持久地保存数据。要解决这个问题，Mesos引入了一个新的磁盘资源的子类型，称为volume。volume是分配给一个任务的磁盘块，并且挂载在特定位置。完成 ...继续阅读 (70)

摘要： 众所周知，Mesos全面支持Docker。但是这意味着什么呢？在命令行里运行docker run...就可以使用Docker了。还需要做什么？让我们一起研究下Mesos的高级特性——和Docker的集成。本文选自《用Mesos框架构建分布式应用》。因为Docker本身想管理整个容器，从chroot、命名空间到整个命名空间的cgroup，它会和默认的Mesos容器发生冲突。因此，Mesos添加了容器机的支持，一种可插拔的机制，让Mesos的容器机子系统可扩展：最初Mesos的基于 LXC/cgroup的容器被引入到容器机API里，Docker是添加的第一个新的容器机，现在也有了全面的文档协议，介绍如何添加新的容器机，比如KVM虚拟机。使用Docker为了使用Docker容器机技术，必须将其包含进Mesos slave的命令行里。比如，mesos-slave --containerizers=docker,mesos...允许在该台slave上使用Docker和Mesos容器。可能还想增加执行器的注册超时时间，这样Mesos不会在容器还在下载的时候就认为容器发生了故障。一开始可以设成五分钟，确保有足够的时间下载Docker镜像。所以，slave命令行类似：mesos-slave--containerizers=docker,mesos \--executor_re ...继续阅读 (65)

引言：“架构”是前端开发中一直以来都缺少的。由于近几年Web应用日趋复杂，前端架构开始流行起来。成熟的工具使得开发人员可以针对要解决的问题设计出可扩展的架构。构建可扩展的软件，可以从很多角度来思考软件架构。但是如果每个角度都去考虑，根本不可能做出想要的软件。这就是为什么需要从架构的角度对设计进行取舍：取我们最需要的，舍次要的。本文选自《大型JavaScript应用最佳实践指南》。确定不可变内容在做出取舍之前有一点很重要：列出那些不能舍弃的需求——我们的设计的哪些方面对实现可扩展是至关重要的、不能改变的。比如，被渲染页面中的实体个数或者函数间接调用的最大深度就不能改变。虽然不可变的内容不会太多，但是它们确实存在。最好的办法是缩小这些内容的作用范围，减少它们的数量。如果有太多严格的设计原则不能被打破或改变以迎合需求，就不能更好地适应不断变化的可扩展性影响因素。考虑到可扩展性影响因素的不可预测性，无法改变的设计原则是否还有意义？答案是肯定的，但只有在它们浮现出来，并且显而易见时才成立。所以这可能不是前期的原则，虽然我们经常要遵守至少一两个前期原则。这些原则可能是从早期代码重构或后期软件的成功中总结出来的。在任何情况下，这些不可改变的内容必须明确下来，并和所有相关人员达成一致。从开发的便捷性考虑性能性能上的瓶颈需要在一开始就被修复或避免。一些性能瓶颈是显而易见的，会对用户体验 ...继续阅读 (58)