原文链接译者：小村长本项目是 Apache Spark1.6.1方文档的中文翻译版，之前翻译过spark1.5，由于网站有组织翻译Spark1.6.1所以我又重新翻译了一下，我翻译的这一章和spark1.5一样。本次翻译主要针对对Spark感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料，希望能够对大家的工作和学习有所帮助。这个翻译本应该在二月份完成，由于一直出差加上加班导致短短一篇文章迟迟没有完成，在此想大家表示深深的歉意。同时也希望有能力的童鞋能够一起努力推动大数据在中国的发展，让天下没有难学的技术谢谢大家。 Quick Start交互分析(Interactive Spark ShellAnalysis with the Spark Shell)基础(Basics)RDD上更多操作(More on RDD Operations)缓存Caching独立应用(Self-Contained Applications)下一章(Where to Go from Here)本篇文章介绍了Spark快速入门. 我们将第一次通过Spark的Shell介绍API(通过 Python 或Scala), 然后展示怎么通过Java,Scala和Python写应用. 看编程指南了解更多信息.跟着下面指导, 第一步下载安装包从Spark官方网址. 我们不会使用HDFS,你可以下载一个匹 ...继续阅读 (15)

原文链接译者：小村长本项目是 Apache Spark1.6.1方文档的中文翻译版，之前翻译过spark1.5，由于网站有组织翻译Spark1.6.1所以我又重新翻译了一下，我翻译的这一章和spark1.5一样。本次翻译主要针对对Spark感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料，希望能够对大家的工作和学习有所帮助。这个翻译本应该在二月份完成，由于一直出差加上加班导致短短一篇文章迟迟没有完成，在此想大家表示深深的歉意。同时也希望有能力的童鞋能够一起努力推动大数据在中国的发展，让天下没有难学的技术谢谢大家。Quick Start交互分析(Interactive Spark ShellAnalysis with the Spark Shell)基础(Basics)RDD上更多操作(More on RDD Operations)缓存Caching独立应用(Self-Contained Applications)下一章(Where to Go from Here)本篇文章介绍了Spark快速入门. 我们将第一次通过Spark的Shell介绍API(通过 Python 或Scala), 然后展示怎么通过Java,Scala和Python写应用. 看编程指南了解更多信息.跟着下面指导, 第一步下载安装包从Spark官方网址. 我们不会使用HDFS,你可以下载一个匹配任何Had ...继续阅读 (15)

原文地址译者：Tyrian依赖机制是Maven最为用户熟知的特性之一，同时也是Maven所擅长的领域之一。单个项目的依赖管理并不难，但是当你面对包含数百个模块的多模块项目和应用时，Maven能帮你保证项目的高度控制力和稳定性。大纲：传递性依赖排除、可选依赖依赖范围依赖管理导入依赖系统依赖传递性依赖传递性依赖是Maven2.0的新特性。假设你的项目依赖于一个库，而这个库又依赖于其他库。你不必自己去找出所有这些依赖，你只需要加上你直接依赖的库，Maven会隐式的把这些库间接依赖的库也加入到你的项目中。这个特性是靠解析从远程仓库中获取的依赖库的项目文件实现的。一般的，这些项目的所有依赖都会加入到项目中，或者从父项目继承，或者通过传递性依赖。传递性依赖的嵌套深度没有任何限制，只是在出现循环依赖时会报错。传递性依赖会导致包含库的依赖图增长的非常大。为了解决这个问题，Maven也提供了额外的机制，能让你指定哪些依赖会被包含：依赖调解 – 当项目中出现多个版本构件依赖的情形，依赖调解决定最终应该使用哪个版本。目前，Maven 2.0只支持“短路径优先”原则，意思是项目会选择依赖关系树中路径最短的版本作为依赖。当然，你也可以在项目POM文件中显式指定使用哪个版本。值得注意的是，在Maven2.0.8及之前的版本中，当两个版本的依赖路径长度一致时，哪个依赖会被使用是不确定的。不过从Mav ...继续阅读 (40)

原文地址译者：刘小刘仓库介绍仓库Maven中的仓库用来存放生成的构建和各种依赖。严格说来只有两种仓库：本地和远程。本地仓库指本机的一份拷贝，用来缓存远程下载、包含你尚未发布的临时构件。远程仓库指通过各种协议如file://和http://访问的其它类型的仓库。这些仓库可能是第三方搭建的真实的远程仓库，用来提供他们的构件下载（例如repo.maven.apache.org和uk.maven.org是Maven的中央仓库）。其它“远程”仓库可能是你的公司拥有的建立在文件或HTTP服务器上的内部仓库，用来在开发团队间共享私有构件和管理发布。本地和远程仓库有着相同的结构，所以脚本可以很容易地在两边运行，或同步仓库供离线使用。不过，一般情况下，仓库内部的布局对Maven用户是完全透明的。为什么不把JAR存在CVS？不推荐将jar存储到CVS。Maven强调用户本地仓库的概念，在本地仓库中jar或其它任何工程构件可以被存储和任意构建使用。许多工程依赖共同的组件如XML解析器和标准实用工具等，典型的构建中这些会重复复制，使用Maven这些标准组件可以在本机存储并被任意构建共享使用。这样做有以下优点：更少的存储– 当一个仓库非常大的时候，由于每个JAR只存储一份它实际上节省了空间，尽管看起来不是这样。（译者注：仓库通常很大很占空间，但存储一份JAR相比存储多份确实节省了空间）检出工程更 ...继续阅读 (27)

原文链接译者：logan尽管很少存在这样的情况，有时在你的构建过程中，需要将第三方jar包添加到本地仓库中，因为它并存在于像Maven中央仓库或其它的公共仓库中。为了让Maven能够正确获取到jar包，第三方jar包必须放置到本地仓库的正确位置上。Maven已经提供了maven-install-plugin这样的插件能够使Jar包的安装过程更加容易、更少出错。可以用下面的命令安装一个JAR包到本地仓库。mvn install:install-file -Dfile= -DgroupId= -DartifactId= -Dversion= -Dpackaging=如果也有pom文件的话，你可以使用下面的命令安装：mvn install:install-file -Dfile= -DpomFile=maven-install-plugin的2.5版本使安装过程更加好用，如果jar包是通过Maven构建的，它会在目录META-INF的子文件夹下创建一个pom.xml文件，这个Jar包会被默认读取。在这种情况下，你只需要这么做：mvn install:install-file -Dfile=原创文章，转载请注明：转载自并发编程网 – ifeve.com本文链接地址:Maven安装第三方Jar包到本地仓库 ...继续阅读 (26)

原文链接简介这节主要讨论了可选的依赖排除功能。这将帮助用户理解它们是什么，怎么使用它们，它们是怎么工作的，和使用它们的最好的方式。同样也解释了为什么排除是在每个依赖的基础上，而不是在POM级别。可选的依赖当不可能把一个项目分裂成子模块（不管什么原因）的时候，我们可以使用可选的依赖。它的思想就是：在项目中一些依赖仅仅被某些功能使用，并且如果这个功能不被使用，这个依赖就不需要。理想情况下，根据核心的功能性项目，一个功能被分成子模块… 如果你决定使用子模块的功能，因为你必须需要他们的全部，所以新的子项目仅仅有不可选的依赖。然而，因为这个项目不可能被分成子模块，所以这些依赖被声明成可选的。如果一个用户想要使用和一个可选的依赖相关的功能，他们将不得不在他们自己的项目中重新声明可选的依赖。用这种方法处理这种情况不是的最好的方式，但是可选的依赖和依赖排除也是一个权宜的解决办法。为什么使用可选的依赖？声明可选的依赖，重点不是为了节省空间/内存，因为这些jar最后可能被打进一个WAR、EAR、EJB等，重点是当一个用户为了使用一个项目时来控制实际的依赖列表。包含了一个错误的jar可能会违反一个许可协议，引起环境变量问题等。怎么使用可选的标签？在你的依赖声明中，通过简单的设置<optional> 标签为true，一个依赖就被声明为可选的。一个简单的示例：<project& ...继续阅读 (18)

原文链接译者：小村长Hadoop–小文件存储处理本篇文章项目是Cloudera论坛中无意中看到的，虽然原文写于2009年，但是当前开来Hadoop的小文件存储方案并没有很好的解决方案，所以感觉作者写的很好，也很详细，于是就抽空翻译了。本次翻译主要针对对Hadoop感兴趣和工作中使用到Hadoop的开发人员提供有价值的中文资料，希望能够对大家的工作和学习有所帮助。由于我英语水平有限，部分翻译虽能了解其大意，但是却没法很好的表达出来，所以有些地方翻译的不是很好。同时也由于能力见识有限，翻译过程中难免出现个人的主观或者客观原因导致与原文档有差异。在此，我还是建议有能力的童鞋能够自己去原文看看，同时如果大家发现更好的关于Hadoop小文件处理的文件，也建议大家提出来与大家一同分享。 小文件问题February 2, 2009By Tom White32 CommentsCategories:GeneralHadoopmore在Hadoop中小文件是一个大问题 — 或者说, 至少, 他们在用户的讨论区域是比较热门的话题. 在这篇文章中我将直面这个问题, 并提出一些常见的解决方案.在HDFS中的小文件问题这里讨论的小文件指的是那些在HDFS中小于HDFS块大小(默认是64M)的文件. 如果你存储了很多这种小文件, 或者你有很多这种小文件 (如果你并没有使用Hadoop), 这里讨论的 ...继续阅读 (15)

spark-1.6.0原文地址Spark调优由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存（storing RDDs in serialized form）。本文将主要涵盖两个主题：1.数据序列化（这对于优化网络性能极为重要）；2.减少内存占用以及内存调优。同时，我们也会提及其他几个比较小的主题。 数据序列化序列化在任何一种分布式应用性能优化时都扮演几位重要的角色。如果序列化格式序列化过程缓慢，或者需要占用字节很多，都会大大拖慢整体的计算效率。通常，序列化都是Spark应用优化时首先需要关注的地方。Spark着眼于要达到便利性（允许你在计算过程中使用任何Java类型）和性能的一个平衡。Spark主要提供了两个序列化库：Java serialization: 默认情况，Spark使用Java自带的ObjectOutputStream 框架来序列化对象，这样任何实现了java.io.Serializable接口的对象，都能被序列化。同时，你还可以通过扩展java.io.Externalizable来控制序列化性能。Java序列化很灵活但性能较差，同时序列化后占用的 ...继续阅读 (6)

原文网址：The POM什么是POM？POM(project object modal)包含了工程信息和工程的配置细节，Maven使用POM文件来构建工程。POM文件包含了工程中的大部分默认值。举个例子，target是默认的构建目录，src/main/java是默认的源码目录，src/test/java是默认的测试源码目录，等等。Maven2中的pom.xml就是Maven1中的project.xml。相比于在maven.xml中包含可执行的goal，现在goals和plugins都可以在pom.xml中配置。当执行一个task或者goal时，Maven会在当前目录下寻找并读取pom.xml来获取配置信息，然后执行goal。能在pom.xml中声明的配置包括工程依赖(project dependencies)，插件(plugins)，可执行的目标(goals)，构建配置(build profiles)等等。其他信息，比如工程版本，描述，开发者，邮件列表等等也可以在pox.xml中声明。Super POMSuper POM是Maven的默认POM文件，除非你显示的声明继承关系，否则所有的POM文件都是在Super POM的基础上的扩展，也就是说，Super POM中的的配置会被你的工程中创建的pom.xml继承。Maven 2.0.x中的Super POM代码如下：<proje ...继续阅读 (20)

原文地址SLF4J迁移者SLF4J迁移者是一个很小的Java工具，用于将Java源文件从Jakata Commons Logging(JCL)迁移到SLF4J。它也能将文件从log4j迁移到SLF4J，或者从java.util.logging API到SLF4J。SLF4J迁移者包括一个独立的jar文件，可以像独立运营的java应用一样运行。命令如下：Java –jar slf4j-migrator-1.7.21.jar一旦应用运行了，一个像下面的窗口会显示：此应用的使用应该是一目了然的。请注意迁移工具只是原地替换java文件，这意味着将没有已修改文件的备份。在使用SLF4J迁移者前，你有义务备份你的文件。限制SLF4J迁移者作为一个简单的工具，用于帮你将使用JCL,log4j或JUL的项目文件迁移到SLF4J。它只能进行基本的转换步骤。本质上来说，它将替换适当的导入行（import lines）和日志器声明（logger declarations）。MyClass是个使用JCL的简单类，替换前如下：package some.package; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; public MyClass { Log logger = L ...继续阅读 (7)

spark-1.6.0[原文地址]Spark编程指南概述总体上来说，每个Spark应用都包含一个驱动器（driver）程序，驱动器运行用户的main函数，并在集群上执行各种并行操作。Spark最重要的一个抽象概念就是弹性分布式数据集（resilient distributed dataset – RDD），RDD是一个可分区的元素集合，其包含的元素可以分布在集群各个节点上，并且可以执行一些分布式并行操作。RDD通常是通过，HDFS（或者其他Hadoop支持的文件系统）上的文件，或者驱动器中的Scala集合对象，来创建或转换得到；其次，用户也可以请求Spark将RDD持久化到内存里，以便在不同的并行操作里复用之；最后，RDD具备容错性，可以从节点失败中自动恢复数据。Spark第二个重要抽象概念是共享变量，共享变量是一种可以在并行操作之间共享使用的变量。默认情况下，当Spark把一系列任务调度到不同节点上运行时，Spark会同时把每个变量的副本和任务代码一起发送给各个节点。但有时候，我们需要在任务之间，或者任务和驱动器之间共享一些变量。Spark提供了两种类型的共享变量：广播变量和累加器，广播变量可以用来在各个节点上缓存数据，而累加器则是用来执行跨节点的“累加”操作，例如：计数和求和。本文将会使用Spark所支持的所有语言来展示Spark的特性。如果你能启动Spark的交互 ...继续阅读 (11)

原文地址通常，有些组件取决或依赖Logging API，而不是SLF4J。你也可以假设不久的将来这些组件不会转变成SLF4J。为了处理这种情况，SLF4J装载了几个可以重定向调用的桥接模块，这些模块使得log4j, JCL and java.util.logging APIs表现得仿佛他们是SLF4J的代替。下图阐述了这个想法。请注意在你控制下的源代码，你真得应该用slf4j-migrator。本页所描述的基于二进制的解决方案是适合超出你控制范围的软件。从Jakarta Commons Logging(JCL)逐渐迁移到SLF4Jjcl-over-slf4j.jar为了简易从JCL到SLF4J的迁移，SLF4J分步包含了jar文件jcl-over-slf4j.jar。这个jar文件是用来替代JCL1.1.1版本的。它实现了JCL的公共API，但它用的是SLF4J的底层，因此命名为“SLF4J上的JCL”.SLF4J上的JCL实现允许你逐渐迁移到SLF4J，特别是如果一些软件依赖包在可见的将来继续使用JCL.你可以立即享受SLF4J可靠性的益处，同时也保持向后兼容性。只需将common-logging.jar替换为jcl-over-slf4j.jar。随后，底层日志框架的选择将由SLF4J完成而不是JCL,但 [没有折磨JCL类加载的头疼]。底层日志框架可以是任何SLF4J支持的框架 ...继续阅读 (102)

原文地址译者：刘小刘本文漫谈java中的日志：以前怎样使用日志，以及类似SLF4J的库为我们带来了什么。日志是创建软件时的基本需求之一，常见的用例如：软件开发过程中的调试生产环境下诊断bug出于安全目的而跟踪访问创建统计使用的数据等等无论用途为何，日志都应该是详尽、可配置和可靠的。历史在早期，java日志使用System.out.println(), System.err.println() 或 e.printStackTrace()。调试信息输出到标准输出System.out，错误信息输出到标准错误System.err。在生产环境中，二者都被重定向：前者重定向到null（注：不输出），后者重定向到需要的日志文件。这种做法够用但有很大的缺点：不可配置。它是个是或否的开关，要么全记录要么完全不，不能在某一层或某个包上关注具体的日志。Log4J充当了救星，它满足了人们对日志框架的几乎所有需求。它引入了许多日志框架中今天仍在使用的概念（它是我首个使用的框架所以请原谅我若某个概念其实不是它发明的）：Logger的概念,每个logger可以单独配置Appender的概念,每个appender可以将日志输出到它想要的任何地方（文件、数据库、消息等等）Level的概念,开发人员可以单独配置是否输出每条日志之后，Sun意识到需要在JDK中提供日志特性，它没有直接使用Log4J，而是模仿Log4J创 ...继续阅读 (8)

spark-1.6.0原文地址Spark配置Spark有以下三种方式修改配置：Spark properties（Spark属性）可以控制绝大多数应用程序参数，而且既可以通过SparkConf对象来设置，也可以通过Java系统属性来设置。Environment variables（环境变量）可以指定一些各个机器相关的设置，如IP地址，其设置方法是写在每台机器上的conf/spark-env.sh中。Logging（日志）可以通过log4j.properties配置日志。 Spark属性Spark属性可以控制大多数的应用程序设置，并且每个应用的设定都是分开的。这些属性可以用SparkConf对象直接设定。SparkConf为一些常用的属性定制了专用方法（如，master URL和application name），其他属性都可以用键值对做参数，调用set()方法来设置。例如，我们可以初始化一个包含2个本地线程的Spark应用，代码如下：注意，local[2]代表2个本地线程 – 这是最小的并发方式，可以帮助我们发现一些只有在分布式上下文才能复现的bug。val conf = new SparkConf() .setMaster("local[2]") .setAppName("CountingSheep") va ...继续阅读 (8)

原文地址译者：司余调用方法o.a.commons.logging.impl.SLF4FLogFactory.release已给出的公用日志API（common-logging API）,实际上是由SLF4J实现的，o.a.commons.logging.impl.SLF4FLogFactory.release方法永远不会被调用。然而，取决于commons-logging.jar在服务器小程序容器的部署，release()方法可能意外地通过commons-logging.jar装载的org.apache.commons.logging.LogFactoryl类被调用。当Tomac安装后，$TOMAC_HOME代表目录；在最近的Tomac版本上，这是个普遍的现象，尤其当你在应用中在WEB-INF/lib下放置jcl-over-slf4j.jar包，而不是在$TOMCAT_HOME/common/lib下放置jar包。为了完全获得jcl-over-slf4j.jar包的稳定性，我们建议你在$TOMCAT_HOME/common/lib目录下放置jcl-over-slf4j.jar包，没有在你的web应用里放置副本。也请你看下bug#22。jcl-over-slf4j不支持的[某个]操作当调用JCL1.1中受保护的方法，会抛出不支持操作异常 (UnsupportedOperationExc ...继续阅读 (21)

spark-1.6.0原文地址在YARN上运行Spark对YARN (Hadoop NextGen)的支持是从Spark-0.6.0开始的，后续的版本也一直持续在改进。在YARN上启动首先确保 HADOOP_CONF_DIR 或者 YARN_CONF_DIR 变量指向一个包含Hadoop集群客户端配置文件的目录。这些配置用于读写HDFS和连接YARN资源管理器（ResourceManager）。这些配置应该发布到YARN集群上所有的节点，这样所有的YARN容器才能使用同样的配置。如果这些配置引用了Java系统属性或者其他不属于YARN管理的环境变量，那么这些属性和变量也应该在Spark应用的配置中设置（包括驱动器、执行器，以及其AM【运行于client模式时的YARN Application Master】）在YARN上启动Spark应用有两种模式。在cluster模式下，Spark驱动器（driver）在YARN Application Master中运行（运行于集群中），因此客户端可以在Spark应用启动之后关闭退出。而client模式下，Spark驱动器在客户端进程中，这时的YARN Application Master只用于向YARN申请资源。与独立部署（Spark standalone）或 在Mesos集群中不同，YARN的master地址不是在–master ...继续阅读 (26)

作者：Angela Caicedo用Java开发下一代嵌入式产品在我10年的Java布道师生涯里，没有哪次Java新版本发布能让我如此兴奋。Java 8的发布不仅在语言本身加入了些不错的新特性，还在嵌入式开发上加入了很棒的功能，进行了优化，还有简洁的开发文档。如果你是一名Java程序员，并且准备好和我一同加入机器间技术的潮流，或者说开发下一代改变世界的设备，那么就让我们开始学习物联网（IoT）把。在你开始嵌入式开发之前，你需要知道你具体想要开发出什么，以及你打算在哪运行你的程序。这十分重要，因为得根据目的选择不同版本的Embedded Java。如果你想要开发跟桌面应用相似的应用，或者你想要开发出优美的UI，那么你需要选择从Java SE衍生出来的Oracle Java SE Embedded版本。它支持同Java SE一样的平台和功能。此外，它还提供了其它特性，兼容更多平台，小巧的Java运行环境（JREs），支持headless模式配置，以及内存优化。如果你想要更方便地连接如开关、传感器、马达之类的外设，Oracle Java ME Embedded将是你最好的选择。它具有设备访问API，为嵌入式平台最常见的外设提供了接口：通用输入/输出（GPIO）、集成电路总线（IIC）、串行外设接口总线（SPI）、模数转换器（ADC）、数模转换器（DAC）、通用异步收发传输器(UART)、 ...继续阅读 (16)

原文地址译者：司余InetAddress是ip地址的java表示方式。这个类的实例也可以用在UDP DatagramSockets、普通Socket类和ServerSocket类。创建InetAddress实例InetAddress没有public构造器，必须通过一系列的静态方法获取实例。下面是如何获取一个域名的InetAddress实例：InetAddress address = InetAddress.getByName("jenkov.com");下面是如何获取匹配字符串表示ip地址的InetAddress:InetAddress address = InetAddress.getByName("78.46.84.171");下面是如何获取本地主机的IP地址（电脑程序正在运行）：InetAddress address = InetAddress.getLocalHost();其他的InetAddress方法InetAddress类提供许多其他的方法以供使用。例如，你可以调用getAddress()方法获取一个字节数组表示的ip地址，等等。要了解更多的方法，但比起这个，阅读InetAddress的java文档会更容易。原创文章，转载请注明：转载自并发编程网 – ifeve.com本文链接地址:Java网络教程: InetAdd ...继续阅读 (49)

原文链接译者：司余Java的JarURLConnection类用来连接Java Jar文件。一旦连接上，你可以获取Jar文件的信息。一个简单的例子如下：String urlString = "http://butterfly.jenkov.com/" + "container/download/" + "jenkov-butterfly-container-2.9.9-beta.jar"; URL jarUrl = new URL(urlString); JarURLConnection connection = new JarURLConnection(jarUrl); Manifest manifest = connection.getManifest(); JarFile jarFile = connection.getJarFile(); //do something with Jar file...原创文章，转载请注明：转载自并发编程网 – ifeve.com本文链接地址:Java网络教程:JarURLConnection ...继续阅读 (26)

spark-1.6.0在Mesos上运行SparkSpark可以在由Apache Mesos管理的硬件集群中运行。在Mesos集群中使用Spark的主要优势有：可以在Spark以及其他框架（frameworks）之间动态划分资源。可以同时部署多个Spark实例，且各个实例间的资源分配可以调整。工作原理在独立部署的Spark集群中，下图里的Cluster Manager代表Spark master。然而，在Mesos集群中，Mesos master将取代Spark master在下图中的地位。如果一个Spark驱动程序（driver）提交一个作业（job）并开始分发调度作业相关的任务（task），将会由Mesos来决定每个任务分发到哪台机器上。Mesos在调度短期任务的时候，会根据提交任务的账号来动态分配资源，而不需要依赖于静态的资源划分。按以下所示的步骤，来安装Mesos，以及向Mesos提交Spark作业。安装MesosSpark 1.6.0使用Mesos 0.21.0的时候，不需要任何特殊的Mesos补丁包。如果你已经有一个Mesos集群，可以忽略Mesos安装这一步。为Spark安装的Mesos和你为其他框架安装的Mesos没有什么不同。既可以从源代码安装，也可以从预编译好的包安装。使用源代码安装按以下步骤可以使用源代码安装Apache Mesos：从镜像（mirror）下载 ...继续阅读 (25)

spark 1.6.0Spark独立模式Spark除了可以在Mesos和YARN集群上运行之外，还支持一种简单的独立部署模式。独立部署模式下，你既可以手工启动（手动运行master和workers），也可以利用我们提供的启动脚本（launch scripts）。同时，独立部署模式下，你可以在单机上运行这些程序，以方便测试。Spark集群独立安装要独立安装Spark，你只需要将编译好的Spark包复制到集群中每一个节点上即可。你可以下载一个编译好的Spark版本，也可以在这里自己编译一个版本（build it yourself）。手动启动集群执行以下命令，启动独立部署的master server：./sbin/start-master.sh一旦启动完成，master会打印出master URL（spark://HOST:PORT），后续worker需要用这个URL来连接master，写代码的时候SparkContext中的master参数也需要设置成这个master URL。你还可以在master的web UI（默认为http://localhost:8080）上查看master URL。类似地，你可以通过以下命令，启动一个或多个worker节点，并将其连接到master：./sbin/start-slave.sh <master-spark-URL>启动一个worker ...继续阅读 (35)

图解服务化架构演进前言来自dubbo的用户手册中的一句话：随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。常规的垂直应用架构就相当于传统的那种，现阶段传统垂直架构改造的核心就是对应用做服务化改造，服务话改造使用的核心技术架构就是分布式服务框架。其实这篇是概念上的总结，技术概念软文，纪录此文让自己更明白什么是微服务化架构。服务化架构演进请看下图，也来自dubbo的用户手册，图中恰恰少了微服务架构的图。那什么是微服务架构呢？先从第一个图中第一个说起吧。1.orm – 单一应用架构我认为是一个高内聚版本，所有功能部署在一起。数据访问框架（orm）成为关键。这个架构很少被人使用，几乎接近灭绝了吧。优点：成本低，适合功能少又简单 缺点：很多，比如无法适应高流量，二次开发难，部署成本高2.mvc架构 － 垂直应用架构当访问量渐渐增大，慢慢演化成用的很多的mvc架构。虽然还是所有的功能都是部署在同一个进程中，但是可以通过双机或者前置负载均衡来实现负载分流。这样应用也可以拆分成不同的几个应用，以提升性能和效率。此时，mvc架构用于分离前后端逻辑。一方面，有一定的模块化。另一方面，加速和方便了开发。3.rpc架构 － 分布式服务架构当mvc垂直应用分成不同应用时，越来越多的情况下。不可 ...继续阅读 (36)

因为最近工作的关系，要把异步任务从应用服务器中拆分到专门的异步处理服务器中.方案一是采用MQ的方式将任务消息发出，在服务端进行处理，如下图所示：Sample Flowchart Template (2).png这种方案是采用MQ作为中间的媒介，在服务端采用线程池异步处理任务，处理完成之后将结果发送到MQ中，客户端采用侦听的方式得到结果继续进行处理。这种方案的不足是，可能在某些需求的情况下，需要将结果存放到共享的HashMap或者Threadlocal中进行存放结果，客户端会一直阻塞，直到得到结果，从多线程的角度来说，还是用了共享变量，虽然共享变量可能是线程安全的，但是从并发模型的角度来讲，并不是一个最好的方式。方案二采用比较流行的Akka框架来实现。Akka的五大特性易于构建并行和分布式应用可靠性（Resilient by Design）系统具备自愈能力，在本地/远程都有监护。高性能（High Performance）在单机中每秒可发送50000000个消息。内存占用小，1GB内存中可保存2500000个actors。弹性，无中心（Elastic — Decentralized）自适应的负责均衡，路由，分区，配置可扩展（Extensible） 可以使用Akka 扩展包进行扩展。因为之前一直研究Scala，Scala的多线程处理的性能是非常高的，那基于Scala语言而开发出来的Akk ...继续阅读 (12)

我们的kafka源码分享已经进行过很多期了，主要的内容也都分享的差不多了，那么那么在今后的分享中，主要集中在kafka性能优化和使用Kafka集群中的其中一个Broker会被选举为Controller，主要负责Partition管理和副本状态管理，也会执行类似于重分配Partition之类的管理任务。如果当前的Controller失败，会从其他正常的Broker中重新选举Controller。进入KafkaController.scala文件看到如下代码：classKafkaController(valconfig:KafkaConfig, zkClient:ZkClient,valbrokerState:BrokerState)extendsLoggingwithKafkaMetricsGroup{this.logIdent ="[Controller "+ config.brokerId +"]: "privatevarisRunning =trueprivatevalstateChangeLogger=KafkaController.stateChangeLoggervalcontrollerContext=newControllerContext(zkClient, config.zkSessionTimeoutMs)valpartitionStateMachine=new ...继续阅读 (9)

很久没有做技术方面的分享了，今天闲来有空写一篇关于Kafka通信方面的文章与大家共同学习。一、Kafka通信机制的整体结构74EACA88-8B9D-45F8-B7BF-202D658205A9.png这个图采用的就是我们之前提到的SEDA多线程模型，链接如下：http://www.jianshu.com/p/e184fdc0ade41、对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。2、Kafka高吐吞量，则要求broker接收和发送数据必须快速，因此用proccssor thread线程池处理，并把读取客户端数据转交给缓冲区，不会导致客户端请求大量堆积。3、Kafka磁盘操作比较频繁会且有io阻塞或等待，IO Thread线程数量一般设置为proccssor thread num两倍，可以根据运行环境需要进行调节。二、SocketServer整体设计时序图Kafka 通信时序图.jpg说明:Kafka SocketServer是基于Java NIO来开发的，采用了Reactor的模式，其中包含了1个Acceptor负责接受客户端请求，N个Processor线程负责读写数据，M个Handler来处理业务逻辑。在Acceptor和Processor，Processor和Handler之间都有队列来缓冲请 ...继续阅读 (14)

Spark 1.6.0 译者：dlbrant提交Spark应用spark-submit脚本在Spark的bin目录下，可以利用此脚本向集群提交Spark应用。该脚本为所有Spark所支持的集群管理器（cluster managers）提供了统一的接口，因此，你基本上可以用同样的配置和脚本，向不同类型的集群管理器提交你的应用。打包应用程序依赖如果你的代码依赖于其他工程，那么你需要把依赖项也打包进来，并发布给Spark集群。这需要创建一个程序集jar包（或者uber jar），包含你自己的代码，同时也包含其依赖项。sbtandMaven都有assembly插件。创建程序集jar包时，注意，要把Spark和Hadoop的jar包都可设为provided；这些jar包在Spark集群上已经存在，不需要再打包进来。完成jar包后，你就可以使用bin/spark-submit来提交你的jar包了。对于Python，你可以使用spark-submit的–py-files参数，将你的程序以.py、.zip 或.egg文件格式提交给集群。如果你需要依赖很多Python文件，我们推荐你使用.zip或者.egg来打包。利用spark-submit启动应用一旦打包好一个应用程序，你就可以用bin/spark-submit来提交之。这个脚本会自动设置Spark及其依赖的classpath，同时可 ...继续阅读 (18)

Spark 1.6.0  译者：dlbrant集群模式概览本文简要描述了Spark在集群中各个组件如何运行。想了解如何在集群中启动Spark应用，请参考application submission guide。组件Spark应用在集群上运行时，包括了多个独立的进程，这些进程之间通过你的主程序（也叫作驱动器，即：driver）中的SparkContext对象来进行协调。特别要指出的是，SparkContext能与多种集群管理器通信（包括：Spark独立部署时自带的集群管理器，Mesos或者YARN）。一旦连接上集群管理器，Spark会为该应用在各个集群节点上申请执行器（executor），用于执行计算任务和存储数据。接下来，Spark将应用程序代码（JAR包或者Python文件）发送给所申请到的执行器。最后SparkContext将分割出的任务（task）发送给各个执行器去运行。  这个架构中有几个值得注意的地方：每个Spark应用程序都有其对应的多个执行器进程，执行器进程在整个应用程序生命周期内，都保持运行状态，并以多线程方式运行所收到的任务。这样的好处是，可以隔离各个Spark应用，从调度角度来看，每个驱动器可以独立调度本应用程序内部的任务，从执行器角度来看，不同的Spark应用对应的任务将会在不同的JVM中运行。然而这种架构同样也有其劣势，多个Spark应用 ...继续阅读 (35)

大家新年好，并发网译者提议二月份组织翻译《Spark官方文档》，Spark是一个高效的分布式计算系统，有兴趣的同学可以一起参与进来。Programming Guides:Quick Start: a quick introduction to the Spark API; start here!Spark Programming Guide: detailed overview of Spark in all supported languages (Scala, Java, Python, R)Modules built on Spark:Spark Streaming: processing real-time data streamsSpark SQL, Datasets, and DataFrames: support for structured data and relational queriesMLlib: built-in machine learning libraryGraphX: Spark’s new API for graph processingAPI Docs:Spark Scala API (Scaladoc)Spark Java API (Javadoc)Spark Python API (Sphinx)Spark R API (Roxygen2 ...继续阅读 (35)

1.基本语法注解定义看起来很像接口的定义。事实上，与其他任何接口一样，注解也将会编译成class文件。@Target(ElementType.Method)@Retention(RetentionPolicy.RUNTIME)public @interface Test {}除了@符号以外，@Test的定义很像一个空的接口。定义注解时，需要一些元注解（meta－annotation），如@Target和@Retention@Target用来定义注解将应用于什么地方（如一个方法或者一个域）@Retention用来定义注解在哪一个级别可用，在源代码中（source），类文件中（class）或者运行时（runtime）在注解中，一般都会包含一些元素以表示某些值。当分析处理注解时，程序可以利用这些值。没有元素的注解称为标记注解（marker annotation）四种元注解，元注解专职负责注解其他的注解，所以这四种注解的Target值都是ElementType.ANNOTATION_TYPE注解说明@Target表示该注解可以用在什么地方，由ElementType枚举定义CONSTRUCTOR：构造器的声明FIELD：域声明（包括enum实例）LOCAL_VARIABLE：局部变量声明METHOD：方法声明PACKAGE：包声明PARAMETER：参数声明TYPE：类、接口（包括注解类型） ...继续阅读 (9)

原文链接译者：andy huangYahoo的流计算引擎对比测试（雅虎Storm团队排名不分先后）Sanket Chintapalli,Derek Dagit,Bobby Evans,Reza Farivar,Tom Graves, Mark Holderbaugh,Zhuo Liu,Kyle Nusbaum,Kishorkumar Patil,Boyang Jerry PengandPaul Poulosky。免责声明：2015年12月17日的数据，数据团队已经给我们指出，我们不小心在Flink基准测试中留下的一些调试代码。 所以Flink基准测试应该不能直接与Storm和Spark比较。 我们在重新运行和重新发布报告时已经解决了这个问题。更新：2015年12月18日有一个沟通上的误解，我们运行的Flink的测试代码不是checked in的代码。现在调试代码已经删除。数据团队检查了代码，并证实它和目前的运行的测试是一致的。我们仍然会在某个时候重新运行它。摘要-由于缺乏真实世界的流基准测试，我们1比较了Apache Flink，Apache Storm和 Apache Spark Streaming。Storm 0.10.0/0.11.0-SNAPSHOT和 Flink 0.10.1 测试表明具有亚秒级的延迟和相对 较高的吞吐量，Storm 99%情况下具有最低的延迟。Spark ...继续阅读 (11)