本文翻译自《MyBatis官网》Dynamic SQL译者：二进制的蛇动态 SQLMyBatis 的强大特性之一便是它的动态 SQL。如果你有使用 JDBC 或其他类似框架的经验，你就能体会到根据不同条件拼接 SQL 语句有多么痛苦。拼接的时候要确保不能忘了必要的空格，还要注意省掉一连串列名最后的逗号。利用动态 SQL 这一特性可以彻底摆脱这种痛苦。通常使用动态 SQL 不可能是独立的一部分,MyBatis 通过一种强大的动态 SQL 语言明显地改进了这种情形,这种语言可以被用在任意的 SQL 映射语句中。动态 SQL 元素和使用 JSTL 或其他类似基于 XML 的文本处理器相似。在 MyBatis 之前的版本中,有很多的元素需要了解和掌握。MyBatis 3 极大地改善了这种情况,现在使用的元素不到原来的一半。MyBatis 采用功能强大的基于OGNL的表达式来消除其他元素。ifchoose (when, otherwise)trim (where, set)foreachif动态 SQL 通常要做的事情是有条件地包含 where 子句的一部分。比如:<select id="findActiveBlogWithTitleLike"resultType="Blog">SELECT * FROM BLOGWHERE state = ‘ACTIVE’<if test ...继续阅读 (4)

原文链接作者：Tomasz Nurkiewicz  译者：simonwang我之前写过一篇关于InterruptedException and interrupting threads的文章。总之，如果你调用Future.cancel(),那么Future不仅会终止正在等待的get()，还会试图去中断底层的线程。这是个很重要的特征，它能够使线程池变得更加利于使用。我在之前的文章中也说过，相对于标准的Future，尽量使用CompletableFuture。但事实证明，Future的更加强大的兄弟-CompletableFuture并不能优雅地处理cancel()。请思考下面的任务代码，在接下来的测试中会用到：class InterruptibleTask implements Runnable { private final CountDownLatch started = new CountDownLatch(1) private final CountDownLatch interrupted = new CountDownLatch(1) @Override void run() { started.countDown() try { Thread.sleep(10_000) ...继续阅读 (16)

原文链接作者：Tomasz Nurkiewicz  译者：simonwang这篇文章最初是我们的Reactive Programming with RxJava一书中的附录，然而提到monad即使它与响应式编程有关，但也只是一点点，所以我决定把它单独拿出来出一篇博客。我意识到对monad一边解释一边纠正，对我而言这就像是在编程博客上使用“Hello World”一样(是对是错拉出来溜溜)。而且这篇文章从Java数据结构与库的角度对functor与monad给出了独特见解，因此我认为这值得拿出来分享。RxJava是被设计和建立在基础概念如functors,monoids和monads上的，尽管最初Rx的概念是为C#而提出来的，我们现在学习RxJava同样可以适用在其他支持函数式编程的命令式编程语言上。在意识到RxJava的API是多么紧凑之后你不必惊讶，有很多相当有用的核心类都是不可变的，每一步计算都基本使用纯粹的函数连接起来。最近随着函数式(或函数式风格)编程的兴起，一些流行语言如Scala和Clojure的通用表达形式使得monads成为了广为讨论的话题，这里有些流行的说法：A monad is a monoid in the category of endofunctors, what’s the problem?James IryThe curse of the ...继续阅读 (5)

原文地址:在Unix编程艺术中,提到了尽量避免多线程编程模型, 认为这样只会增加复杂度, 提倡使用多进程, 这样本质上就可以避免多线程『共享内存数据』产生的 “corruotped memory” 问题。其中, 提到了一篇文章Why Threads Are A Bad Idea, 对于多线程编程和事件编程分析的非常好, 具体的翻译如下:1 介绍线程的背景:在操作系统中出现多线程逐渐演变成 用户层面的编程工具被认为是多种问题的一种通用解决方案每一个程序员都需要成为 一个多线程编程的高手吗？根本性的问题:多线程的程序非常难以正确的编写！！！替代性的方案:使用事件驱动的编程方法特别声明:对于大部分的多线程程序，使用事件驱动是一个更好的选择只有当使用CPU多核的时候, 才需要使用多线程编程2 多线程的本质一般用来管理并发问题多个独立相互执行的任务共享的内存预先的安排机制(Pre-emptive scheduling)同步机制(synchronization)3 多线程的用途操作系统: 对每一个用户进程分配一个内核线程科学应用程序: 每个CPU分配一个线程(对计算要求性很高的程序)分布式系统: 进程请求并行(同步记性的I/O操作)GUIs程序线程对应用户的行为. 在长时间的后台计算过程中仍然可以处理图形展示多媒体, 动画方面的程序编写4 多线程有什么问题?对于一般的程序员而言，难以掌握。即使 ...继续阅读 (5)

原文链接作者：Michael G. Noll  译者：lendo这篇文章是Apache Kafka的作者之一Michael G. Noll写的，他的博客地址在[这里]。优化Storm计算拓扑性能的过程有助于我们理解Storm内部消息队列的配置和使用，在这篇简短的文章中，我将向大家解释并说明Storm（0.8或0.9版本）的一个工作进程（worker process）和与其相关的多个执行器线程是如何完成内部通信的。Storm工作进程（Worker processes）的内部消息机制在以下各章节中，我会交替地使用消息（message）和元组（tuple）两个关键字。本文中当我提到“内部消息”时，它指的是发生在Storm的单个工作进程内部的消息通信，这类通信只在Storm集群的单台主机（节点）上展开。Storm使用由LMAX Disruptor提供的很多消息队列来完成通信，LMAX Disruptor是一个高性能的线程间消息通信库。 需要注意的是单个工作进程内多个线程之间的通信不同于Storm的多个工作进程之间的通信，工作进程间的通信通常都需要跨主机通过网络完成，对于工作进程间的通信Storm默认采用ZeroMQ作为基础通信组件（在Storm 0.9版本中开始实验性地支持Netty），也就是说，当一个工作进程中的任务（Task）想要发送数据到集群中另外一台主机的某个工作进程的某 ...继续阅读 (8)

本文翻译自《ZooKeeper官方指南》，译者：追云，校对：追云一致性保障ZooKeeper是一个高性能，可扩展的服务。虽然读比写更快，但在设计上，它的读操作和写操作都很快。(读比写更快）之所以会这样，是因为在某些“读”的情况下，ZooKeeper对更古老的数据会起作用，这反过来也是得益于ZooKeeper的一致性保障：连续一致性来自客户端的更新将会被应用到那些它们被发送的命令中。原子性更新既不会成功也不会失败——不存在部分结果。单系统图像一个客户端将会看到那些被它连接到的服务忽略的相同的服务视图。可靠性一旦一个更新被应用了，它（更新）将会从此一直存在直到一个客户端重写了更新。从这个保障可以得出两个推论：1.如果一个客户端获得一个成功的返回码，更新将会一直被应用。在一些失败的情况下（比如连接错误，超时等）客户端将不会知道更新被应用了与否。我们对使失败（错误）降到最低采取了行动，但这个保障仅仅当返回码是正确的时侯才会出现。（这是一种在Paxos算法中被称为单调性的情况）。2、任何通过读请求或成功更新的已被客户端看到的更新，当它处于从服务器错误中恢复的状态时（操作）将不能被回滚。及时性系统的客户端视图被强制性定为在一个合适的时间范围内（在命令的数十秒内）是最新的。系统的改变在这个范围内既不会被客户端看见，客户端也不会知道服务的运行中断。使用这些一致性保障来建造一些更高级的功能，如lea ...继续阅读 (16)

序言此书是Jersey 2.23.1的用户手册。我们努力及时更新这本手册因为Jersey 2.23.1增加了一些新的功能。当您在阅读这本用户手册的时候， 请同时参考我们的Jersey  API 手册从而进一步理解Jersey 的功能和API。如果您也想给这本手册贡献一点力量或者对这本手册没有涵盖的内容抱有疑问，请联系我们：users@jersey.java.net。同时，如果您在这本用户手册上发现任何错误， 请把发现的问题注册到Jersey JIRA Issue Tracker上的文档部分。 注册您发现的错误的同时，请特别注意选择相应的用户手册版本。文本格式在章节中第一次提到任何Jersey和JAX-RS 的API组件会链接到对应的API文档上。在同一章节的任何后续提到该组件的地方会使用等宽字体。对于那些第一次出现的新概念， 会有斜体字来引起注意。在一些示例代码中，如果单行代码太长而无法在一行中显示， 会把长的代码行分拆成多行，并在行尾用 ‘\’ 来标注，例如：This is an overly long line that \might not fit the available page \width and had to be broken into \multiple lines. This line fits the page width ...继续阅读 (21)

本文翻译自《Netty in Action》第六章作者：Norman Maurer, Marvin Allen Wolfthal   译者：桃小胖本章包含ChannelHandler和ChannelPipeline APIs检测资源泄露异常处理在前一章，你学习了Netty的数据容器ByteBuf。在这一章我们会在你已经学过的知识的基础上探讨Netty的数据流和处理模块。你会开始看到这个框架的一些重要元素被组合到一起了。你已经了解到，ChannelHandler在一个ChannelPipeline中被链在一起，将所有的处理逻辑组织起来。我们会在这一章学习有关这两个类的各种用例，以及另一个重要的相关类，ChannelHandlerContext。理解所有这些组件之间的相互作用是用Netty创建一个模块化的，可复用应用的关键。6.1 ChannelHandler家族为了给ChannelHandler的深入学习做好准备，我们先花一些时间来巩固下Netty的组件模型。6.1.1 Channel的生命周期接口Channel定义了一个简单强大，并且和ChannelInboundHandler API密切相关的状态模型。四种Channel状态如表6.1所示。表6.1 Channel生命周期状态状态描述ChannelUnregisteredChannel已创建，还未注册到一个EventLoop上Ch ...继续阅读 (36)

本文翻译自《JAVA开发指南》第三章本章中，你将学习到怎样使用Stream API进行开发。首先，你将会了解Stream API背后的机制，什么是流以及流的用处。其次，你将学习到一系列的流式操作、流式数据处理模型以及能让你写出更复杂数据查询的流式集合操作。接下来是如何应用流式操作的例子。最后，你将学习到并行流。为什么需要流式操作集合API是Java API中最重要的部分。基本上每一个java程序都离不开集合。尽管很重要，但是现有的集合处理在很多方面都无法满足需要。一个原因是，许多其他的语言或者类库以声明的方式来处理特定的数据模型，比如SQL语言，你可以从表中查询，按条件过滤数据，并且以某种形式将数据分组，而不必需要了解查询是如何实现的——数据库帮你做所有的脏活。这样做的好处是你的代码很简洁。很遗憾，Java没有这种好东西，你需要用控制流程自己实现所有数据查询的底层的细节。其次是你如何有效地处理包含大量数据的集合。理想情况下，为了加快处理过程，你会利用多核架构。但是并发程序不太好写，而且很容易出错。Stream API很好的解决了这两个问题。它抽象出一种叫做流的东西让你以声明的方式处理数据，更重要的是，它还实现了多线程：帮你处理底层诸如线程、锁、条件变量、易变变量等等。例如，假定你需要过滤出一沓发票找出哪些跟特定消费者相关的，以金额大小排列，再取出这些发票的ID。如果用Stream ...继续阅读 (34)

6月并发网组织大家翻译《Java8开发指南》。有兴趣的同学可以通过评论领取，翻译完成之后再并发网直接提交审核。一次领取一篇，翻译完成之后可以继续领取，领取文章后最好在一个星期内翻译完成，如果不能完成翻译请通过评论告知，以便于其他人可以继续翻译。 Java 8: Why Should You Care?Adopting Lambda Expressions.Adopting Streams原创文章，转载请注明：转载自并发编程网 – ifeve.com本文链接地址:《Java8开发指南》翻译邀请 ...继续阅读 (28)

原文链接：发布/订阅（Pub/Sub）SUBSCRIBE、UNSUBSCRIBE 和 PUBLISH 这三个命令实现了发布/订阅消息模式（引用自维基百科），发送者（发布者）并不是直接发送它们的消息给指定的接收者（订阅者），而是将消息发布到特定的消息通道，并且不需要知道订阅者（如果有的话）的任何信息。订阅者可以订阅一个或多个感兴趣的消息通道，同时也只会收到他们感兴趣通道的信息，而不用去关心是谁发布的。这种发布者与订阅者的解耦，使其具备更强的扩展性并得到一个更加动态的网络拓扑。例如为了订阅通道foo和bar，客户端可以使用通道名称为参数去调用 SUBSCRIBE 命令：SUBSCRIBE foo bar其他客户端发送到消息到这些通道时，消息会由 Redis 推送到所有订阅了这些通道的客户端。订阅了一个或多个通道的客户端就不应该再使用命令，尽管它还能订阅其他频道或取消订阅其他通道。订阅和取消订阅的执行结果会以消息的形式返回。所以客户端能够解析这互相耦合的消息，其中第一个元素表示消息的类型。订阅了通道的客户端上允许使用的命令有 SUBSCRIBE、PSUBSCRIBE、UNSUBSCRIBE、PUNSUBSCRIBE、PING和QUIT。推送消息的格式消息是一条含有三个元素的@array-reply。第一个元素是消息的类型：subscribe:意味着我们已经成功订阅了第二个元素所指的通道。 ...继续阅读 (22)

本文翻译自《Netty in Action》第五章作者：Norman Maurer, Marvin Allen Wolfthal   译者：桃小胖本章包含ByteBuf—Netty的数据容器API详情用例内存分配正如我们前面提到的，网络数据的基础单位总是字节。Java NIO用ByteBuffer做它的字节容器，但是这个类使用起来过于复杂，有时候还非常麻烦。Netty用ByteBuf替代了ByteBuffer，这个强大的实现突破了JDK API的限制，为网络开发者提供了更好的API。在这一章我们会展现同ByteBuffer相比，ByteBuf的出色功能和灵活性。这也让你从大体上更好地理解Netty数据处理的方式，并且为第六章ChannelPipeline和ChannelHandler的讨论做好准备。5.1 ByteBuf APINetty通过两个组件来提供它的数据处理(data handling)服务——抽象类ByteBuf和接口ByteBufHolder。这里是一些ByteBuf API的优点：可扩展用户定义的buffer类型一个内置的composite buffer类型实现了透明的零拷贝根据需求扩展（处理）能力（类似JDK StringBuilder）读写模式切换不需要调用ByteBuffer的flip()方法读和写采用不同的索引支持方法链(method chaining)支持 ...继续阅读 (23)

原文链接译者：jella77教程Tutorial我们建立一个简单但实际的评论框，Disqus, LiveFyre或Facebook可以提供实时评论，评论框可以放在一个博客中。我们提供:可以看到所有评论的视图提交评论的表单通过Hooks可以自定义后端它有如下特点:优化的评论:评论将会在保存到服务器上之前就出现在列表中，这样看上去非常快。实时更新:其他用户的评论会实时的被放到评论界面。Markdown格式:用户可以使用Markdown来格式化他们的文本。想要跳过这些只看源码？都在GitHub上运行一个服务器首先，我们需要一个运行的服务器。它将作为API端口来获取并保存数据。为了简便，我们用脚本语言创建一个服务端。你可以看源文件或者下载zip文件。服务器使用一个JSON文件作为数据库。 在实际的产品中你不会这样用，但是这样可以简单的模拟出当你使用一个API是你可能做的事情。一旦你启动服务器， 它将会支持API端口并且为我们需要的静态页面提供服务。开始本教程中我们尽量简化。 上文提到的包中包含一个HTML文件。 在你最喜欢的编辑器中打开public/index.html，可以看到:<!-- index.html --><!DOCTYPE html><html><head><metacharset="utf-8"/><titl ...继续阅读 (14)

作者：泥瓦匠 原文链接：传送门事务，大家所熟悉的事务（Transaction），基本上会就往Spring事务靠。其实Spring事务管理基于底层数据库本身的事务处理机制。数据库事务的基础，是掌握Spring事务管理的基础。这篇总结下数据库事务。一、数据库事务它的思想：we are 伐木累。就是多个SQL语句（一个团队），要么所有执行success，不然就fail。 它最终的目标：数据不会被破坏。即事务操作成功，数据的结果和业务期待的结果是一致的。这也就是ACID中的一致性（Consistency）。那什么是ACID呢？二、ACID上面是思想，牛人马上根据思想建模，DBMS中数据库事务满足4各特性，即原子性、一致性、隔离性和持久性。下面一一生动解释：a）原子性原子是物质的最小单元，即不可再分。 例如，以MySQL为例，每一个简单的 SQL 语句即包含在一个事务中，具有原子性。这时候有人问了，那多个SQL呢？BEGIN TRANSACTION; INSERT INTO `test`.`city` (`state`, `country`, `name`) VALUES ('1', 'China', 'CHINA','错误语句多了个VALUE'); INSERT INTO `test`.`city` (`state`, `country`, `name`) VALUES ('1 ...继续阅读 (23)

原文链接作者：mkyong译者：王乐(2270134103@qq.com)一些Java反射API的例子。1.显示所有字段和数据类型使用反射遍历一个类声明的所有字段。CompanyA.javapackage com.mkyong.test; import java.util.List; import java.util.Map; import java.util.Set; public class CompanyA { String orgName; int count; List<String> comments; Set<String> branches; Map<String, String> extra; //... }使用Java反射APIs getDeclaredFields()去遍历和打印字段名和数据类型。Test.javapackage com.mkyong.test; import java.lang.reflect.Field; import java.util.List; public class Test { public static void main(String[] args) { Field[] fields = Company ...继续阅读 (26)

原文链接作者：Tomasz Nurkiewicz   译者：simonwangCompletableFuture尽管在2014年的三月随着Java8被提出来，但它现在仍然是一种相对较新潮的概念。但也许这个类不为人所熟知是好事，因为它很容易被滥用，特别是涉及到使用线程和线程池的时候。而这篇文章的目的就是要描述线程是怎样使用CompletableFuture的。Running tasks这是API的基础部分，它有一个很实用的supplyAsync()方法，这个方法和ExecutorService.submit()很像，但不同的是返回CompletableFuture：CompletableFuture.supplyAsync(() -> { try (InputStream is = new URL("http://www.nurkiewicz.com").openStream()) { log.info("Downloading"); return IOUtils.toString(is, StandardCharsets.UTF_8); } catch (IOException e) { thr ...继续阅读 (31)

spark-1.6.1[原文地址]Spark Streaming编程指南概览Spark Streaming是对核心Spark API的一个扩展，它能够实现对实时数据流的流式处理，并具有很好的可扩展性、高吞吐量和容错性。Spark Streaming支持从多种数据源提取数据，如：Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字，并且可以提供一些高级API来表达复杂的处理算法，如：map、reduce、join和window等。最后，Spark Streaming支持将处理完的数据推送到文件系统、数据库或者实时仪表盘中展示。实际上，你完全可以将Spark的机器学习（machine learning） 和 图计算（graph processing）的算法应用于Spark Streaming的数据流当中。 下图展示了Spark Streaming的内部工作原理。Spark Streaming从实时数据流接入数据，再将其划分为一个个小批量供后续Spark engine处理，所以实际上，Spark Streaming是按一个个小批量来处理数据流的。 Spark Streaming为这种持续的数据流提供了的一个高级抽象，即：discretized stream（离散数据流）或者叫DStream。DStream既可以从输入数据源创建得来，如： ...继续阅读 (48)

原文链接作者：Michael Glauche又一次对java.util.logger无语的时候，我在想如何用SLF4J logger取代它。尽管Guice针对java.util.logger提供一个非常好的内部绑定，slf4j提供一个更好的语法。永远是细节中的魔鬼…如果你想你的logger与当前类一起初始化，你不能简单地注入logger。但是，在Guice中有一个好教程（http://code.google.com/p/google-guice/wiki/CustomInjections）：关于注入log4j looger。SLF4J也是这样工作的。首先你需要一个新的注解，像这样注入InjectLogger：import static java.lang.annotation.ElementType.FIELD; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target;  @Target({FIELD}) @Retention(RetentionPolicy.RUNTIME) public @interface InjectLogger { }然后是一个TypeListener,用注解InjectLo ...继续阅读 (23)

原文链接有很多工具类其实Apache Common包里都有，所以每次开发之前都可以先看下是否这包里已经有相关的工具类，5月份并发网组织大家翻译Apache Common包。有兴趣的同学可以通过评论领取，翻译完成之后再并发网直接提交审核。一次领取一篇，翻译完成之后可以继续领取，领取文章后最好在一个星期内翻译完成，如果不能完成翻译请通过评论告知，以便于其他人可以继续翻译。ComponentsBCELByte Code Engineering Library – analyze, create, and manipulate Java class filesBeanUtilsEasy-to-use wrappers around the Java reflection and introspection APIs.BSFBean Scripting Framework – interface to scripting languages, including JSR-223ChainChain of Responsibilitypattern implemention.CLICommand Line arguments parser.CodecGeneral encoding/decoding algorithms (for example phonetic, b ...继续阅读 (26)

原文地址译者：刘小刘介绍本指南的目标是帮助用户使用Java开发Maven插件。重要声明：插件命名规范和Apache Maven商标通常将你的插件命名为<yourplugin>-maven-plugin。强烈反对命名为maven-<yourplugin>-plugin（maven在插件名开头），因为这是Apache Maven组织为官方Maven插件保留的命名格式，用org.apache.maven.plugins作为组id。使用此命名是对Apache Maven商标的侵权。你的第一个插件这一部分我们将构建一个不带参数、运行时输出一行信息的简单插件，会覆盖创建插件项目的基本操作、Java Mojo的核心内容，以及执行Mojo的两种方式。你的第一个Mojo最简单地，一个Java Mojo只包含一个类。不需要像EJB有多个类，尽管包含一组相似Mojo的插件很可能提取一个抽象基类以合并公共代码。在代码树中搜索Mojo时，plugin-tools寻找带有@Mojo形式的Java5注解的类或带有goal的javadoc型注解。所有带有这样注解的类包含在插件配置文件中。一个简单的Mojo下面是一个简单的无参数Mojo类，它可能是最简单的Mojo了。代码示例后面是各部分的说明。package sample.plugin; import org.apache.maven.p ...继续阅读 (27)

原文链接创建archetype是一个非常简单的过程。archetype就是一个非常简单的构件，它包含了你想创建的工程的模型。archetype由这些东西组成：一个archetype描述符(archetype descriptor)(src/main/resources/META-INF/maven目录下的archetype.xml)。这个文件列出了包含在archetype中的所有文件并将这些文件分类，因此archetype生成机制才能正确的处理。原型文件(prototype files)，archetype插件会复制这些文件(目录: src/main/resources/archetype-resources/)原型POM(prototype pom)(pom.xml in: src/main/resources/archetype-resources)archetype的POM（pom.xml 在archetype的根目录下）创建原型需要以下几个步骤：1. 为archetype构件创建一个新工程和pom.xml一个archetype构件的pom.xml示例看起来像这样：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...继续阅读 (10)

原文链接什么是原型?简单来说，原型(Archetype)是一个Maven工程模板工具包。一个原型被定义为一个提供相同性质内容的原始样式或模型。这个名字适合当我们试图提供一个系统，这个系统提供了一个一致的方式生成Maven项目。原型将帮助作者为用户创建Maven工程模板，并且为用户提供方法去使用参数来调整生成的工程模板。使用原型提供了一个很好的方式，使开发人员快速的符合你的项目或组织的最佳实践，在Maven项目中，我们提供了一个演示了Maven多种特性的示例工程，以此希望帮助我们的用户尽快的启动并运行，同时引导新用户使用Maven的最佳实践。几秒之内，新用户就可以使用Maven项目工作，并以此为跳板了解Maven的更多的特性。我们也试着去为原型加入可添加机制，通过这种方法允许工程的一部分被一个原型捕获，来使这一部分工程能够直接加入的另一个已经存在的工程。这方面一个比较好的例子是Maven site archetype。举个例子，如果你已经用quick start原型生成了一个工程，你同样能通过在已存在的工程中使用site archetype来快速的生成一个这个工程的站点。你可以用原型来做任何像这样的事情。可能你想在你的组织中标准化J2EE开发，于是你想去提供EJBs或WARs的原型，或者为你的web服务提供原型。当这些原型创建并应用到你的组织的仓库里，它们就可以被你组织里的所有开发者 ...继续阅读 (23)

spark-1.6.0[原文地址]Spark SQL, DataFrames 以及 Datasets 编程指南概要Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算的时候，无论你使用哪种API或语言，Spark SQL使用的执行引擎都是同一个。这种底层的统一，使开发者可以在不同的API之间来回切换，你可以选择一种最自然的方式，来表达你的需求。本文中所有的示例都使用Spark发布版本中自带的示例数据，并且可以在spark-shell、pyspark shell以及sparkR shell中运行。SQLSpark SQL的一种用法是直接执行SQL查询语句，你可使用最基本的SQL语法，也可以选择HiveQL语法。Spark SQL可以从已有的Hive中读取数据。更详细的请参考Hive Tables这一节。如果用其他编程语言运行SQL，Spark SQL将以DataFrame返回结果。你还可以通过命令行command-line或者JDBC/ODBC使用Spark ...继续阅读 (20)

spark-1.6.0[原文地址]Spark SQL, DataFrames 以及 Datasets 编程指南概要Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算的时候，无论你使用哪种API或语言，Spark SQL使用的执行引擎都是同一个。这种底层的统一，使开发者可以在不同的API之间来回切换，你可以选择一种最自然的方式，来表达你的需求。 本文中所有的示例都使用Spark发布版本中自带的示例数据，并且可以在spark-shell、pyspark shell以及sparkR shell中运行。SQLSpark SQL的一种用法是直接执行SQL查询语句，你可使用最基本的SQL语法，也可以选择HiveQL语法。Spark SQL可以从已有的Hive中读取数据。更详细的请参考Hive Tables这一节。如果用其他编程语言运行SQL，Spark SQL将以DataFrame返回结果。你还可以通过命令行command-line或者JDBC/ODBC使 ...继续阅读 (24)

spark-1.6.0[原文地址]Spark作业调度概览Spark有好几种计算资源调度的方式。首先，回忆一下集群模式概览（cluster mode overview）中每个Spark应用（包含一个SparkContext实例）中运行了一些其独占的执行器（executor）进程。集群管理器提供了Spark应用之间的资源调度（scheduling across applications）。其次，在各个Spark应用内部，各个线程可能并发地通过action算子提交多个Spark作业（job）。如果你的应用服务于网络请求，那这种情况是很常见的。在Spark应用内部（对应同一个SparkContext）各个作业之间，Spark默认FIFO调度，同时也可以支持公平调度（fair scheduler）。Spark应用之间的资源调度如果在集群上运行，每个Spark应用都会获得一批独占的执行器JVM，来运行其任务并存储数据。如果有多个用户共享集群，那么会有很多资源分配相关的选项，如何设置还取决于具体的集群管理器。对Spark所支持的各个集群管理器而言，最简单的资源分配，就是对资源静态划分。这种方式就意味着，每个Spark应用都是设定一个最大可用资源总量，并且该应用在整个生命周期内都会占住这些资源。这种方式在Spark独立部署（standalone）和YARN调度，以及Mesos粗粒度模式（coars ...继续阅读 (31)

spark-1.6.0[原文地址]Spark作业调度概览Spark有好几种计算资源调度的方式。首先，回忆一下集群模式概览（cluster mode overview）中每个Spark应用（包含一个SparkContext实例）中运行了一些其独占的执行器（executor）进程。集群管理器提供了Spark应用之间的资源调度（scheduling across applications）。其次，在各个Spark应用内部，各个线程可能并发地通过action算子提交多个Spark作业（job）。如果你的应用服务于网络请求，那这种情况是很常见的。在Spark应用内部（对应同一个SparkContext）各个作业之间，Spark默认FIFO调度，同时也可以支持公平调度（fair scheduler）。 Spark应用之间的资源调度如果在集群上运行，每个Spark应用都会获得一批独占的执行器JVM，来运行其任务并存储数据。如果有多个用户共享集群，那么会有很多资源分配相关的选项，如何设置还取决于具体的集群管理器。对Spark所支持的各个集群管理器而言，最简单的资源分配，就是对资源静态划分。这种方式就意味着，每个Spark应用都是设定一个最大可用资源总量，并且该应用在整个生命周期内都会占住这些资源。这种方式在Spark独立部署（standalone）和YARN调度，以及Mesos粗粒度模式 ...继续阅读 (12)

spark-1.6.0[原文地址]硬件配置Spark开发者们常常被问到的一个问题就是：如何为Spark配置硬件。我们通常会给出以下的建议，但具体的硬件配置还依赖于实际的使用情况。存储系统因为绝大多数Spark作业都很可能是从外部存储系统加载输入数据（如：HDFS或者HBase），所以最好把Spark部署在离这些存储比较近的地方。建议如下：只要有可能，就尽量在HDFS相同的节点上部署Spark。最简单的方式就是，在HDFS相同的节点上独立部署Spark（standalone mode cluster），并配置好Spark和Hadoop的内存和CPU占用，以避免互相干扰（对Hadoop来说，相关的选项有 mapred.child.java.opts – 配置单个任务的内存，mapred.tasktracker.map.tasks.maximun和mapred.tasktracker.reduce.tasks.maximum – 配置任务个数）。当然，你也可以在一些通用的集群管理器上同时运行Hadoop和Spark，如：Mesos或Hadoop YARN。如果不能将Spark和HDFS放在一起，那么至少要将它们部署到同一局域网的节点中。对于像HBase这类低延迟数据存储来说，比起一味地避免存储系统的互相干扰，更需要关注的是将计算分布到不同节点上去。本地磁盘虽然大部 ...继续阅读 (11)

spark-1.6.0[原文地址]硬件配置Spark开发者们常常被问到的一个问题就是：如何为Spark配置硬件。我们通常会给出以下的建议，但具体的硬件配置还依赖于实际的使用情况。 存储系统因为绝大多数Spark作业都很可能是从外部存储系统加载输入数据（如：HDFS或者HBase），所以最好把Spark部署在离这些存储比较近的地方。建议如下：只要有可能，就尽量在HDFS相同的节点上部署Spark。最简单的方式就是，在HDFS相同的节点上独立部署Spark（standalone mode cluster），并配置好Spark和Hadoop的内存和CPU占用，以避免互相干扰（对Hadoop来说，相关的选项有 mapred.child.java.opts – 配置单个任务的内存，mapred.tasktracker.map.tasks.maximun和mapred.tasktracker.reduce.tasks.maximum – 配置任务个数）。当然，你也可以在一些通用的集群管理器上同时运行Hadoop和Spark，如：Mesos或Hadoop YARN。如果不能将Spark和HDFS放在一起，那么至少要将它们部署到同一局域网的节点中。对于像HBase这类低延迟数据存储来说，比起一味地避免存储系统的互相干扰，更需要关注的是将计算分布到不同节点上去。本地 ...继续阅读 (14)

spark-1.6.0[原文地址]Spark安全性Spark目前已经支持以共享秘钥的方式进行身份认证。开启身份认证配置参数为 spark.authenticate 。这个配置参数决定了Spark通讯协议是否使用共享秘钥做身份验证。验证过程就是一个基本的握手过程，确保通讯双方都有相同的秘钥并且可以互相通信。如果共享秘钥不同，双方是不允许通信的。共享秘钥可用以下方式创建：对于以YARN方式部署的Spark，将 spark.authenticate 设为true可以自动生成并分发共享秘钥。每个Spark应用会使用唯一的共享秘钥。而对于其他部署类型，需要在每个节点上设置 spark.authenticate.secret 参数。这个秘钥将会在由所有 Master/Workers以及各个Spark应用共享。Web UISpark UI 也可以通过配置 spark.ui.filters 来使用javax servlet filters确保安全性，因为某些用户可能希望web UI上的某些数据应该保密，并对其他用户不可见。用户可以自定义 javax servlet filter 来对登陆用户进行认证，Spark会根据用户的ACL（访问控制列表）来确保该登陆用户有权限访问某个Spark应用的web UI。Spark ACL的行为可由 spark.acls.enable 和 spark.ui.view ...继续阅读 (13)

spark-1.6.0[原文地址]Spark安全性Spark目前已经支持以共享秘钥的方式进行身份认证。开启身份认证配置参数为 spark.authenticate 。这个配置参数决定了Spark通讯协议是否使用共享秘钥做身份验证。验证过程就是一个基本的握手过程，确保通讯双方都有相同的秘钥并且可以互相通信。如果共享秘钥不同，双方是不允许通信的。共享秘钥可用以下方式创建：对于以YARN方式部署的Spark，将 spark.authenticate 设为true可以自动生成并分发共享秘钥。每个Spark应用会使用唯一的共享秘钥。而对于其他部署类型，需要在每个节点上设置 spark.authenticate.secret 参数。这个秘钥将会在由所有 Master/Workers以及各个Spark应用共享。 Web UISpark UI 也可以通过配置 spark.ui.filters 来使用javax servlet filters确保安全性，因为某些用户可能希望web UI上的某些数据应该保密，并对其他用户不可见。用户可以自定义 javax servlet filter 来对登陆用户进行认证，Spark会根据用户的ACL（访问控制列表）来确保该登陆用户有权限访问某个Spark应用的web UI。Spark ACL的行为可由 spark.acls.enable 和 spark.u ...继续阅读 (17)