原文链接译文链接译者:JackWang运行时和编译时元编程 第一部分Groovy语言支持两种风格的元编程：运行时元编程和编译时元编程。第一种元编程支持在程序运行时修改类模型和程序行为，而第二种发生在编译时。两种元编程有各自的优缺点，在这一章节我们将详细讨论。注：译者也是第一次接触Groovy，由于时间和水平有限（姑且让译者使用这个理由吧，对待知识本应该一丝不苟）部分专有名词可能翻译不准确甚至有误（读者阅读的过程中最好能参考原文），恳请读者不吝留言指出，谢谢！1.运行时元编程通过运行时元编程，我们可以推迟运行时的分支决策(译者注：该处原文为we can postpone to runtime the decision,对于decision，译者也找不到一个合适的表达，请读者根据下图和上下文理解，如果读者有更好的翻译请留言指出，谢谢)来拦截，注入甚至合成类或接口的方法。对于Groovy MOP（译者注：对于初学者，这里突然冒出这个新名词，译者也头大，通过查询，MOP是Mete Object Protocol的缩写，读者可参考该文来了解）的更深理解，我们需要理解Groovy的对象和方法处理。在Groovy里，我们主要使用三种类型的对象：POJO,POGO和Groovy拦截器。Groovy支持元编程多种方式来对这些类型对象进行元编程。POJO – 一个普通的Java对象，它的类可以使用Ja ...继续阅读 (65)

如果你收到某公司的面试邀请，那就应该开始准备面试，打一场有把握的仗。需要准备几件事，自我介绍，亮点技术或产品，职业规划，这几件事情并不是临时抱佛脚就能完成的，而是在平时的工作中就应该积累，面试进更好的公司只是一个水到渠成的过程，能力到了自然就能进更好的公司。第一关，自我介绍大部分面试官一般都会让应聘者首先做个自我介绍，自我介绍回合是应聘者最主动的一个回合，因为在这个回合主要是应聘者说，面试官听，所以我认为这个回合非常重要，如果介绍的非常好，不仅可以为后面面试官提题做伏笔，还可以让面试官对你有好感。所以建议准备一个十分钟时长的介绍，很多同学的自我介绍一分钟都不到。自我介绍首先描述自己的基本情况，其次是描述自己的技术亮点，做过的亮点项目或产品。如果没有做过有技术亮点的事，每天都在做添加删除修改的程序的话，需要好好反思下，这样下去技术上没有多少积累。如果工作中就是做这个怎么办？可以考虑业务时间参与开源项目或自己做一些工具。第二关，介绍做过的产品。介绍产品时面试官会考察应聘者的沟通能力和思考能力，很多人都是走产品的一个功能或一个模块，但是有没有把整个产品搞清楚，并介绍清楚，为什么做这个产品，这个产品有哪些功能。第三关，技术面试技术面试主要考察一个人的技术能力，沟通能力和学习能力。不同的面试官的问题不一样，没有规律可循，所以首先在网上搜下该公司主要的面试题，必考的肯定是基础，好的面试官会考察 ...继续阅读 (13)

随着网站的功能和用户越来越多，单机器服务部署的Web应用已经不能再支持了。这时候就需要优化或调整目前的架构，具体怎么优化，或先优化哪部分，这取决于网站的具体情况， 并非总是一个套路。如根据使用情况得知，数据库压力大，则就可以先设施读写分离，分库分表，是垂直划分(可以简单的理解为按业务功能划分)， 还是水平划分(如用户表数据量很多，就可以按一定的规则分表设计,表结构仍然是相同的)。如Web应用服务器压力大,可以增加一台服务部署应用， 即从单台服务变为集群。变为集群后，用户访问网站，到底是选择哪一台服务器呢？这就需要在应用服务器前增加负载均衡设备来解决。还有点就是会话session 管理的问题，接下来会详细说明这问题。具体的问题当一个带有会话表示的Http请求到Web服务器后，需求在请求中的处理过程中找到session数据。而问题就在于，session是保存在单机上的。 假设我们有应用A和应用B，现在一位用户第一次访问网站，session数据保存在应用A中。如果我们不做处理，怎么保障接下来的请求每次都请求到应用A呢? 如请求到了应用B中，就会发现没有这位用户的session数据，这绝对是不能容忍的。解决方案解决方案有Session Stick，Session复制，Session集中管理，基于Cookie管理，下面一一说明。Session Stick在单机情况，session保存在单机上 ...继续阅读 (41)

我在工作中筛选过几百封简历，也推荐过上百封简历。发现很多求职者的简历写得有不如意的地方，有的写得太简单缺少必要信息，有的又写得太多没有突出重点。如果是找我推荐的，每次我都会让他们修改，为了让更多的同学写出高质量的简历，本文介绍下如何写好简历。一 什么是简历简历是突出自我亮点的工作或学习经历和自我介绍。所以写简历要把握两个重点，工作经历要突出重点，自我介绍要写全。二 如何写简历1：简历的内容简历至少应该包含以下几部分：基本信息：必填项有姓名，年龄，是否已婚，手机号，常用邮箱，目前所在地，工作经验。目前所在地关系到是进行电话，视频面试还是现场面试。选填项有博客，个人完整，github，英语读写听能力。应聘信息：应聘职位，求职地，职位和求职地都可以写多个。自我介绍：用事实介绍自己的亮点和擅长技能。教育背景：毕业院校，毕业时间。工作经验（由近至远）：在哪些公司任职过，任职时间。好的公司会让面试官有好感。大学生的实习经验也算工作经验。项目经验（由近至远）：写亮点项目，或最能体现自己技术能力的项目，不要把所有项目经验都写上，项目经验是可以引导面试官问问题的方向。获奖信息和证书：写最能提现自己能力的获奖信息，写多了也没用。证书比如CCNA，CCIE等。2：自我介绍自我介绍是简历中最重要的。自我介绍要用事实描述，不要用观点描述，比如我有10年Java开发经验，这个是事实，我崇尚团队合作，学习能力强 ...继续阅读 (8)

并发编程网定期组织翻译官方指南，本月组织翻译《ZooKeeper官方指南》，有兴趣的同学可以参与下，每一节的内容不是很多，可能花半小时就能翻译完。通过评论领取翻译，翻译完之后直接在并发网发布。简介综述Getting Started: Coordinating Distributed Applications with ZooKeeperPre-requisitesDownloadStandalone OperationManaging ZooKeeper StorageConnecting to ZooKeeperProgramming to ZooKeeperRunning Replicated ZooKeeperOther Optimizations编程指南IntroductionThe ZooKeeper Data ModelZNodesWatchesData AccessEphemeral NodesSequence Nodes — Unique NamingTime in ZooKeeperZooKeeper Stat StructureZooKeeper SessionsZooKeeper WatchesSemantics of WatchesRemove WatchesWhat ZooKeeper Guarantees about WatchesThing ...继续阅读 (20)

原文链接译文链接译者：JackWang重要：请后续新翻译的译文将译文链接添加到本文评论或原目录评论入门篇(Getting Started)下载Groovy(Download Groovy)安装Groovy (Install Groovy)与Java的比较 (Differences with Java)Groovy开发套件(The Groovy Development Kit)运行时和编译时元编程 (Runtime and compile-time metaprogramming)Grape依赖管理 (The Grape dependency manager)测试指南 (Testing guide)Groovy语言特性(Domain-Specific Languages)集成Groovy到应用(Integrating Groovy into applications)安全(Security)Groovy中的设计模式(Design patterns in Groovy)Groovy编程风格指南(Style guide)Groovy语言规范(Language Specification)语法(Syntax)运算符(Operators)程序结构(Program structure)面向对象(Object orientation)闭包（Closures）语义(Semantics)工具(Too ...继续阅读 (25)

原文链接译者：flychao88当用Redis作为一个LRU存储时，有些时候是比较方便的，在你增添新的数据时会自动驱逐旧的数据。这种行为在开发者论坛是非常有名的，因为这是流行的memcached系统的默认行为。LRU实际上只是支持驱逐的方式之一。这页包含更多一般的Redis maxmemory指令的话题用于限制内存使用到一个定额，同时它也深入的涵盖了Redis所使用的LRU算法，实际上是精确LRU的近似值。一、Maxmemory设置指令Maxmemory设置指令用于配置Redis的数据集使用指定量的内存。可以用redis conf.file设置指令,或者可以在稍晚的时候在运行时间用config set命令。例如，为了设置内存局限于100百万字节，下列指令可在redis.conf file内使用。设置maxmemory到零使得没有内存限制。这是64位系统的默认行为，而32位系统使用3GB内隐记忆极限。maxmemory 100mb当达到指定量的内存后，就可以选择不同的行为，称为策略。Redis可以返回错误的指令，导致使用更多的内存，或者为了每次增加新的数据后返回指定的内存，它可以驱逐一些旧的数据。二、驱逐策略当到达maxmemory极限时，使用maxmemory-策略配置指令来执行具体的Redis动作。以下策略可以使用：1、noeviction：达到内存限额后返回错误，客户尝试可以导 ...继续阅读 (17)

译文地址2.如何导航和取得进展？在黑客日和讲习班开始之前我需要做些什么呢？来之前你应该准备好你的笔记本电脑并搭建好当天需要的环境：•检查硬件要求/操作系统/软件要求•下载支撑软件•搭建或者下载虚拟机•搭建或者下载Docker镜像•检查虚拟机和Docker镜像是否正常工作•检查OpenJDK是否正常工作在“参加黑客日和讲习班之前应该如何准备”中查看对于以上几点的详细解释。如果这个对你来说不适用或者你已经完成了这些工作，那么请看下面的部分。活动当天如何在你的机器上搭建环境？看完“参加黑客日和讲习班之前应该如何准备”之后，请看“活动当天如何在你的机器上搭建环境”。如果这个对你来说不适用或者你已经完成了这些工作，那么请看下面的部分。我是学生/初学者，对Adopt OpenJDK一点都不熟悉，希望学习，以前从未参加过OpenJDK黑客日，我该如何开始？请看“初等级别”中的步骤我是学生/专业人士，对Adopt OpenJDK不是很熟悉，以前参加过OpenJDK黑客日，我该从哪里继续？请看“中等级别”中的步骤我是专家/专业人士，对OpenJDK黑客日很熟悉，对相关技术/Java/JVM/OpenJDK非常熟悉，我能从你们这里得到哪些好处？请看“高等级别”中的步骤我在家有充裕的时间和带宽，我该如何利用？或者说参加完黑客日和讲习班后我应该做什么。请看“利用你的时间去学习的最好方法”。我有一些想法而且 ...继续阅读 (25)

原文链接作者：Jose Luis译者：yxiaomou我之前已经介绍过关于构建者模式(Builder Pattern)的一些内容，它是一种很有用的模式用于实例化包含几个属性（可选的）的类，带来的好处是更容易读、写及维护客户端代码。今天，我将继续介绍对象创建技术。在我看来，下面这个类是非常有用的例子。有一个RandomIntGenerator 类，产生随机的int类型的整数。如下所示：public class RandomIntGenerator { private final int min; private final int max; public int next() {...} }这个生成器接收最大值和最小值两个参数并且生成介于两者之间的随机数。注意到两个属性min和max被final修饰，所以必须初始化它们。可以在定义它们时就初始化或者通过构造器来初始化。通过构造器初始如下：public RandomIntGenerator(int min, int max) { this.min = min; this.max = max; }现在，我们要提供给这样一个功能，客户端仅设置一个最小值然后产生一个介于此值和Integer.MAX_VALUE之间的整数。所以我们添加了第二个构造器：public RandomIntGenerator(int min) { ...继续阅读 (20)

原文地址译文地址译者：jackWangGroovy语言一直在努力亲近Java开发人员。在设计Groovy语言的时候，我们遵循最小标新立异原则，努力让那些Java开发背景的开发者容易上手并学会。下面我们列举Groovy和Java的一些主要区别。1 默认导入下面的包和类是默认导入的，也就是说不必精确使用 import 语句来导入它们：java.io.*java.lang.*java.math.BigDecimaljava.math.BigIntegerjava.net.*java.util.*groovy.lang.*groovy.util.*2 动态方法（Multi-methods）在Groovy里，方法的调用是在运行时动态决定。这一特性叫做运行时分发(runtime dispatch)或动态方法(multi-methods)。也就是说方法的最后调用是根据传入参数在运行时的类型所决定。在Java里，这一点是不一样的：在编译时就决定了方法的参数类型。下面的代码，我们采用Java风格，在Groovy和Java都可以编译通过，但是运行结果不一样：intmethod(Stringarg){return1;}intmethod(Objectarg){return2;}Objecto="Object";intresult=method(o);在Java里，结果是assertEquals(2,re ...继续阅读 (24)

原文地址译文地址译者：jackwang1 下载在本模块中（本模块指Groovy官网Download模块），你可以下载Groovy的发布版本（源码和二进制安装包），Windows安装包（只有部分版本）和相关文档。Mac OSX,Linux以及Cygwin用户，可以使用GVM(the Groovy enVironment Manager)方便快捷下载安装和配置任意Groovy版本。简要的说明见下文。1.1 稳定版下载ZIP：二进制版本|源码下载文档：JavaDoc和压缩在线文档打包下载二进制/源码/文档：Click Me通过阅读版本发布说明以及变更日志可以了解各个版本更多信息:发布说明和变更日志如果你打算使用动态调用特性，请先阅读Click Me1.2快照版本对于那些想要尝试最新版本的Groovy用户，可以使用我们的快照构建版本，我们把我们构建成功的所有快照版本都发布在这个仓库上供用户下载使用。1.3前提要求Groovy 2.4完美支持Java6+到Java8，对于Java 9快照版本的支持还有一些已知问题没有解决。使用 groovy-nio模块需要Java 7+以上。使用动态调用特性至少要Java 7+，但我们推荐使用Java8Groovy CI服务器测试了不同的Groovy发布版本对于Java版本的支持。总的测试用例将近10000+。2 Maven 仓库如果你想把Groovy内嵌到 ...继续阅读 (22)

原文链接译者：魏勇这部分的 wiki 是为了说明 Storm 是怎样实现的。在阅读本章之前你需要先了解怎样使用 Storm。代码库架构拓扑的生命周期1消息传递的实现1Ack 框架的实现Metrics事务型拓扑的工作机制1单元测试2时间模拟完整的拓扑集群跟踪说明1该文内容已过期。2该文官方文档暂未提供。原创文章，转载请注明：转载自并发编程网 – ifeve.com本文链接地址:Apache Storm 官方文档 —— 内部技术实现文章的脚注信息由WordPress的wp-posturl插件自动生成 ...继续阅读 (29)

作者：张振华购买链接：天猫商城JD商城当当书店鸟欲高飞先振翅，人求上进先读书。本文是原书的第3章  Thread安全3.2 什么是不线程安全。3.3什么是线程不安全。3.2 什么是不安全？当多个线程同时操作一个数据结构的时候产生了相互修改和串行的情况，没有保证数据的一致性，我们通常称之这种设计的代码为”线程不安全的“。有这么一个场景，假设5个用户，都来给一个数字加1的工作，那么最后应该是得到加5的结果；看一下下面的事例；单个用户干活类：Count ；publicclassCount {publicintnum = 0;publicvoidadd() {try{Thread.sleep(5l);//模仿用户干活}catch(InterruptedException e) {}num += 1;System.out.println(Thread.currentThread().getName() + “-” + num);}}用户类，干Count 的活；packagedemo.thread;publicclassThreadAextendsThread {privateCount count ;publicThreadA(Count count) {this.count =count;}publicvoidrun() {count.add();}}5个人干完活: ...继续阅读 (12)

原文链接译者：魏勇Storm 的acker使用哈希校验和来跟踪每个 tuple 树的完成情况：每个 tuple 在被发送出的时候，它的值会与校验和进行异或运算，然后在 tuple 被 ack 的时候这个值又会再次与校验和进行异或运算。这样，一旦所有的 tuple 都被成功 ack，校验和就会变为 0（随机生成的校验和为 0 的概率极小，可以忽略不计）。你可以在wiki中了解更多关于可靠性机制的信息。ackerexecute()Acker 实际上也是一个 bolt，它的execute 方法是定义在mk-acker-bolt中的。在一个新的 tuple 树生成的时候，spout 为每个 tuple 发送一个用于异或的固有 id，acker 会将这些 id 记录在它的挂起队列中。每次 executor ack 一个 tuple 的时候，acker 会接收到一个部分校验和，这个校验和是 tuple 自身的 id（将其从挂起队列中清除）和 executor 发送的每个下游 tuple 的 id（放入挂起队列中）的异或值。这个过程是这样的：在接收到 tick tuple 信号的时候，将 tuple 树的校验值向超时方向移动并且返回。同时，在 tuple 树中更新或者创建一个记录。初始化阶段：使用指定的校验和值进行初始化，并且记录 spout 的 id；ack 阶段：将部分校验和与当前的校验和进 ...继续阅读 (20)

原文链接译者：魏勇Strom 的代码有三个层次：第一，Storm 在一开始就是按照兼容多语言的目的来设计的。Nimbus 是一个 Thrift 服务，拓扑也被定义为 Thrift 架构。Thrift 的使用使得 Storm 可以用于任何一种语言。第二，所有的 Storm 接口都设计为 Java 接口。所以，尽管 Storm 核心代码中有大量的 Clojure 实现，所有的访问都必须经过 Java API。这就意味着 Storm 的每个特性都可以通过 Java 来实现。第三，Storm 的实现中大量使用了 Clojure。可以说，Storm 的代码结构大概是一半的 Java 代码加上一半的 Clojure 代码。但是由于 Clojure 更具有表现力，所以实际上 Storm 的核心逻辑大多是采用 Clojure 来实现的。下面详细说明了每个层次的细节信息。storm.thrift要理解 Storm 的代码架构，首先需要了解storm.thrift文件。Storm 使用这个fork版本的 Thrift（“storm” 分支）来生成代码。这个 “fork” 版本实际上就是 Thrift7，其中所有的 Java package 也都重命名成了org.apache.thrift7。在其他方面，它与 Thrift7 完全相同。这个 fork 主要是为了解决 Thrift 缺乏向后兼容的机制的问 ...继续阅读 (34)

作者：张振华购买链接：天猫商城JD商城当当书店本文是《 Java并发编程从入门到精通》第9章 线程的监控及其日常工作中如何分析的9.1节 Java线程池的监控。 看不到不等于不存在！让我们来看看工作中是如何找问题解决问题的。鸟欲高飞先振翅，人求上进先读书。京东，亚马逊，当当均有销售。more9.1 Java线程池的监控如果想实现线程池的监控，必须要自定义线程池继承ThreadPoolExecutor类，并且实现beforeExecute，afterExecute和terminated方法，我们可以在任务执行前，执行后和线程池关闭前干一些事情。如监控任务的平均执行时间，最大执行时间和最小执行时间等。这几个方法在线程池里是空方法。如：//每执行一个工作任务线程之前都会执行此实现的方法protectedvoidbeforeExecute(Thread t, Runnable r) {//t – 放在线程池里面要执行的线程。//r – 将要执行这个线程的线程池里面的工作线程。} //每执行一个工作任务线程之后都会执行的方法protectedvoidafterExecute(Runnable r, Throwable t) {//r – 已经运行结束的工作线程。//t – 运行异常。} //线程池关闭之前可以干一些 ...继续阅读 (15)

Writer      ：李强强（泥沙砖瓦浆木匠）原文链接传送门上一篇的《Servlet必会必知》受到大家一致好评 — (感谢读者 及 OSC 推荐 每日一’搏’)后来觉得还有些东西没点到，这边补充补充。一、回到 HttpServlet 的 service方法Servlet 基础接口定义了用于客户端请求处理的service方法。 当请求到达Servlet容器，由Servlet容器路由到一个Servlet实例。比如说javax.servlet.http.HttpServlet类 ，其中有一个protectedvoid service 方法如下：private static final String METHOD_DELETE = "DELETE"; private static final String METHOD_HEAD = "HEAD"; private static final String METHOD_GET = "GET"; private static final String METHOD_OPTIONS = "OPTIONS"; private static final String METHOD_POST = "POST"; private static final String METHOD_PUT = "PUT"; private ...继续阅读 (23)

原文链接译者：魏勇本文描述了 Storm （0.7.1 版本以上）的多语言接口协议。Storm 多语言协议Shell 组件Storm 的多语言支持主要通过 ShellBolt，ShellSpout 和 ShellProcess 类来实现。这些类实现了 IBolt 接口、ISpout 接口，并通过使用 Java 的 ProcessBuilder 类调用 shell 进程实现了执行脚本的接口协议。输出域输出域是拓扑的 Thrift 定义的一部分。也就是说，如果你在 Java 中使用了多语言接口，那么你就需要创建一个继承自 ShellBolt 并实现 IRichBolt 接口的 bolt，这个 bolt 还需要在declareOutputFields方法中声明输出域（ShellSpout 也有类似的问题）。你可以在基础概念一文中了解更多相关信息。协议报头最简单的协议是通过执行脚本或程序的标准输入输出（STDIN/STDOUT）来实现的。在这个过程中传输的数据都是以 JSON 格式编码的，这样可以支持很多种语言。打包为了在集群上运行壳组件，执行的外壳脚本必须和待提交的 jar 包一起置于resources/目录下。但是，在本地开发测试时，resources 目录只需要保持在 classpath 中即可。协议注意：输入输出协议的结尾都使用行读机制，所以，必须要修剪掉输入中的新行并将他们添加到 ...继续阅读 (30)

原文链接译者：魏勇实现非 JVM 语言 DSL（Domain Specific Language，领域专用语言）应该从storm-core/src/storm.thrift文件开始。由于 Storm 拓扑是 Thrift 结构，而且 Nimbus 是一个 Thrift 后台进程，你可以以任意语言创建并提交拓扑。当你创建 Thrift 结构的 spouts 与 bolts 时，spout 或者 bolt 的代码是以 ComponentObject 结构体的形式定义的：union ComponentObject { 1: binary serialized_java; 2: ShellComponent shell; 3: JavaObject java_object; }对于非 JVM 语言 DSL（这里以 Python DSL 为例），你需要使用其中的 “2” 与 “3”。ShellComponent 负责指定运行该组件（例如你的 python 代码）的脚本，而 JavaObject 则负责指定该组件的本地（native）Java spouts 与 bolts（而且 Storm 也会使用反射来创建 spout 或者 bolt）。“storm shell” 命令可以用于提交拓扑。下面是一个示例：storm shell resources/ python topology. ...继续阅读 (78)

原文链接译者：魏勇两个部分：创建拓扑，以及使用其他语言实现 spouts 与 bolts由于 Storm 的拓扑都是基于 thrift 结构的，所以使用其他语言创建拓扑也是一件很容易的事情使用其他语言实现的 spouts 与 bolts 称为“多语言组件”（multilang components）或者“脱壳”（shelling）这是具体的实现协议：多语言接口协议thrift 结构允许你定义以一个程序和脚本的方式定义多语言组件（例如，可以使用 python 程序和文件实现 bolt）在 Java 中，需要覆写 ShellBolt 或者 ShellSpout 来创建多语言组件注意，输出域是在 thrift 结构中声明的，所以在 Java 中你需要这样创建多语言组件：在 Java 中声明域，并通过在 shellbolt 的构造器中指定输出域来处理其他语言的代码多语言组件在 STDIN/STDOUT 中使用 JSON 消息来和子进程通信已经实现了 Ruby，Python 等语言的相关协议，例如，python 支持 emit、anchor、ack 与 log等操作“storm shell” 命令简化了构造 jar 包与向 nimbus 上传文件的过程构建 jar 文件并将其上传使用 nimbus 的 host/port 以及 jar 文件的 id 来调用你的程序以非 JVM 语言实现 DS ...继续阅读 (24)

原文链接译者：魏勇本文说明了如何使用 Storm 从 Kestrel 集群中消费数据。前言Storm本教程中使用了storm-kestrel项目和storm-starter项目中的例子。建议读者将这几个项目 clone 到本地，并动手运行其中的例子。Kestrel本文假定读者可以如此项目所述在本地运行一个 Kestrel 集群。Kestrel 服务器与队列Kestrel 服务中包含有一组消息队列。Kestrel 队列是一种非常简单的消息队列，可以运行于 JVM 上，并使用 memcache 协议（以及一些扩展）与客户端交互。详情可以参考storm-kestrel项目中的KestrelThriftClient类的实现。每个队列均严格遵循先入先出的规则。为了提高服务性能，数据都是缓存在系统内存中的；不过，只有开头的 128MB 是保存在内存中的。在服务停止的时候，队列的状态会保存到一个日志文件中。请参阅此文了解更多详细信息。Kestrel 具有 * 快速 * 小巧 * 持久 * 可靠 等特点。例如，Twitter 就使用 Kestrel 作为消息系统的核心环节，此文中介绍了相关信息。** 向 Kestrel 中添加数据首先，我们需要一个可以向 Kestrel 的队列添加数据的程序。下述方法使用了storm-kestrel项目中的KestrelClient的实现。该方法从一个包含 5 个 ...继续阅读 (30)

原文链接译者：魏勇分布式 RPC（DRPC）的设计目标是充分利用 Storm 的计算能力实现高密度的并行实时计算。Storm 接收若干个函数参数作为输入流，然后通过 DRPC 输出这些函数调用的结果。严格来说，DRPC 并不能算作是 Storm 的一个特性，因为它只是一种基于 Storm 原语 (Stream、Spout、Bolt、Topology) 实现的计算模式。虽然可以将 DRPC 从 Storm 中打包出来作为一个独立的库，但是与 Storm 集成在一起显然更有用。概述DRPC 是通过一个 DRPC 服务端(DRPC server)来实现分布式 RPC 功能的。DRPC server 负责接收 RPC 请求，并将该请求发送到 Storm 中运行的 Topology，等待接收 Topology 发送的处理结果，并将该结果返回给发送请求的客户端。因此，从客户端的角度来说，DPRC 与普通的 RPC 调用并没有什么区别。例如，以下是一个使用参数 “http://twitter.com”调用 “reach” 函数计算结果的例子：DRPCClientclient=newDRPCClient("drpc-host",3772);Stringresult=client.execute("reach","http://twitter.com");下图是 DRPC 的原理示意图。客户端通过向 ...继续阅读 (20)

原文链接译者：魏勇本文列出了 Storm 拓扑中使用的一些常见模式，包括：数据流的 join批处理BasicBolt内存缓存与域分组的结合Top N 流式计算TimeCacheMapCoordinatedBolt 与 KeyedFairBoltJoins数据流的 join 一般指的是通过共有的域来聚合两个或多个数据流的过程。与一般的数据库中 join 操作要求有限的输入与清晰的语义不同，数据流 join 的输入往往是无限的数据集，而且并不具备明确的语义。join 的类型一般是由应用的需求决定的。有些应用需要将两个流在某个固定时间内的所有 tuple 进行 join，另外一些应用却可能要求对每个 join 域的 join 操作过程的两侧只保留一个 tuple，而其他的应用也许还有一些其他需求。不过这些 join 类型一般都会有一个基本的模式，那就是将多个输入流进行分区。Storm 可以很容易地使用域分组的方法将多个输入流聚集到一个联结 bolt 中，比如下面这样：builder.setBolt("join",newMyJoiner(), parallelism) .fieldsGrouping("1",newFields("joinfield1","joinfield2")) .fieldsGrouping("2",newFields("joinfield1","joinfi ...继续阅读 (26)

原文链接译者：魏勇本文阐述了 Storm 0.6.0 以上版本的序列化机制。在低于 0.6.0 版本的 Storm 中使用了另一种序列化系统，详细信息可以参考Serialization (prior to 0.6.0)一文。Storm 中的 tuple 可以包含任何类型的对象。由于 Storm 是一个分布式系统，所以在不同的任务之间传递消息时 Storm 必须知道怎样序列化、反序列化消息对象。Storm 使用Kryo对对象进行序列化。Kryo 是一个生成小序列的灵活、快速的序列化库。Storm 本身支持基础类型、字符串、字节数组、ArrayList、HashMap、HashSet 以及 Clojure 的集合类型的序列化。如果你需要在 tuple 中使用其他的对象类型，你就需要注册一个自定义的序列化器。动态类型在 tuple 中没有对各个域（field）的直接类型声明。你需要将对象放入对应的域中，然后 Storm 可以动态地实现对象的序列化。在学习序列化接口之前，我们先来了解一下为什么 Storm 的 tuple 是动态类型化的。为 tuple 的 fields 增加静态类型会大幅增加 Storm 的 API 的复杂度。比如 Hadoop 就将它的 key 和 value 都静态化了，这就要求用户自己添加大量的注解。使用 Hadoop 的 API 非常繁琐，而相应的“类型安全”并不 ...继续阅读 (46)

原文链接译者：魏勇本文详细讲解了配置 Storm 开发环境的相关信息。简单地说，配置过程包含以下几个步骤：下载Storm 发行版，将其解压缩并复制到你的PATH环境变量的bin目录中（也可以根据需要自定义安装目录 —— 译者注）；如果需要在远程集群中运行拓扑，则需要在~/.storm/storm.yaml文件中配置好集群的相关信息。上述几步的详细内容如下。什么是开发环境？Storm 包含两种操作模式：本地模式与远程模式（即集群模式 —— 译者注）。在本地模式下，你可以在本地机器上的一个进程中完成所有的开发、测试拓扑的工作。而在远程模式下，为了运行拓扑，你需要先向服务器集群提交该拓扑。Storm 的开发环境已经为你准备好了一切，因此，你可以在本地模式下完成开发、测试拓扑的工作，将拓扑打包并提交到远程服务器，并在远程服务器集群上运行或者终止拓扑。我们再来回顾一下本地机器与远程集群之间的关系。Storm 集群是由一个称为 “Nimbus” 的主节点管理的。本地机器通过与 Nimbus 通信来提交代码（代码已经打包为 jar 格式），这样代码文件中包含的拓扑就可以在集群中运行。Nimbus 会小心地维护着代码在集群中的分布式结构，并为待运行的拓扑分配 worker。本地机器可以使用一个称为storm的命令行客户端来与 Nimbus 进行通信。不过，storm客户端仅用于远程模式，不能用于本 ...继续阅读 (43)

原文链接译者：曲东方灾难将至，Java 9中将移除Sun.misc.UnsafeOracle 正在计划在Java 9中去掉sun.misc.UnsafeAPI。 这绝对将是一场灾难，有可能会彻底破坏整个 java 生态圈。 几乎每个使用 java开发的工具、软件基础设施、高性能开发库都在底层使用了sun.misc.Unsafe。 下面是上面链接中文档提到一个小列表：NettyHazelcastCassandraMockito / EasyMock / JMock / PowerMockScala SpecsSpockRobolectricGrailsNeo4jSpring FrameworkAkkaApache KafkaApache WinkApache StormApache HadoopApache Continuum… 这个列表很长。。。然而， Oracle 看起来是铁了心毫无理由的去掉它。下面是一个来自他们邮件列表的评论： n恕我直言 —sun.misc.Unsafe必须死掉。 它是“不安全”的。它必须被废弃。请忽略一切理论上(想象中的)羁绊，从此走上正确的道路吧。这个工程师似乎是毫无根据的憎恨 Unsafe。。。Oracle应该怎么做？当前Unsafe 类是一个强有力的工具。 没有必要去掉它。对这个类的特性有些明确的需求，这就是为什么事实上几乎每个 Java ...继续阅读 (19)

作者：张振华购买链接：天猫商城（投入多少，收获多少。参与多深，领悟多深，京东，亚马逊，当当均有销售。） 5.1 线程安全的阻塞队列BlockingQueue(1)先理解一下Queue、Deque、BlockingQueue的概念：Queue(队列) ：用于保存一组元素，不过在存取元素的时候必须遵循先进先出原则。队列是一种特殊的线性表，它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作。进行插入操作的端称为队尾，进行删除操作的端称为队头。队列中没有元素时，称为空队列。在队列这种数据结构中，最先插入的元素将是最先被删除的元素；反之最后插入的元素将是最后被删除的元素，因此队列又称为“先进先出”（FIFO—first in first out）的线性表。Deque(双端队列)： 两端都可以进出的队列。当我们约束从队列的一端进出队时，就形成了另外一种存取模式，它遵循先进后出原则，这就是栈结构。双端队列主要是用于栈操作。使用站结构让操作有可追溯性（如windows窗口地址栏内的路径前进栈、后退栈）。阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，获取元素的线程会等待队列变为非空。当队列满时，存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素 ...继续阅读 (27)

原文链接作者：Jakob Jenkov  译者：祖强Collection接口是 (java.util.Collection)是Java集合类的顶级接口之一。所以不能直接实例化一个Collection，但是可以实例化它的一个子类，你或许经常把这些子类作为一个Collection统一探讨。在这篇文章中，你将看到如何处理。下面是本文的一个主题列表：Collection子类增加和移除元素检测一个Collection是否包含一个确定的元素Collection大小遍历一个CollectionCollection子类下面的接口继承了Collection接口：ListSetSortedSetNavigableSetQueueDequeJava没有一个可用的Collection接口的实现，所以你必须使用上述列表中的子类。Collection接口仅仅只是定义了每个子类共享的一系列方法。这使得忽略你具体使用的Collection类型而把他们当作一个Collection统一对待成为可能。这是一个标准的继承，没有什么神奇之处，但是有时候会成为一个很好的特性。本文的后面部分将描述这些常用操作的大部分使用方法。下面是一个Collection操作的一个方法：public class MyCollectionUtil{ public static void doSomething(Collection col ...继续阅读 (18)

作者：黑伯问题: Java的参数传递的是值还是引用？我们经常会被问到这样的问题，当我调用某个方法时，通过参数传递过去的是变量本身，还是一个变量的复制品？问题的答案留到讨论后给出。首先,你需要了解下java变量的分类:java中的变量分为基本类型接口类型类类型数组类型其中后面三种统称为引用类型，而基本类型分为三种,数字类型booleanreturnAddress数字类型又分为浮点类型整数类型浮点整数又有具体的内容，这里不再展开说明。其中,returnAddress是java虚拟机内部使用的类型,它被用来实现java程序中finally子句。这里主要看引用类型和基本类型数字类型情况(boolean类型的情况和基本类型一致).先看参数为基本类型的情况:public class Demo1 { public void swap(int a, int b) { a = a ^ b; b = a ^ b; a = a ^ b; System.out.println("swap: a=" + a + ",b=" + b); } public static void main(String[] args) { Demo1 demo1 = new Demo1(); int a = ...继续阅读 (20)

原文地址译者：冷风  校对：方腾飞如果你使用的是VelocityViewServlet或者其他的web框架，你不会直接调用到Velocity。但是，如果在非web的应用中或者自己编写的web框架时，你将会像上面说的基本流程一样直接调用到Velocity 引擎。另外一个需要记住的重点是，必须在使用Velocity合并模版之前，初始化Velocity引擎。Velocity辅助类Velocity中包含一个叫做Velocity( org.apache.velocity.app.Velocity )的应用工具类。这个类的主要是提供一些初始化Velocity时必须的方法，以及简化Velocity使用的一些常规方法。这个在工程的javadoc中有描述，可通过阅读javadoc来获取更详细的说明。本篇文档只是教程；所以，如果需要了解完整的API信息，javadoc是你最好的选择。Velocity运行时引擎是为在同一个jvm中的其他使用者提供资源获取，日志记录等其他服务的单个实例。因此，运行时引擎只会初始化一次。你可以尝试初始化多次，但是只有第一次是有效的，后面的初始化操作都会被忽略。Velocity工具类提供了五个用来配置运行时引擎的方法。这五个配置方法如下：setProperty( String key, Object o )设置属性键key对应属性值为o。值通常为字符串，在特殊情况下也可以是逗 ...继续阅读 (21)