作者：张开涛说起项目，每个程序员都应该搭建过自己的项目，而我也搭建过数十个企业级或互联网级项目；在做企业级项目时也抽象了一套通过的开发脚手架ES方便开发，也做过一些通用的代码生成工具来生成通用项目架子或一些CRUD的代码。做这些平台或项目的时候或多或少给我一些启示和原则，而这些启示和原则一直指导着我内心方向，时刻指导我不偏离航线。启示录心中有原则代码规范化代码审查代码重构代码注释代码逻辑抽象工具类项目闭环持续改进自动化心中有原则我认为这是搭建和维护项目的灵魂，失去了灵魂，项目虽然能运行，但是未来是没有方向的。来了需求就接，最后就是修修补补。其实我个人认为心中有原则就是有未来预见性，能根据现有需求预见到未来的需求发展。比如我做过的一个项目是需要依赖数十个系统，那么之前的做法是让所有我依赖的系统在变更时调用我的同步接口把数据同步过来，此处存在这么几个问题：假设IP或域名变了，需要通知所有依赖方；假设我们出问题了，各个依赖方需要自己进行重试；假设数据出问题了，需要通知依赖方再同步一下数据；这种方式产生了严重的耦合。因此在设计新架构时我们要完全摒弃这种方法，改用异步通知+拉取依赖数据的方式，如通过MQ通知我们数据变更了，然后通过依赖方提供的接口拉取数据；这种方式的好处：和依赖方松耦合；假设数据有问题再调用下依赖方接口拉取下数据修复即可。因此这个项目的原则就是异步通知+拉取数据。而如果依赖方 ...继续阅读 (13)

作者：张开涛从入职京东到现在，做读服务已经一年多的时间了，经历了各种亿级到百亿级的读服务；这段时间也进行了一些新的读服务架构尝试，从架构到代码的编写，各个环节都进行了反复尝试，压测并进行调优，希望得到一个自己满意的读服务架构。一些设计原则无状态数据闭环缓存银弹并发化降级开关限流切流量其他无状态如果设计的应用是无状态的，那么应用就可以水平扩展，当然实际生产环境可能是这样子的： 应用无状态，配置文件有状态。比如不同的机房需要读取不同的数据源，此时就需要通过配置文件指定。数据闭环如果依赖的数据来源特别多，此时就可以考虑使用数据闭环，基本步骤：1、数据异构：通过如MQ机制接收数据变更，然后原子化存储到合适的存储引擎，如redis或持久化KV存储；2、数据聚合：这步是可选的，数据异构的目的是把数据从多个数据源拿过来，数据聚合目的是把这些数据做个聚合，这样前端就可以一个调用拿到所有数据，此步骤一般存储到KV存储中；3、前端展示：前端通过一次或少量几次调用拿到所需要的数据。这种方式的好处就是数据的闭环，任何依赖系统出问题了，还是能正常工作，只是更新会有积压，但是不影响前端展示。另外此处如果一次需要多个数据，可以考虑使用Hash Tag机制将相关的数据聚合到一个实例，如在展示商品详情页时需要：商品基本信息：p:123:， 商品规格参数：d:123:，此时就可以使用冒号中间的123作为数据分片key ...继续阅读 (15)

原文链接作者：Jakob Jenkov  译者：魏嘉鹏Java的java.util.Date类是Java最初的时间类之一。今天该类的大部分方法已不推荐使用，取而代之的是java.util.Calendar类。不过你仍然可以使用java.util.Date类去表示某个时间。下面是一个如何实例化java.util.Date的例子：java.util.Date date = new java.util.Date();Date实例包含了当前时间作为它的日期和时间。你可以通过getTime()方法访问java.util.Date实例的日期和时间，比如像这样：java.util.Date date = new java.util.Date(); long time = date.getTime();你也可以用一个以毫秒为单位的时间作为来源来创建一个java.util.Date实例，比如像这样：long now = System.currentTimeMillis(); java.util.Date date = new java.util.Date(now);Dates比较由于java.util.Date类实现了java.lang.Comparable接口，所以你可以对java.util.Date实例进行比较。下面将介绍如何使用：java.util.Date date1 = new java. ...继续阅读 (21)

原文链接译者：魏勇一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（executors）和任务（tasks）在一个 Storm 集群中，Storm 主要通过以下三个部件来运行拓扑：工作进程（worker processes）执行器（executors）任务（tasks）下面是他们之间相互关系的简单图示。在 Worker 中运行的是拓扑的一个子集。一个 worker 进程是从属于某一个特定的拓扑的，在 worker 进程中会运行一个或者多个与拓扑中的组件相关联的 executor。一个运行中的拓扑就是由这些运行于 Storm 集群中的很多机器上的进程组成的。一个 executor 是由 worker 进程生成的一个线程。在 executor 中可能会有一个或者多个 task，这些 task 都是为同一个组件（spout 或者 bolt）服务的。task 是实际执行数据处理的最小工作单元（注意，task 并不是线程） —— 在你的代码中实现的每个 spout 或者 bolt 都会在集群中运行很多个 task。在拓扑的整个生命周期中每个组件的 task 数量都是保持不变的，不过每个组件的 executor 数量却是有可能会随着时间变化。在默认情况下 task 的数量是和 executor 的数量一样的，也就是说，默认情况下 Storm 会在每个线程上运 ...继续阅读 (45)

原文链接译者：魏勇本文通过问答的形式解释了 Storm 的容错性原理。工作进程（worker）死亡时会发生什么？工作进程死亡的时候，supervisor 会重新启动这个进程。如果在启动过程中仍然一直失败，并且无法向 Nimbus 发送心跳，Nimbus 就会将这个 worker 重新分配到其他机器上去。节点故障时会发生什么？一个节点（集群中的工作节点，非 Nimbus 所在服务器）故障时，该节点上所有的任务（tasks）都会超时，然后 Nimbus 在检测到超时后会将所有的这些任务重新分配到其他机器上去。Nimbus 或者 Supervisor 的后台进程挂掉时会发生什么Nimbus 和 Supervisor 的后台进程本身是设计为快速失败（无论何时发生了异常情况之后都会启动自毁操作）和无状态（所有的状态由 ZooKeeper 负责管理）的。正如配置 Storm 集群这篇文章中所述，Nimbus 和 Supervisor 的后台进程实际上是在后台监控工具的监控之下运行的。所以，如果 Nimbus 或者 Supervisor 进程挂掉，他们就会静默地自动重启。值得一提的是，Nimbus 和 Supervisor 的故障不会影响任何工作进程。这一点与 Hadoop 形成了鲜明对比，在 Hadoop 中 JobTracker 的故障会导致所有正在运行的 job 运行失败（Hadoop 2 ...继续阅读 (31)

原文链接译者：魏勇Storm 最佳实践关于配置 Storm + Trident 的建议worker 的数量最好是服务器数量的倍数；topology 的总并发度(parallelism)最好是 worker 数量的倍数；Kafka 的分区数(partitions)最好是 Spout（特指KafkaSpout）并发度的倍数在每个机器（supervisor）上每个拓扑应用只配置一个 worker在拓扑最开始运行的时候设置使用较少的大聚合器，并且最好是每个 worker 进程分配一个使用独立的调度器（scheduler）来分配任务（关于Scheduler 的知识请参考xumingming 的博客—— 译者注）在每个 worker 上只配置使用一个 acker —— 这是 0.9.x 版本的默认特性，不过在早期版本中有所不同在配置文件中开启 GC 日志记录；如果一切正常，日志中记录的 major GC 应该会非常少将 trident 的 batch interval 配置为你的集群的端到端时延的 50% 左右开始时设置一个很小的TOPOLOGY_MAX_SPOUT_PENDING（对于 trident 可以设置为 1，对于一般的 topology 可以设置为 executor 的数量），然后逐渐增大，直到数据流不再发生变化。这时你可能会发现结果大约等于“2 × 吞吐率(每秒收到的消息数) × ...继续阅读 (34)

原文链接译者：魏勇本文介绍了 Storm 命令行客户端中的所有命令操作。如果想要了解怎样设置你的 Strom 客户端和远程集群的交互，请按照配置开发环境一文中的步骤操作。Storm 中支持的命令包括：jarkillactivatedeactivaterebalancereplclasspathlocalconfvalueremoteconfvaluenimbussupervisoruidrpcjar语法：storm jar topology-jar-path class ...使用指定的参数运行 main 方法（也就是打包好的拓扑 jar 包中的 main 方法）。Storm 所需要的 jar 包和配置信息都在类路径（classpath）中。这个运行过程已经配置好了，这样StormSubmitter就可以在提交拓扑的时候将topology-jar-path中的 jar 包上传到集群中。kill语法：storm kill topology-name [-w wait-time-secs]杀死集群中正在运行的名为topology-name的拓扑。执行该操作后，Storm 首先会注销拓扑中的 spout，使得拓扑中的消息超时，这样当前的所有消息就会结束执行。随后，Storm 会将所有的 worker 关闭，并清除他们的状态。你可以使用-w参数来调整 Storm 在注销与关闭拓扑之间的间隔 ...继续阅读 (31)

原文链接译者：魏勇Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。消息的“完整性处理”是什么意思一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑：TopologyBuilderbuilder=newTopologyBuilder(); builder.setSpout("sentences",newKestrelSpout("kestrel.backtype.com",22133,"sentence_queue",newStringScheme())); builder.setBolt("split",newSplitSentence(),10) .shuffleGrouping("sentences"); builder.setBolt("count",newWordCount(),20) .fieldsGrouping("split",newFields("word"));这个拓扑从一个 Kestrel 队列中读取句子，然后将句子分解成若干个单词，然后将它每个单词和该单词的数量发送出去。这种情况下，从 spout 中发出的 tuple 就会产生 ...继续阅读 (15)

原文链接译者：魏勇Storm 有大量配置项用于调整 nimbus、supervisors 和拓扑的行为。有些配置项是系统级的配置项，在拓扑中不能修改，另外一些配置项则是可以在拓扑中修改的。每一个配置项都在 Storm 代码库的defaults.yaml中有一个默认值。可以通过在 Nimbus 和 Supervisors 的环境变量中定义一个 storm.yaml 来覆盖默认值。最后，在使用StormSubmitter提交拓扑时也可以定义基于具体拓扑的配置项。但是，基于拓扑的配置项仅仅能够覆盖那些以 “TOPOLOGY” 作为前缀的配置项。Storm 0.7.0 以上版本支持覆写每个 Bolt/Spout 的配置信息。不过，使用这种方式只能修改以下几个配置项：“topology.debug”“topology.max.spout.pending”“topology.max.task.parallelism”“topology.kryo.register”：由于序列化对拓扑中的所有组件都是可见的，这一项与其他几项稍微有一些不同，详细信息可以参考Storm 的序列化Storm 的 Java API 支持两种自定义组件配置信息的方式：内置型：在需要配置的 Spout/Bolt 中覆写getCom ...继续阅读 (22)

原文链接译者：魏勇Storm 系统中包含以下几个基本概念：拓扑（Topologies）流（Streams）数据源（Spouts）数据流处理组件（Bolts）数据流分组（Stream groupings）可靠性（Reliability）任务（Tasks）工作进程（Workers）由于 Storm 的几个基础概念无论是直译还是意译均不够清晰，而且还会让习惯了 Storm 编程模型的读者感到困惑，因此后文在提及这些概念时大多还会以英文原文出现，希望大家能够谅解。拓扑（Topologies）Storm 的拓扑是对实时计算应用逻辑的封装，它的作用与 MapReduce 的任务（Job）很相似，区别在于 MapReduce 的一个 Job 在得到结果之后总会结束，而拓扑会一直在集群中运行，直到你手动去终止它。拓扑还可以理解成由一系列通过数据流（Stream Grouping）相互关联的 Spout 和 Bolt 组成的的拓扑结构。Spout 和 Bolt 称为拓扑的组件（Component）。我们会在后文中给出这些概念的解释。相关资料TopologyBuilder：在 Java 中使用此类构造拓扑在生产环境中运行拓扑本地模式：通过本文学习如何在本地模式中开发、测试拓扑数据流（Streams）数据流（Streams）是 Storm 中最核心的抽象概念。一个数据流指的是在分布式环境中并行创建、处理 ...继续阅读 (21)

译文地址译者：郑玉婷3. 对Adopt OpenJDK的初步了解什么是OpenJDK？OCA（Oracle贡献者协议）－ 签OCAAdopt OpenJDK和Adopt-a-JSR的计划报告Adopt OpenJDK的宣传单JUG宣传单样本已经支持的OSes和IDEs对照表OpenJDK的建立基准OpenJDK的Bug数据库安装tree指令3.1 OpenJDK从这些地方了解它：什么是Adopt OpenJDK– 可以加入有趣的站点演讲 1演讲 2视频PDF（演讲全篇）PPT（演讲全篇）Voxxed网的最新博文3.2 OCA（Oracle贡献者协议）－ 签OCA用途在这里（和为什么你需要了解它）具体内容，总体了解OCA最新的OCA文件(PDF)复件3.3 Adopt OpenJDK和Adopt-a-JSR的计划报告https://docs.google.com/document/d/1TjusNITbfb35PKqA3Bq5yx_j4jPeHs3dLBvACW-fAoA/edit（Adopt OpenJDK主页的扼要）3.4 Adopt OpenJDK的宣传单https://drive.google.com/file/d/0B0fHiQR6gRybRkpveGFENzlxa0U/edit?usp=sharing请用彩色打印并发给JUG的成员或者出席讲座的人。我们通常会把 ...继续阅读 (22)

译文地址译者：bobwenx@gmail.com4.基于虚拟机的编译环境准备工作编译你自己的虚拟机编译你自己的轻量级虚拟机在Host 与 Guest VM 之间共享文件适用于 OpenJDK 8 的Vagrant Puppet 环境4.1 准备工作请注意，因为所需下载的VM镜像文件高达数GB, 请在稳定的网络环境中进行下载。如果有可能，请使用支持断点续传的下载管理器。MacOS 用户: 请使用zipeg来解压缩下载后的文件。下载后的 .OVA 与 .OVF 文件可以使用VirtualBox进行装载(Import Appliance…)这些VM镜像包含了OpenJDK 8 与 OpenJDK 9 相关的源码和编译环境.运行这些VM镜像的最低配置需求:64-bit 架构的操作系统和CPU15-20 GB 可用磁盘空间一台可以高速运行虚拟机的笔记本/Server已安装VirtualBox理解Java相关技术了解一些OpenJDK相关的知识包含OpenJDK 源码与Eclipse的 Ubuntu 12.04 VM镜像该VM中已包含一个基于Eclipse的 OpenJDK 编译环境:下载地址:http://bit.ly/1bgs369Login/password: openjdk / j1a2v3a4包含OpenJDK 源码与IntelliJ的 Ubuntu 12.04 VM镜像 ...继续阅读 (202)

一 、创建型模式1.1单例模式设计原则：无介绍：在整个应用中只有一个对象1.2简单工厂常用场景：需要在一堆产品中选择其中一个产品介绍：通过工厂类去创建产品，调用者不用直接去创建对象，并封装了对象的创建细节。设计原则：遵循单一职责 、违背开闭原则(生成不同对象，需要实现不同的工厂类，扩展性不好)1.3工厂方法模式常用场景：一种场景是希望工厂与产品的种类对客户端保持透明，给客户端提供一致的操作，另外一种是不同的工厂和产品可以提供客户端不同的服务或功能介绍：工厂方法模式又叫虚拟构造子模式或者多态性共存模式，工厂模式的用意是定义一个创建产品对象的工厂接口，将实际创建工作推迟到子类中设计原则：单一指责，依赖倒置，开闭原则1.4抽象工厂常用场景：需要一个接口可以提供一个产品族，且不必知道产品的具体种类介绍： 工厂方法模式与抽象工厂模式最大的区别在于，在工厂方法模式中，工厂创造的是一个产品，而在抽象工厂模式中，工厂创造的是一个产品族。设计原则：单一指责，依赖倒置，开闭原则1.5建造者模式常用场景：需要构建一批构建过程相同但表示不同的产品，而构建过程非常复杂介绍：建造模式是对象的创建模式。建造模式可以将一个产品的内部表象与产品的生成过程分割开来，从而可以使一个建造过程生成具有不同的内部表象的产品对象。设计原则： 遵循单一职责、开闭原则1.6 原型模式常用场景：需要在运行时动态的创建指定实例种类的对 ...继续阅读 (14)

最近再次翻netty和disrupt的源码, 发现一些地方使用AtomicXXX.lazySet()/unsafe.putOrderedXXX系列, 以前一直没有注意lazySet这个方法, 仔细研究一下发现很有意思。我们拿AtomicReferenceFieldUpdater的set()和lazySet()作比较, 其他AtomicXXX类和这个类似。public void set(T obj, V newValue) { // ... unsafe.putObjectVolatile(obj, offset, newValue); } public void lazySet(T obj, V newValue) { // ... unsafe.putOrderedObject(obj, offset, newValue); }1.首先set()是对volatile变量的一个写操作, 我们知道volatile的write为了保证对其他线程的可见性会追加以下两个Fence(内存屏障)1)StoreStore // 在intel cpu中, 不存在[写写]重排序, 这个可以直接省略了2)StoreLoad // 这个是所有内存屏障里最耗性能的注: 内存屏障相关参考Doug Lea大大的cookbook (http://g.oswego.edu/dl/ ...继续阅读 (25)

原文链接原文作者：James D Bloom 翻译：梅小西(904516706)生产系统上决定合适的Java堆大小不是一个容易的操作。许多性能问题的发生都是由于不恰当的Java堆容量的错误调整。这部分将从介绍一些技巧作为开头，它能帮助你在当前的或者新的生产系统上决定最佳的Java堆大小。其中一些技巧对预防OutOfMemoryError问题和内存泄露方面也同样有用。请注意这些技巧是倾向于“帮助你”决定合适的Java堆大小。因为每一个IT环境都不相同，实际上你是处于最好的时机来精确决定你客户环境所需要的Java堆参数。1 – JVM: 你总是担心你不理解的部分你如何期望去配置，调整和故障诊断那些你不懂的部分?你也许从没有机会去调整和改善Java虚拟机参数，但是为了提高你的知识以及故障诊断能力，你仍然可以免费的学习它们的基础。 也许你不同意，但是从我的观点来说，那种Java程序员不需要了解内部JVM内存管理的想法是错误的。Java堆调整和故障处理对Java和JavaEE初学者来说尤其是一个挑战，下面是一个典型的情形 ：• 你的客户生产环境经常面对OutOfMemoryError 问题，并导致影响了许多业务。你的支持团队对于解决这些问题有很大压力。• 通过快速Google搜索，你能找到类似问题的例子并认为(以为)你面对的是同样的问题。• 此时你从另一个同样发生了OutOfMemoryEr ...继续阅读 (20)

原文链接原文作者：James D Bloom 翻译：梅小西(904516706)Oracle HotSpot JVM 内存Java HotSpot 虚拟机堆空间这个部分将向你介绍Oracle Java HotSpot虚拟机里不同的Java堆内存空间概览。理解这个对于任何一个涉及到线上经常出现的内存问题的解决非常重要。而具有合适的Java 虚拟机堆空间的知识是很关键的。Java虚拟机是你Java程序的基础，它提供了动态内存管理服务，垃圾收集，线程，IO以及本地操作等等。Java堆空间是运行时Java程序的内存“容器”，它为你的Java程序提供了它需要的(Java堆，本地堆)合适的内存空间，并由JVM自身管理。JVM HotSpot内存被分为3个内存空间：• The Java Heap（堆）• The PermGen (持久代)• 本地堆(C-堆)下面是他们的详细分类：内存空间启动参数和调整方法监控方式描述Java 堆-Xmx (最大堆容量)-Xms (最小堆容量)EX:-Xmx1024m-Xms1024m-verbose GC- JMX API- JConsole- 其他监控工具Java堆是存储你的主要的Java程序Class实例。持久代-XX:MaxPermSize (最大容量)-XX:PermSize (最小容量)EX:-XX:MaxPermSize=512m- ...继续阅读 (20)

原文地址译者：Borg译者注：由于原文太长，这只是大概三分一的部分，即翻译至第五页倒数第三个问题。以下是面试时常问到的JAVA面试题，能让你对JAVA面试有基本的了解。根据我个人的经验，一个好的面试官在面试的时候是不会事先准备一列问题清单，一般来说都从关于JAVA最基本的概念开始，然后再根据你的回答继续深入讨论。问题：关于JAVA 你知道什么？回答：JAVA是一种高级程序设计语言，由詹姆斯·高斯林发明并于1995年发布。JAVA可以在多种平台上运行，如Windows、Mac OS、各种版本的UNIX。问题：JAVA编程语言支持什么平台？回答：JAVA可以在多种平台上运行，如Windows、Mac OS、以及各种版本的UNIX/Linux操作系统如HP-Unix, Sun Solaris, Redhat Linux, Ubuntu, CentOS 等。问题：请列举出JAVA至少5种特性。回答：JAVA特性包括面向对象、平台独立、健壮性、解释性、多线程等。问题：为什么JAVA是结构中立的？回答：JAVA编译器会生成一种具备结构中立性的目标文件格式。编译后的程序码可以在提供Java运行系统的多种不同处理器上面执行。问题：JAVA如何保证高效性？回答：JAVA使用即时编译器来保证高效性。即时编译器能把Java字节码转换成可以直接发送给处理器的指令。问题：为什么JAVA是动态的？回答：JAV ...继续阅读 (10)

作者：李强强上一篇，泥瓦匠基础地讲了下Java I/O : Bit Operation 位运算。这一讲，泥瓦匠带你走进Java中的进制详解。一、引子在Java世界里，99%的工作都是处理这高层。那么二进制，字节码这些会在哪里用到呢？自问自答：在跨平台的时候，就凸显神功了。比如说文件读写，数据通信，还有Java编译后的字节码文件。下面会有个数据通信的例子哦。Java对对象实现Serializablle接口，就可以将其转化为一系列字节，而在通信中，不必要关系数据如何在不同机器表示和字节的顺序。这里泥瓦匠对Serializablle接口，不做详细讲解，以后单独详解。二、Java进制转换首先认识下Java中的数据类型：1、Int整型：byte（8位，-128~127）、short（16位）、int（32位）、long（64位）2、Float型：float（32位）、double（64位）2、char字符：unicode字符（16位）也就是说，一个int等价于长度为4的字节数组。Java中进制如何转换呢？在Java中，Int整形以及char字符型被包装的类中提供了一系列的操作方法。比如java.lang.Integer中，api如图所示：下面泥瓦匠写个demo，验证下。package javaBasic.oi.byteoper; public class IntegerOper { pu ...继续阅读 (18)