本文出处：http://blog.csdn.net/chaijunkun/article/details/44238163，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。这些天研究HBase，写了一段Demo代码，具体如下：@Test public void doTest() throws MasterNotRunningException, ZooKeeperConnectionException, IOException { Configuration config = HBaseConfiguration.create(); config.set(zkSetKey, zkConn); HBaseAdmin hBaseAdmin = null; try{ hBaseAdmin = new HBaseAdmin(config); ClusterStatus clusterStatus = hBaseAdmin.getClusterStatus(); ServerName master = clusterStatus.getMaster(); log.info("Master主机:{},端口号:{}", master.getHostname(), master.getPort()); Collection ...继续阅读 (91)

本文出处：http://blog.csdn.net/chaijunkun/article/details/40145685，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。HttpClient在当今Java应用中的位置越来越重要。从该项目的变迁过程我们不难发现，其已经从apache-commons众多的子项目中剥离，一跃成为如今的顶级项目，可见它的分量。然而随着项目的升级和架构的调整，很多以前常用的类和方法都已被打上了@Deprecated注解，作为一个有代码洁癖的程序猿，我们也有必要升级一下工具类，让代码更加整洁。另外在项目中正好需要访问https协议的接口，而对应的服务器没有购买商业CA颁发的正式受信证书，只是做了个自签名（联想一下12306网站购票时提示的那个警告信息），默认情况下通过HttpClient访问会抛出异常，在本文中也给出了解决办法。在HttpClient 4.x版本中引入了大量的构造器设计模式，很多的配置都不建议直接new出来，而且相关的API也有所改动，例如连接参数，以前是直接new出HttpConnectionParams对象后通过set方法逐一设置属性，现在有了构造器，可以通过如下方式进行构造：ConnectionConfig.custom().setCharset(Charsets.toCharset(de ...继续阅读 (161)

本文出处：http://blog.csdn.net/chaijunkun/article/details/37923905，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。在使用maven开发web项目极大地方便了jar包的依赖，在测试时也可以集成Servlet容器，从启动速度和量级上看，Jetty无疑是不二选择，然而从8.x开始，如果你的web项目中不包含数据库访问（或者说没有事务管理器）的话，在其启动时会提示找不到事务管理器，输出信息如下：oejpw.PlusConfiguration:No Transaction manager found - if your webapp requires one, please configure one.而且启动过程会暂停十几秒，在反复调试代码时很浪费时间，经过多天在网上搜索资料，终于找到了解决办法。首先是pom.xml中关于插件的配置：org.mortbay.jettyjetty-maven-plugin8.1.15.v20140411stop99991${project.basedir}/src/main/resources/jetty-context.xml/8060000重要的是加上配置，我们要对jetty的服务器属性进行配置。本例中把配置文件放到了/src/main/resour ...继续阅读 (86)

本文出处：http://blog.csdn.net/chaijunkun/article/details/35796335，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。这两天一直在整理一些旧的代码，将原来的混乱东西升级到maven管理。这其中也免不了将大项目拆分成若干个module来管理。然而为了在测试的时候图省事，在各个模块都引用的基础module中src/test/java中建立了一个BaseTest，package net.csdn.blog.chaijunkun.util; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.test.context.ContextConfiguration; import org.springframework.test.context.junit4.SpringJUnit4ClassRunner; @RunWith(SpringJUnit4ClassRunner.class) @ContextConfiguration(locations="classpath:applicationContext*.xml") public abstract class BaseTes ...继续阅读 (27)

本文出处：http://blog.csdn.net/chaijunkun/article/details/34805385，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。eclipse与maven插件的结合为我们快速搭建开发环境提供了便捷条件，然而maven编译出来的class文件、配置文件和打包文件实际上都不需要进行版本控制，团队中每个人的开发环境可能不太一样，将.settings目录和.project等文件同步到svn甚至还会引起冲突和不便，因此最好将它们忽略，保持一个干净的svn环境。首先打开eclipse菜单中的Window->preferences在左侧列表中选择Team->Ignored Resources，然后右侧点击Add Pattern...逐个添加以下Pattern：.settings.project.classpath.classtarget.DS_Store其中，.DS_Store是Mac系统中独有的，系统会在目录中自动创建该存储索引文件。添加好之后点击Apply，OK，就完成设置了。再次提交新项目时就不会同步这些烦人的额外信息了。部分内容援引自：http://www.myexception.cn/cvs-svn/472249.html ...继续阅读 (32)

本文出处：http://blog.csdn.net/chaijunkun/article/details/30257015，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。Java作为面向对象的语言，处理结构化的数据当然也可以将其对象化，这就是涉及到了转化工具。而对于XML文件来说，经常使用的是JDK 1.6开始支持的JAXB 2.0，另外还有一款叫做XStream的框架。本人在使用XStream遇到了一些问题，在此分享。1.问题描述在做项目的时候，为了提高性能，降低新建对象的频率，我开始时将XStream写成了单例模式。每当需要将对象序列化为xml，或者将xml反序列化为对象的时候，获取到这个XStream实例，然后调用转换API，但是在连续反序列化两个结构不同的XML的时候发现了抛出异常的bug。2.基础代码首先我写了一个测试用例，以下是XStream的单例模式和序列化对象和反序列化xml的代码实现：public class TestCase { private static volatile XStream stream= null; public static XStream getStream(){ synchronized (TestCase.class) { if (stream==null){ ...继续阅读 (53)

本文出处：http://blog.csdn.net/chaijunkun/article/details/27361453，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。最近在做一套系统，其中要求若干个Worker服务器将心跳信息都上报给中央服务器。当一定时间中央服务器没有得到心跳信息时则认为该Worker失效了，发出告警。满足这种需求的解决方法多种多样，我开始想到了memcache，上报一次心跳信息就刷新一次缓存，当缓存内心跳信息对象超时被删除，即认为对应的Worker失效。然而由于memcache的工作原理，删除都是被动的，我们无法及时判断数据是否过期，即便知道了数据过期，也没有一种机制来回调方法来执行自定义的处理动作。难道缓存架构就真的不行了吗？答案是否定的。在Redis 2.8.0版本起，加入了“Keyspace notifications”（即“键空间通知”）的功能。如何理解该功能呢？我们来看下官方是怎么说的：键空间通知，允许Redis客户端从“发布/订阅”通道中建立订阅关系，以便客户端能够在Redis中的数据因某种方式受到影响时收到相应事件。可能接收到的事件举例如下：影响一个给出的键的所有命令（会告诉你哪个键被执行了一个命令，这个命令是什么）；接收到了一个LPUSH操作的所有键（LPUSH命令：key v1 [v2 v3 ...继续阅读 (511)

本文出处：http://blog.csdn.net/chaijunkun/article/details/23921547，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。Spring框架为Java开发提供了很多便利的工具和编程方式，最近在研究LDAP认证，多数技术问题都已经搞定，但是针对LDAP的ODM（Object-Directory Mapping，也就是LDAP层面的ORM）还有些不足。问题描述：Spring项目中有一个名为Spring LDAP的子项目，可以简化查询逻辑，但是其中的LDAPTemplate需要做手动的Mapping，另外在查询时默认使用的是类似于SQL中的select *，这样也许会造成很多的网络流量浪费和性能下降。如果需指定返回哪些字段，必须输入一个String[]。这样做的结果就是，同样的一个查询，既要指定字段的String[]，又要将返回的字段一个一个地Mapping到Bean属性上，一旦将来字段增加或者减少，需要维护两个地方，增加了出错的几率。于是想到了能否像JPA的注解方式那样来配置ODM，后来查阅相关资料，还真有——使用OdmManagerImplFactoryBean。首先需要在被映射的对象上增加Entry注解，然后在Bean属性上增加对应的Attribute注解就完成了映射。问题 ...继续阅读 (27)

本文出处：http://blog.csdn.net/chaijunkun/article/details/23695001，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。本篇文章节选翻译自：http://www-01.ibm.com/support/docview.wss?uid=swg21290631接下来显示的认证错误类似于这样："The exception is [LDAP: error code 49- 80090308: LdapErr:DSID-0Cxxxxxx, comment: AcceptSecurityContext error, dataxxx, vece ]."然而存在这多种情况指示LDAP功能存在异常。下面根据Microsoft Activative Directory给出些一般参考。AD指令错误代码是一段在"data"之后并在"vece"或者"v893"这样文字之前的一段字符。实际上这些错误代码伴随着绑定过程而返回。525用户不存在52e密码或凭证无效530此时不允许登录531在此工作站上不允许登录532密码过期533账户禁用701账户过期773用户必须重置密码775用户账户锁定一般Active Directory LDAP 绑定错误:80090308: LdapErr: DSID-0C09030B, c ...继续阅读 (52)

本文出处：http://blog.csdn.net/chaijunkun/article/details/23283431，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。随着大数据的普及，Hadoop应用也越来越广泛，然而不断扩展的节点数量对运维管理也提出了更高要求。本文围绕对主机名的配置这一主题来探讨集群的管理，旨在探讨一种可行的Hadoop集群管理方法。1.主机命名，有可为有可不为为什么要在开篇说这个呢？这来源于做实验时遇到的第一个问题，为了避免有人走同样的弯路，先写下来。我的实验环境准备了4台虚拟机：IP地址机器名(hostname)作用192.168.1.101hadoop_1NameNode192.168.1.102hadoop_2SecondaryNameNode192.168.1.103hadoop_3DataNode-1192.168.1.104hadoop_4DataNode-2当我对NameNode进行格式化后，执行start-all，发现java进程没有启动成功（jps发现无任何进程），于是去查看日志，得到了下面的异常信息：ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does ...继续阅读 (34)

本文出处：http://blog.csdn.net/chaijunkun/article/details/22387305，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。今天写代码时需要实现获取文件大小的功能，目前有两种实现方法，一种是使用File的length()方法；另外一种是使用FileInputStream的available()方法，当InputStream未进行read操作时，available()的大小应该是等于文件大小的。但是在处理大文件时，后者会发生问题。我们来看一下：在例子中，我使用了CentOS 6.5 的安装镜像文件，主要是考虑到这个文件足够大（大于2GB）。1.使用File的length()方法public static void main(String[] args) { File f= new File("D:\\CentOS-6.5-x86_64-bin-DVD1.iso"); if (f.exists() && f.isFile()){ logger.info(f.length()); }else{ logger.info("file doesn't exist or is not a file"); } }我们看一下输出结果：4467982336结果是4.16GB，与Windows ...继续阅读 (29)

本文出处：http://blog.csdn.net/chaijunkun/article/details/18318843，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。最近在忙一些数据处理的项目。为了方便操作，想把处理程序写成HTTP接口。需要的时候在浏览器里敲一下URL就可以执行相应功能。但是因为一个业务往往需要处理几个小时，等待HTTP返回是不现实的。于是把相关操作写成了一个线程，URL调用后异步处理。数据是按天操作的，而HTTP接口调用了之后因为网络状况不稳定可能会进行重试，如果对业务线程不加锁进行限制，多次调用接口会产生多个业务线程，造成各种问题。于是我建立了下面的模型，同时也遇到了一个关于try...catch...finally的陷阱，下面就跟大家分享一下。首先创建一个存储任务名称和当前状态的HashMap，然后再建立插入、删除和查询当前任务的方法。由于是多线程操作的，需要在方法内对HashMap进行同步，代码如下：package net.csdn.blog.chaijunkun.thread; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; import java. ...继续阅读 (25)

本文出处：http://blog.csdn.net/chaijunkun/article/details/17279565，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。距离上次写技术博客已经有半年时间了，年尾我觉得有必要写点东西总结一下经验，分享给大家。近期在做一个数据同步的项目，从数据中心拿到定时分发的导出文件后，按照固定字段的含义再逐行解析，然后进一步分析后倒入到我这边的数据库。需求简单就是这样，我们来看个例子：2013-09-29^_^21635265^_^测试标题^_^10^_^20^_^15假设上面的例子是文本数据的其中一行。在这个例子中，列分隔符采用的是^_^（注意，是多字符的），字段定义分别是发布日期^_^文章ID^_^文章标题^_^评论数^_^点击数^_^顶数考虑到对数据中心的信任，我们忽略了“发布日期”、“文章ID”、“评论数”、“点击数”和“顶数”这些字段的非法情况，而将重点放在了分析标题上，因为标题是用户指定的，而可以输入任何可见字符，因此我们还考虑到了在文章中包含我们的分隔符的情况，所以在data.splite()之后采用了掐头去尾的算法，前两个字段正常分析，然后倒着来，从“顶数“，”点击数”和“评论数”分析，剩下的就是标题了。可是我们只考虑了标题中如下形式：测试标题^_^、测试^_^标题、^_^测试标题而 ...继续阅读 (34)

本文出处：http://blog.csdn.net/chaijunkun/article/details/9097229，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。今天在做数据分页显示的时候遇到了一个问题，经过测试，证实是Tomcat 6的一个bug，我所用的版本为：apache-tomcat-6.0.36,和7.0.30均能复现。下面详细描述一下这个bug：该bug是在JSTL标签中发现的，后来分析是EL表达式实现时产生的问题。jsp页面中有一个list需要遍历，这个list的类型为ArrayList，我在其中放置的数据为（为方便我写成数组的形式）：["1","...","4","5","6","7","8","...","10"]，这是一个很常见的带页码缩略的分页导航。在展示这些数据的时候我使用了下面的代码：分页游标的 点点点当前页为第${looper}页面分页游标:${looper}这里pageHelper就是分页组件，其中预设了pageDot为"..."，pageNo为当前的页码（假设为6），其他情况直接显示分页游标。在循环遍历中只不过使用了最基本的条件判断语句，由于pageList在定义中已经明确指出是List，按逻辑应该eq是按照字符串判断的，但是居然出异常了：javax.el.ELException: Cannot ...继续阅读 (21)

本文出处：http://blog.csdn.net/chaijunkun/article/details/9083171，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。最近维护一个之前做的项目，项目采用的是Spring 3和Hibernate 4 JPA做的。由于当时做项目的时候经验偏少，又图省事，所以使用了Hibernate中的懒加载，所谓懒加载这里我多说两句（知道的朋友请无视这一段），数据库中表A和表B都分别映射了JPA的Pojo对象。从逻辑上说表A中的某个字段要和表B的主键进行连接操作（inner join，left join）可以不用手工去显式写JPQL语句，而可以通过注解的方式去映射，当需要取对应的值时直接调用.get方法即可，例如：分别映射时：表A（员工表）：import java.io.Serializable; import javax.persistence.Column; import javax.persistence.GeneratedValue; import javax.persistence.Id; public class A implements Serializable{ private static final long serialVersionUID = 898507 ...继续阅读 (30)

本文出处：http://blog.csdn.net/chaijunkun/article/details/8996794，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。最近一直忙项目，没时间将最新研究出来的东西贡献出来。现在项目接近尾声了，抽时间将最近的心得写下来和大家一起学习。项目背景项目中要求加入一个验证码功能，相信大家都不陌生，偷懒的方式基本上完全使用开源的框架，例如java中使用的jcaptcha和kaptcha。阅读了源代码之后发现验证码的存储都放在了session中。如果你要做的项目是一个小型站点（可能只有一台或者很少的几台服务器）那很容易做到，例如session同步或者将请求按照某种哈希始终重写到特定机器上。但是一个大型网站，具有几十甚至上百台服务器，让它们之间同步session，开销是巨大的，甚至是不可行的。于是我就开始研究新的实现方法。思路首先我想到了缓存。互联网项目开发目前比较流行的缓存服务分别是memcache和redis。两种都是非关系型缓存，即按照方式存取，操作速度是传统关系型数据库查询的几十甚至上百倍。性能上面没问题，二者的区别这里不谈，我利用的是它们的共性——缓存时效性。我们知道，验证码也是有时效的。那么现在要解决的两个问题：1.如何生成和判别验证码2.生成了验证码字符后如何转换为相应的图片。解决1.首 ...继续阅读 (73)

本文出处：http://blog.csdn.net/chaijunkun/article/details/8811246，转载请注明。由于本人不定期会整理相关博文，会对相应内容作出完善。因此强烈建议在原始出处查看此文。今天想把项目的连接池换一下，从c3p0换成传说中的proxool。按照网上说的教程各种配置，无奈资料都是比较老的，针对Hibernate 4的很少。我用的又是JPA。配置起来稍微有点区别。无论怎么配置就是提示无法创建sessionFactory，一旦调用数据库查询语句就提示The url cannot be null。或者是：Could not open connection。折腾了一天找到了如下两个网址：https://forum.hibernate.org/viewtopic.php?f=1&t;=1017288&p;=2468503#p2468503https://hibernate.atlassian.net/browse/HHH-7289这是Hibernate 4中的一个很低级的Bug。有人解释道：org.hibernate.service.jdbc.connections.internal.ProxoolConnectionProvider.java (hibernate-proxool-4.1.2.Final.jar) does not impleme ...继续阅读 (28)