以下内容由[五四陈科学院]提供一.突破客户端端口数限制这是第一个会遇到的问题，同一IP地址，最大端口只能到65535。现在能够直接找到的原因是TCP协议中（rfc793）定义了报头的端口长度为16位。（216=65536）但是从计算机网络的发展来看，端口长度定义同IPv4定义一样，都是当时的同志们拍脑袋的结果。突破的办法一个机器绑定多个IP地址。搞无数机器或者虚拟机。more二.防止gc影响测试结论如果压力程序为java，要小心full gc导致单次请求时间加长。从java角度，随时jstat -gcutil跟踪client的情况，很有必要。一些推荐的参数24G的机器: -XX:ParallelCMSThreads=8 -Xms12G -Xmx12G -XX:PermSize=128m -XX:MaxPermSize=512m -XX:MaxDirectMemorySize=1280m细节慢慢调。如果业务逻辑不重的情况，gc未必有这么明显的影响。三.防止客户端性能问题影响结论随时关注client的cpu load mem的情况。loading test过程中由于client的性能问题，经常会影响结论。推荐的办法定时记录各项数据，对比观察。四.防止客户端线程数过多因为要模拟大量用户，很有可能去启动大量的线程。线程的数量太多后基本都是自己先挂了。解决用循环来近似模拟多用户。使用scal ...继续阅读 (26)

以下内容由[五四陈科学院]提供AMQPAMQP协议是一个高级抽象层消息通信协议，RabbitMQ是AMQP协议的实现。基础概念快速入门每个rabbitmq-server叫做一个Broker，等着tcp连接进入。在rabbitmq-server进程内有Exchange，定义了这个消息的发送类型。（一对多、直连、多对多等等）Queue是进程内的逻辑队列，有多个，有名字。Binding联系Exchane与Queue。Routing key由生产者指定。Binding key由消费者指定。二者联合决定一条消息的来去。morejava client api连接1234ConnectionFactory factory = new ConnectionFactory();factory.setHost(hostName);Connection conn = factory.newConnection();Channel channel = conn.createChannel();以上是得到一个rabbitmq连接最最基础的代码，当然了，还可以设置一些诸如用户名密码的事情。最后这个channel就可以用来收和发消息了。消息者线程池12ExecutorService es = Executors.newFixedThreadPool(20);Connection conn = factory.n ...继续阅读 (28)

以下内容由[五四陈科学院]提供序这是一个新的时代。小米互娱作为一个真正意义上的小米互联网部门，开启小米“铁人三项”中互联网征途。这里有众多靠谱的兄弟。这里缺更加强大的你的加入。more寻java工程师 1－5年工作经验。项目你可能需要理解Big-endian、Little-endian这种细节。你可能需要掌握amqp协议细节。你可能需要了解移动网络下出现的异常。你可能需要清楚http CONNECT方法的作用。你可能需要明白restful的道理。你可能应该更加主动地联系54chen at xiaomi dot com。待遇过了技术关，剩下的事情全部和老板直接谈，请畅所欲言。欲大展拳脚的同学，是不错的机会。抽空过来聊一聊，多次机会多条路。一些实在的码，麻烦看到的兄弟帮我转：红米手机1S 电信版 8GB 金属灰HMDX96763527807262227 8.1前红米手机1S 移动版 8GB 金属灰HMSY86526398236552885 8.1前小米电视2 MTV240078896615240317 8.1前小米平板 16GB 纯白色MPAD59271074707309411 8.1前欲要更多，请来简历54chen at xiaomi dot com。想快点找到作者也可以到Twitter上留言:@54chen或者你懒得带梯子上墙，请 ...继续阅读 (26)

以下内容由[五四陈科学院]提供最近在研究网络层的接入问题。一些心得记录在下面：一、TCP与HTTP0.所谓长连接短连接（其实都是TCP），都是谣传，在传输层混只有TCP和UDP。1.TCP传输的数据，绝对是顺序正确、不丢包的数据。否则它一定不会把数据扔给应用层。2.从应用层角度，TCP是一个数据流，收到的数据会聚在一起。所以需要应用层去协商数据与数据之间用什么间隔，比如常用的长度标识。3.TCP在网络恶劣的情况下，开始启动：拥塞避免算法 与 慢启动算法。而这些都是由一些公式去估计当前网络情况的。4.TCP的报文包与我们自己应用层的发的“包”半毛钱关系都没有，数据到了底层还是要切成N块来传送的。5.所谓的HTTP比TCP更可靠是错误的。HTTP是应用层协议，实际也是TCP，只不过数据在应用层定义了规则：必须有request\header\body等等。6.硬件防火墙一般拦截端口，软件防火墙才拦协议。所以80端口走TCP有不少好处。7.HTTP比TCP更可靠的错觉产生的原因是：HTTP请求基本都是每次新开连接，而TCP很少这样做。8.TCP就像more一条水管。9.HTTP就像一条临时的水管，用完就扔了。10.移动网络下，抖动会让TCP延迟加倍明显。二、TCP与WAP0.CMWAP\CMNET 是中方特色的区分GPRS方案。1.所有WAP都是HTTP代理软件。注意是软件，所以理论是不只 ...继续阅读 (22)

以下内容由[五四陈科学院]提供总述SocketThread类是一个很底层的类，在初始化时调用了Selector.open（clientsSel）。socketReadThread nThread个socketWriteThread nThread个ResultsListener nThread个completionService一个，池化线程nThread个，在sockThread.run里被submit，ResultsListener里进行completionService.take().get()取出执行结果。forCompletion有序队列一个，在socketThread.run里开始add，同一方法立即被从最小依次取出，然后submit给completionService。waiting有序队列一个，recreateSelector阶段存在add，最大来源是addSocketService静态方法，在socketThread.run最后阶段的addAllWaiting时注册Channel时把waiting里的IOService取出做为附加对象绑定。more重点方法主方法＋两个有序队列，一个是等待处理队列，一个是完成队列。forCompletion完成队列里的内容，交由具体的completionService完成后，由ResultListener相关线程处理最终结果。主方法 ...继续阅读 (17)

以下内容由[五四陈科学院]提供在java下实现的xmpp开源实现，除了openfire外，tigase是另一个牛逼的项目。实际的实验室压力下，50万人同时在线的单机，tigase的gc情况要优于openfire，而且openfire的网络层代码借鉴了不少tigase的。下面的内容，在解剖tigase过程中所写，使用的版本是：5.2.1 (2014年7月份)。组件tigase就是一个大组件框，里面所有东西基本都是组件组成的。session manager、message router、c2s connection manager…全部是组件。ServerComponent接口是一个最小化接口，但是要去写很多代码，tigase提供了许多的现成的代码，减少去从零实现这个接口的过程。比如extends AbstractMessageReceiver可以直接生成一个处理消息的组件。只需要实现一个processPacket方法。实现getDefaults方法，可以对系统变量进行处理。实现setProperties方法，可以去设置一些要用的变量。多线程processPacket方法，可以把逻辑扔到不同的cpu上去运行，以发挥服务器多核的优势。processingThreads方法返回用多少个cpu来处理。more在重写processingThreads的同时，需要重写hashCod ...继续阅读 (30)

以下内容由[五四陈科学院]提供最近在研究在中国特色移动互联网下通过性最好的应用层协议办法，看到很多混乱的概念和实现，54chen在对各种名词的历史进行了深度考察，特作记录以做区分。HTTP协议历史第一个HTTP协议诞生于1989年3月。第一个HTTP协议的版本是HTTP 0.9，它的组成极其简单，因为它只允许客户端发送GET这一种请求。HTTP协议的第二个版本是HTTP 1.0，直到HTTP 1.0成为最重要的面向事务的应用层协议。该协议对每一次请求/响应，同样是建立并关闭一次连接。HTTP协议的第三个版本是HTTP 1.1，它就是目前使用最广泛的协议版本。从HTTP 1.1开始，客户端默认与Web 服务器建立长连接。原始阶段polling最早期的时候，因为没有可以依赖的东西，能用的只有javascript的setInterval，定时循环向服务器发起请求。优点是：服务器端啥特别的东西都不用准备，直接当http请求处理即可。缺点是：白白浪费大量的请求。什么是Comet?中文意思彗星，大概是想表示这是一次尾巴会拖很长的请求。moreComet和ajax一样，都是一堆技术的合体叫做Comet（莫非是javascript界很喜欢搞高大上的名词？）。初始阶段的CometCometP属于这种（jsonP＋iframe）。Frame Comet也属于这种（json＋iframe）。ajax C ...继续阅读 (17)

以下内容由[五四陈科学院]提供自从0.5.0之后，很长时间thrift的版本都没有动，后来似乎是换了一波人，把java代码部分接口层变动太多，以致于，在0.5.0和其他版本共同存在的情况下，问题较多，54chen特作调查，调查目标0.5.0 vs 0.9.1。代码位置：https://github.com/54chen/thrift_test第一轮：编译阶段more1.jar包为0.9.1的libthrift，cli为0.5.0的thrift。gen-java生成，编译失败。2.修正为0.9.1 libthrift和thrift cli。gen-java生成，编译成功。3.修正为0.5.0 libthrift和thrift cli。gen-java生成，编译成功。第二轮：交叉调用client 0.9.1 –> server 0.5.0 一切正常client 0.5.0 –> server 0.9.1 一切正常第三轮：server包不对server0.9.1 替换jar为0.5.0 libthrift : server启动失败 Caused by: java.lang.ClassNotFoundException: org.apache.thrift.TBaseProcessorserver0.5.0 替换jar为0.9.1 libthrift : serve ...继续阅读 (21)

以下内容由[五四陈科学院]提供事情的经过是这样的：那天在使用某创业团队的APP时，输入完了微博账号还需要他自己的账号，于是就发了条微博，然后就有人@我是不是在说小米被脱库的事。。。呵呵！这里要讨论的是，如何让数千计的开发人员在安全防守安全编程上，得到有效的效果。有人说，我干了xx年，手上从来没有一个项目出过安全漏洞; 还有人说，我一个人做的x项目，也从来没有出现过安全漏洞; 呵呵，集体的智慧不由个人意志来控制，木桶漏水取决于最短的一块。一、内防more内防是需要苦练内功的一块，因为招聘标准不一导致技术团队的水平不一，一个上千人的技术团队，一定要有一定的固定流程进行上线质量的把控。1.1 基础基础包括了：基础代码框架、基础网络环境、基础硬件环境、基础系统环境。基础代码框架：统一的去除xss\sql注入等第一层的框架服务，确保出现在每个技术人员的入职学习流程中。基础网络环境：业务隔离和灵活兼顾的网络，对基础运维网络工程师有更高的要求，确保每一台新上线的机器都在正确安全的网络中。基础硬件环境：确保新的硬件出现在正确安全的地方，安全性要求高的硬件有固定的选择。基础系统环境：新系统的投入，有安全标准的套路安装和设置。1.2 走查走查使变动中的系统周期性也进行了安全检查。收集：主要是收集服务，因为公司大了，各种小业务未必会拿得全，特别要关注边缘业务。一个非常好的点，就是在上线系统中进行收集。查 ...继续阅读 (20)

以下内容由[五四陈科学院]提供之前的jkiller改名为jcpu，然后再加上jmem，齐活了，线上要再遇到问题，内存和CPU之外的也没啥其他办法了。JMEMhttps://github.com/54chen/jmem用来定位莫名其妙的堆外内存问题。首先还是要先用jmap之类的看清楚是否是JVM堆内问题了再用此神物。morejmem.sh 用来靠gdb找到够大的内存块，直接dump到文件里。然后肉眼看吧。。。反正我没看出来，祝你好运。pmap2stack.sh 弄出来大块的内存地址后，尝试在各种stack中帮你grep出来可以读懂的东东。JCPUhttps://github.com/54chen/jcpu这个之前有介绍过，就是cpu占得比较猛的进程，直接打出来里面最费CPU的前五个堆栈。具体用法都在项目的README上。想快点找到作者也可以到Twitter上留言:@54chen或者你懒得带梯子上墙，请到新浪微博：@54chen ...继续阅读 (17)

以下内容由[五四陈科学院]提供ActorUntypedActor actor的基类，继承并实现onReceive方法就可以得到一个Actor。Props 配置类，用Props.create可以创建一个按指定配置生成的Actor。Props的推荐实践，创建Actor时，搞一个static的Props.create方法。可以少写不少重复代码。system.actorOf 会创建顶级的actor，将被系统监控。getContext().acrtorOf 会创建子actor。ActorRef 由actorOf产生，可以是一个网络actor。ActorRef.forward与tell、ask的区别，性能最好的是tell，发完就走。ask是发完等Future，要等的话性能是个问题。forward用于从一个actor转发消息给另一个actor，原始的sender信息会被保留，在>做路由、负载均衡、备份时非常有用。ask会拦住reply消息直接给onsuccess等，sender不会再得到reply。Inbox 当actor不能满足需要时，可以使用inbox，比如收多个回复，watch其他actor的生命周期。morespring集成实现SpringExtProvider在spring context中去寻找actor class，实现akka.actor.Extension和akka.actor ...继续阅读 (21)

以下内容由[五四陈科学院]提供一个例子同样是typesafe的经典例子。例子提供的服务是传输文本。当文本发给frontend节点，它会委派backend节点，backend执行转化任务，把结果返回给原来的客户端。新的backend节点和frontend节点，都可以动态地在cluster上增减。moremessage123456789101112131415161718192021public interface TransformationMessages {public static class TransformationJob implements Serializable {private final String text;//......}public static class TransformationResult implements Serializable {private final String text;//.....}public static class JobFailed implements Serializable {private final String reason;private final TransformationJob job;//....}public static final String BACKEND_REGISTRAT ...继续阅读 (45)

以下内容由[五四陈科学院]提供基础知识2.3.2的cluster还有些想实现的东西没有实现，包括：actor分区（负载均衡） actor handoff（临时故障时的actor处理） actor重新平衡（增减节点时有用） actor状态复制机制（类似做M/S作用）2.3.2的cluster已经有的能力有：节点－集群－leader节点; membership; gossip协议同步状态; VECTOR CLOCKS保障顺序; 失败检测－节点不可达算法; seed节点－新节点加入时可以向这些节点发消息，但也是可以向任意成员发的; membership生命周期有joining up leaving exiting removed unreachable几种状态。more依赖maven中添加akka-cluster包：12345com.typesafe.akkaakka-cluster_2.102.3.1配置下面的配置启用了Cluster。application.conf1234567891011121314151617181920akka {actor {provider = "akka.cluster.ClusterActorRefProvider"}remote {log-remote-lifecycle-events = offnetty.tcp {hostname = "127. ...继续阅读 (26)