转载自：http://www.cnblogs.com/lulu/p/3872206.html新服务上线后观察到，CPU在10 ~ 70%间波动严重，但从每秒业务计数器看业务处理速度很平均。接下来是排查步骤：1. dstat -tam大概每10s一个周期，网络流量开始变得很小，随后突然增大，CPU也激增。网络流量变化和从性能计数器结果上并不符合，服务相关业务较为复杂，先找出那个业务占用网络流量。 2. iftop找出流量最大的几个目标IP，并且周期的流量变为0随后激增。通过IP 知道是外部http接口地址，因为接口调用是异步进行的，性能计算是执行开始记录的，而不是结束记录，因此可以理解。也就是每过一段时间所有异步执行的接口调用都会被block一段时间。 3. tcpdump既然被block，首先想到的就是依赖服务不稳定，不定期超时造成。抓取tcp 包确认但是从网络包中，没有找到任何tcp连接失败，重传等，IO统计流量为0 时，客户端就没有发起任何http 请求。也就说明问题出在调用方，httpclient。4.lhttpc仔细看了一遍lhttpc源码，能找到唯一可能影响的地方就是 lhttpc 限制并发连接数为50.线上查lhttpc配置时，却发现部署版本不是最新的，汗。。。找到对应版本发现老版本没有并发连接数限制，比较简单也找不到其他问题。 5. 找出 ...继续阅读 (45)

转自http://www.cnblogs.com/lulu/p/4132278.htmlWhatsapp已经使用Erlang在生产环境跑到96GB内存单机 3M长连接，参加：WhatsApp的Erlang世界。毕竟业务级别能达到Whatsapp那样极少，现在只有千万级，单机太多挂一台影响太大，再者就是没有多线接入，每个机房都得扔那么几台机器吧，所以1M就能满足要求。Erlang 作为长连接网关有着天生的优势：- 擅长与IO密集型业务，也要求将网关设计尽量简单，认证完后，简单解析报头，就直接将请求转发给后端服务处理- 网络层有beam c 实现得非常高效 ，erlang 代码只是简单流程控制，也就是说代码性能很接近优化的很好c程序- 代码简单，易维护，erlang 进程和连接一对一关系，代码500行左右- 基于进程GC，node 内存多大也不用担心stop of word- 热升级，网关设计本尽量简单，减少升级，但也不可避免，热升级保证不断连接- 稳定，beam 足够稳定，即使天天更新的服务，连续一两年不重启也正常- 多语言混合，后端可很容易使用其他语言实现 劣势：CPU密集型业务，性能差，如果不想用c解包，尽量使用二进制协议，尽量将包协议标识放在包体固定位置，方便dispatch 1. 测试环境- 服务端： R620 2*(E5-2620 6核心12线 ...继续阅读 (230)

一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。     一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义：1、平衡性(Balance)：平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。2、单调性(Monotonicity)：单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到原有的或者新的缓冲中去，而不会被映射到旧的缓冲集合中的其他缓冲区。 3、分散性(Spread)：在分布式环境中，终端有可能看不到所有的缓冲，而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时，由于不同终端所见的缓冲范围有可能不同，从而导致哈希的结果不一致，最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的，因为它导致相同内容被存储到不同缓冲中去，降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法 ...继续阅读 (52)

上回讲Goroutine状态变换的时候，遗留了一部分关于Syscall处理的内容，这次打算把Go语言对Syscall的处理机制系统的总结一下，放在今天这篇文章中。Go 语言库对Syscall的封装我们知道Go是一门面向系统级开发的Native编程语言，与C/C++ 类似，Go的编译器会直接将程序编译、链接成本地可执行文件。理论上，它可以完成任何C/C++语言能完成的。作为支撑该特性的重要方面，Go以标准库形式提供了syscall包，用来支持OS级系统调用。首先，Go对各种系统调用接口进行了封装，提供给用户一组Go语言函数，方便在程序中直接调用，如：funcRead(fdint,p[]byte)(nint,errerror)funcWrite(fdint,p[]byte)(nint,errerror)同时，Go还通过以下函数提供了对Syscall的直接调用支持：funcSyscall(trap,a1,a2,a3uintptr)(r1,r2uintptr,errErrno)funcSyscall6(trap,a1,a2,a3,a4,a5,a6uintptr)(r1,r2uintptr,errErrno)funcRawSyscall(trap,a1,a2,a3uintptr)(r1,r2uintptr,errErrno)funcRawSyscall6(trap,a1,a2,a3,a4,a ...继续阅读 (239)

上一篇文章介绍了 Go 和 Erlang 在调度器的实现，本文将简要介绍这两种并发语言的消息传递机制简要对比Erlang和Go虽然在实现及功能上差异较大，但是都支持高并发的轻量级用户任务（Erlang的轻量进程，Go的Goroutine）， 并且都采用了消息传递的方式作为任务间交互的方式。在Erlang中，采用了一种比较纯粹的消息传递机制，进程间几乎没有任何形式的数据共享，只能通过彼此间发送消息进行通信； 而Go虽然是基于共享内存的，但是也必须通过消息传递来进行共享数据的同步。 可以说消息传递机制是两种语言任务间交互的首要方式。但是在具体实现中，鉴于两种语言的差异，也表现为不同的形式：在Erlang中，进程之间以彼此的Pid作为标识进行消息的发送，一切数据都仅可以消息的形式在进程间复制在Go中，不同的Goroutine间通过共享的channel进行通信，由于Go本质上是建立在共享存储模型上的，因此全局变量、参数甚至是一部分栈变量都是可以共享的，通信一般控制在较小的规模，仅用来保证共享的同步语义下面将分别就Erlang和Go各自实现分别进行分析介绍。Erlang中的消息传递机制语法消息传递是Erlang语言并发机制的基础。在Erlang中，主要包含以下并发原语：创建一个新的并发轻量进程，用于执行函数Fun，并返回其进程标识符Pid：Pid=spawn(Fun)向标识符为Pid的进程发 ...继续阅读 (82)

之前关于调度器的对比分析的文章，在结束时遗留了一些问题：当系统出现高并发的IO访问时，如一个网络服务器通常要并发处理成百上千的链接，每个链接可能都是由一个用户任务执行的，那么将会出现大量阻塞的IO操作，如果为每个阻塞操作都单独分配一个OS线程，那么系统很容易就会退化成多OS线程的系统，轻量任务的优势将无从谈起。本文试图回答这个问题，通过分析Go和Erlang对于IO、特别是网络IO的优化机制，了解其对调度器乃至整个系统性能的影响。Go的IO优化机制 —— netpoller由于Go是一门主要面向互联网环境的分布式语言，相对于一般的IO，如文件读写等，网络IO的并发性能更加重要。对于一般IO，Go的处理方式就是按上篇所说的，将执行Syscall的OS线程剥离。通常应用场景下，不会出现大量并发Goroutine去同时读写文件的情况，因而上面的方式并不会真正造成调度器的退化。因此主要的IO优化都是针对io/net库的。无独有偶，Erlang在实现上同样对网络IO提供了不同于一般IO的高效处理方式，后面再作介绍。Go实现中利用了OS提供的非阻塞IO访问模式，并配合epll/kqueue等IO事件监控机制；但是为了弥合OS的异步机制与Go接口的差异，Go在其库中做了一些封装，并在runtime层提供了一种叫做netpoller，“网络轮询器”的机制，来实现网络IO优化。具体来说：首先，无论何 ...继续阅读 (308)

Go 语言和 Erlang 都是面向并发应用的语言，都采用轻量级线程和消息传递模型。尽管Go在语法上也支持共享，但必须以通信的方式同步方能保证其正确性。Erlang则是完全不支持进程间的共享，状态信息完全需要依靠消息彼此传递。从底层来看，在 Google 官方编译器中，Go 语言的 Goroutine 是一种类似协程的结构，由于采用了定制的C编译器来构建，因此其上下文切换的效率要高于C库的 coroutine（只需要切换PC和栈帧，其他寄存器由函数调用者负责保存）； 而在 Go 的 GCC 前端中，Goroutine 则直接由C库的 coroutine 机制实现。由于 Erlang 是基于 BEAM 虚拟机执行的，因此它的所谓 “轻量进程” 也就仅仅是 BEAM 上的概念，不对应C语言或OS级的概念。从调度策略来看，Go 完全是协作式调度，一个执行中的 Goroutine 仅在操作被阻塞或显示让出处理器时被切换出去，Goroutine之间也没有优先级之分； Erlang 则采用一种名为“Reduction-Counting”的轮转调度策略，并且存在4个进程优先级。值得注意的是在 Go 1.2 版之后，增加了一些简单的抢占机制，但仅有用户程序函数调用时刻才可能触发抢占的判断，并不是真正意义上的抢占，具体思想参见这里。Go 的调度器的最新版实现了M：N的调度方式，通过 GOM ...继续阅读 (218)

   设置是我在多个项目中通用的，不过根据应用场景的不同，还会有其它细调，就不在这一一说明了。  － Sunface 一、 erl启动时参数:+K true开启epoll调度，在linux中开启epoll，会大大增加调度的效率+A 100        异步线程池，为某些port调用服务+P 1024000最大进程数+Q 65535最大port数+sbt db绑定调度器，绑定后调度器的任务队列不会在各个CPU线程之间跃迁，结合sub使用，可以让CPU负载均衡的同时也避免了大量的跃迁发生。注意：一个linux系统中，最好只有一个evm开启此选项，若同时有多个erlang虚拟机在系统中运行，还是关闭为好+sub true开启CPU负载均衡，false的时候是采用的CPU密集调度策略，优先在某个CPU线程上运行任务，直到该CPU负载较高为止。+swct eager此选项设置为eager后，CPU将更频繁的被唤醒，可以增加CPU利用率+spp true开启并行port并行调度队列，当开启后会大大增加系统吞吐量，如果关闭，则会牺牲吞吐量换取更低的延迟。+zdbbl 65536分布式erlang的端口buffer大小，当buffer满的时候，向分布式的远程端口发送消息会阻塞二、erlang内部进程启动参数示例：创建 ...继续阅读 (142)

前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告系统中，当用户点击某广告后，除了在点击事件表中增加一条记录外，还得去商家账户表中找到这个商家并扣除广告费吧，怎么保证？！等等，相信大家或多或多少都能碰到相似情景。这些问题本质上都可以抽象为：当一个表数据更新后，怎么保证另一个表的数据也必须要更新成功。1 本地事务还是以支付宝转账余额宝为例，假设有支付宝账户表：A（id，userId，amount）余额宝账户表：B（id，userId，amount）用户的userId=1；从支付宝转账1万块钱到余额宝的动作分为两步：1）支付宝表扣除1万：update A set amount=amount-10000 where userId=1;2）余额宝表增加1万：update B set amount=amount+10000 where userId=1;如何确保支付宝余额宝收支平衡呢？有人说这个很简单嘛，可以用事务解决。12345Begin transaction  ...继续阅读 (28)

第一篇讲到了传统的索引如B树不能很好的支持空间数据，比如点（POI等）、线（道路、河流等）、面（行政边界、住宅区等）。本篇将对空间索引进行简单分类，然后介绍网格索引。（深入浅出空间索引1：http://www.cnblogs.com/LBSer/p/3392491.html）一、空间索引有哪几种？传统索引使用哈希和树这两类最基本的数据结构。空间索引虽然更为复杂，但仍然发展于这两种数据结构。因此可以将空间索引划分为两大类：1）基于哈希思想，如网格索引等；2）基于树思想，有四叉树、R树等。 二、网格索引哈希是通过一个哈希函数将关键字映射到内存或外存的数据结构，如何扩展到空间数据呢？2.1. 网格索引原理扩展方法：对地理空间进行网格划分，划分成大小相同的网格，每个网格对应着一块存储空间，索引项登记上落入该网格的空间对象。举个例子，我们将地理空间进行网格划分，并进行编号。该空间范围内有三个空间对象，分别是id=5的街道，23的河流和11的商圈。这时候我们可以按照哈希的数据结构存储，每个网格对应着一个存储桶，而桶里放着空间对象，比如对2号网格，里面存储着id=5的空间对象，对35号网格，桶里放着id=5和id=23的空间对象。 假如我们要查询某一空间范围内有哪些空间对象，比如下面的红框就表示空间范围，我们可以很快根据红框的空间范围算出它与35号和36号网格相交，然后分别到 ...继续阅读 (62)

一、问题先思考个常见的问题：如何根据自己所在位置查询来查询附近50米的POI（point of interest，比如商家、景点等）呢（图1a）？每个POI都有经纬度信息，我用图1b的SQL语句在mySQL中建立了POI_spatial的表，其中lat和lng两个字段来代表纬度和经度。为后续分析方便起见，我人造了40万个POI数据。 二、传统的解决思路方法一：暴力方法该方法的思路很直接：计算位置与所有POI的距离，并保留距离小于50米的POI。插句题外话，计算经纬度之间的距离不能像求欧式距离那样平方开根号，因为地球是个不规整的球体（图2a），按最简单的完美球体假设，两点之间的距离函数应该如图2b所示。 　　该方法的复杂度为：40万*距离函数。我们将球体距离函数写为mysql存储过程distance，之后我们执行查询操作（图3），发现花费了4.66秒。该方法耗时的原因显而易见，执行了40万次复杂的距离计算函数。方法二：矩形过滤方法该方法分为两部：a）先用矩形框过滤（图4a），判断一个点在矩形框内很简单，只要进行两次判断（LtMin<lat<LtMax; LnMin<lng<LnMax），落在矩形框内的POI个数为n（n<<40万）；b）用球面距离公式计算位置与矩形框内n个POI的距离（图4b），并保留距离小于50米的POI矩形过 ...继续阅读 (200)

在TCP/IP协议中，TCP协议提供可靠的连接服务，采用三次握手建立一个连接。第一次握手：建立连接时，客户端发送syn包(syn=x)到服务器，并进入SYN_SEND状态，等待服务器确认；第二次握手：服务器收到syn包，必须确认客户的SYN（ack=x+1），同时自己也发送一个SYN包（syn=y），即SYN+ACK包，此时服务器进入SYN_RECV状态；第三次握手：客户端收到服务器的SYN＋ACK包，向服务器发送确认包ACK(ack=y+1)，此包发送完毕，客户端和服务器进入ESTABLISHED状态，完成三次握手。完成三次握手，客户端与服务器开始传送数据，在上述过程中，还有一些重要的概念：未连接队列：在三次握手协议中，服务器维护一个未连接队列，该队列为每个客户端的SYN包（syn=j）开设一个条目，该条目表明服务器已收到 SYN包，并向客户发出确认，正在等待客户的确认包。这些条目所标识的连接在服务器处于Syn_RECV状态，当服务器收到客户的确认包时，删除该条目， 服务器进入ESTABLISHED状态。Backlog参数：表示未连接队列的最大容纳数目。SYN-ACK 重传次数　服务器发送完SYN－ACK包，如果未收到客户确认包，服务器进行首次重传，等待一段时间仍未收到客户确认包，进行第二次重传，如果重传次数超 过系统规定的最大重传次数，系统将该连接信息从半连接队列中删除。注意， ...继续阅读 (38)

引子机机是个好动又好学的孩子，平日里就喜欢拿着手机地图点点按按来查询一些好玩的东西。某一天机机到北海公园游玩，肚肚饿了，于是乎打开手机地图，搜索北海公园附近的餐馆，并选了其中一家用餐。饭饱之后机机开始反思了，地图后台如何根据自己所在位置查询来查询附近餐馆的呢？苦思冥想了半天，机机想出了个方法：计算所在位置P与北京所有餐馆的距离，然后返回距离<=1000米的餐馆。小得意了一会儿，机机发现北京的餐馆何其多啊，这样计算不得了，于是想了，既然知道经纬度了，那它应该知道自己在西城区，那应该计算所在位置P与西城区所有餐馆的距离啊，机机运用了递归的思想，想到了西城区也很多餐馆啊，应该计算所在位置P与所在街道所有餐馆的距离，这样计算量又小了，效率也提升了。机机的计算思想很朴素，就是通过过滤的方法来减小参与计算的餐馆数目，从某种角度上讲，机机在使用索引技术。一提到索引，大家脑子里马上浮现出B树索引，因为大量的数据库（如MySQL、oracle、PostgreSQL等）都在使用B树。B树索引本质上是对索引字段进行排序，然后通过类似二分查找的方法进行快速查找，即它要求索引的字段是可排序的，一般而言，可排序的是一维字段，比如时间、年龄、薪水等等。但是对于空间上的一个点（二维，包括经度和纬度），如何排序呢？又如何索引呢？解决的方法很多，下文介绍一种方法来解决这一问题。思想：如果能通过某种方法将二维的点 ...继续阅读 (90)

在网上查了挺多groupcache的相关信息，但是搜出来大部分都是copy，实际的例子也没有，所以就看了下源码，也在golang-nuts上问了，github上搜索了一些groupcache的使用例子，在此作个总结，目前对这个缓存库还仅处于了解状态大概介绍其实关于groupcache的介绍网上非常的多，搜索出来清一色都是说的介绍，当然也有配图如何部署，但是文字与配图完全不在一个时空，图也是copy国外的一篇博客。它不像其它的一些缓存数据库有个服务端，需要客户端去连接，文档中明确说明了它就是一个程序库，所以没有服务端与客户端这么一说，换句话说，它本没有服务端，又或者是人人都是服务端，食神的感觉油然而生。主要代码结构它的代码结构也比较清晰，代码量也不是很大，很适合大家去阅读学习。主要分为了consistenthash(提供一致性哈希算法的支持)，lru(提供了LRU方式清楚缓存的算法)，singleflight(保证了多次相同请求只去获取值一次，减少了资源消耗)，还有一些源文件：byteview.go 提供类似于一个数据的容器，http.go提供不同地址间的缓存的沟通的实现，peers.go节点的定义，sinks.go感觉就是一个开辟空间给容器，并和容器交互的一个中间人，groupcache.go整个源码里的大当家，其它人都是为它服务的。一个测试例子在使用这个缓存的时候比较重 ...继续阅读 (215)

原创文章，转载请注明出处：服务器非业余研究http://blog.csdn.net/erlib 作者Sunface1.blelve地址:https://github.com/blevesearch/bleve        介绍:现代化的文本索引库，可以做多种形式的索引及搜索查询,对于缓存内容索引应该是非常好用的.2.cockroach地址:https://github.com/cockroachdb/cockroach介绍:是新型的分布式SQL数据库，支持事务处理，具有强一致性的特点。主要目标是支持ACID事务，并能进行水平扩展，具有高容错性，配置也较为简单3.sqlparser地址:https://github.com/sunfaces/sqlparser介绍：是从vitess中抽取出来的sql分析库，可以对sql语句进行分析后，生成各个组成部分 ...继续阅读 (56)

一、TCP连接关闭的几种方式：1、“正常”关闭：调用close()关闭socket、没close但进程正常结束(当然这是不应该的做法)、进程core掉、在shell命令行中kill掉进程，都可抽象成“正常”关闭。因为即使core掉，内核也会马上帮应用程序回收(close)socket文件描述符。     “正常”关闭，默认情况下(非默认即设置Linger下面会介绍)，关闭端即客户端TCP层会发FIN包，对端即服务器TCP层收到后，回ACK，客户端进入FIN_WAIT2状态。此时，TCP终止连接的4个分组中服务器应该发的第3个分组FIN包，其TCP层是不会主动发的，只有服务器端socket“正常”关闭，才会发出这个FIN包。至此，客户端进入TIME_WAIT状态。2、“非”正常关闭：客户端崩溃了，此时肯定发不出FIN包了(当然啦，内核都没机会帮应用程序回收资源了)。这种情况，服务器端有如下两种情况：    A、服务器send数据，因为客户端已经崩溃，服务器收不到ACK自然会不停的重传。源自        Berkeley的重传机制，重传8次，相对第一次传的15分钟后仍没收到ACK，则返回      ...继续阅读 (179)

在谈RST攻击前，必须先了解TCP：如何通过三次握手建立TCP连接、四次握手怎样把全双工的连接关闭掉、滑动窗口是怎么传输数据的、TCP的flag标志位里RST在哪些情况下出现。下面我会画一些尽量简化的图来表达清楚上述几点，之后再了解下RST攻击是怎么回事。   1、TCP是什么？ TCP是在IP网络层之上的传输层协议，用于提供port到port面向连接的可靠的字节流传输。我来用土语解释下上面的几个关键字： port到port：IP层只管数据包从一个IP到另一个IP的传输，IP层之上的TCP层加上端口后，就是面向进程了，每个port都可以对应到用户进程。 可靠：TCP会负责维护实际上子虚乌有的连接概念，包括收包后的确认包、丢包后的重发等来保证可靠性。由于带宽和不同机器处理能力的不同，TCP要能控制流量。 字节流：TCP会把应用进程传来的字节流数据切割成许多个数据包，在网络上发送。IP包是会失去顺序或者产生重复的，TCP协议要能还原到字节流本来面目。   从上面我用PowerPoint画的TCP协议图可以看到，标志位共有六个，其中RST位就在TCP异常时出现，也是我这篇文章重点关注的地方。    2、通过三次握手建立连接 下面我通过A向B建立TCP ...继续阅读 (135)

算法一：快速排序算法 快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(n log n) 算法更快，因为它的内部循环（inner loop）可以在大部分的架构上很有效率地被实现出来。 快速排序使用分治法（Divide and conquer）策略来把一个串行（list）分为两个子串行（sub-lists）。 算法步骤： 1 从数列中挑出一个元素，称为 “基准”（pivot）， 2 重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）。在这个分区退出之后，该基准就处于数列的中间位置。这个称为分区（partition）操作。 3 递归地（recursive）把小于基准值元素的子数列和大于基准值元素的子数列排序。 递归的最底部情形，是数列的大小是零或一，也就是永远都已经被排序好了。虽然一直递归下去，但是这个算法总会退出，因为在每次的迭代（iteration）中，它至少会把一个元素摆到它最后的位置去。  算法二：堆排序算法 堆排序（Heapsort）是指利用堆这种数据结构所设计的一种排序算法。堆 ...继续阅读 (29)

一直以来对Linux下的时间管理知之不详，GFree_wind在微博发起过几次Linux下时钟的讨论，和Godbach这些大牛比，我完全插不上话，因为不懂。近来闲暇时间研究了下Linux下的时间管理，分享出来，请大家指正。   从我们大白话的角度想，时间管理其实分成两部分，就像我们小时候学习物理的时候物理老师不断强调时间和时刻的区别。一个是时刻，比如现在是20：44：37秒，指的是时刻，我们手机上看时间，指的也是时刻。另一块是时间，比如说，我每天工作八小时，再比如说，半小时之后，我要出门了，结束时间指向的是未来，但是仍然是一段时间。OK。无论是时刻还是时望间，都是需要硬件支持的，你手里只有一块最小刻度只有1秒的手表，就不要指用这块手表给百米大赛度量成绩了，何哉，硬件太挫。Linux也是如此，之所以Linux启动之后，可以精确的计时，那是因为Linux的下面有相应的硬件为依托。     RTC   RTC，real time clock，实时时钟和其他的硬件是不同的，RTC吐出来的是时刻，而其他硬件时钟吐出来的是时间。也就是说，RTC能告诉我们，当前是2013年9月12日，21：49：38,但是其他的硬件如TSC，PIT，HPET只能告诉我们，我应该走过了XX个cycle，按照我的频率，已经过去了10分钟 ...继续阅读 (20)

上篇中，我们介绍了TCP的协议头、状态机、数据重传中的东西。但是TCP要解决一个很大的事，那就是要在一个网络根据不同的情况来动态调整自己的发包的速度，小则让自己的连接更稳定，大则让整个网络更稳定。在你阅读下篇之前，你需要做好准备，本篇文章有好些算法和策略，可能会引发你的各种思考，让你的大脑分配很多内存和计算资源，所以，不适合在厕所中阅读。TCP的RTT算法从前面的TCP的重传机制我们知道Timeout的设置对于重传非常重要，设长了，重发就慢，没有效率，性能差；设短了，重发的就快，会增加网络拥塞，导致更多的超时，更多的超时导致更多的重发。而且，这个超时时间在不同的网络的情况下，有不同的时间，根本没有办法设置一个死的。只能动态地设置。 为了动态地设置，TCP引入了RTT——Round Trip Time，也就是一个数据包从发出去到回来的时间。这样发送端就大约知道需要多少的时间，从而可以方便地设置Timeout——RTO（Retransmission TimeOut），以让我们的重传机制更高效。 听起来似乎很简单，好像就是在发送端发包时记下t0，然后接收端再把这个ack回来时再记一个t1，于是RTT = t1 – t0。没那么简单，这只是一个采样，不能代表普遍情况。经典算法RFC793中定义的经典算法是这样的： 1）首先，先采样RTT，记下最近好几次的RTT值。 2）然后做平滑计算SRT ...继续阅读 (44)

TCP是一个巨复杂的协议，因为他要解决很多问题，而这些问题又带出了很多子问题和阴暗面。所以学习TCP本身是个比较痛苦的过程，但对于学习的过程却能让人有很多收获。关于TCP这个协议的细节，我还是推荐你去看W.Richard Stevens的《TCP/IP 详解 卷1：协议》（当然，你也可以去读一下RFC793以及后面N多的RFC）。另外，本文我会使用英文术语，这样方便你通过这些英文关键词来查找相关的技术文档。之所以想写这篇文章，目的有三个，一个是想锻炼一下自己是否可以用简单的篇幅把这么复杂的TCP协议描清楚的能力。另一个是觉得现在的好多程序员基本上不会认认真真地读本书，喜欢快餐文化，所以，希望这篇快餐文章可以让你对TCP这个古典技术有所了解，并能体会到软件设计中的种种难处。并且你可以从中有一些软件设计上的收获。最重要的希望这些基础知识可以让你搞清很多以前一些似是而非的东西，并且你能意识到基础的重要。所以，本文不会面面俱到，只是对TCP协议、算法和原理的科普。我本来只想写一个篇幅的文章的，但是TCP真TMD的复杂，比C++复杂多了，这30多年来，各种优化变种争论和修改。所以，写着写着就发现只有砍成两篇。上篇中，主要向你介绍TCP协议的定义和丢包时的重传机制。下篇中，重点介绍TCP的流迭、拥塞处理。废话少说，首先，我们需要知道TCP在网络OSI的七层模型中的第四层——Transport层 ...继续阅读 (51)

计算机的使用者一直以为他们的计算机可以同时做很多事情。他们认为当其他的应用程序在下载文件，管理打印队列或者缓冲音频的时候他们可以继续在文字处理程序上工作。甚至对于单个应用程序，他们任然期待它能在在同一时间做很多事情。举个例子，一个流媒体播放程序必须能同时完成以下工作：从网络上读取数字音频，解压缩数字音频，管理播放和更新程序显示。甚至文字处理器也应该能在忙于重新格式化文本和刷新显示的情况下同时响应键盘和鼠标事件。这样的软件就被称为并发软件。 通过Java语言和Java类库对于基础并发的支持，Java平台具有完全（from the ground up ）支持并发编程的能力。从JDK5.0起，Java平台还引入了高级并发APIs。这个课程不仅涵盖了Java平台基础并发内容，还对高级并发APIs有一定的阐述。目 录 [ - ]进程和线程线程对象同步活跃度保护块（Guarded Blocks）不可变对象高级并发对象进程和线程（本部分原文链接，译文链接，译者：bjsuo，校对：郑旭东） 在并发编程中，有两个基本的执行单元：进程和线程。在java语言中，并发编程最关心的是线程，然而，进程也是非常重要的。 即使在只有单一的执行核心的计算机系统中，也有许多活动的进程和线程。因此，在任何给定的时刻，只有一个线程在实际执行。处理器的处理时间是通过操作系统的时间片在 ...继续阅读 (51)

微服务有且仅有一种非常专项的功能，通过远程API来提供系统其余功能。举个例子：试想一下仓库的管理系统，这样的系统中微服务可能提供的一些功能有： 接收库存计算新的库存该存到什么地方计算在仓库内将库存运往正确放置点的路线为仓库员工分配运送路线接收订单计算仓库内指定一组订单的拣货路线为仓库员工分配拣货路线以上这些功能（可能还会有更多）都是由单个微服务实现的。每个微服务都有单独的运行线程，并且可以独立于其他微服务进行部署。同样每个微服务都有自己的专用数据库，尽管每个微服务都会与其他微服务协作与沟通。一个系统中的不同微服务完全有可能在不同的平台上实现，一些可能在.NET上，另外一些在Erlang，其他的在Node.js上。只要能协调多语言的问题，各个微服务彼此正常沟通，就能奏效。HTTP是良好的沟通选择：上面所有提到的平台，还有很多其他平台都能很好的处理HTTP。当然也有符合微服务沟通规则的其他技术：例如一些队列、一些服务总线还有一些二进制协议。在这些技术当中，HTTP可能是支持最广泛的，相当容易理解，而且就像万维网所展示的那样很好用，总体来说是很好的方案。 再次以仓库系统为例：该系统的一个微服务是分配拣货路线微服务。图一展示了“分配拣货路线微服务”从另一个协作微服务收到的请求：为指定员工设定了下一次的拣货路线。分配拣货线路微服务必须为员工找到合适的线路，而另一个微服务则 ...继续阅读 (32)

在本节中，我们将来学习如何在CentOS 6.4上安装erlang，具体的Erlang版本是R15B03-1。在安装之前，需要先要安装一些其他的软件，否则在安装中间会出现一些由于没有其依赖的软件模块而失败。1、首先要先安装GCC GCC-C++ Openssl等以来模块：yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang源代码文件otp_src_R15B03-1.tar.gz文件，并对其付权限和解压文件：chmod +x otp_src_R15B03-1.tar.gztar -xzvf otp_src_R15B03-1.tar.gzmv otp_src_R15B03-1 erlang_R15B #重命名解压厚的文件4、下面是安装erlang的重头戏，依次执行以下操作：cd erlang_R15B/./configure --prefix=/usr/local/erlang --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enabl ...继续阅读 (69)

最近在研究iOS的推送问题，遇到了一些问题，最终整理了一下，放在这里和大家分享。 APNS的推送机制首先我们看一下苹果官方给出的对iOS推送机制的解释。如下图Provider就是我们自己程序的后台服务器，APNS是Apple Push Notification Service的缩写，也就是苹果的推送服务器。 上图可以分为三个阶段：第一阶段：应用程序的服务器端把要发送的消息、目的iPhone的标识打包，发给APNS。第二阶段：APNS在自身的已注册Push服务的iPhone列表中，查找有相应标识的iPhone，并把消息发送到iPhone。第三阶段：iPhone把发来的消息传递给相应的应用程序，并且按照设定弹出Push通知。  APNS推送通知的详细工作流程下面这张图是说明APNS推送通知的详细工作流程： 根据图片我们可以概括一下： 1、应用程序注册APNS消息推送。2、iOS从APNS Server获取devicetoken，应用程序接收device token。3、应用程序将device token发送给程序的PUSH服务端程序。4、服务端程序向APNS服务发送消息。5、APNS服务将消息发送给iPhone应用程序。 准备工作首先要有一台苹果的设备，模拟器是不支持推送的，所以你需要一台iphone，ipod to ...继续阅读 (34)

对于 Java 性能比较关心的同学大概都知道《Java Performance》这本书，一般而言，很多同学在日常写 Java Code 的时候很少去关心性能问题，但是在我们写 Code 的过程中必须考虑到性能对程序的影响。小到我们使用位运算来实现算术运算，大到我们对 Java 代码的总体架构设计，「性能」其实离我们很近。本篇文章主要提到几个点，希望能够对大家有所启发。  对于性能调优而言，通常我们需要经过以下三个步骤：1，性能监控；2，性能剖析；3，性能调优 作为国内在技术层面遥遥领先的 APM 厂商，One APM 的AI产品对于 Java Application 性能优化提供了非常完善的指标：  性能监控：影响Java性能多维度指标监控  性能剖析：Application 性能剖析  性能调优：通过分析影响Application性能问题根源，进行优化Application； 我们对于操作系统的性能关注主要在下面几个点上：CPU 利用率、CPU 调度执行队列、内存利用率、网络 I/O、磁盘I/O。 1.CPU 利用率 对于一个应用来说，为了让应用达到最好的性能和可扩展性，我们不仅仅要充分利用 CPU 周期内可用的部分，而且要让这部分 CPU 的使用更有价值，而不 ...继续阅读 (18)

 如今，互联网上的内容越来越丰富，过去几年时间，一个页面产生请求和整个大小都一直增长，这个趋势还会一直保持，对页面性能优化也要马不停蹄。  一个页面，会经历过加载资源，执行脚本，渲染界面的过程。我们知道，100ms对于计算机来说，可以干很多事情了，但是对于网络请求，可能一次RTT就没了。因此，页面加载对于Web性能是重中之重。 加载的快慢可以总结成受两个因素影响：阻塞与延迟。 1、阻塞。浏览器在解析到脚本时，会阻塞页面，等到脚本下载执行完才继续解析文档。此外，浏览器还会限制同域下的并行请求数，超过这个限制后的请求就会被阻塞住。 2、延迟。网络请求都不可避免会有延迟，网页上的延迟有两种，一是DNS查询，二是TCP连接。 克服这些缺点，我们有一些约定俗成的方案： 静态资源要支持304，开启HTTP缓存控制开启gzip，压缩HTTP bodycss放在html的head里，js在body底部合并请求使用雪碧图域名分区（突破并行限制，也避免传输过多cookie）使用cdn这些方案基本都能立竿见影。但是，对于追求极致（KPI）的我们，这些还是远远不够的。我们从页面开始加载时说起。  避免重定向 重定向意味着要重新发起请求，当然我们没事也不会乱跳。这里要说的一种重定向是，访问HTTP站 ...继续阅读 (63)

“任何可能出错的事情，最后都会出错。” 这就是人们为什么喜欢进行“防错性程序设计”的原因。偏执的习惯有时很有意义，有时则不够清晰也不够聪明，也许当你想到这样写的人的时候还会觉得有点怪异。下面是我列出的的个人感觉最有用而又偏执的 10 项 Java 编程技巧。请看： 1.把字符串常量放在前面 通过把字符串常量放在比较函数equals()比较项的左侧来防止偶然的 NullPointerException 从来都不是一个坏主意，就像这样： Java代码 // Bad  if (variable.equals("literal")) { ... }     // Good  if ("literal".equals(variable)) { ... }  这是毫无疑问的，把一种表达式转换成另一种更好的表达式，并不会失去什么。只要我们的Options是真实存在的（Java 8中 Optional是对可以为空的对象进行的封装），不是吗？讨论一下… 2.不要相信早期的JDK APIs&nbs ...继续阅读 (48)

假设我们正在开发一个支持多国语言的Web应用程序，要求系统能够根据客户端的系统的语言类型返回对应的界面：英文的操作系统返回英文界面，而中文的操作系统则返回中文界面——这便是典型的i18n国际化问题。对于有国际化要求的应用系统，我们不能简单地采用硬编码的方式编写用户界面信息、报错信息等内容，而必须为这些需要国际化的信息进行特殊处理。简单来说，就是为每种语言提供一套相应的资源文件，并以规范化命名的方式保存在特定的目录中，由系统自动根据客户端语言选择适合的资源文件。 基础知识 “国际化信息”也称为“本地化信息”，一般需要两个条件才可以确定一个特定类型的本地化信息，它们分别是“语言类型”和“国家/地区的类型”。如中文本地化信息既有中国大陆地区的中文，又有中国台湾、中国香港地区的中文，还有新加坡地区的中文。Java通过java.util.Locale类表示一个本地化对象，它允许通过语言参数和国家/地区参数创建一个确定的本地化对象。 语言参数使用ISO标准语言代码表示，这些代码是由ISO-639标准定义的，每一种语言由两个小写字母表示。在许多网站上都可以找到这些代码的完整列表，下面的网址是提供了标准语言代码的信息：http://www.loc.gov/standards/iso639-2/php/English_list.php。 国家/地区参数也由标准 ...继续阅读 (24)

我们知道Spring通过各种模板类降低了开发者使用各种数据持久技术的难度。这些模板类都是线程安全的，也就是说，多个DAO可以复用同一个模板实例而不会发生冲突。我们使用模板类访问底层数据，根据持久化技术的不同，模板类需要绑定数据连接或会话的资源。但这些资源本身是非线程安全的，也就是说它们不能在同一时刻被多个线程共享。虽然模板类通过资源池获取数据连接或会话，但资源池本身解决的是数据连接或会话的缓存问题，并非数据连接或会话的线程安全问题。 按照传统经验，如果某个对象是非线程安全的，在多线程环境下，对对象的访问必须采用synchronized进行线程同步。但模板类并未采用线程同步机制，因为线程同步会降低并发性，影响系统性能。此外，通过代码同步解决线程安全的挑战性很大，可能会增强好几倍的实现难度。那么模板类究竟仰仗何种魔法神功，可以在无须线程同步的情况下就化解线程安全的难题呢？答案就是ThreadLocal！ ThreadLocal在Spring中发挥着重要的作用，在管理request作用域的Bean、事务管理、任务调度、AOP等模块都出现了它们的身影，起着举足轻重的作用。要想了解Spring事务管理的底层技术，ThreadLocal是必须攻克的山头堡垒。 ThreadLocal是什么 早在JDK 1.2的版本中就提供java.lang.ThreadL ...继续阅读 (34)