svn的账号和权限管理是基于文件的，修改时需要更新到服务器，多有不便，可利用svn管理账号和权限，利用svn的pos-commit 钩子监测账号和权限文件变化，多个库可共享同一账号和权限文件。/home/svn/conf/目录下存放了多个库共用的passwd和authz文件，用来控制这些库的账号和访问权限，独立的svn_admin库中存放对应的passwd和authz文件，有更新时自动同步到/home/svn/conf/下。svn_admin库的post-commit 脚本如下:Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/REPOS="$1"REV="$2"FILE_DIR="/home/svn/conf"UPDATE_FILE_LIST="passwd authz"forFILENAMEin$UPDATE_FILE_LIST ;doifsvnlook changed $REPOS -r $REV |grep $FILENAME >/dev/null; thenDST_FILE=$FILE_DIR/$FILENAMEmv $DST_FILE $DST_FILE.oldsvnlook cat $REPOS $FILENAME > $DST_ ...继续阅读 (29)

twemproxy(nutcracker)是twitter实现的开源memcached和redis代理，主要功能是根据key分发请求到后端的memcached和redis服务器，简化memcached和redis集群服务的实现。出于对twemproxy实现机制的好奇，简要阅读了代码，特别是网络处理部分，一般这部分是网络服务器的核心，这里记录下其代码实现逻辑和发现的问题。twemproxy作为代理服务器，主体逻辑都围绕着数据流转，采用了单线程非阻塞模型，在linux下由epoll驱动整个程序的运行，对于事件驱动模块的封装在event目录下，event_base对象是引擎，conn对象是具体的连接，conn对象中定义一系列事件处理的回调函数，典型的reactor机制，linux下的实现文件是nc_epoll.c 。事件引擎模块使用了两层回调机制， event_base上有个基本的回调函数，这个回调函数进一步调用conn对象的相应回调函数 （注：一般直接使用conn的回调也就够了）。面向客户端的conn回调：conn->recv = msg_recv;conn->recv_next = req_recv_next;conn->recv_done = req_recv_done;conn->send = msg_send;conn->send_next = rsp_send_next;c ...继续阅读 (52)

近期项目需要一个mysql代理服务器，实现mysql协议代理和路由功能，形成简单的mysql集群服务。现成的开源方案是mysql-proxy ， 分析功能和源代码后发现跟我们的应用场景不太匹配，于是决定重新实现一个符合需求的mysql代理服务器，考虑到需要完美支持mysql协议，优先选择了libdrizzle库， libdrizzle是开源项目drizzle中的协议库，而drizzle可以看作mysql的分支版本，目前稳定版本是7.1.36 ， 下面主要是记录使用libdrizzle中遇到的一些问题。1. 关于nonblock模式的问题，现代应用服务器典型架构一般是使用reactor/proactor模式的事件驱动模型，如何把libdrizzle和应用服务器的驱动模型很好的结合起来尤其重要，libdrizzle支持nonblock模式，独立实现了事件驱动机制，使用poll监控网络事件，具体在drizzle_con_wait()中实现，然后通过drizzle_con_ready()遍历产生事件的网络连接，即drizzle_con_st对象，该接口难以与通常的网络事件驱动机制配合使用，性能也不太理想，具体用法可参见其自带的样例程序examples/client.cc , 也就是说libdrizzle的驱动模型需要重新封装成跟应用服务器相匹配，才能真正发挥nonblock模式的性能。2. ...继续阅读 (17)

keepalived是用来进行网络fail-over的强大工具，配置简单灵活，功能强大，实现了vrrp协议和健康检查，配合lvs使用可实现高可用性。典型双机热备配置方案：两台机器的keepalived实例都配置成BACKUP状态，priority高的自动作为master , priority低的自动作为slave ，也可以将priority设置为相同，先启动的作为master 。两边都设置nopreempt，防止出现故障->恢复过程中的再切换。1.在master发生故障->恢复过程中，原backup会替换为master对外服务，当原master恢复后，一般希望原master作为新backup，以避免master的再次切换，可以使用nopreempt参数，防止priority高的发起切换。2. 当keepalived设置为随系统启动自动启动时，应加上一定的延迟，防止网络或系统未准备好影响keepalived的状态。3. 当后端的RS有状态(https)时，lvs一般需要使用sh负载算法或使用持久性连接，以便同一来源的请求分发到同一RS，当http和https的请求分发需要一致时，可以使用iptable对报文做fmark，使用fmark配置lvs 。star2011-11-16 11:11发表评论 ...继续阅读 (42)

1. arp问题在DR或者tunnel模式下，RS需要绑定VIP以便直接将报文发回客户端。因此需要在RS上屏蔽网络内对VIP进行arp查询的响应 。echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/all/arp_announce2. mtu问题在tunnel模式下 ，LD将客户端报文进行封装（加IPIP头）后发送给RS ， 因此RS需要调整MTU大小，预留IPIP头空间，以便客户端正确分包。ifconfig "$OUT_DEV" mtu 14803.报文转发问题在DR或者tunnel模式下，报文直接转发到RS。echo 1 > /proc/sys/net/ipv4/ip_forward4.LD支持连接数问题内核ip_vs模块的参数conn_tab_bits指定了conn表的大小，最大为20 ，支持1M个连接。5.LD做HA时VIP接管问题新LD接管故障LD的VIP时，需要及时做arp广播，keepalived会自动完成，也通过arping命令查看。6.LD的cpu负载问题LD的网卡软中断(ksoftirqd)由一个cpu处理，无法利用多核，调整软中断的smp_affinity可以改变绑定的cpu，但无法做多核负载均衡。内核2.6.32之后已经支持软中断的负载均衡。使用支持 ...继续阅读 (27)

1.服务器网卡软中断的cpu负载均衡。 1.网卡支持RSS（Receive Side Scaling，接收方扩展）。 2.内核支持RSS。2.网卡bonding 。多块网卡绑定同一IP地址对外提供服务，通过bonding，虚拟一块网卡对外提供服务。http://t.chinaunix.net/archiver/tid-1927269.htmlstar2011-08-04 10:44发表评论 ...继续阅读 (16)

多线程系统中通知用哪种方式效率更好，在一台4核Xeon 3.00GHZ的机器上对比了linux下mq和socketpair通信性能，一写线程，一读线程，初步结论是mq胜出，mq 46w/s ，socketpair 40w/s 。star2011-08-04 10:36发表评论 ...继续阅读 (188)

使用几个经典网络模型实现非阻塞简单http服务，部署在一台4核Xeon 3.00GHZ的机器上进行压力测试。短连接长连接客户端1个线程97%cpu，多核分担60%cpu网卡中断1.6w/s平均响应时间10ms100%cpu15%cpu网卡软中断2.8w/s平均响应时间7ms100并发/客户端100w请求/客户端2个客户端4个线程每个线程70%cpu99%cpu网卡中断2.1w/s平均响应时间9ms每个线程100%cpu40%cpu网卡软中断6.5w/s平均响应时间3ms100并发/客户端100w请求/客户端2个客户端1个leader线程，接受连接4个worker线程，处理请求leader线程90%cpuworker线程40%cpu75%网卡中断1.8w/s平均响应时间10msleader线程1%cpuworker线程100%cpu40%网卡中断6.0w/s平均响应时间3ms100并发/客户端100w请求/客户端2个客户端结论：1.短连接中，建立连接是很耗费资源的。2.长连接中，多线程在提高处理能力方面是很有价值的，尤其是运算量多的请求。3.多个线程同时接受连接会造成cpu软中断的overhead。star2011-07-07 13:24发表评论 ...继续阅读 (33)

beanstalkd源于fackbook，是一个快速、简单的内存消息队列，也可以开启binlog，消息将被写入日志文件，用于重启时恢复数据。1.消息被称作job，在服务器端储存在内存队列中，具有DELAYED,READY,RESERVED,BURIED状态，状态转换图如下Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/Hereisa picture of the typical job lifecycle:put reserve delete----->[READY]--------->[RESERVED]-------->*poof*Hereisa picture with more possibilities:put with delay release with delay---------------->[DELAYED]<------------.|||(time passes)|||put v reserve|delete----------------->[READY]--------->[RESERVED]- ...继续阅读 (27)

摘要: keytool是java提供的管理密钥和签名的工具。数据储存在keystore文件中，即jks文件 。1.创建rsa密钥对(公钥和私钥)并储存在keystore文件中: Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE ...阅读全文star2011-04-15 14:53发表评论 ...继续阅读 (26)