libmemcached的retry_timeout问题分析
admin发表于 2014-03-26 09:21:28
最近在线上中遇到使用libmemcached的svr连接memcached间隔性的出现47错误，每次在2s的时间内大量出现，
其宏定义为MEMCACHED_SERVER_TEMPORARILY_DISABLED，表示memcached临时性不可用.
libmecached的版本是0.53
刚开始以为是网络间隔性异常导致，但是在排查无果的情况，只能深入看下libmemcached的源代码，发现了其内部实现的
retry_timeout的机制：
- 当某个时刻，某台memcached机器出现连接超时情况时，会将server的状态标识为MEMCACHED_SERVER_STATE_IN_TIMEOUT
- 在接下来的retry_timeout（默认为2s）的时间内，libmemcached将不会重新连接该memcached，总是直接返回47错误码，表示服务临时不可用
我们遇到的情况就是当某个时刻网络抖动（这个在跨机房通信应该比较常见），可能会是在ms级的，但是libmemcached会直接将该server不可用，并且在2s内不再重试。这里就是所谓的“快隔离、慢恢复”的理念，会在2s内导致该memcached不可用，出现大量47错误的原因。
可以通过MEMCACHED_BEHAVIOR_RETRY_TIMEOUT将retry_timeout设置为1s来减少网络抖动的影响，但是不能设置为0，最少是1s.