IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Nginx主动监测模块upstream check误用导致的502--no live upsteams

    the5fire发表于 2015-07-08 21:35:29
    love 0
    nginx出现502 Bad GateWay的原因大部分情况下应该都不是Nginx的问题,而是后端Server的问题,比如程序挂了,比如响应太慢了。不过有时问题也出在Nginx上,就是我们遇到的这种情况,nginx reload之后一段时间内的访问都是502,error log中大量的no live upstream日志。问题的原因就是对check upstream module这个模块的误用。先来看下我的配置。主配置文件,nignx.conf:worker_processes 4; pid logs/nginx.pid; error_log /tmp/logs/error.log; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; # 省略部分配置 include upstreamA.conf; server { listen 8889; server_name localhost; access_log /tmp/logs/m-access.log main; error_log /tmp/logs/m-error.log; location ~ / { proxy_pass http://tornado_servers; } } }然后是upstreamA.conf:upstream tornado_servers { server 127.0.0.1:29100 weight=100; server 127.0.0.1:29101 weight=100; check interval=30000 rise=3 fall=3 timeout=30000 type=tcp; }然后是upstreamB.conf:upstream tornado_servers { server 127.0.0.1:29110 weight=100; server 127.0.0.1:29111 weight=100; check interval=30000 rise=3 fall=3 timeout=30000 type=tcp; }有兴趣的可以用我的这个配置测试下,nginx需要有nginx_upstream_check_module插件。我们上线应用的流程是这样,假设现在线上用的是upstreamA,那么我们发布Python程序的时候,就把端口监听在upstreamB设置的端口上,发布成功之后,把Nginx配置中的upstreamA改为upstreamB,然后reload,从而达到新程序上线的目的。而这时出现的问题就是,reload之后,立马出现 no live upstream的error,并且所有访问都是502。原因之前已经说过了,是对check模块的误用导致的,来看下check模块的使用说明就清楚了.Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port] Default: 如果没有配置参数,默认值是:interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp Context: upstream各项说明:该指令可以打开后端服务器的健康检查功能。 指令后面的参数意义是: interval:向后端发送的健康检查包的间隔。 fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。 rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。 timeout: 后端健康请求的超时时间。 【default_down】: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。 type:健康检查包的类型,现在支持以下多种类型 tcp:简单的tcp连接,如果连接成功,就说明后端正常。 ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。 http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。 mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。 ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。 port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。如果没有仔细考虑这个问题的话,像我们这样使用默认的配置,然后通过切换upstream文件来上线新系统,还真是有坑。参考: 1.http://tengine.taobao.org/document_cn/http_upstream_check_cn.htmlhttp://segmentfault.com/a/1190000002446630


沪ICP备19023445号-2号
友情链接