厂里的docker上跑了个supervisord，用来把挂掉的进程拉起来。最近的问题不是进程挂掉，而是内存泄漏跑着跑着内存爆了，然后宿主机OOM随机杀掉一个进程，结果占用内存最大的那个还活着，正常的进程反而gg，该漏的继续漏，然后反复OOM。想看下哪里漏了，--cap-add=SYS_PTRACE也不给加，OOM策略也不给调，思来想去只能自己做防水补漏了。做起来也简单，supervisor再跑一套bash脚本即可：while true; do p=`ps --no-headers -xo rss,pid --sort=-rss | awk '{if($1 > 1000000){ print $2 }}'` kill $p 2>/dev/null || echo "everything fine"; sleep 60; done; ...继续阅读 (105)

前言之前用宝塔面板的时候可以直接在“应用商店”安装Supervisor，现在换了1panel面板，使用代码也可轻松实现进程的守护。简介Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。安装Debian安装supervisorapt-get update apt-get install supervisor配置文件Supervisor的配置文件为/etc/supervisor/supervisord.confSupervisor所管理应用的配置文件放在/etc/supervisor/conf.d/目录中，需要对每个应用进行配置。在/etc/supervisor/conf.d/中创建xxxxxx.conf，每个应用对应一个配置文件即可。conf文件内容示例：[program:cloudreve] command=/pipu/cloudreve/cloudreve directory=/pipu/cloudreve/ user = root stopsignal = INT autostart = true autorestart = true startsecs = 1 stderr_logfile = /var/log/cloudreve.err.log添加开机启动Debins ...继续阅读 (66)

这篇东西想写很久了，拖延症晚期患者-.-，今天终于下决心把它写了吧。很久很久之前，在思考如何部署基于Tornado的服务，就和郑纪一起找到了一个Tornado的好伙伴——Supervisor。Supervisor，简单来说，就是一个Python写的进程管理器。不仅仅可以用来管理进程，还可以用来做开机启动。我在服务器上面有几个服务： ...继续阅读 (21)

前几天，不知道干了啥，比较值得怀疑的是当时执行brew install supervisor更新了一堆应用程序，然后只要cd ~或者回车一下，就会吐出一堆错误来。 ERROR:root:code for hash md5 was not found. Traceback (most recent call last): File "/usr/local/Cellar/python@2/2.7.... ...继续阅读 (79)

之前一直使用SSH指定端口转发请求，一直能用，但是很烦。因为每次都要输入密码之类的，而且经常会断开，断开后又输密码，神烦。前几日决心解决这个问题，作为一名Python开发者，首先想到的就是supervisor，最后也证明这个想法行得通。 先brew install supervisor把它安装上，然后运行brew service start supervisor运行起来。打开/usr/local/... ...继续阅读 (108)

写在前面的话，笔者第一次阅读框架源码，所以可能有些地方理解错误或者没有详细解释，如果在阅读过程发现错误很欢迎在文章下面评论指出。文章后续会陆续更新，可以关注或者收藏，转发请先私信我，谢谢。对了，笔者看的是2.2.1这个版本。上一篇博客，JStorm源码阅读系列--01--Nimbus启动分析笔者讲解了Nimbus启动过程中做的一些基本的操作，在initFollowerThread方法中，如果当前的Nimbus变成Leader之后，这个方法内会负责执行一些初始化init操作。下面就来讲讲第一个初始化操作--拓扑分配。本文将详细（非常长，所以慢慢看）的讲解如何去为一个拓扑分配相应的资源。从方法initTopologyAssign开始，TopologyAssign是一个单例对象，在这个类的init方法内，做了简单的赋值操作之后，并初始化一个调度器实例对象之后，就建立一个守护线程，这个守护线程的目的是不断从TopologyAssign内部维护的一个阻塞队列中读取系统提交的拓扑任务，并调用相应的方法doTopologyAssignment进行分配操作。代码都比较简单，就不浪费版面去贴了。下面是doTopologyAssignment方法的源码，protected boolean doTopologyAssignment(TopologyAssignEvent event) { ...继续阅读 (7)

1，好处就不说了，移植方便，项目组内开发环境一致等。2，相比于开发php，nodejs需要不停的重启才能更新后台的代码，不能够热更新。docker容器启动后传入一个命令，如果再连接进去会稍微麻烦一些。 如果在搭建docker容器的时候，里面启动是用supervisor启动的话，supervisor在重启很多次之后，也会自己退出，就又得手动重启。3，各位在搭建docker的开发环境时是如何做的？能否分享一下具体的例子～～感谢！ ...继续阅读 (38)

express项目 我想忽略一些文件变化就重启node…我想直接设置文件夹,就是该文件夹下所有文件变化都不重启node,但是我这样设置不行啊? 如何设置呢?supervisor ./bin/www -i config,logs,public,views ...继续阅读 (10)

blog12- [SSL/TLS配置（证书生成需要注意CN不能乱填）][1]- [mqtt协议详解][2]JPush参考发现的一些点：123456- 推送信息的保存时间长短（10天？）- 单设备多用户- server端记录设备的id，多用户通过别名其它机制来做逻辑的映射- 但极光的做法是单个设备和别名一对一，不同用户登录，别名会被覆盖- 提供有限时长过的记录保存- [极光推送的很多策略值得参考，API设计的也不错][3]rabbitmqtt插件形式：123456789101112131415161718192021222324252627------------------------| mqtt_sup | (supervisor)------------------------/ \/ \/ \/ \-------------------------------------\| rabbitmq_mqtt_collector|\------------------------------------- \(worker) \---------- ...继续阅读 (23)

【摘要】将一个ASP.NET Core站点在Linux服务器上以self-contained部署方式发布出来后，直接在终端上运行下面的命令，站点可以正常运行。但是通过supervisor以服务方式运行却失败，查看错误日志发现是因为找不到appsettings.json文件，可appsettings.json...阅读全文 ...继续阅读 (134)

supervisor守护进程，Linux进程守护，supervisor守护Linux进程一、安装：sudo pip install supervisorsudo easy_install supervisorapt-get install supervisoryum install supervisor二、supervisor的配置文件默认路径为：/etc/supervisord.d ；存放着supervisor监管的进程的配置信息，一个进程对应一个配置文件/etc/supervisord.conf ；supervisor的主配置文件，定义服务名称以及接口等等三、如果没有配置文件，创建配置文件：root下执行：echo_supervisord_conf > /etc/supervisord.conf四、Supervisor配置：用supervisor监控一个脚本进程，需要在/etc/supervisor.d中新建一个关于这个脚本进程的配置文件示例1：vim script.conf：[program:srcipt] #程序的名字，在supervisor中可以用这个名字来管理该程序。 command=scirpt.php #启动程序的命令 autorstart=true #设置该程序是否随supervisor的启动而启动 directory=page/to/ ...继续阅读 (53)

在使用node, supervisor 和 forever的时候，经常会碰到程序无故中断，一点征兆也没有。并且我在它中断的时候查看了forever的log，在断开前也是没有抛异常的情况；但它就是自动断开连接了。 接着，我准备再次启动项目的时候，居然报错，说是端口已经占用了。 请问各位大大，这种问题该怎么解决呢？ ...继续阅读 (35)

beego是 Go 写的应用程序开源框架，我使用beego写了一个项目小项目。Go 是编译语言，需要编译之后再部署，每次部署到服务上是件很麻烦的事情。就写了一个自动打包部署到服务器的脚本，方便发布部署。项目结构先看看beego项目的结构：beepkg |-- conf | `-- app.conf |-- controllers | `-- default.go |-- main.go |-- models |-- routers | `-- router.go |-- static | |-- css | |-- img | `-- js |-- tests | `-- default_test.go `-- views `-- index.tpl其中controllers，views.models以及其他的.go文件会被打包成可执行文件beepkg。 而静态文件static以及conf文件不会被编译，需要打包上传部署到服务器上。 因此在打包文件的时候需要忽略一些文件： 1.go文件，已经编译成可执行文件 2.本地生成的一些临时文件 3.项目的一些配置文件 因此我们在使用bee pack打包的时候需要忽略这些文件，bee pack在编译之后压缩的的时候会默认忽略这三种文件:.go:.DS_Store:.tmp。因此我们只需要忽略其他的文件即可。 ...继续阅读 (50)

beego是Golang写的应用程序开源框架http://beego.me/，我使用beego写了一个项目小项目，golang是编译语言，需要编译之后再部署，每次部署到服务上是件很麻烦的事情。就写了一个自动打包部署到服务器的脚本，方便发布部署。项目结构先看看beego项目的结构：beepkg |-- conf | `-- app.conf |-- controllers | `-- default.go |-- main.go |-- models |-- routers | `-- router.go |-- static | |-- css | |-- img | `-- js |-- tests | `-- default_test.go `-- views `-- index.tpl其中controllers，views.models以及其他的.go文件会被打包成可执行文件beepkg。而静态文件static以及conf文件不会被编译，需要打包上传部署到服务器上。因此在打包文件的时候需要忽略一些文件：1.go文件，已经编译成可执行文件 2.本地生成的一些临时文件 3.项目的一些配置文件因此我们在使用bee pack打包的时候需要忽略这些文件，bee pack在编译之后压缩的的时候会默认忽略这三种文件:.go:.DS_Store:.tmp。 ...继续阅读 (55)

嵌入模式允许你把Ranch监听器直接插入到你的监控树中. 如果整个应用程序其他部分挂掉了, 可以通过关闭监听器的方法, 来提供更好的容错控制.嵌入(Embedding)要嵌入 Ranch 到你自己的应用程序中, 只需要简单地把子进程规范添加到监控树中即可. 在应用程序的一个(一般在顶层Supervisor, 如果应用程序比较复杂, 也可能是其他层)Supervisor的init/1函数中完成这个过程.对于嵌入, Ranch 要求最少两种类型的子进程规范. 首先,需要添加ranch_sup到监控树, 只需要一次, 不管使用多少个监听器. 然后需要为每个监听器添加子进程规范.可以添加多个监听器, 比如80端口的HTTP监听器, 和443端口的HTTPS监听器.Ranch 提供了一个简便的辅助函数ranch:child_spec/6获取监听器的子进程规范, 其工作方式类似于ranch:start_listener/6, 只是它不启动任何进程, 只是返回子进程规范.对于ranch_sup, 子进程规范足够的简单, 不需要辅助函数.下面的例子添加ranch_sup和一个监听器到另一个应用程序的监控树中.直接嵌入 Ranch 到监控树中init([]) -> RanchSupSpec = { ranch_sup, {ranch_sup, star ...继续阅读 (34)

【摘要】进程监控工具supervisor 启动Mongodb一什么是supervisorSuperviosr是一个UNIX-like系统上的进程监控工具。 Supervisor是一个Python开发的client/server系统，可以管理和监控*nix上面的进程。不过同daemontools一样，它也不能...阅读全文 ...继续阅读 (89)

{ “name”: “blog”, “version”: “0.0.0”, “private”: true, “scripts”: { “start”: “supervisor ./bin/www” }, “dependencies”: { “body-parser”: “~1.13.2”, “connect-flash”: “0.1.1”, “connect-mongo”: “^0.7.0”, “cookie-parser”: “~1.3.5”, “debug”: “~2.2.0”, “ejs”: “~2.3.3”, “express”: “~4.13.1”, “express-session”: “^1.9.1”, “mongodb”: “2.0.52”, “mongoose”: “4.3.0”, “morgan”: “~1.6.1”, “serve-favicon”: “~2.3.0” } } 我的疑问就是那个mongodb版本是数据库的版本，还是什么驱动的版本，我执行install之后是安装了个数据库还是？ 小白一枚…求指点。 ...继续阅读 (11)

【摘要】介绍Supervisord是用Python实现的一款非常实用的进程管理工具安装这里用源码supervisor-3.1.3.tar.gztar -zxvf supervisor-3.1.3.tar.gzcd supervisor-3.1.3sudo python setup.py install生成默...阅读全文 ...继续阅读 (40)

正常的执行 supervisor 运行的话不能后台 ，然后 nohup supervisorwww.js再执行 ，但是监听文件是否修改就失效了。有没有什么好一些的 工具什么的 ...继续阅读 (44)

我使用supervisor app.js启动项目后，在下载时会出现这样的问题。 但是如果使用node app.js启动项目就不会出现这个问题。 有没有大神能够解释一下为什么会这样？求一个解决办法。 ...继续阅读 (34)

1. 概述“天下武功，唯快不破”。推荐系统也一样，用户的实时行为和实时兴趣对于推荐系统来说是一个非常重要的因素，对于提升推荐效果和用户惊喜度都有很大的促进作用。用户对一条微博进行转，评，赞的行为，对另外一个用户的关注和取消关注，对于基于关系图谱和兴趣图谱的推荐和广告来说，都是非常重要的信息。在微博内部，这些信息是通过firehose这个队列系统来进行分发和流动，不过这些消息如何进行分析和处理落地，就是各个业务方的事情。面对每天数亿的流量，我们需要一个低延迟、 高性能、 分布式、 可扩展 、容错、可以抵抗高峰流量（比如“周一见”这样的事件）的分布式流处理系统。我们除了有自己的分布式流处理系统RIN之外，也尝试过使用大热的开源实时处理系统storm，目前就有几个非常重要的业务就运行在storm集群之上。除了刚上线出过几次小问题，线上跑了一年多，运行正常，没再出过问题。本篇文章从以下几个方面介绍storm在微博推荐中的实践：storm的简介storm的环境搭建storm的监控一个简单的业务介绍 2. storm简介Storm是twitter开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。Storm有很多使用场景:如实时分析,在线机器学习,持续计算,分布式 RPC,ETL等等。Storm支持水平扩展, 具有高容错性,保证每个消息都会得到处理，而且处理速度很快（在一个小 ...继续阅读 (39)

使用Express框架搭建一个网站 1、安装Express首先要用全局模式安装Express,因为只有这样才能在命令行中使用它。使用下述命令在伪dos命令窗口安装express。$ npm install -g express  等待安装完成后，使用express --help查看帮助信息，此时出现了express既不是内部命令也不是外部命令的错误，检查发现新版的express并不支持命令行直接使用express。此时我们既可以找到c盘目录 C:\Users\Administrator\AppData\Roaming\npm\node_modules 找到express删除，也可以使用$ npm uninstall express 来删除。使用以下命令重新安装指定版本的express：$ npm install -g express@3.5.0等待安装完成后，使用express --help查看帮助信息。也可以使用express -V查看express版本信息。2、建立工程进入到一目录比如此我的目录是E:\sonet\node。基于不重复造轮子的原则，Express在初始化一个项目的时候需要指定使用模板引擎，默认支持ejs和jade。其它的还有jshtml、ICanHaz.js、mustache、hogan.js、Jade、Haml、Slim、Coff ...继续阅读 (30)

Supervisor是基于 Python 的进程管理工具，只能运行在 Unix-Like 的系统上，也就是无法运行在 Windows 上。Supervisor 官方版目前只能运行在 Python 2.4 以上版本，但是还无法运行在 Python 3 上，不过已经有一个 Python 3 的移植版supervisor-py3k。什么情况下我们需要进程管理呢？就是执行一些需要以守护进程方式执行的程序，比如一个后台任务，我最常用的是用来启动和管理基于 Tornado 写的 Web 程序。除此之外，Supervisor 还能很友好的管理程序在命令行上输出的日志，可以将日志重定向到自定义的日志文件中，还能按文件大小对日志进行分割。Supervisor 有两个主要的组成部分：supervisord，运行 Supervisor 时会启动一个进程 supervisord，它负责启动所管理的进程，并将所管理的进程作为自己的子进程来启动，而且可以在所管理的进程出现崩溃时自动重启。supervisorctl，是命令行管理工具，可以用来执行 stop、start、restart 等命令，来对这些子进程进行管理。安装sudo pip install supervisor创建配置文件echo_supervisord_conf > /etc/supervisord.conf如果出现没有权限的问题，可以使用 ...继续阅读 (26)

本文会不断完善，今天开个头slot数量配置slot就是worker, 就是worker machine上的可运行的进程数，每个进程监听一个端口号。整个集群的slot的总数 = 所有supervisor上的监听端口port的数目之和建议是CPU总核数 - 1 。在24核服务器上，port数目应该最大是23才对。下面是20个的配置如下：supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 - 6704 - 6705 - 6706 - 6707 - 6708 - 6709 - 6710 - 6711 - 6712 - 6713 - 6714 - 6715 - 6716 - 6717 - 6718查找服务进程，并重启ps -def | grep daemon.supervisor | grep -v grep | awk '{print $2}'然后运行kill命令后重新启动 ...继续阅读 (58)

路人甲2015/09/14 10:09 0x00写在前面 工业4.0，物联网趋势化，工控安全实战化。安全从业保持敏感，本篇以科普角度对工控安全做入门分析，大牛绕过，不喜轻喷。 0x01专业术语 SCADA：数据采集与监视控制系统 ICS：工业控制系统 DCS：分布式控制系统/集散控制系统 PCS：过程控制系统 ESD：应急停车系统 PLC：可编程序控制器(Programmable Logic Controller) RTU：远程终端控制系统 IED：智能监测单元 HMI：人机界面(Human Machine Interface) MIS：管理信息系统(Management Information System) SIS： 生产过程自动化监控和管理系统（Supervisory Information System） MES：制造执行管理系统 0x02协议端口及测试脚本 协议科普 Modbus MODBUS协议定义了一个与基础通信层无关的简单协议数据单元（PDU）。特定总线或网络上的MODBUS协议映射能够在应用数据单元（ADU）上引入一些附加域。 安全问题： 缺乏认证：仅需要使用一个合法的Modbus地址和合法的功能码即可以建立一个Modbus会话 缺乏授权：没有基于角色的访问控制机制， 任意用户可以执行任意的功能。 缺乏加密：地址和命令明文传输， 可以很容易地捕获和解析 PROFI ...继续阅读 (64)

我在项目目录下 直接执supervisor app.js 一直提示starting child process width 'node app.js' program node app.js exited witdh code 0 ...继续阅读 (50)

我们服务多是用 supervisor 启动的， 但监控多数是用monit, 如果我们能通过监测 supervisor 事件变化来做监控，就可以写一套通用的监控程序。庆幸的是，supervisor 的eventListener支持我的设想。这个监控程序需要用 supervisor 启动，类型不再是program, 而是eventlistener，这里有几个比较耗时的地方需要记录下。supervisor 有独特的通信协议,需要遵循，否则通讯不会被触发123456def write_stdout(self, s):sys.stdout.write(s)sys.stdout.flush()write_stdout('READY\n') //类似开始握手write_stdout('RESULT 2\nOK') //结束通讯需要从标准输入端读取事件,而且他是个阻塞的事件模型12345while 1:self.write_stdout('READY\n')line = sys.stdin.readline()do_some_thing()self.write_stdout('RESULT 2\nOK')supervisor 配置文件需要订阅事件12345678[eventlistener:alarm]user=zjcommand=/usr/bin/python /home/ymserver/bi ...继续阅读 (55)

参考文章：http://segmentfault.com/a/1190000002991175(原文中还有使用OneAPM安装Python探针的应用，可以实时监控web应用数据，暂时还未实践)supervisor是使用Python编写的进程管理软件，在实际开发中，一般用它来同时开始一批相关的进程，无论是Django的runserver还是直接管理Nginx、Apache等，都比较方便，这里是其使用方法：安装# 不要用apt-get的方式安装，如果安装出现unix:///var/run/supervisor.sock no such file这样的错误，那么请参考：http://tuzii.me/diary/522dc528848eea683d7724f2/%E8%A7%A3%E5%86%B3ubuntu-supervisor-unix:var-run-supervisor.sock-no-such-file.%E7%9A%84%E6%96%B9%E6%B3%95 sudo easy_install supervisor echo_supervisord_conf > supervisord.conf # 生成一个配置文件 sudo supervisord -c supervisord.conf # 使用该配置文件启动supervisord sudo superviso ...继续阅读 (38)

昨天，项目的 ElasticSearch 服务挂了，我说的挂可不是进程没了，因为有 Supervisor 保护，而是服务不可用了。以前曾经出现过一次因为 ES_HEAP_SIZE 设置不当导致的服务不可用故障，于是我惯性的判断应该还是 ES_HEAP_SIZE 的问题，不过登录服务器后发现日志里显示大量的「Too many open files」错误信息。那么 ElasticSearch 设置的最大文件数到底是多少呢？可以通过proc 确认：shell> cat /proc//limits结果是「4096」，我们还可以进一步看看 ElasticSearch 打开的都是什么东西：shell> ls /proc//fd问题看上去非常简单，只要加大相应的配置项应该就可以了。此配置在 ElasticSearch 里叫做 MAX_OPEN_FILES，可惜配置后发现无效。按我的经验，通常此类问题多半是由于操作系统限制所致，可是检查结果一切正常：shell> cat /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535需要说明的是新版 CentOS 里有一个额外的配置文件，用来限制用户打开的文件数：shell> /etc/security/limits.d/90-nproc.conf * sof ...继续阅读 (45)

原文链接译者：魏勇本文通过问答的形式解释了 Storm 的容错性原理。工作进程（worker）死亡时会发生什么？工作进程死亡的时候，supervisor 会重新启动这个进程。如果在启动过程中仍然一直失败，并且无法向 Nimbus 发送心跳，Nimbus 就会将这个 worker 重新分配到其他机器上去。节点故障时会发生什么？一个节点（集群中的工作节点，非 Nimbus 所在服务器）故障时，该节点上所有的任务（tasks）都会超时，然后 Nimbus 在检测到超时后会将所有的这些任务重新分配到其他机器上去。Nimbus 或者 Supervisor 的后台进程挂掉时会发生什么Nimbus 和 Supervisor 的后台进程本身是设计为快速失败（无论何时发生了异常情况之后都会启动自毁操作）和无状态（所有的状态由 ZooKeeper 负责管理）的。正如配置 Storm 集群这篇文章中所述，Nimbus 和 Supervisor 的后台进程实际上是在后台监控工具的监控之下运行的。所以，如果 Nimbus 或者 Supervisor 进程挂掉，他们就会静默地自动重启。值得一提的是，Nimbus 和 Supervisor 的故障不会影响任何工作进程。这一点与 Hadoop 形成了鲜明对比，在 Hadoop 中 JobTracker 的故障会导致所有正在运行的 job 运行失败（Hadoop 2 ...继续阅读 (30)