最近在用nodejs + mysql 做了一个 类似商城的应用(没错,就是这么作死),但事务不多(其实是用户不多).随着时间,市场这边有很多的想法也一步步的在这个项目里实现.但是代码量及项目大小,项目越来越难维护,就想作死一下搞个重构. 目前有这个构思: 1.将数据层的接口封闭到一个项目里,这个项目不对外暴露; 2.服务层按功能划分多个项目(nodemodule之类 ),如 订单系统 就独成 orderModule 的项目包, 商品管理做成 storeItemModule 之类的;主项目(BOSS)是将 所有的服务层对外暴露的项目,这个项目就想用 supervisor 之类的特性来热加载 服务层 的模块;这个做法我暂时想到的是可能一个接口要开N个项目窗口来调试… 还有…最后一点我是这个项目的前后端攻城师…这个做法会不会作死? ...继续阅读 (17)

Go语言号称面向工程：对工程目录组织、代码风格（gofmt）、文档（生成）都制定的相应的“标准”，并提供了相应的工具帮助开发者满足这些工程specs。gofmt用于格式化代码，形成统一代码风格。godoc.org用于查看标准库或repo的doc。go-talks.appspot.com则是用来查看go slide。像godoc和go-talks这种以服务形式提供文档查看的形式不得不说是golang的又一创新。这几年Golang的开发者们是非常勤奋的，为了推广Golang，他们撰写博客，编写文档，并四处布道，积累下许多有价值的文档，这些文档多以 Gopher所特有的present格式存在着，这些 present格式的文档以.slide、.article或.ext为后缀，通过go-talks.appspot.com提供的present渲染服 务浏览，并且支持github.com repo中的slide文件。Go开发者们只需要将自己写好的slide文件存放在自己github.com上的repo中，就可以随时随地在世界各地打 开这类present文件为大家布道了。不过来到中国大陆后，事情就没那么顺利了，因为appspot.com在大陆是无法直接访问的，你懂得哦。为了观看这些大牛的slide，内地的Go程序员只能四处寻找出(fan)国(qiang)工具，但这毕竟不是十 ...继续阅读 (130)

打算把自己学习实时计算的相关东西写出来，形成一个从零开始学实时计算的系列，由于我也是刚开始接触，系列文中的描述或概念有不当的地方，还请不吝指教。在此谢过。Storm是一个分布式实时计算框架，由 Twitter 开放并开源。用来处理无边界的流数据，进行实时处理。与 Hadoop 做批处理相对应。因为底层使用 Thrift 来定义和提交 Topology（Storm 中的一种结构），Storm 可以使用任何语言来进行编程。可以用来做实时计算，在线机器学习等等一系列事情。每秒可以每个节点可以处理百万级别的 Tuple（Storm 中的一种结构）。伸缩性好，容错好，并且保证所有数据都会被处理。首先介绍 Storm 中几个结构的定义，分别是 Tuples, Stream, Spout, Bolt, Topology, Task.其中 Tuple 是最基本的结构，是传输数据过程中的最小单元，可以当作为一个包装好的结构体Stream： 是无边界的 Tuple 组成的数据流，可以理解为 Tuple 的流动Spout： 是程序的数据来源，由用户指定，指定之后，所有的数据都从 spout 发出Bolt： 数据中转和处理的节点，负责经过数据的中转以及处理Topology： 是包括 spout，stream，bolt 的一个完整流程，表示数据从开始到结束的整个过程，每一个 Topology 定义了数据的来 ...继续阅读 (36)

由于字数的限制，其实本篇文章的全标题为《如何在 virtualenv 环境下 Django + Nginx + Gunicorn+ Supervisor 搭建 Python Web》在这篇文章里，我们将搭建一个简单的 Web 应用，在虚拟环境中基于 Flask 框架，用 Gunicorn 做 wsgi 容器，用 Supervisor 管理进程，然后使用 OneAPMPython探针来监测应用性能，形成一个「闭环」 ！希望能对大家有所帮助，首先简单来介绍一下环境：系统环境：ubuntu 14.04 Python 2.7.6安装组件库第一步安装所需要的存储库，因为打算用到虚拟环境，用到 pip 安装和管理 Python 组件，所以先更新本地包，然后安装组件：sudo apt-get update sudo apt-get install python-pip python-dev nginx创建虚拟环境 virtualenv在一个系统中创建不同的 Python 隔离环境，相互之间还不会影响，为了使系统保持干净，遂决定用 virtualenv 跑应用程序，创建一个容易识别的目录，开始安装，再创建项目目录 super，然后激活环境：sudo pip install virtualenv mkdir ~/supervisor && cd ~/supervisor virtualenv su ...继续阅读 (42)

以什么方式运行进程？将它做成服务，再以"service xxx start/stop"方式运行。或者以"nohup xxx &"方式运行，需要停止时，先ps获得进程id，然后kill掉.有什么好点的办法？supervisor正好解决这个问题。安装sudo pip install supervisor创建配置文件echo_supervisord_conf > /etc/supervisord.conf取消注释打开/etc/supervisord.conf，取消下面两行注释，并修改files内容.[include] files = /etc/supervisor/*.ini新建配置目录新建supervisor目录及test.ini文件➜ /etc tree supervisor supervisor └── test.ini配置内容test.init内容[program:test] command=python -m SimpleHTTPServer 8000 directory=/home/wyq/运行运行后，在浏览器访问8000端口supervisord 调试运行，此时需要先将test.ini中directory注释掉.supervisord -dsupervisor也可指定配置文件 supervisord -c xxxx查看日志tail -f supervisord.conf ...继续阅读 (62)

PHP进程的生命周期很短，遇到意外情况也会中断，如果跟想要PHP在后台不断的跑脚本，就需重启它。Supervisor是一个python开发的基于*nix上的管理和监控进程的client/server程序。当PHP进程中断，会重新启动它。安装：wget http://pypi.python.org/packages/source/s/supervisor/supervisor-3.0b1.tar.gz tar -zxvf supervisor-3.0b1.tar.gz cd supervisor-3.0b1 easy_install supervisor #安装setuptools(yum -y install python-setuptools)配置：在/etc/supervisord.conf后添加：[program:php] command= /usr/local/php54/bin/php -f /root/supervisor/test.php #被监控进程 ;process_name=%(process_num)02d ;numprocs=5 #启动几个进程 autostart=true #随着supervisord的启动而启动 autorestart=true #自动启动 startsecs=1 #程序重启时候停留在runing状态的秒数 startretries ...继续阅读 (34)

原创文章，转载请注明：转载自系统技术非业余研究本文链接地址:Erlang supervisor规格的dynamic行为分析今天benjamin同学在网上问了以下问题：我在看mochiweb和misultin的代码时有一些不理解的地方，以下是代码：init({MainSupRef, Port, OptionsTcp, AcceptorsPoolsize, RecvTimeout, SocketMode, CustomOpts}) ->?LOG_DEBUG(“starting listening ~p socket with options ~p on port ~p”, [SocketMode, OptionsTcp, Port]),case misultin_socket:listen(Port, OptionsTcp, SocketMode) of{ok, ListenSocket} ->Acceptors = [{{acceptor, N}, {misultin_acceptor, start_link, [MainSupRef, ListenSocket, Port, RecvTimeout, SocketMode, CustomOpts]},permanent, brutal_kill, worker, dynamic}|| N ],{ok, {{one_for_one, ...继续阅读 (33)

对于Tornado web项目，为了有效利用多核资源，同时达到较高的并发能力，我们可以在服务器开启多个Tornado进程，并通过Nginx反向代理，实现负载均衡。另外，使用Supervisor可以方便地守护管理Tornado进程。Tornado+Supervisord+Nginx也是Tornado官方推荐的组合配置。本文涉及的源码可点击这里下载1 工具介绍Tornado：Web框架Nginx：反向代理和负载均衡Supervisor：管理守护进程2 实验环境Ubuntu 14.04 LTS 64-bitPython 2.7.9Tornado 3.2.1Supervisor 3.1.3Nginx 1.8.03 环境配置Ubuntu下，Python, Nginx通过apt-get安装，Tornado, Supervisor可通过pip安装4 Tornado Web Server Demo该Demo使用Tornado提供的options模块，可以解析命令参数。运行时加上形如--port=8001的命令就能按照指定端口执行，方便后面使用多进程。import tornado.httpserver import tornado.ioloop import tornado.web import tornado.options from tornado.options import define, ...继续阅读 (212)

有时候，进程突然终止服务，可能是没有资源了，也可能是意外，比如说：因为 OOM 被杀；或者由于 BUG 导致崩溃；亦或者误操作等等，此时，我们需要重新启动进程。实际上，Linux 本身的初始化系统能实现简单的功能，无论是老牌的 SysVinit，还是新潮的Upstart或者Systemd均可，但它们并不适合处理一些复杂的情况，比如说：CPU 占用超过多少就重启；或者同时管理 100 个 PHP 实现的 Worker 进程等等，如果你有类似的需求，那么可以考虑试试Monit和Supervisor，相信会有不一样的感受。让我们看看Monit的用法，假设我们要监控 Nginx 进程，一旦其 CPU 使用率连续 5 次轮询周期里均超过 50% 的话，就重启进程，此时就可以按照如下方式设置：check process nginx with pidfile /var/run/nginx.pid start program = "/etc/init.d/nginx start" stop program = "/etc/init.d/nginx stop" if cpu is greater than 50% for 5 cycles then restartMonit 根据 pidfile 轮询对应的进程是否健在，满足条件就执行 start/stop 等操作。如果进程 ...继续阅读 (30)

最近上线项目中尝试用 supervisord 监视 puma 进程。社区里教程似乎比较少，中间踩了个小坑在这里记录一下。Why Supervisord ?supervisord 是 python 社区里比较常用的工具，能够保证进程在极端情况下挂掉之后重启，使 web app 成为一个默认活着的服务。诚然 puma / unicorn 这类 App 服务器的 master 进程已经足够稳定了，但是不能排除云服务商半夜重启服务器的可能性。相比 daemontools，似乎比较容易配置；相比 systemd，兼容性更好，如果选用的镜像不是默认 systemd，这类核心的系统组件切换起来风险应该不小。Users操作 supervisord 需要 sudo 权限，而 app 要降权执行，为此准备两个用户：deploy 用户：用以存放 Web App 代码，拥有 sudo 权限，且 NOPASSWD，用以执行部署脚本、存放应用代码及依赖、控制 supervisorctl；主用户组为 deploy，可以保证部署的代码文件的用户组为 deploy；代码存放在 /home/deploy/www/myapp；app 用户：没有 sudo 权限，甚至不需要 home 目录，用以降权执行 App 代码；加入 deploy 用户组，/home/deploy/www/myapp/shared 下的 tmp 目 ...继续阅读 (35)

HHVM502问题困扰了好多像我这样的新手菜鸟，经常不明原因的就会出现HHVM crash。网上也就很多文章讨论，很多都是建立一个监控脚本，当502出现就重启HHVM服务，今天给大家介绍用supervisor来管理HHVM进程，拒绝502出现。什么是supervisor?Supervisor是一个C/S系统,它可以在类unix操作系统让用户来监视和控制后台服务进程的数量，一个很重要的功能就是监控服务器的主要后台进程，并在出现问题是自动重启。安装supervisor1、根据服务器上的python版本下载对应的setuptools[root@test1 ~]# python -V显示 Python 2.6.6wget http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg#md5=bfa92100bd772d5a213eedd356d64086 sh setuptools-0.6c11-py2.6.egg2、下载并安装supervisorwget http://pypi.python.org/packages/source/s/supervisor/supervisor-3.0b1.tar.gz tar -zxvf supervisor-3.0b1.tar.gz cd superviso ...继续阅读 (479)

这篇东西想写很久了，拖延症晚期患者-.-，今天终于下决心把它写了吧。很久很久之前，在思考如何部署基于Tornado的服务，就和郑纪一起找到了一个Tornado的好伙伴——Supervisor。Supervisor，简单来说，就是一个Python写的进程管理器。不仅仅可以用来管理进程，还可以用来做开机启动。我在服务器上面有几个服务：more基于Tornado的短链接服务163.gs和很久木有更新的通讯录5txl.com。node.js的Ghost Blog。还有 番羽土啬 用的shadowsocks。需求是，对于这些服务能够做到如下：重启机器后，能够自启动。平时有个方便的进程查看方式。能够有个方便的方式重启进程。虽然我们自己写启动脚本，但是其实还是挺烦的，特别是，我要开多个同样的服务，就要写几份几乎一样的启动脚本，这个十分之冗余。庆幸的是，Supervisor1可以解决这些问题，安装好Supervisor，仅需要为Supervisor弄份启动脚本，便可以一劳永逸。安装非常熟悉的安装方式：sudo pip install supervisor，便可以拥有Supervisor，如果没有启动脚本，可以从这里下载一份，放置到/etc/init.d/下面便可。配置我们可以看到启动脚本中，其实默认写了一个启动参数-c /etc/supervisord.conf，这里我们可以通过Superviso ...继续阅读 (45)

安装直接sudo yum -y install supervisor即可，前提是添加了EPEL源。扩展阅读：如何添加EPEL源？配置sudo nano /etc/supervisord.conf如果你想单独写各个配置，可以采用include[include]files=/etc/supervisord.conf.d/*.conf或者你可以直接以如下格式添加进配置文件的末尾[program:theprogramname]command=/bin/cat ; the program (relative uses PATH, can take args)priority=999 ; the relative start priority (default 999)autostart=true ; start at supervisord start (default: true)autorestart=true ; retstart at unexpected quit (default: true)startsecs=10 ; number of secs prog must stay running (def. 10)startretries=3 ...继续阅读 (39)

使用了arch很久，觉得arch蛮好，就是更新速度真的太快了，另外就是安装，每次安装一次时间真的太久，真的不想被系统玩。1.ipv6目前家庭用户和普通办公用户，多数是没有IPV6链接的，同时系统默认是打开IPV6的，那么存在一个问题，就是网络连接速度慢，体现在打开网站，下载软件时，与域名解析也是有关的，那么可以不可以关闭IPV6，答案是可以。more方法如下：vi /etc/sysctl.conf将下面的代码添至文件最后#disable IPv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv6.conf.lo.disable_ipv6 = 1添加完成后，执行sysctl -p，马上看效果。2. dnsmasqDNSmasq是一个小巧且方便地用于配置DNS和DHCP的工具，适用于小型网络，它提供了DNS功能和可选择的DHCP功能。它服务那些只在本地适用的域名，这些域名是不会在全球的DNS服务器中出现的。那么，对于个人而言，其实可以使用或者不使用。禁用dnsmasq的方法如下：vi /etc/NetworkManager/NetworkManager.conf在dns=dnsmasq前加#，之后保存退出。重启电脑后，查看/etc/resolve.conf文件，你 ...继续阅读 (80)

1，下载0.9.0.1 http://storm.incubator.apache.org/downloads.html2，安装就jdk,python,zookeeper 在服务器 "192.168.1.1" "192.168.1.1""192.168.1.2"上3，解压，修改conf下的storm.yamlstorm.zookeeper.servers: - "192.168.1.1" - "192.168.1.2" - "192.168.1.3" nimbus.host: "192.168.1.10" storm.local.dir: "/data/storm/work" supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 storm.messaging.transport: "backtype.storm.messaging.netty.Context" storm.messaging.netty.buffer_size: 209715200 storm.messaging.netty.max_retries: 100 storm.messaging.netty.max_wait_ms: 1000 storm.messagin ...继续阅读 (31)

Supervisor是个很好的进程管理工具，尤Python写的，很好很强大，用着也很方便。官网的文档还是不错的，而且功能更不错，还支持web浏览任务状态，并控制任务的启动停止等。下面介绍一下他的自动启动脚本官网上是有写的，不过是链接到来外面的一个网站首先基本配置就不说了，默认配置文件位置为/etc/supervisord.conf下面要下载个脚本，在github上[shell]sudo curl https://raw.github.com/gist/176149/88d0d68c4af22a7474ad1d011659ea2d27e35b8d/supervisord.sh > /etc/init.d/supervisord[/shell]如果提示权限不足，就修改下后面的路径，然后复制过去就好了。然后执行[shell]sudo chmod +x /etc/init.d/supervisord[/shell][shell]sudo update-rc.d supervisord defaults[/shell]现在重启电脑他就会自动运行Supervisor了，当然也可以执行[shell]service supervisord stopservice supervisord start[/shell]原文地址http://serverfault.com/questions/96499/ ...继续阅读 (19)

supervisor实际上是基于gen_server的系统进程，监控子进程的退出状态并设置一定的重启机制。init在这个例子里Mod模块是一个sup程序,它的启动会调用supervisor:start_link,而start_link实际上调用的gen_server:start_link并存入Mod模块的名字和参数.从前面的文章我们可以知道, spawn出来的gen进程会先调用supervisor:init函数. 接着把gen进程设置为系统进程, 这样就可以捕获子进程退出信号, 然后根据Args里的Mod模块名和参数,再次调用到Mod:init.Mod的init函数返回的是一个{ok, SupFlags, StartSpec}的元组. SupFlags是supervisor管理的进程的启动策略和可重启的范围窗口，StartSpec是一个列表,保存多个子进程的MFA等信息.接下来的init_state函数会把SupFlags, StartSpec存储在gen进程的State里, gen进程在整个生命周期一直围绕着这个State. 我们来看看State的结构,明白这个结构,supervisor就很好理解了.-record(state, {name, strategy, children = [], dynamics = ?DICT:new(), intensity, period, r ...继续阅读 (30)