Dancer 是 Perl 的 web 开发框架，在 metacpan 上有 100 多个 like。其语法结构都起源自 Ruby 的 sinatra 框架，sinatra 曾经在自己官网上悬挂“perldancer is good”标语以示对 perldancer 的支持。Dancer 官网见：http://perldancer.org/本文系本人在部门 Wiki 上稍微写的几行介绍性质的笔记。简单示例Dancer 作为微框架，可以直接单文件快速运行简单的 web 功能。示例如下：useDancer;get'/'=>sub{return"hello world";};dance;然后直接通过perl test.pl命令既可以在 localhost:3000 运行起来一个 hello world 页面了。目录结构完整的 Dancer 应用，可以通过dancer -a MyApp命令创建，目录结构如下：MyApp/ ├── bin │   └── app.pl # 程序运行入口，可以直接通过./app.pl运行，也可以通过plackup -s Starman app.pl来切换其他高性能服务器 ├── config.yml # 主配置文件 ├── environments │   ├── developme ...继续阅读 (49)

Perl 代码规范可以参考著名的《Perl 最佳实践》一书。当然，PBP 上的规定比较严格，实际生活中绝对多数 Perl 程序都无法通过以 PBP 规范编写的 Perl::Critic 模块的校验。本文仅为本人在部门 Wiki 上以部分常见用法作为示例的介绍性文档。格式化所有已经完成功能的 Perl 脚本，强烈推荐使用 Perl::Tidy 模块格式化其内容。具体命令为：perltidy your.pl && mv your.pl.tdy your.pl模板为调试和使用方便，强烈建议在所有 Perl 程序开始位置使用如下模板：usewarnings;usestrict;useutf8;这个模板最重要最常见的作用，就是说，程序内不允许直接使用未经初始化的变量，强制要求指定变量作用域范围，也不允许跨越词法作用域调用变量。此外，考虑 CentOS6 已经成为我们线上主流操作系统，建议继续添加下行模板：use5.010;10 版本是 Perl5 的一次重大更新，添加了 state 变量、say 指令、// 判断符、%+ 正则捕获哈希、given-when流程和 ~~ 智能匹配符，都是比较常用和好用的功能。注释与文档Perl 注释以 ‘#’ 号开头，但是并没有提供方便的读取注释的方法。所以如果有需要，建议书写 POD 式的文档型注释。CPAN 提供有一系列模块处理程序 ...继续阅读 (51)

Rex 是 Perl 编写的基于 SSH 链接的集群配置管理系统，语法上类似 Puppet DSL。官网中文版见http://rex.perl-china.com。本文仅为本人在部门 Wiki 上编写的简介性文档。常用命令参数rex 命令参数很多，不过因为我们的环境是 krb 认证的，所以有些参数只能写在 Rexfile 里。所以一般固定在存放了 Rexfile 的 /etc/puppet/webui 下执行命令，很多配置就自动加载了。那么还需要用到的命令参数基本就只有下面几个：-Tv： 查看当前 Rexfile 里定义了哪些 Task 任务，以及服务器组。-H： 指定 Task 将在哪些 Host 上执行。这里比较方便的地方是支持10.5.16.[95..110]这样的写法。-G： 指定 Task 将在哪些 Group 上执行。Group 的定义方式很多，Rex 默认支持的有直接在 Rexfile 里通过 group 指令指定，通过 ini 配置文件设定等等。目前我是实现了一个groups_db指令，来从我们的 sqlite 里获取。groups_db('cdnbj::nginx')就会自动生成一个名叫 ‘cdnbj::nginx’ 的服务器组，包括 cdnbj 里所有部署了 nginx 的服务器。-e： 指定一个临时任务。通常是’say ru ...继续阅读 (41)

Dancer 是 Perl 的 web 开发框架，在 metacpan 上有 100 多个 like。其语法结构都起源自 Ruby 的 sinatra 框架，sinatra 曾经在自己官网上悬挂“perldancer is good”标语以示对 perldancer 的支持。Dancer 官网见：http://perldancer.org/本文系本人在部门 Wiki 上稍微写的几行介绍性质的笔记。简单示例Dancer 作为微框架，可以直接单文件快速运行简单的 web 功能。示例如下：useDancer;get'/'=>sub{return"hello world";};dance;然后直接通过perl test.pl命令既可以在 localhost:3000 运行起来一个 hello world 页面了。目录结构完整的 Dancer 应用，可以通过dancer -a MyApp命令创建，目录结构如下：MyApp/ ├── bin │   └── app.pl # 程序运行入口，可以直接通过./app.pl运行，也可以通过plackup -s Starman app.pl来切换其他高性能服务器 ├── config.yml # 主配置文件 ├── environments │   ├── develo ...继续阅读 (47)

Perl 代码规范可以参考著名的《Perl 最佳实践》一书。当然，PBP 上的规定比较严格，实际生活中绝对多数 Perl 程序都无法通过以 PBP 规范编写的 Perl::Critic 模块的校验。本文仅为本人在部门 Wiki 上以部分常见用法作为示例的介绍性文档。格式化所有已经完成功能的 Perl 脚本，强烈推荐使用 Perl::Tidy 模块格式化其内容。具体命令为：perltidy your.pl && mv your.pl.tdy your.pl模板为调试和使用方便，强烈建议在所有 Perl 程序开始位置使用如下模板：usewarnings;usestrict;useutf8;这个模板最重要最常见的作用，就是说，程序内不允许直接使用未经初始化的变量，强制要求指定变量作用域范围，也不允许跨越词法作用域调用变量。此外，考虑 CentOS6 已经成为我们线上主流操作系统，建议继续添加下行模板：use5.010;10 版本是 Perl5 的一次重大更新，添加了 state 变量、say 指令、// 判断符、%+ 正则捕获哈希、given-when流程和 ~~ 智能匹配符，都是比较常用和好用的功能。注释与文档Perl 注释以 ‘#’ 号开头，但是并没有提供方便的读取注释的方法。所以如果有需要，建议书写 POD 式的文档型注释。CPAN 提供有一 ...继续阅读 (50)

Tengine 支持通过 syslog 方式发送日志（现在 Nginx 官方也支持了），所以可以通过 syslog 发送访问日志到 logstash 平台上，这种做法相对来说对线上服务器影响最小。最近折腾这件事情，一路碰到几个难点，把解决和优化思路记录一下。少用 Grok感谢群里 @wood 童鞋提供的信息，Grok 在高压力情况下确实比较容易率先成为瓶颈。所以在日志格式可控的情况下，最好可以想办法跳过使用 Grok 的环节。在早先的 cookbook 里，就有通过自定义 LogFormat 成 JSON 样式的做法。我前年博客上也写过 nginx 上如此做的示例：http://chenlinux.com/2012/09/21/json-event-for-logstash/index.html。不过这次并没有采用这种方式，而是定义日志格式成下面的样子，因为这种分割线方式对 Hive 平台同样是友好的。log_format syslog '$remote_addr|$host|$request_uri|$status|$request_time|$body_bytes_sent|' '$upstream_addr|$upstream_status|$upstream_response_time|' '$http ...继续阅读 (80)

Tengine 支持通过 syslog 方式发送日志（现在 Nginx 官方也支持了），所以可以通过 syslog 发送访问日志到 logstash 平台上，这种做法相对来说对线上服务器影响最小。最近折腾这件事情，一路碰到几个难点，把解决和优化思路记录一下。少用 Grok感谢群里 @wood 童鞋提供的信息，Grok 在高压力情况下确实比较容易率先成为瓶颈。所以在日志格式可控的情况下，最好可以想办法跳过使用 Grok 的环节。在早先的 cookbook 里，就有通过自定义 LogFormat 成 JSON 样式的做法。我前年博客上也写过 nginx 上如此做的示例：http://chenlinux.com/2012/09/21/json-event-for-logstash/index.html。不过这次并没有采用这种方式，而是定义日志格式成下面的样子，因为这种分割线方式对 Hive 平台同样是友好的。log_format syslog '$remote_addr|$host|$request_uri|$status|$request_time|$body_bytes_sent|' '$upstream_addr|$upstream_status|$upstream_response_time|' '$http ...继续阅读 (45)

前两天博客里介绍了 avbot，其中提到 avbot 提供了 HTTP 接口可以收发信息。那么，我们就可以自己写脚本来实现比原先的.qqbot help更详细的自动应答啦。今晚有空就写了几行 Perl ，实现了一个简单的扩展：useutf8;usestrict;usewarnings;useJSON::XS;useAnyEvent;useAnyEvent::HTTP;my$f={help=>".logstashbot support subcommand:\n\t",grok=>'请主动使用 http://grokdebug.herokuapp.com',tnnd=>'请直接说问题不要浪费口水问有人帮忙么',book=>'支持原作者，请购买 www.logstashbook.com 上电子版',};$f->{'help'}.=join("\n\t",keys%$f);$AnyEvent::HTTP::TIMEOUT=86400;my$url='http://127.0.0.1:6176/message';my$cv=AnyEvent->condvar;my$ua;$ua=sub{$cv->begin;http_get$url,sub{my($data,$header)=@_;my$hash=decode_json$data;my$msg=$hash->{'message'}{'te ...继续阅读 (65)

前两天博客里介绍了 avbot，其中提到 avbot 提供了 HTTP 接口可以收发信息。那么，我们就可以自己写脚本来实现比原先的.qqbot help更详细的自动应答啦。今晚有空就写了几行 Perl ，实现了一个简单的扩展：useutf8;usestrict;usewarnings;useJSON::XS;useAnyEvent;useAnyEvent::HTTP;my$f={help=>".logstashbot support subcommand:\n\t",grok=>'请主动使用 http://grokdebug.herokuapp.com',tnnd=>'请直接说问题不要浪费口水问有人帮忙么',book=>'支持原作者，请购买 www.logstashbook.com 上电子版',};$f->{'help'}.=join("\n\t",keys%$f);$AnyEvent::HTTP::TIMEOUT=86400;my$url='http://127.0.0.1:6176/message';my$cv=AnyEvent->condvar;my$ua;$ua=sub{$cv->begin;http_get$url,sub{my($data,$header)=@_;my$hash=decode_json$data;my$msg=$ ...继续阅读 (54)

一直以来都知道 Perl5 里也有类似 numpy 的库叫 PDL，但是因为上手资料比较少，官网文档比较烂，就没认真看过。这次因为要了解 skyline 里用到的 9 种异常检测算法的具体原理，正好一一对照重写一下，当做是学习 PDL 了。最终修改完的 Perl5 版如下：~~要承认 PDL 在上手方面比不过 numpy，比如取数组长度，PDL 里居然写作$p->nelem；取数组最后一个元素的值，更是要写作$p->index($p->nelem - 1)这么长！相比在 numpy 方面几乎看起来还是跟操作原生的 python 类型一样。。妈蛋 PDL 你多重载几个操作符会死啊！~~2014 年 06 月 09 日更新：在blogs.perl.org上得到指点，可以用$p->at(-1)来获取。PDL 自己的文档里->at()的示例都是获取数组的……稍微复杂一点的多维操作 PDL 还是很方便的。比如程序里least_squares检验法的时候，numpy 有这么一句：A=np.vstack([x,np.ones(len(x))]).T而在 PDL 里可以写作：my$A=$x->dummy(0)->append(1);PDL 里也有 ones() 函数来生成全部由 1 构成的数组，不过我觉得上面这个写法明显更好理解最终目的，就是90°倒转数组然后每个元素作为子数组后面加第二个元素嘛。 ...继续阅读 (63)

这是一件蛮有趣的事情。我因为做 logstash 的 QQ 群管理员，碰到了一个幸福的烦恼：群里有不少高水平且乐于分享的朋友时常给人解答问题，而且一来一回的能牵扯出来不少让人眼前一亮的实践，但是 QQ 聊天记录不像邮件列表和 IRC 那样可以很方便的长期保存共享给后来人学习查找！这简直是国内参与开源技术最头疼的一件事情了，知识没法复用，偏偏越是需要这些知识的人，越是喜欢通过 QQ 来寻求帮助！前两天偶然想到，其实可以通过机器人潜水进来获取聊天记录，然后发布出来！询问了一下@比尔盖子V童鞋，他推荐给我avbot项目。#妈蛋这名字怎能不吐槽#作者非常 nice 的提供好了 RPM 可以直接安装在服务器上。所以安装步骤真的就没啥可讲的了。不过这个项目本意是做 QQ、IRC 和 XMPP 的互联互通，所以把心思用来了--map的实现，作为我们这里只想单单记录 QQ 群聊天记录来说，它不支持指定只获取某个群的记录，所以最好的办法就是新申请一个 QQ 号，只加这一个群……运行起来以后，会在当前目录下生成一个avlog.db库，记录聊天记录，同时生成一个 QQ 群号命名的目录，里面按日期存放当天的聊天记录的 HTML 文件。直接用 nginx 发布出来就好啦！照搬 avbot 官网 demo 页面做好了 logstash 群聊天记录的查看搜索页，见：http://logstash.chenlin ...继续阅读 (62)

这几天搭建 elasticsearch 集群做日志分析，终于有机会可以实际跑一下 skyline 的效果。不过比较麻烦的事情是，skyline 是一个比较完备的系统而不是插件，要求我们把数据通过 msgpack 发过去存到 redis 里。这是个很没有道理的做法，早在去年刚看到这个项目的时候我就在博客里写下了愿景是应该用 elasticsearch 替换掉 redis。等了这么久没等到，干脆就自己动手实现。修改后，skyline 其余的程序完全可以直接扔掉，只留下这一个脚本定时运行就够了：其实改动的地方很少~这让我愈发不理解 etsy 原来那样做的理由了。这里面主要就是拼了一下 elasticsearch 的date_histogram类型的 facet 请求，获取最近 1 个小时的每 5 分钟统计值构成的时间序列数据。然后发给前面那些检验算法。之前用过 js 和 perl 的 elasticsearch 客户端，对象封装的都蛮细的，而 python 的这个客户端写起来就非常像 curl 命令了。如果要推广用，把里面这个code.504提出来做一个可配置项就行了。 ...继续阅读 (50)

一直以来都知道 Perl5 里也有类似 numpy 的库叫 PDL，但是因为上手资料比较少，官网文档比较烂，就没认真看过。这次因为要了解 skyline 里用到的 9 种异常检测算法的具体原理，正好一一对照重写一下，当做是学习 PDL 了。最终修改完的 Perl5 版如下：~~要承认 PDL 在上手方面比不过 numpy，比如取数组长度，PDL 里居然写作$p->nelem；取数组最后一个元素的值，更是要写作$p->index($p->nelem - 1)这么长！相比在 numpy 方面几乎看起来还是跟操作原生的 python 类型一样。。妈蛋 PDL 你多重载几个操作符会死啊！~~2014 年 06 月 09 日更新：在blogs.perl.org上得到指点，可以用$p->at(-1)来获取。PDL 自己的文档里->at()的示例都是获取数组的……稍微复杂一点的多维操作 PDL 还是很方便的。比如程序里least_squares检验法的时候，numpy 有这么一句：A=np.vstack([x,np.ones(len(x))]).T而在 PDL 里可以写作：my$A=$x->dummy(0)->append(1);PDL 里也有 ones() 函数来生成全部由 1 构成的数组，不过我觉得上面这个写法明显更好理解最终目的，就是90°倒转数组 ...继续阅读 (45)

这是一件蛮有趣的事情。我因为做 logstash 的 QQ 群管理员，碰到了一个幸福的烦恼：群里有不少高水平且乐于分享的朋友时常给人解答问题，而且一来一回的能牵扯出来不少让人眼前一亮的实践，但是 QQ 聊天记录不像邮件列表和 IRC 那样可以很方便的长期保存共享给后来人学习查找！这简直是国内参与开源技术最头疼的一件事情了，知识没法复用，偏偏越是需要这些知识的人，越是喜欢通过 QQ 来寻求帮助！前两天偶然想到，其实可以通过机器人潜水进来获取聊天记录，然后发布出来！询问了一下@比尔盖子V童鞋，他推荐给我avbot项目。#妈蛋这名字怎能不吐槽#作者非常 nice 的提供好了 RPM 可以直接安装在服务器上。所以安装步骤真的就没啥可讲的了。不过这个项目本意是做 QQ、IRC 和 XMPP 的互联互通，所以把心思用来了--map的实现，作为我们这里只想单单记录 QQ 群聊天记录来说，它不支持指定只获取某个群的记录，所以最好的办法就是新申请一个 QQ 号，只加这一个群……运行起来以后，会在当前目录下生成一个avlog.db库，记录聊天记录，同时生成一个 QQ 群号命名的目录，里面按日期存放当天的聊天记录的 HTML 文件。直接用 nginx 发布出来就好啦！照搬 avbot 官网 demo 页面做好了 logstash 群聊天记录的查看搜索页，见：http://logstash.chenlin ...继续阅读 (58)

这几天搭建 elasticsearch 集群做日志分析，终于有机会可以实际跑一下 skyline 的效果。不过比较麻烦的事情是，skyline 是一个比较完备的系统而不是插件，要求我们把数据通过 msgpack 发过去存到 redis 里。这是个很没有道理的做法，早在去年刚看到这个项目的时候我就在博客里写下了愿景是应该用 elasticsearch 替换掉 redis。等了这么久没等到，干脆就自己动手实现。修改后，skyline 其余的程序完全可以直接扔掉，只留下这一个脚本定时运行就够了：其实改动的地方很少~这让我愈发不理解 etsy 原来那样做的理由了。这里面主要就是拼了一下 elasticsearch 的date_histogram类型的 facet 请求，获取最近 1 个小时的每 5 分钟统计值构成的时间序列数据。然后发给前面那些检验算法。之前用过 js 和 perl 的 elasticsearch 客户端，对象封装的都蛮细的，而 python 的这个客户端写起来就非常像 curl 命令了。如果要推广用，把里面这个code.504提出来做一个可配置项就行了。 ...继续阅读 (49)

这几天上线机器给 Elasticsearch 集群扩容，开始撰写 Puppet 的 elasticsearch 类来规范化管理。这里碰到一个小问题，相信在很多大容量集群的机器上都会有。那就是每台机器上都挂载有十几二十块磁盘，怎么用 Puppet 给快速方便的创建各磁盘上的工作目录呢？一个一个写 File 资源申明肯定不可取；File 资源申明支持接受数组，但是二十多个元素写一个大数组也没方便到哪里去。有没有比较简单的办法来生成这个大数组，而不是手写呢？有，就是使用 Puppet 官方出的这个 stdlib 库http://forge.puppetlabs.com/puppetlabs/stdlib。安装方法很简单，在 Puppet Master 上运行命令puppet module install puppetlabs-stdlib即可。因为 puppet 默认会分发所有 module 的 lib/ 目录，所以即便你没有在自己的类里import stdlib，也是可以直接使用它提供的各种函数的。下面就是我的 elsticsearch 类配置：classelasticsearch{$esdatadir=suffix(prefix(range(1,$::datadircount-1),'/data'),'/elasticsearch')package{['java-1.7.0-open ...继续阅读 (70)

这几天上线机器给 Elasticsearch 集群扩容，开始撰写 Puppet 的 elasticsearch 类来规范化管理。这里碰到一个小问题，相信在很多大容量集群的机器上都会有。那就是每台机器上都挂载有十几二十块磁盘，怎么用 Puppet 给快速方便的创建各磁盘上的工作目录呢？一个一个写 File 资源申明肯定不可取；File 资源申明支持接受数组，但是二十多个元素写一个大数组也没方便到哪里去。有没有比较简单的办法来生成这个大数组，而不是手写呢？有，就是使用 Puppet 官方出的这个 stdlib 库http://forge.puppetlabs.com/puppetlabs/stdlib。安装方法很简单，在 Puppet Master 上运行命令puppet module install puppetlabs-stdlib即可。因为 puppet 默认会分发所有 module 的 lib/ 目录，所以即便你没有在自己的类里import stdlib，也是可以直接使用它提供的各种函数的。下面就是我的 elsticsearch 类配置：classelasticsearch{$esdatadir=suffix(prefix(range(1,$::datadircount-1),'/data'),'/elasticsearch')package{['java-1.7.0-open ...继续阅读 (51)

今天翻 ganglia 源代码发现两年前加上了perl_module的支持，不过跟python_module相比，descriptors里的call_back不是真的写作回调函数而是写作和实际函数同名的字符串，这点让我觉得很别扭和奇怪，于是想到去看看 gmond 里内嵌的 perl 解释程序是怎么做这步的。顺带就第一次动手写了一点 XS 代码，这里一并发上来，留作存档。示例代码框架源自上周 Dancer 作者 SawyerX 发布的XS-Fun 项目。所以这里如何使用h2xs命令创建 XS 模块文件就不讲解了。主要分作五个小示例，由最简单到很简单依次如下：返回一个字符串编辑 XSFun.xs 内容如下：#include "EXTERN.h"#include "perl.h"#include "XSUB.h"#include "ppport.h"/* C functions */MODULE=XSFunPACKAGE=XSFun# XS codeSV*runcb()CODE:STRLENlen;constchar*str="testsub";SV*val=newSVpv(str,len);RETVAL=val;OUTPUT:RETVAL这个其实就相当于sub runcb { return "testsub" }。返回一个哈希的指定键的值因为起因是 gmond 里的代码，所以这里就开始 ...继续阅读 (48)

今天翻 ganglia 源代码发现两年前加上了perl_module的支持，不过跟python_module相比，descriptors里的call_back不是真的写作回调函数而是写作和实际函数同名的字符串，这点让我觉得很别扭和奇怪，于是想到去看看 gmond 里内嵌的 perl 解释程序是怎么做这步的。顺带就第一次动手写了一点 XS 代码，这里一并发上来，留作存档。示例代码框架源自上周 Dancer 作者 SawyerX 发布的XS-Fun 项目。所以这里如何使用h2xs命令创建 XS 模块文件就不讲解了。主要分作五个小示例，由最简单到很简单依次如下：返回一个字符串编辑 XSFun.xs 内容如下：#include "EXTERN.h" #include "perl.h" #include "XSUB.h" #include "ppport.h"/* C functions */MODULE=XSFunPACKAGE=XSFun# XS codeSV*runcb()CODE:STRLENlen;constchar*str="testsub";SV*val=newSVpv(str,len);RETVAL=val;OUTPUT:RETVAL这个其实就相当于sub runcb { return "testsub" }。返回一个哈希的指定键的值因为起因是 gmond 里的代码，所以这里 ...继续阅读 (51)

kibana 图表类型中有个 stats 类型，返回对应请求的某指定数值字段的数学统计值，包括最大值、最小值、平均值、方差和标准差(当前通过 logstash-1.4.1 分发的 kibana 版本还只支持单列显示，前天，即 5 月 15 日刚更新了 Kibana 3.1 版，支持多列同时显示)。这个 stats 图表是利用 Elasticsearch 的 facets 功能来实现的。而在 Elasticsearch 1.0 版本以后，新出现了一个更细致的功能叫 aggregation，按照官方文档所说，会慢慢的彻底替代掉 facets。具体到 1.1 版本的时候， aggregation 里多了一项 percentile，可以具体返回某指定数值字段的区间分布情况。这对日志分析可是大有帮助。对这项功能，Elasticsearch 官方也很得意的专门在博客上写了一篇报道：Averages can be misleading: try a percentile。周五晚上下班前，我突然决定试试给 Kibana 加上 percentile 图表类型。因为群里正好携程的同学说到他们仿造 trend 类型做了 stat_trend 图表，我想 percentile 从数据结构到展示方法跟 stats 都很像，应该难度不大，正好作为学习 angularjs 的入手点好了。花了半天多的时间，基本搞 ...继续阅读 (111)

kibana 图表类型中有个 stats 类型，返回对应请求的某指定数值字段的数学统计值，包括最大值、最小值、平均值、方差和标准差(当前通过 logstash-1.4.1 分发的 kibana 版本还只支持单列显示，前天，即 5 月 15 日刚更新了 Kibana 3.1 版，支持多列同时显示)。这个 stats 图表是利用 Elasticsearch 的 facets 功能来实现的。而在 Elasticsearch 1.0 版本以后，新出现了一个更细致的功能叫 aggregation，按照官方文档所说，会慢慢的彻底替代掉 facets。具体到 1.1 版本的时候， aggregation 里多了一项 percentile，可以具体返回某指定数值字段的区间分布情况。这对日志分析可是大有帮助。对这项功能，Elasticsearch 官方也很得意的专门在博客上写了一篇报道：Averages can be misleading: try a percentile。周五晚上下班前，我突然决定试试给 Kibana 加上 percentile 图表类型。因为群里正好携程的同学说到他们仿造 trend 类型做了 stat_trend 图表，我想 percentile 从数据结构到展示方法跟 stats 都很像，应该难度不大，正好作为学习 angularjs 的入手点好了。花了半天多的时间，基本搞 ...继续阅读 (172)

我们都知道 nagios 上可以用 pnp4nagios 来转换 perfdata 成 rrd 图。不过 graphite 以其扩展性及更好的 HTTP 接口目前越来越受欢迎，加上最近刚出来的 grafana 项目(从 LEK 的 Kibana 转化来的)，更是让 graphite 的可视化效果也上了一个台阶。那么怎么用 grafana 来查看我们用 nagios 收集来的监控数据呢？我在 github 上看到有一个叫 graphios 的项目。不过上面介绍的方法已经比较老了，目前 omd 使用的是 npcmod 的 bulk mode，并不会分别产生host-perfdata.$TIMET$和service-perfdata.$TIMET$文件。所以照着 README 做是没效果的。最好的办法就是利用Net::Graphite模块自己改写process-perfdata.pl，把数据直接发给 carbon 进程。不过我懒得动手，目前只是写了几行 perl ，在调用process-perfdata.pl之前，先过一遍perfdata.$TIMET文件，分离出来 host 和 service 两个文件放到新目录里，这样就可以继续走通 graphios 的流程了。(当然性能上比较烂，因为磁盘 IO 翻倍了)然后是 grafana 部分。grafana 本身基于 kibana 改造而来， ...继续阅读 (68)

我们都知道 nagios 上可以用 pnp4nagios 来转换 perfdata 成 rrd 图。不过 graphite 以其扩展性及更好的 HTTP 接口目前越来越受欢迎，加上最近刚出来的 grafana 项目(从 LEK 的 Kibana 转化来的)，更是让 graphite 的可视化效果也上了一个台阶。那么怎么用 grafana 来查看我们用 nagios 收集来的监控数据呢？我在 github 上看到有一个叫 graphios 的项目。不过上面介绍的方法已经比较老了，目前 omd 使用的是 npcmod 的 bulk mode，并不会分别产生host-perfdata.$TIMET$和service-perfdata.$TIMET$文件。所以照着 README 做是没效果的。最好的办法就是利用Net::Graphite模块自己改写process-perfdata.pl，把数据直接发给 carbon 进程。不过我懒得动手，目前只是写了几行 perl ，在调用process-perfdata.pl之前，先过一遍perfdata.$TIMET文件，分离出来 host 和 service 两个文件放到新目录里，这样就可以继续走通 graphios 的流程了。(当然性能上比较烂，因为磁盘 IO 翻倍了)然后是 grafana 部分。grafana 本身基于 kibana 改造而来， ...继续阅读 (91)

前几天翻 Perl6 模块清单，发现没有用作 SSH 的。虽说 Perl6 里可以很方便的用 NativeCall 包装 C/C++ 库，但是 libssh2 本身就不支持我的 kerberos5 认证环境，所以还是只能通过调用系统命令的方式来完成。Thread 示例说起来 Perl6 近年一直在宣传 Promise 啊，Supply 啊并发编程，但是 API 变化太快，2013 年中期 jnthn 演讲里演示的async用法，现在就直接报这个函数不存在了，似乎改成start了？天知道什么时候又变。所以还是用底层的 Thread 和 Channel 来写。话说其实这还是我第一次写 Thread 呢。usev6;classOpenSSH{has$!user='root';has$!port=22;has$!ssh="ssh -oStrictHostKeyChecking=no -l{$!user} -p{$!port} ";multimethodexec($host,$cmd){my$out;my$shell=$!ssh~$host~' '~$cmd;try{$out=qqx{$shell}.chomp}CATCH{note("Failed: $!")};return$out;}multimethodexec(@hosts,$cmd){my$c=Channel.new;my@t=@h ...继续阅读 (48)

前几天翻 Perl6 模块清单，发现没有用作 SSH 的。虽说 Perl6 里可以很方便的用 NativeCall 包装 C/C++ 库，但是 libssh2 本身就不支持我的 kerberos5 认证环境，所以还是只能通过调用系统命令的方式来完成。Thread 示例说起来 Perl6 近年一直在宣传 Promise 啊，Supply 啊并发编程，但是 API 变化太快，2013 年中期 jnthn 演讲里演示的async用法，现在就直接报这个函数不存在了，似乎改成start了？天知道什么时候又变。所以还是用底层的 Thread 和 Channel 来写。话说其实这还是我第一次写 Thread 呢。usev6;classOpenSSH{has$!user='root';has$!port=22;has$!ssh="ssh -oStrictHostKeyChecking=no -l{$!user} -p{$!port} ";multimethodexec($host,$cmd){my$out;my$shell=$!ssh~$host~' '~$cmd;try{$out=qqx{$shell}.chomp}CATCH{note("Failed: $!")};return$out;}multimethodexec(@hosts,$cmd){my$c=Channel.new;my@t=@h ...继续阅读 (63)

这两天决定试一把 Perl6，因为扶凯兄已经把还没有正式发行 Rakudo Star 包的 MoarVM 编译打包好了，所以可以跳过这步直接进入模块安装。当然，源码编译本身也没有太大难度，只不过从 github 下源码本身耗时间比较久而已。既然木有 Star 包，那么安装好 MoarVM 上的 Rakudo 后我们就有必要先自己把 panda 之类的工具编译出来。这一步需要注意一下你的@*INC路径和实际的$PERL6LIB路径，已经编译之后的 panda 存在的$PATH是不是都正确，如果不对的修改一下~/.bashrc就好了。我的尝试迁移对象是一个很简单的 Puppet 的 ENC 脚本，只涉及 SQLite 的读取，以及 YAML 格式的输出。通过panda install DBIish命令即可安装好 DBIish 模块。脚本本身修改起来难度不大，结果如下：#!/usr/bin/env perl6usev6;useDBIish;useYAML;my$base_dir="/etc/puppet/webui";# 函数在 Perl6 中依然使用 sub 关键字定义，不过有个超酷的特性是 multi sub# 脚本中没有用到，但是在 YAML::Dumper 中遍地都是，这里也提一句。# MAIN 函数在 Perl6 里可以直接用 :$opt 命令参数起 getopt 的作用# 不 ...继续阅读 (69)

这两天决定试一把 Perl6，因为扶凯兄已经把还没有正式发行 Rakudo Star 包的 MoarVM 编译打包好了，所以可以跳过这步直接进入模块安装。当然，源码编译本身也没有太大难度，只不过从 github 下源码本身耗时间比较久而已。既然木有 Star 包，那么安装好 MoarVM 上的 Rakudo 后我们就有必要先自己把 panda 之类的工具编译出来。这一步需要注意一下你的@*INC路径和实际的$PERL6LIB路径，已经编译之后的 panda 存在的$PATH是不是都正确，如果不对的修改一下~/.bashrc就好了。我的尝试迁移对象是一个很简单的 Puppet 的 ENC 脚本，只涉及 SQLite 的读取，以及 YAML 格式的输出。通过panda install DBIish命令即可安装好 DBIish 模块。脚本本身修改起来难度不大，结果如下：#!/usr/bin/env perl6usev6;useDBIish;useYAML;my$base_dir="/etc/puppet/webui";# 函数在 Perl6 中依然使用 sub 关键字定义，不过有个超酷的特性是 multi sub# 脚本中没有用到，但是在 YAML::Dumper 中遍地都是，这里也提一句。# MAIN 函数在 Perl6 里可以直接用 :$opt 命令参数起 getopt 的作用# 不 ...继续阅读 (51)

接上篇。18 日提到采用 wireshark 而不是 tcpdump 来抓取数据。wireshark 会自动把一些数据解释成可读的内容，于是看到其实在每次 httping 发出请求的时候，第一个 SYN 包后面都有附加了 TCP FASTOPEN COOKIE 请求：于是回头重新好好读了一下 TFO 的原理，发现自己对 TFO 的理解是有问题的 - 原先我以为在 SYN 里是可以直接带上请求数据的 - 而这很容易被攻击。实际上的流程应该是：客户端发送 SYN 包，包尾加的是一个 FOC 请求，只有 4 字节。服务器端收到 FOC 请求，验证后根据来源 IP 地址生成 COOKIE(8 字节)，将这个 COOKIE 加载 SYN+ACK 包的末尾发送回去。客户端缓存住获取到的 COOKIE 可以给下一次使用。下一次请求开始，客户端发送 SYN 包，这时候包后面带上缓存的 COOKIE，然后就是要正式发送的数据。服务器端验证 COOKIE 正确，将数据交给上层应用处理得到响应结果，然后在发送 SYN+ACK 时，不再等待客户端的 ACK 确认，即开始发送响应数据。示图如下：所以可以总结两点：第一次请求是不会有时间节约的效果的，测试至少要httping -F -c 2。从第二次开始节约的时间可以认为是第一个来回，httping 本身是个 HEAD 请求，可以认为是 50% 的节约。但是用 ...继续阅读 (65)

接上篇。18 日提到采用 wireshark 而不是 tcpdump 来抓取数据。wireshark 会自动把一些数据解释成可读的内容，于是看到其实在每次 httping 发出请求的时候，第一个 SYN 包后面都有附加了 TCP FASTOPEN COOKIE 请求：于是回头重新好好读了一下 TFO 的原理，发现自己对 TFO 的理解是有问题的 - 原先我以为在 SYN 里是可以直接带上请求数据的 - 而这很容易被攻击。实际上的流程应该是：客户端发送 SYN 包，包尾加的是一个 FOC 请求，只有 4 字节。服务器端收到 FOC 请求，验证后根据来源 IP 地址生成 COOKIE(8 字节)，将这个 COOKIE 加载 SYN+ACK 包的末尾发送回去。客户端缓存住获取到的 COOKIE 可以给下一次使用。下一次请求开始，客户端发送 SYN 包，这时候包后面带上缓存的 COOKIE，然后就是要正式发送的数据。服务器端验证 COOKIE 正确，将数据交给上层应用处理得到响应结果，然后在发送 SYN+ACK 时，不再等待客户端的 ACK 确认，即开始发送响应数据。示图如下：所以可以总结两点：第一次请求是不会有时间节约的效果的，测试至少要httping -F -c 2。从第二次开始节约的时间可以认为是第一个来回，httping 本身是个 HEAD 请求，可以认为是 50% 的节约。但是用 ...继续阅读 (43)

首先，这是一个未完成的测试。新闻上大家都知道，Nginx从1.5.8开始支持fastopen参数，Linux从3.5开始支持fastopen特性，并在3.10开始默认开启。httping是一个模拟ping输出的http请求客户端。从1.5开始支持发送fastopen请求，目前版本是2.3.4。我在 fedora 20 (内核3.13版) 上编译了 nginx 1.5.13，yum 安装了 httping 2.3.3版。开两个终端，一个运行tcpdump，然后另一个运行httping如下：httping -F -g http://www.google.com.hk/url -c 1这时候看到前一个终端的输出是这样的：[chenlin.rao@com21-100 tfo]$ sudo tcpdump -i p5p1 -vvnxXs 0 tcp port 80 tcpdump: listening on p5p1, link-type EN10MB (Ethernet), capture size 65535 bytes 20:40:15.034486 IP (tos 0x0, ttl 64, id 52862, offset 0, flags [DF], proto TCP (6), length 147) 10.2.5.100.40699 > 74.125.128.199.h ...继续阅读 (58)