又到一年底，总结个人业绩和得失的时候了。于我个人而言，2014 年真是精彩纷呈。说说写作首先，4 月份我写的《网站运维技术与实践》面市。开卖之前，有好心的朋友叮嘱说，万一碰到在网店评论区捣乱的，千万不要理会。不过半年多过去，似乎最差的评论也只是说章节名字取得太烂。这点真心承认，尤其是第一章，各小节标题直接就是各种 linux 命令，偏巧一般网上目录介绍默认就只显示最前面一点而不是展开全部目录的，第一眼看过去就好像本书是一本命令大全！第一次写书，留下几个遗憾。第一，忘了写致谢！第二，章节的安排次序在我心中其实是有一个完整的先后逻辑的，然而我竟然忘记在前言中讲明。直到半年后有人问及为什么没有说说一个产品交付运维的完整流程应该如何，我回答说：看书目录的次序就是了。好在销量据说尚可，这应该让我有机会在第二版中弥补。为此书写的《西江月》最后是印在了封底内页，或许第二版，我给每章写一句诗做副标题？其次，跟刘宇、长元、春生一起翻译的《Puppet Cookbook》应该也快面市了。一本 200 页的小书，编辑也忍耐我们这么多人来打酱油，呼呼~ Puppet 本身是一个到处都有新矿可挖的生态圈。曾经有同事看过刘宇的《Puppet 实战》和我的《网站运维技术与实践》Puppet 章节后说：你写的 puppet 跟刘宇的完全不一样的技术点，完全可以叫《Another Puppet 实战》。那么，现在大 ...继续阅读 (97)

本文是 Elasticsearch 官方博客内容，原文地址：http://www.elasticsearch.org/blog/kibana-4-beta-3-now-more-filtery/Kibana 4 Beta 3 出来啦! 我们依然给你机会直接下载 Kibana 4 Beta 3。不过还是要建议你阅读本文对主要特性的讲解。嗯，先暂停一下下载，开始阅读吧！交互式图表和仪表盘过滤器回到了仪表盘上，也可以在单个可视化页上使用了！柱状图、点图、饼图都可以通过点击的方式创建可切换的过滤器。我们还添加了一些函数来操作所有的过滤器，这样你可以一键切换整个过滤效果。脚本化字段Kibana 现在支持 Elasticsearch 脚本了！不单是可以写脚本，还可以给它命名，并且在应用中跟用普通字段一样调用你取的名字。创建一个脚本化字段，这个字段就像本来就存在一样的显示在你的 Kibana 文档里了。唯一需要注意的是，脚本毕竟不是 Elasticsearch 索引的内容，你不能在这个字段里进行搜索。你可以用脚本来连接多个字段，或者在数值字段上做运算，然后把结果导入可视化页里。为了帮助你上手，我们在脚本化字段屏下添加了一个标题叫“从时间字段创建的示例”的连接。你可以在设置(Settings)标签页的索引(Index)区域里找到这个连接。选择或者创建一个索引表达式，然后点击“脚本化字段(Scrip ...继续阅读 (161)

本文是 Elasticsearch 官方博客内容，原文地址：http://www.elasticsearch.org/blog/kibana-4-beta-3-now-more-filtery/Kibana 4 Beta 3 出来啦! 我们依然给你机会直接下载 Kibana 4 Beta 3。不过还是要建议你阅读本文对主要特性的讲解。嗯，先暂停一下下载，开始阅读吧！交互式图表和仪表盘过滤器回到了仪表盘上，也可以在单个可视化页上使用了！柱状图、点图、饼图都可以通过点击的方式创建可切换的过滤器。我们还添加了一些函数来操作所有的过滤器，这样你可以一键切换整个过滤效果。脚本化字段Kibana 现在支持 Elasticsearch 脚本了！不单是可以写脚本，还可以给它命名，并且在应用中跟用普通字段一样调用你取的名字。创建一个脚本化字段，这个字段就像本来就存在一样的显示在你的 Kibana 文档里了。唯一需要注意的是，脚本毕竟不是 Elasticsearch 索引的内容，你不能在这个字段里进行搜索。你可以用脚本来连接多个字段，或者在数值字段上做运算，然后把结果导入可视化页里。为了帮助你上手，我们在脚本化字段屏下添加了一个标题叫“从时间字段创建的示例”的连接。你可以在设置(Settings)标签页的索引(Index)区域里找到这个连接。选择或者创建一个索引表达式，然后点击“脚本化字段(Scrip ...继续阅读 (167)

用过 kibana 的都知道，kibana 的图表上，可以直接点击某个值，就能自动添加这个过滤条件到 filtering 里，然后整个 dashboard 上所有的图表都会刷新成在这个过滤条件下的新状态。但是如果你要想自己手动添加 filtering 的时候，就会发现，自己添加的，写法好像跟自动生成的长得不太一样。而今天，我在同事的提醒下，发现更进一步的情况，即使都是通过点击图表添加上的 filtering，其实长得也不一样，如下图：在 histogram 面板上拖拽鼠标，生成的是 range filtering在 terms 面板上点击某个值，生成的是 term filtering在 table 面板左侧列表上点击某个字段，浮出的小面板里点击某个值，生成的是 query filtering在 filtering 手工添加，生成的是 query_string filtering这几个页面上的不同，反应在实际的请求 JSON 里又有什么区别呢？我们可以点开面板右上角的 inspect 按钮看生成的 curl 命令。其中 filtering 部分如下："filter":{"bool":{"must":[{"range":{"@timestamp":{"from":1418009781101,"to":"now"}}},{"terms":{"_type":["mweibo_webinf" ...继续阅读 (161)

用过 kibana 的都知道，kibana 的图表上，可以直接点击某个值，就能自动添加这个过滤条件到 filtering 里，然后整个 dashboard 上所有的图表都会刷新成在这个过滤条件下的新状态。但是如果你要想自己手动添加 filtering 的时候，就会发现，自己添加的，写法好像跟自动生成的长得不太一样。而今天，我在同事的提醒下，发现更进一步的情况，即使都是通过点击图表添加上的 filtering，其实长得也不一样，如下图：在 histogram 面板上拖拽鼠标，生成的是 range filtering在 terms 面板上点击某个值，生成的是 term filtering在 table 面板左侧列表上点击某个字段，浮出的小面板里点击某个值，生成的是 query filtering在 filtering 手工添加，生成的是 query_string filtering这几个页面上的不同，反应在实际的请求 JSON 里又有什么区别呢？我们可以点开面板右上角的 inspect 按钮看生成的 curl 命令。其中 filtering 部分如下："filter":{"bool":{"must":[{"range":{"@timestamp":{"from":1418009781101,"to":"now"}}},{"terms":{"_type":["mweibo_webinf" ...继续阅读 (97)

这几天阅读 Splunk 书，发现 Splunk 作为一个不需要提前结构化数据的处理工具，在自动发现的 “interesting fields” 以外，也提供了在页面通过正则临时产生新字段的能力。类似下面这样：sourcetype="impl_splunk_gen" | rex "ip=(?P\d+\.\d+\.\d+)\.\d+" | chart values(subnet) by user network这就蛮让人流口水的了。毕竟谁也不可能保证自己在结构化的时候做到了万事俱备。不过，ELK 虽然建议大家在 logstash 里通过 grok 来预处理，其实本身也是有这个能力的。今天稍微测试了一下，通过 ES 的scripting模块，完全可以实现这个效果。测试在 Elasticsearch 1.4.1 上进行。较低的版本可能在支持的语言方面稍有差异。因为 scripting 在早先 1.2 的时候出过安全问题，所以后来就都不再允许直接通过 POST 的内容里提交 scripting 代码了。现在有两种方式，一种是在 elasticsearch-1.4.1/config/ 目录下新建一个 scripts 目录，然后把准备要用的脚本都放在这个目录里，ES 会自动探测并加载编译；另一种是开启动态 scripting 功能，再通过/_script接口上传 ...继续阅读 (136)

这几天阅读 Splunk 书，发现 Splunk 作为一个不需要提前结构化数据的处理工具，在自动发现的 “interesting fields” 以外，也提供了在页面通过正则临时产生新字段的能力。类似下面这样：sourcetype="impl_splunk_gen" | rex "ip=(?P<subnet>\d+\.\d+\.\d+)\.\d+" | chart values(subnet) by user network这就蛮让人流口水的了。毕竟谁也不可能保证自己在结构化的时候做到了万事俱备。不过，ELK 虽然建议大家在 logstash 里通过 grok 来预处理，其实本身也是有这个能力的。今天稍微测试了一下，通过 ES 的scripting模块，完全可以实现这个效果。测试在 Elasticsearch 1.4.1 上进行。较低的版本可能在支持的语言方面稍有差异。因为 scripting 在早先 1.2 的时候出过安全问题，所以后来就都不再允许直接通过 POST 的内容里提交 scripting 代码了。现在有两种方式，一种是在 elasticsearch-1.4.1/config/ 目录下新建一个 scripts 目录，然后把准备要用的脚本都放在这个目录里，ES 会自动探测并加载编译；另一种是开启动态 scripting 功能，再 ...继续阅读 (261)

昨天和朋友聊天，说监控报表的话题，他们认为 kibana 的仪表板形式，还是偏重技术人员做监控的 screen 思路，对 erp 之类的报表不是很友好。要想跟其他系统结合，或者说嵌入到其他系统中，就必须得有单个图表的导出，或者 URL 引用方式。当时我直觉上的反应，就是这个没问题，可以通过 javascript 动态仪表板这个高级功能完成。回来试了一下，比我想的稍微复杂一点点，还是可以很轻松完成的。读过仪表板纲要一文，或者自己看过源代码中src/app/dashboards/logstash.json文件的人，应该都知道 kibana 中有些在页面配置界面里看不到的隐藏配置选项。其中很符合我们这次需求的，就有editable,collapsable等。所以，首先第一步，我们可以在自己的panel.js(直接从 logstash.js 复制过来) 中，把这些关掉：dashboard.rows=[{editable:false,//不显示每行的编辑按钮collapsable:false,//不显示每行的折叠按钮title:"Events",height:"400px",panels=[{editable:false,//不显示面板的编辑按钮title:'events over time',type:'histogram',time_field:ARGS.timefield||"@tim ...继续阅读 (291)

昨天和朋友聊天，说监控报表的话题，他们认为 kibana 的仪表板形式，还是偏重技术人员做监控的 screen 思路，对 erp 之类的报表不是很友好。要想跟其他系统结合，或者说嵌入到其他系统中，就必须得有单个图表的导出，或者 URL 引用方式。当时我直觉上的反应，就是这个没问题，可以通过 javascript 动态仪表板这个高级功能完成。回来试了一下，比我想的稍微复杂一点点，还是可以很轻松完成的。读过仪表板纲要一文，或者自己看过源代码中src/app/dashboards/logstash.json文件的人，应该都知道 kibana 中有些在页面配置界面里看不到的隐藏配置选项。其中很符合我们这次需求的，就有editable,collapsable等。所以，首先第一步，我们可以在自己的panel.js(直接从 logstash.js 复制过来) 中，把这些关掉：dashboard.rows=[{editable:false,//不显示每行的编辑按钮collapsable:false,//不显示每行的折叠按钮title:"Events",height:"400px",panels=[{editable:false,//不显示面板的编辑按钮title:'events over time',type:'histogram',time_field:ARGS.timefield||"@tim ...继续阅读 (104)

昨儿给 kibana 加上了 table 面板数据导出成 CSV 的功能。朋友们就问了，那其他面板的图表怎么导出保存呢？其实直接截图就好了嘛……FireFox 有插件用来截全网页图。不过如果作为定期的工作，这么搞还是比较麻烦的，需要脚本化下来。这时候就可以用上 phantomjs 软件了。phantomjs 是一个基于 webkit 引擎做的 js 脚本库。可以通过 js 程序操作 webkit 浏览器引擎，实现各种浏览器功能。因为用了 webkit ，所以软件编译起来挺麻烦的，建议是直接从官方下载二进制包用得了。想要给 kibana 页面截图，几行代码就够了：varpage=require('webpage').create();varaddress='http://kibana.dip.sina.com.cn/#/dashboard/elasticsearch/h5_view';varoutput='kibana.png';page.viewportSize={width:1366,height:600};page.open(address,function(status){if(status!=='success'){console.log('Unable to load the address!');phantom.exit();}else{window.setTimeou ...继续阅读 (124)

昨儿给 kibana 加上了 table 面板数据导出成 CSV 的功能。朋友们就问了，那其他面板的图表怎么导出保存呢？其实直接截图就好了嘛……FireFox 有插件用来截全网页图。不过如果作为定期的工作，这么搞还是比较麻烦的，需要脚本化下来。这时候就可以用上 phantomjs 软件了。phantomjs 是一个基于 webkit 引擎做的 js 脚本库。可以通过 js 程序操作 webkit 浏览器引擎，实现各种浏览器功能。因为用了 webkit ，所以软件编译起来挺麻烦的，建议是直接从官方下载二进制包用得了。想要给 kibana 页面截图，几行代码就够了：varpage=require('webpage').create();varaddress='http://kibana.dip.sina.com.cn/#/dashboard/elasticsearch/h5_view';varoutput='kibana.png';page.viewportSize={width:1366,height:600};page.open(address,function(status){if(status!=='success'){console.log('Unable to load the address!');phantom.exit();}else{window.setTimeou ...继续阅读 (146)

如何在 elk 里统计或者展示去重计数，是一个持续很久的需求了。几乎每个月都会有新手提问题说：“我怎么在 kibana 里统计网站 UV 啊？”可惜这个问题的回答总是：做不到……其实 Elasticsearch 从 1.1.0 版本开始已经可以做到去重统计了。但是 kibana3 本身是在 0.90 版本基础上实现的，所以也就没办法了。今天抽出时间，把 histogram 面板的代码重写了一遍，用 aggregations 接口替换了 facets 接口。改造完成后，再加上去重就很容易了。aggregations 接口最大的特点是层级关系。不过也不是可以完全随便嵌套的，原先 date_histogram facets 里的 global 参数，被拆分成了 global aggregation，但是这个 global aggregation 就强制要求必须用在顶层。所以最后 request 相关代码就变成了这个样子：varaggr=$scope.ejs.DateHistogramAggregation(q.id);if($scope.panel.mode==='count'){aggr=aggr.field($scope.panel.time_field);}elseif($scope.panel.mode==='uniq'){aggr=aggr.field($scope.panel ...继续阅读 (1187)

如何在 elk 里统计或者展示去重计数，是一个持续很久的需求了。几乎每个月都会有新手提问题说：“我怎么在 kibana 里统计网站 UV 啊？”可惜这个问题的回答总是：做不到……其实 Elasticsearch 从 1.1.0 版本开始已经可以做到去重统计了。但是 kibana3 本身是在 0.90 版本基础上实现的，所以也就没办法了。今天抽出时间，把 histogram 面板的代码重写了一遍，用 aggregations 接口替换了 facets 接口。改造完成后，再加上去重就很容易了。aggregations 接口最大的特点是层级关系。不过也不是可以完全随便嵌套的，原先 date_histogram facets 里的 global 参数，被拆分成了 global aggregation，但是这个 global aggregation 就强制要求必须用在顶层。所以最后 request 相关代码就变成了这个样子：varaggr=$scope.ejs.DateHistogramAggregation(q.id);if($scope.panel.mode==='count'){aggr=aggr.field($scope.panel.time_field);}elseif($scope.panel.mode==='uniq'){aggr=aggr.field($scope.panel ...继续阅读 (135)

原文地址见：http://www.elasticsearch.org/blog/kibana-4-beta-2-get-now/哈哈哈哈哈哈哈哈哈！来啦！Kibana 4 Beta 2 现在正式雪地 360° 裸跪求调戏，包括你家喵星人都行，只要你给反馈。(译者注：ES 的发版日志越来越活泼，我也翻译的更中文化点好了)如果你已经等不及要开动，从这里下载 Kibana 4 Beta 2，否则继续阅读下面的亮点。除了很多小的修复和改进，这个版本里还有一些非常值得一看的新东西：地图支持地图回来啦，而且比过去更强大了！新的瓦片式地图可视化用上了 Elasticsearch 强大的geohash_grid来显示地理数据，比如可视化展示相对响应时间：可视化选项在 Beta 1 里，柱状图是固定成堆叠式的。在 Kibana 4 Beta 2 里，我们添加了选项让你修改可视化展示数据的方式。比如，分组柱状图：或者百分比式柱状图：区域图Beta 2 里区域图也回来了，包括堆叠式和非堆叠式：高级参数我们目标是支持尽可能多的 Elasticsearch 特性，不过有时候我们确实还没覆盖到某个聚合选项，而你偏偏现在就要用它。这种情况下，我们引入了 JSON 输入，让你可以定义附加的聚合参数到发送的请求里。比如，你可能想在一个terms聚合里传递一个shard_size，或者在一个基数聚合里调大precis ...继续阅读 (336)

原文地址见：http://www.elasticsearch.org/blog/kibana-4-beta-2-get-now/哈哈哈哈哈哈哈哈哈！来啦！Kibana 4 Beta 2 现在正式雪地 360° 裸跪求调戏，包括你家喵星人都行，只要你给反馈。(译者注：ES 的发版日志越来越活泼，我也翻译的更中文化点好了)如果你已经等不及要开动，从这里下载 Kibana 4 Beta 2，否则继续阅读下面的亮点。除了很多小的修复和改进，这个版本里还有一些非常值得一看的新东西：地图支持地图回来啦，而且比过去更强大了！新的瓦片式地图可视化用上了 Elasticsearch 强大的geohash_grid来显示地理数据，比如可视化展示相对响应时间：可视化选项在 Beta 1 里，柱状图是固定成堆叠式的。在 Kibana 4 Beta 2 里，我们添加了选项让你修改可视化展示数据的方式。比如，分组柱状图：或者百分比式柱状图：区域图Beta 2 里区域图也回来了，包括堆叠式和非堆叠式：高级参数我们目标是支持尽可能多的 Elasticsearch 特性，不过有时候我们确实还没覆盖到某个聚合选项，而你偏偏现在就要用它。这种情况下，我们引入了 JSON 输入，让你可以定义附加的聚合参数到发送的请求里。比如，你可能想在一个terms聚合里传递一个shard_size，或者在一个基数聚合里调大precis ...继续阅读 (113)

Perl6 成员上周在奥地利大会上做了一次大聚集，写了不少博客讲过去几个月的优化以及未来几个月的优化。但是我发现似乎从8月以来就一直没有正式的 perl6-bench 的图表报告了。于是想：干脆自己跑一把吧。perl6-bench 项目地址见：https://github.com/japhb/perl6-bench。项目的主程序bench本身是用 Perl6 写的。所以运行前，得先安装好 Rakudo Star：wget http://rakudo.org/downloads/star/rakudo-star-2014.09.tar.gz tar zxvf rakudo-star-2014.09.tar.gz cd rakudo-star-2014.09 perl Configure.pl --backend=moar --gen-moar编译完成后，会在 rakudo-star 目录下创建一个install子目录，里面有bin，lib等编译完成的文件，把这个 bin 加入到你的 $PATH 里去。sed -i 's!\(PATH=.*\)$!\1:~/download/rakudo-star-2014.09/install/bin!' ~/.bash_profile source ~/.bash_profile项目的测试程序timeall是用 Perl5 写的。运行前，也得安装几 ...继续阅读 (102)

Perl6 成员上周在奥地利大会上做了一次大聚集，写了不少博客讲过去几个月的优化以及未来几个月的优化。但是我发现似乎从8月以来就一直没有正式的 perl6-bench 的图表报告了。于是想：干脆自己跑一把吧。perl6-bench 项目地址见：https://github.com/japhb/perl6-bench。项目的主程序bench本身是用 Perl6 写的。所以运行前，得先安装好 Rakudo Star：wget http://rakudo.org/downloads/star/rakudo-star-2014.09.tar.gz tar zxvf rakudo-star-2014.09.tar.gz cd rakudo-star-2014.09 perl Configure.pl --backend=moar --gen-moar编译完成后，会在 rakudo-star 目录下创建一个install子目录，里面有bin，lib等编译完成的文件，把这个 bin 加入到你的 $PATH 里去。sed -i 's!\(PATH=.*\)$!\1:~/download/rakudo-star-2014.09/install/bin!' ~/.bash_profile source ~/.bash_profile项目的测试程序timeall是用 Perl5 写的。运行前，也得安装几 ...继续阅读 (93)

10 月 25 号举办了 ESCC(ElasticSearch China Conference)。作为个人习惯，稍作记录。会议的筹备时间其实特别短，8 月 20 号，ansj 说他跟 medcl 喝了瓶芬达，然后就敲定开搞。中间 medcl 默默承担了各种工作，直到 9 月 11 号，告诉我们场地已经搞定，分头写 ppt 吧。然后 9 月 30 号在 meetup.com 上创建组织，正式发出 meetup 公告。medcl 办事是放心的。两年前，我们二三十号人在人人公司培训教室里听 medcl 一个人培训式的宣讲了一下午，场控能力绝对有保障。最后我几乎是卡着点到的会场。国奥花园酒店非常贴心，一路上主动贴好了指路牌，而且免费给会场内每个座位发了一瓶矿泉水。会议中，甚至有服务员悄悄给前排的茶杯里续水……ansj 第一个演讲，话题很学术，演讲很生动。演讲结束后提问者络绎不绝，眼瞧着赞助商的小礼品都要不够发了，逼得 medcl 站出来表示后续问题转成私下讨论。我第二个演讲，时间上把握得还算好。由于转换成 ppt 在 windows 下播放，所以准备的 demo 就没在演讲中使用。不过在后来 QA 环节，有妹纸问到 Kibana3 和 Kibana4 的区别的时候，完全应该换成自己电脑演示一下这两个版本完全不同的效果的。感觉这个问题我纯靠口述基本没能让听众明白……而后祝威廉告诉我：因为讲 ...继续阅读 (80)

10 月 25 号举办了 ESCC(ElasticSearch China Conference)。作为个人习惯，稍作记录。会议的筹备时间其实特别短，8 月 20 号，ansj 说他跟 medcl 喝了瓶芬达，然后就敲定开搞。中间 medcl 默默承担了各种工作，直到 9 月 11 号，告诉我们场地已经搞定，分头写 ppt 吧。然后 9 月 30 号在 meetup.com 上创建组织，正式发出 meetup 公告。medcl 办事是放心的。两年前，我们二三十号人在人人公司培训教室里听 medcl 一个人培训式的宣讲了一下午，场控能力绝对有保障。最后我几乎是卡着点到的会场。国奥花园酒店非常贴心，一路上主动贴好了指路牌，而且免费给会场内每个座位发了一瓶矿泉水。会议中，甚至有服务员悄悄给前排的茶杯里续水……ansj 第一个演讲，话题很学术，演讲很生动。演讲结束后提问者络绎不绝，眼瞧着赞助商的小礼品都要不够发了，逼得 medcl 站出来表示后续问题转成私下讨论。我第二个演讲，时间上把握得还算好。由于转换成 ppt 在 windows 下播放，所以准备的 demo 就没在演讲中使用。不过在后来 QA 环节，有妹纸问到 Kibana3 和 Kibana4 的区别的时候，完全应该换成自己电脑演示一下这两个版本完全不同的效果的。感觉这个问题我纯靠口述基本没能让听众明白……而后祝威廉告诉我：因为讲 ...继续阅读 (93)

用 logstash 的人都知道在http://grokdebug.herokuapp.com上面调试 grok 正则表达式。现在问题来了：翻墙技术哪家强?页面中用到了来自 google 域名的 js 文件，所以访问经常性失败。所以，在终端上通过命令行方式快速调试成了必需品。其实在 logstash 还在 1.1 的年代的时候，官方 wiki 上是有一批专门教大家怎么通过 irb 交互式测试 grok 表达式的。但不知道为什么后来 wiki 这页没了…… 好在代码本身不复杂，稍微写几行脚本，就可以达到目的了：#!/usr/bin/env rubyrequire'rubygems'gem'jls-grok','=0.11.0'require'grok-pure'require'optparse'require'ap'options={}ARGV.push('-h')ifARGV.size===0OptionParser.newdo|opts|opts.banner='Run grokdebug at your terminal.'options[:dirs]=%w(patterns)options[:named]=falseopts.on('-d DIR1,DIR2','--dirs DIR1,DIR2',Array,'Set grok patterns directories. D ...继续阅读 (97)

用 logstash 的人都知道在http://grokdebug.herokuapp.com上面调试 grok 正则表达式。现在问题来了：翻墙技术哪家强?页面中用到了来自 google 域名的 js 文件，所以访问经常性失败。所以，在终端上通过命令行方式快速调试成了必需品。其实在 logstash 还在 1.1 的年代的时候，官方 wiki 上是有一批专门教大家怎么通过 irb 交互式测试 grok 表达式的。但不知道为什么后来 wiki 这页没了…… 好在代码本身不复杂，稍微写几行脚本，就可以达到目的了：#!/usr/bin/env rubyrequire'rubygems'gem'jls-grok','=0.11.0'require'grok-pure'require'optparse'require'ap'options={}ARGV.push('-h')ifARGV.size===0OptionParser.newdo|opts|opts.banner='Run grokdebug at your terminal.'options[:dirs]=%w(patterns)options[:named]=falseopts.on('-d DIR1,DIR2','--dirs DIR1,DIR2',Array,'Set grok patterns directories. D ...继续阅读 (92)

Rsyslog 的性能数据，可以通过自带的 impstats 插件输出。但是在用的比较复杂的场景下，每次输出都会有好几十个 action 的各种状态，肉眼观察变得比较困难，这时候，我们可以直接输出给 Elasticsearch ，然后利用 Kibana 做快速搜索和分析。Rsyslog 官方提供了直接输出给 Elasticsearch 的插件：omelasticsearch。配置如下：module(load="omelasticsearch") module(load="impstats" interval="120" severity="6" log.syslog="on" format="json" resetCounters="on") template(name="logstash-index" type="list") { constant(value="logstash-rsyslog-") property(name="timereported" dateFormat="rfc3339" position.from="1" position.to="4") constant(value=".") property(name="timereported" dateFormat="rfc3339" position.from="6" pos ...继续阅读 (106)

Rsyslog 的性能数据，可以通过自带的 impstats 插件输出。但是在用的比较复杂的场景下，每次输出都会有好几十个 action 的各种状态，肉眼观察变得比较困难，这时候，我们可以直接输出给 Elasticsearch ，然后利用 Kibana 做快速搜索和分析。Rsyslog 官方提供了直接输出给 Elasticsearch 的插件：omelasticsearch。配置如下：module(load="omelasticsearch") module(load="impstats" interval="120" severity="6" log.syslog="on" format="json" resetCounters="on") template(name="logstash-index" type="list") { constant(value="logstash-rsyslog-") property(name="timereported" dateFormat="rfc3339" position.from="1" position.to="4") constant(value=".") property(name="timereported" dateFormat="rfc3339" position.from="6" pos ...继续阅读 (97)

最近因为项目需要，必须想办法提高 logstash indexer 接收 rsyslog 转发数据的性能。首先，就是要了解 logstash 到底能收多快？之前用 libev 库写过类似功能的程序，所以一开始也是打算找个能在 JRuby 上运行的 netty 封装。找到了foxbat库，不过最后发现效果跟官方的标准 socket 实现差不多。（这部分另篇讲述）后来又发现另一个库：jruby-netty，注意到这个作者就是 logstash 作者 jordansissel！当然，最终并不是用上这个项目的代码来改写 logstash，而是从这里面学到了如何方便的进行 syslog server 性能压测。测试方式：yes "<44>May 19 18:30:17 snack jls: foo bar 32" | nc localhost 3000或者loggen -r 500000 -iS -s 120 -I 50 localhost 3000loggen 是 syslog-ng 带的工具，还得另外安装。而上面第一行的方式，这个yes用的真是绝妙！就用这个测试方法，最终发现单机上 LogStash::Inputs::Syslog 的每秒处理能力只有 700 条：input { syslog { port => 3000 } } output { ...继续阅读 (142)

最近因为项目需要，必须想办法提高 logstash indexer 接收 rsyslog 转发数据的性能。首先，就是要了解 logstash 到底能收多快？之前用 libev 库写过类似功能的程序，所以一开始也是打算找个能在 JRuby 上运行的 netty 封装。找到了foxbat库，不过最后发现效果跟官方的标准 socket 实现差不多。（这部分另篇讲述）后来又发现另一个库：jruby-netty，注意到这个作者就是 logstash 作者 jordansissel！当然，最终并不是用上这个项目的代码来改写 logstash，而是从这里面学到了如何方便的进行 syslog server 性能压测。测试方式：yes "<44>May 19 18:30:17 snack jls: foo bar 32" | nc localhost 3000或者loggen -r 500000 -iS -s 120 -I 50 localhost 3000loggen 是 syslog-ng 带的工具，还得另外安装。而上面第一行的方式，这个yes用的真是绝妙！就用这个测试方法，最终发现单机上 LogStash::Inputs::Syslog 的每秒处理能力只有 700 条：input { syslog { port => 3000 } } out ...继续阅读 (92)

上一篇说到在 JRuby 上利用 netty 库实现事件驱动。事实上，为了让 Ruby 程序员更习惯，foxbat 模块是把 netty 库封装成 eventmachine 的接口来提供给用户使用的。所以，我们可以把程序写得更通用一些：ifdefined?(JRUBY_VERSION)require'foxbat'endrequire'eventmachine'require'socket'moduleSyslogRecvdefinitialize(options)@output_queue=options[:queue]@codec=options[:codec]@grok_filter=options[:grok_filter]@date_filter=options[:date_filter]enddefsyslog_relay(event)@grok_filter.filter(event)ifevent["tags"].nil?||!event["tags"].include?("_grokparsefailure")event["timestamp"]=event["timestamp8601"]ifevent.include?("timestamp8601")@date_filter.filter(event)else@logger.info?&&@logger.in ...继续阅读 (82)

上一篇说到在 JRuby 上利用 netty 库实现事件驱动。事实上，为了让 Ruby 程序员更习惯，foxbat 模块是把 netty 库封装成 eventmachine 的接口来提供给用户使用的。所以，我们可以把程序写得更通用一些：ifdefined?(JRUBY_VERSION)require'foxbat'endrequire'eventmachine'require'socket'moduleSyslogRecvdefinitialize(options)@output_queue=options[:queue]@codec=options[:codec]@grok_filter=options[:grok_filter]@date_filter=options[:date_filter]enddefsyslog_relay(event)@grok_filter.filter(event)ifevent["tags"].nil?||!event["tags"].include?("_grokparsefailure")event["timestamp"]=event["timestamp8601"]ifevent.include?("timestamp8601")@date_filter.filter(event)else@logger.info?&&@l ...继续阅读 (85)

前几天看到 cindylinz 发了一个新 CPAN 模块叫Scalar::Watcher，有朋友问我这个是怎么实现的，在无限循环啊，多线程啊，IO 阻塞啊等情况下，还能被触发么？于是我去仔细看了一下这个模块的代码。最关键的就是下面这几行：SvUPGRADE(target,SVt_PVMG);sv_magicext(target,handler_cv,PERL_MAGIC_ext,&modified;_vtbl,NULL,0);这里其实用的是 perlapi 里的 Magic：第一行，设置监听变量为SVt_PVMG，即带有 Magic 的标量；SvUPGRADE函数见 perlguts 文档的 “Assigning Magic” 部分。第二行，设置该变量的 Magic 扩展，即往标量的 Magic 链表上加内容。sv_magicext函数说明见 perlapi 文档的 “SV-Body Allocation” 部分。Magic 主要有两个作用，一个叫 Hook Method，一个叫 Managed Data。我们都很熟悉的 Moose 框架就是利用的 Magic 的 Managed Data 实现的。而这里，用到的是 Hook Method。Scalar::Watcher 模块文档较少，虽然好用但是不好懂。我在 CPAN 上发现另一个 ...继续阅读 (100)

前几天看到 cindylinz 发了一个新 CPAN 模块叫Scalar::Watcher，有朋友问我这个是怎么实现的，在无限循环啊，多线程啊，IO 阻塞啊等情况下，还能被触发么？于是我去仔细看了一下这个模块的代码。最关键的就是下面这几行：SvUPGRADE(target,SVt_PVMG);sv_magicext(target,handler_cv,PERL_MAGIC_ext,&modified_vtbl,NULL,0);这里其实用的是 perlapi 里的 Magic：第一行，设置监听变量为SVt_PVMG，即带有 Magic 的标量；SvUPGRADE函数见 perlguts 文档的 “Assigning Magic” 部分。第二行，设置该变量的 Magic 扩展，即往标量的 Magic 链表上加内容。sv_magicext函数说明见 perlapi 文档的 “SV-Body Allocation” 部分。Magic 主要有两个作用，一个叫 Hook Method，一个叫 Managed Data。我们都很熟悉的 Moose 框架就是利用的 Magic 的 Managed Data 实现的。而这里，用到的是 Hook Method。Scalar::Watcher 模块文档较少，虽然好用但是不好懂。我在 CPAN 上发现 ...继续阅读 (99)

Kibana 4 发布了，出人意料的是提供的居然是一个 jar 包的运行方式。好在有源码可看，根据源码可以分析得知，v4 版其实是一个 angularjs 写的 kibana 配上一个 sinatra 写的 proxyserver。这么一来，我们也就知道怎么来从源代码运行 Kibana 4，而不是用 Java 启动了。# 安装 nodejs 和 npm 命令，仅用于下载依赖包，实际运行不需要port install nodejs npm# 下载 kibana 4 源码git clone https://github.com/elasticsearch/kibana.git kibana4cdkibana4/# 安装 bower 工具npm install -g bower# 读取目录中的 bower.json，# 依此下载所有 js 依赖库到其中定义的路径# src/kibana/bower_components 下bower installcdsrc/server# 安装 bundler 工具gem install bundler# 读取目录中的 Gemfile，# 依此安装所有的 RubyGem 依赖库bundle install# 安装 lessc 工具npm install -g less# kibana 4 源码中在导入 lesshat 的时候都没写具体路径，所以要切换到 ...继续阅读 (87)