原文见：http://www.elasticsearch.org/blog/elasticsearch-1-4-0-beta-released/今天，我们很高兴公告基于Lucene 4.10.1的Elasticsearch 1.4.0.Beta1发布。你可以从这里下载并阅读完整的变更列表：Elasticsearch 1.4.0.Beta1。1.4.0 版的主题就是弹性：让 Elasticsearch 比过去更稳定更可靠。当所有东西都按照它应该的样子运行的时候，就很容易变得可靠了。但是不在意料中的事情发生时，复杂的部分就来了：节点内存溢出，它们的性能被慢垃圾回收或者超重的 I/O 拖累，网络连接失败，或者数据传输不规律。这次 beta 版主要在三方面力图改善弹性：通过减少内存使用提供更好的节点稳定性。通过改进发现算法提供更好的集群稳定性。通过checksums提供更好的数据损坏检测。分布式系统是复杂的。我们已经有一个广泛的测试套件，可以创建随机场景，模拟我们自己都没想过的条件。但是依然会有无限多在此范围之外的情况。1.4.0.Beta1 里已经包含了我们目前能做到的各种优化努力。真心期望大家在实际运用中测试这些变更，然后告诉我们你碰到的问题。内存管理内存压力swap (参见memory settings)太大的 heaps这次发版包括了一系列变更来提升内存管理，并由此提升节点稳定性： ...继续阅读 (76)

Kibana 4 发布了，出人意料的是提供的居然是一个 jar 包的运行方式。好在有源码可看，根据源码可以分析得知，v4 版其实是一个 angularjs 写的 kibana 配上一个 sinatra 写的 proxyserver。这么一来，我们也就知道怎么来从源代码运行 Kibana 4，而不是用 Java 启动了。# 安装 nodejs 和 npm 命令，仅用于下载依赖包，实际运行不需要port install nodejs npm# 下载 kibana 4 源码git clone https://github.com/elasticsearch/kibana.git kibana4cdkibana4/# 安装 bower 工具npm install -g bower# 读取目录中的 bower.json，# 依此下载所有 js 依赖库到其中定义的路径# src/kibana/bower_components 下bower installcdsrc/server# 安装 bundler 工具gem install bundler# 读取目录中的 Gemfile，# 依此安装所有的 RubyGem 依赖库bundle install# 安装 lessc 工具npm install -g less# kibana 4 源码中在导入 lesshat 的时候都没写具体路径，所以要切换到 ...继续阅读 (54)

原文见：http://www.elasticsearch.org/blog/elasticsearch-1-4-0-beta-released/今天，我们很高兴公告基于Lucene 4.10.1的Elasticsearch 1.4.0.Beta1发布。你可以从这里下载并阅读完整的变更列表：Elasticsearch 1.4.0.Beta1。1.4.0 版的主题就是弹性：让 Elasticsearch 比过去更稳定更可靠。当所有东西都按照它应该的样子运行的时候，就很容易变得可靠了。但是不在意料中的事情发生时，复杂的部分就来了：节点内存溢出，它们的性能被慢垃圾回收或者超重的 I/O 拖累，网络连接失败，或者数据传输不规律。这次 beta 版主要在三方面力图改善弹性：通过减少内存使用提供更好的节点稳定性。通过改进发现算法提供更好的集群稳定性。通过checksums提供更好的数据损坏检测。分布式系统是复杂的。我们已经有一个广泛的测试套件，可以创建随机场景，模拟我们自己都没想过的条件。但是依然会有无限多在此范围之外的情况。1.4.0.Beta1 里已经包含了我们目前能做到的各种优化努力。真心期望大家在实际运用中测试这些变更，然后告诉我们你碰到的问题。内存管理内存压力swap (参见memory settings)太大的 heaps这次发版包括了一系列变更来提升内存管理，并由此提升节点稳定性： ...继续阅读 (79)

原文地址见：http://www.elasticsearch.org/blog/kibana-4-beta-1-released/今天，我们自豪高兴满意控制不住地兴奋过头欣喜若狂相当高兴得给大家分享一下 Kibana 项目的未来，以及 Kibana 4 的第一个 beta 版本。我现在就要！快给我！从这里下载，然后看README.md里新的而且更简单的安装流程。当然，你最好还是读一下本文剩下的内容，有很多超棒的秘诀呢！欢迎来到 kibana 4我们正走在 Kibana 4 的漫漫长路上：可以预见还会有好几个 beta 版本，每个都有新的特性，可视化和改善。我们梳理了各种反馈、邮件列表、IRC 以及 Github 的 issue ，把特性加入到这个 beta1 版本中，真是罪孽深重。我们已经在为 beta2 版本努力工作，在此，很高兴分享一下我们的 roadmap，查看 Github 上打有 “Roadmap” 标签的 issue。你们的反馈是我们永远做正确的事的保证。反馈之外，我们回头想了想人们是怎么看数据的，更进一步，人们是怎么解决真实问题的。我们发现一个问题总是能引出另一些问题，而这些问题又能引出更多其他问题。如果你参加了 Monitotama，或者其他 Elasticsearch 见面会，你可能已经看到过 Kibana 4 概念性的原型演示。它可以让你 ...继续阅读 (99)

原文见https://github.com/elasticsearch/kibana/blob/master/K3_FAQ.md。问：我在 Kibana 3 里最想要的某某特性有了么？ 答：就会有了！我们已经以 ticket 形式发布了目前的 roadmap。查看 GitHub 上的 beta 里程碑，看看有没有你想要的特性。问：仪表板模式是否兼容？ 答：不好意思，不兼容了。要创建我们想要的新特性，还是用原先的模式是不可能的。Aggregation 跟 Facet 请求从根本上工作方式就不一样，新的仪表板不再绑定成行和列的样式，而且搜索框，可视化和仪表板的关系过于复杂，我们不得不重新设计一遍，来保证它的灵活可用。问：怎么做多项搜索？ 答：”filters” Aggregation 可以运行你输入多项搜索条件然后完成可视化。甚至你可以在这里面自己写 JSON。问：模板化/脚本化仪表板还在么？ 答：看看 URL 吧。每个应用的状态都记录在那里面，包括所有的过滤器，搜索和列。现在构建脚本化仪表板比过去简单多了。URL 是采用 RISON 编码的。译者注：RISON 是一个跟 JSON 很类似，还节省不少长度的东西。其官网见：http://mjtemplate.org/examples/rison.html。但是我访问看似乎已经挂了，更多一点的说明可以看https: ...继续阅读 (78)

原文地址见：http://www.elasticsearch.org/blog/kibana-4-beta-1-released/今天，我们自豪高兴满意控制不住地兴奋过头欣喜若狂相当高兴得给大家分享一下 Kibana 项目的未来，以及 Kibana 4 的第一个 beta 版本。我现在就要！快给我！从这里下载，然后看README.md里新的而且更简单的安装流程。当然，你最好还是读一下本文剩下的内容，有很多超棒的秘诀呢！欢迎来到 kibana 4我们正走在 Kibana 4 的漫漫长路上：可以预见还会有好几个 beta 版本，每个都有新的特性，可视化和改善。我们梳理了各种反馈、邮件列表、IRC 以及 Github 的 issue ，把特性加入到这个 beta1 版本中，真是罪孽深重。我们已经在为 beta2 版本努力工作，在此，很高兴分享一下我们的 roadmap，查看 Github 上打有 “Roadmap” 标签的 issue。你们的反馈是我们永远做正确的事的保证。反馈之外，我们回头想了想人们是怎么看数据的，更进一步，人们是怎么解决真实问题的。我们发现一个问题总是能引出另一些问题，而这些问题又能引出更多其他问题。如果你参加了 Monitotama，或者其他 Elasticsearch 见面会，你可能已经看到过 Kibana 4 概念性的原型演示。它可以让你 ...继续阅读 (200)

原文见https://github.com/elasticsearch/kibana/blob/master/K3_FAQ.md。问：我在 Kibana 3 里最想要的某某特性有了么？答：就会有了！我们已经以 ticket 形式发布了目前的 roadmap。查看 GitHub 上的 beta 里程碑，看看有没有你想要的特性。问：仪表板模式是否兼容？答：不好意思，不兼容了。要创建我们想要的新特性，还是用原先的模式是不可能的。Aggregation 跟 Facet 请求从根本上工作方式就不一样，新的仪表板不再绑定成行和列的样式，而且搜索框，可视化和仪表板的关系过于复杂，我们不得不重新设计一遍，来保证它的灵活可用。问：怎么做多项搜索？答：”filters” Aggregation 可以运行你输入多项搜索条件然后完成可视化。甚至你可以在这里面自己写 JSON。问：模板化/脚本化仪表板还在么？答：看看 URL 吧。每个应用的状态都记录在那里面，包括所有的过滤器，搜索和列。现在构建脚本化仪表板比过去简单多了。URL 是采用 RISON 编码的。译者注：RISON 是一个跟 JSON 很类似，还节省不少长度的东西。其官网见：http://mjtemplate.org/examples/rison.html。但是我访问看似乎已经挂了，更多一点的说明可以看https://gi ...继续阅读 (57)

Mojolicious 框架开发应用的时候，可以跟 RoR 一样通过一系列子命令简化很多复杂操作。最简单的来说，就是快速生成整个 web 项目目录：mojo generate youapp。更多子命令见：http://cpan.php-oa.com/perldoc/Mojolicious/Commands其实我们还可以自己扩展这个子命令方式，实现自己的子命令。如果打算继续使用mojo subcommand的方式，那就把自己的子命令模块叫做Mojolicious::Command::yourcommand，而如果打算在自己的名字空间下使用，比如叫MyApp::Command::mycommand，那么需要在MyApp.pm里加一行代码，设置一下名字空间：substartup{my$self=shift;push@{$self->commands->namespaces},'MyApp::Command';...};然后就可以写自己的MyApp::Command::mycommand了：packageMyApp::Command::mycommand;usestrict;usewarnings;useMojo::Base'Mojolicious::Command';useMojo::UserAgent;hasusage=>"usage: $0 migratint [username] ...继续阅读 (72)

Mojolicious 框架开发应用的时候，可以跟 RoR 一样通过一系列子命令简化很多复杂操作。最简单的来说，就是快速生成整个 web 项目目录：mojo generate youapp。更多子命令见：http://cpan.php-oa.com/perldoc/Mojolicious/Commands其实我们还可以自己扩展这个子命令方式，实现自己的子命令。如果打算继续使用mojo subcommand的方式，那就把自己的子命令模块叫做Mojolicious::Command::yourcommand，而如果打算在自己的名字空间下使用，比如叫MyApp::Command::mycommand，那么需要在MyApp.pm里加一行代码，设置一下名字空间：substartup{my$self=shift;push@{$self->commands->namespaces},'MyApp::Command';...};然后就可以写自己的MyApp::Command::mycommand了：packageMyApp::Command::mycommand;usestrict;usewarnings;useMojo::Base'Mojolicious::Command';useMojo::UserAgent;hasusage=>"usage: $0 migratint [u ...继续阅读 (51)

在开发和使用一些 logstash 自定义插件的时候，几乎不可避免会导入其他 RubyGems 模块 —— 因为都用不上模块的小型处理，直接写在filters/ruby插件配置里就够了 —— 这时候，运行 logstash 命令可能会发现一个问题：这个 gem 模块一直是 “no found” 状态。这其实是因为我们一般是通过 java 命令来运行的 logstash，这时候它回去寻找的 Gem 路径跟我们预计中的是不一致的。要查看 logstash 运行时实际的 Gem 查找路径，首先要通过ps aux命令确定 ruby 的实际运行方式：$ ps uax|grep logstash raochenlin 27268 38.0 4.3 3268156 181344 s003 S+ 7:10PM 0:22.36 /Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home/bin/java -Xmx500m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupa ...继续阅读 (79)

在开发和使用一些 logstash 自定义插件的时候，几乎不可避免会导入其他 RubyGems 模块 —— 因为都用不上模块的小型处理，直接写在filters/ruby插件配置里就够了 —— 这时候，运行 logstash 命令可能会发现一个问题：这个 gem 模块一直是 “no found” 状态。这其实是因为我们一般是通过 java 命令来运行的 logstash，这时候它回去寻找的 Gem 路径跟我们预计中的是不一致的。要查看 logstash 运行时实际的 Gem 查找路径，首先要通过ps aux命令确定 ruby 的实际运行方式：$ ps uax|grep logstash raochenlin 27268 38.0 4.3 3268156 181344 s003 S+ 7:10PM 0:22.36 /Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home/bin/java -Xmx500m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupa ...继续阅读 (63)

Kibana 作为一个纯 JS 项目，一直都没有提供完整的权限控制方面的功能。只是附带了一个nginx.conf做基本的 Basic Auth。社区另外有在 nodejs 上实现的方案，则使用了 CAS 方式做认证。不过我对这两种方案都不太满意。认证方式太单一，适应性不强；权限隔离不明确，只是通过修改kibana-int成kiban-int-user来区分不同用户的 dashboard，并不能限制用户对 ES 索引的访问。加上 nodejs 我也不熟，最终在多番考虑后，决定抽一个晚上自己写一版。最终代码见https://github.com/chenryn/kibana。原理和实现全站代理和虚拟响应这里不单通过 config.js 限定了 kibana 默认连接的 Elasticsearch 服务器地址和端口，还拦截伪造了/_nodes请求的 JSON 响应体。伪造的响应中也只包含自己这个带认证的 web 服务器地址和端口。这么做是因为我的 kibana 版本使用的 elasticjs 库比官方新增了 sniff 功能，默认会自动轮训所有 nodes 发送请求。新增kibana-auth鉴权索引在通常的kibana-int-user区分 dashboard 基础上，我新增加kibana-auth索引，专门记录每个用户可以访问的 ES 集群地址和索引前缀。请求会固定代理到指定的 ES ...继续阅读 (306)

Kibana 作为一个纯 JS 项目，一直都没有提供完整的权限控制方面的功能。只是附带了一个nginx.conf做基本的 Basic Auth。社区另外有在 nodejs 上实现的方案，则使用了 CAS 方式做认证。不过我对这两种方案都不太满意。认证方式太单一，适应性不强；权限隔离不明确，只是通过修改kibana-int成kiban-int-user来区分不同用户的 dashboard，并不能限制用户对 ES 索引的访问。加上 nodejs 我也不熟，最终在多番考虑后，决定抽一个晚上自己写一版。最终代码见https://github.com/chenryn/kibana。原理和实现全站代理和虚拟响应这里不单通过 config.js 限定了 kibana 默认连接的 Elasticsearch 服务器地址和端口，还拦截伪造了/_nodes请求的 JSON 响应体。伪造的响应中也只包含自己这个带认证的 web 服务器地址和端口。这么做是因为我的 kibana 版本使用的 elasticjs 库比官方新增了 sniff 功能，默认会自动轮训所有 nodes 发送请求。新增kibana-auth鉴权索引在通常的kibana-int-user区分 dashboard 基础上，我新增加kibana-auth索引，专门记录每个用户可以访问的 ES 集群地址和索引前缀。请求会固定代理到指定的 ES ...继续阅读 (79)

Logstash 说了这么多。其实运用 Kibana 和 Elasticsearch 不一定需要 logstash，其他各种工具导入的数据都可以。今天就演示一个特别的~用 Spark 来处理导入数据。首先分别下载 spark 和 elasticsearch-hadoop 的软件包。注意 elasticsearch-hadoop 从最新的 2.1 版开始才带有 spark 支持，所以要下新版：wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2-bin-cdh4.tgz wget http://download.elasticsearch.org/hadoop/elasticsearch-hadoop-2.1.0.Beta1.zip分别解压开后，运行 spark 交互命令行ADD_JARS=../elasticsearch-hadoop-2.1.0.Beta1/dist/elasticsearch-spark_2.10-2.1.0.Beta1.jar ./bin/spark-shell就可以逐行输入 scala 语句测试了。注意 elasticsearch 不支持 1.6 版本的 java，所以在 MacBook 上还设置了一下JAVA_HOME="/Library/Internet Plug-Ins/JavaAppletPlug ...继续阅读 (74)

Logstash 说了这么多。其实运用 Kibana 和 Elasticsearch 不一定需要 logstash，其他各种工具导入的数据都可以。今天就演示一个特别的~用 Spark 来处理导入数据。首先分别下载 spark 和 elasticsearch-hadoop 的软件包。注意 elasticsearch-hadoop 从最新的 2.1 版开始才带有 spark 支持，所以要下新版：wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2-bin-cdh4.tgz wget http://download.elasticsearch.org/hadoop/elasticsearch-hadoop-2.1.0.Beta1.zip分别解压开后，运行 spark 交互命令行ADD_JARS=../elasticsearch-hadoop-2.1.0.Beta1/dist/elasticsearch-spark_2.10-2.1.0.Beta1.jar ./bin/spark-shell就可以逐行输入 scala 语句测试了。注意 elasticsearch 不支持 1.6 版本的 java，所以在 MacBook 上还设置了一下JAVA_HOME="/Library/Internet Plug-Ins/JavaAppletPlug ...继续阅读 (46)

跟很多朋友在聊 elk stack 的时候，都会不知不觉的开始跟 Splunk 做对比。最常见的两个抱怨就是：Splunk 的搜索构建语法 比 Kibana 方便，以及 Splunk 搜索出来的消息可以通过点击Source按钮查看其原始日志中的前后几条日志。平心而论，这个上下文查找的功能确实在排错过程中非常有用。但是在 elk 里却不那么容易实现，原因是：elasticsearch 是一个分布式项目，其索引的_id默认使用的是 UUID 方式生成的随机字符串，你没法根据 UUID 来判断数据的先后。LogStash::Outputs::Elasticsearch提供了让你指定_id内容的选项，但是在集群环境下，你很难自己搞定一个全局自增 ID。相反，虽然我不知道 splunk 的数据存储的内部实现，但是就他昂贵的报价来说，基本只见过单机案例。就单机而言，自增 id 太轻松了所以，从原理上来说，就很难实现一个通用的 elk 版上下文查看功能。不过我们缩小一下使用场景，却未必不能自己山寨一个对自己可用的办法来。假设我们一个最常见的场景，就是从各 web 服务器上收集不同日志到中心。那么这时候，通过%{host}和%{path}的 “AND” 过滤，我们就可以把范围缩小到一个单一的文件内容里。所以，我们只需要能够搞定这个文件的自增 id 就够了！logstash. ...继续阅读 (53)

跟很多朋友在聊 elk stack 的时候，都会不知不觉的开始跟 Splunk 做对比。最常见的两个抱怨就是：Splunk 的搜索构建语法 比 Kibana 方便，以及 Splunk 搜索出来的消息可以通过点击Source按钮查看其原始日志中的前后几条日志。平心而论，这个上下文查找的功能确实在排错过程中非常有用。但是在 elk 里却不那么容易实现，原因是：elasticsearch 是一个分布式项目，其索引的_id默认使用的是 UUID 方式生成的随机字符串，你没法根据 UUID 来判断数据的先后。LogStash::Outputs::Elasticsearch提供了让你指定_id内容的选项，但是在集群环境下，你很难自己搞定一个全局自增 ID。相反，虽然我不知道 splunk 的数据存储的内部实现，但是就他昂贵的报价来说，基本只见过单机案例。就单机而言，自增 id 太轻松了所以，从原理上来说，就很难实现一个通用的 elk 版上下文查看功能。不过我们缩小一下使用场景，却未必不能自己山寨一个对自己可用的办法来。假设我们一个最常见的场景，就是从各 web 服务器上收集不同日志到中心。那么这时候，通过%{host}和%{path}的 “AND” 过滤，我们就可以把范围缩小到一个单一的文件内容里。所以，我们只需要能够搞定这个文件的自增 id 就够了！logstash. ...继续阅读 (59)

公司用 kibana 的同事提出一个需求，希望查看响应时间在不同区间内占比的饼图。第一想法是用 1.3.0 新加的 percentile rank aggregation 接口。不过仔细想想，其实并不合适 —— 这个接口目的是计算固定的[0 TO $value]的比例。不同的区间反而还得自己做减法来计算。稍微查了一下，更适合的做法是专门的 range aggregation。考虑到 kibana 内大多数还是用 facet 接口，这里也沿用：http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-facets-range-facet.html。range facet 本身的使用非常简单，就像官网示例那样，直接 curl 命令就可以完成调试：curl -XPOST http://localhost:9200/logstash-2014.08.18/_search?pretty=1 -d '{ "query" : { "match_all" : {} }, "facets" : { "range1" : { "range" : { "field" : "resp_ms", ...继续阅读 (73)

公司用 kibana 的同事提出一个需求，希望查看响应时间在不同区间内占比的饼图。第一想法是用 1.3.0 新加的 percentile rank aggregation 接口。不过仔细想想，其实并不合适 —— 这个接口目的是计算固定的[0 TO $value]的比例。不同的区间反而还得自己做减法来计算。稍微查了一下，更适合的做法是专门的 range aggregation。考虑到 kibana 内大多数还是用 facet 接口，这里也沿用：http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-facets-range-facet.html。range facet 本身的使用非常简单，就像官网示例那样，直接 curl 命令就可以完成调试：curl -XPOST http://localhost:9200/logstash-2014.08.18/_search?pretty=1 -d '{ "query" : { "match_all" : {} }, "facets" : { "range1" : { "range" : { "field" : "resp_ms", ...继续阅读 (48)

半年前，Kibana3.4 版刚出来的时候，曾经在官方博客上描述了一个新功能，当时我的翻译见：【翻译】Kibana3 里程碑 4。今天我实际使用了一下这个新功能，感觉还是蛮有用的，单独拿出来记录一下用法和一些没在之前文章里提到的细节。使用方法使用方法其实在官方描述里已经比较清楚了。就是在原本的http://127.0.0.1:9292/#/dashboard/file/logstash.json地址后面，再加上请求参数?query=***即可。注意事项看起来好像太过简单，不过用起来其实还是有点注意事项的：Kibana 目前不支持对保存在 Elasticsearch 中的 dashboard 做这个事情。所以一定得保存成yourname.json文件放入app/dashboards/目录里才行。静态的 JSON 文件其实是利用模板技术。所以直接导出得到的 JSON 文件还不能直接起作用。需要稍微做一点修改。你可以打开默认可用的logstash.json文件，看看有什么奇特的地方，没错，就是下面这样："query": "{{ARGS.query || '*'}}"而你自己保存下来的 JSON，这里都会是具体的数据。所以，要让自己的 JSON 布局也支持动态仪表板的话，按照这个写法也都加上ARGS.query就好了！从 logstash.json 里还可以看到，除了?query=以外，其 ...继续阅读 (102)

半年前，Kibana3.4 版刚出来的时候，曾经在官方博客上描述了一个新功能，当时我的翻译见：【翻译】Kibana3 里程碑 4。今天我实际使用了一下这个新功能，感觉还是蛮有用的，单独拿出来记录一下用法和一些没在之前文章里提到的细节。使用方法使用方法其实在官方描述里已经比较清楚了。就是在原本的http://127.0.0.1:9292/#/dashboard/file/logstash.json地址后面，再加上请求参数?query=***即可。注意事项看起来好像太过简单，不过用起来其实还是有点注意事项的：Kibana 目前不支持对保存在 Elasticsearch 中的 dashboard 做这个事情。所以一定得保存成yourname.json文件放入app/dashboards/目录里才行。静态的 JSON 文件其实是利用模板技术。所以直接导出得到的 JSON 文件还不能直接起作用。需要稍微做一点修改。你可以打开默认可用的logstash.json文件，看看有什么奇特的地方，没错，就是下面这样："query": "{<span>{</span>ARGS.query || '*'}}"而你自己保存下来的 JSON，这里都会是具体的数据。所以，要让自己的 JSON 布局也支持动态仪表板的话，按照这个写法也都加上ARGS.query就好了！从 logstash. ...继续阅读 (58)

之前在 Linux 服务器上使用 PDL，主要是一些矩阵函数，这次准备在个人电脑上使用 PDL，尤其是本身的绘图功能，其一目的就是导出 zabbix 中存储的监控数据，通过 PDL 绘图观察其季节性分布情况。不过在使用的时候，发现在 MacBook 上跑 PDL 还是有点上手难度的。和 pylab 不同，PDL 是使用了 X11 的，而 MacBook 最新的版本里，X11 已经不再是自带的了。所以需要单独去下载XQuartz安装包来提供 X11 支持。安装好了 XQuartz 以后，再安装 PDL::Graphics:: 名字空间下的几个模块就好办了。PDL::Graphics::SimplePDL::Graphics::GnuplotPDL::Graphics::PGPLOTPDL::Graphics::Prima另外还有 PDL::Graphics::PLplot 等，不过通过port install plplot安装的 plplot 没有 header 文件，所以 PDL::Graphics::PLplot 是安装不上的，既然前面已经有了不少，这里也就不再追求自己下载 plplot 源代码来安装了。PDL::Graphics::Simple 是 《PDL Book》开篇第一个示例就使用的模块，其实际就是按顺序尝试加载::Gnuplot、::PGPLOT、::PLplot和: ...继续阅读 (78)

之前在 Linux 服务器上使用 PDL，主要是一些矩阵函数，这次准备在个人电脑上使用 PDL，尤其是本身的绘图功能，其一目的就是导出 zabbix 中存储的监控数据，通过 PDL 绘图观察其季节性分布情况。不过在使用的时候，发现在 MacBook 上跑 PDL 还是有点上手难度的。和 pylab 不同，PDL 是使用了 X11 的，而 MacBook 最新的版本里，X11 已经不再是自带的了。所以需要单独去下载XQuartz安装包来提供 X11 支持。安装好了 XQuartz 以后，再安装 PDL::Graphics:: 名字空间下的几个模块就好办了。PDL::Graphics::SimplePDL::Graphics::GnuplotPDL::Graphics::PGPLOTPDL::Graphics::Prima另外还有 PDL::Graphics::PLplot 等，不过通过port install plplot安装的 plplot 没有 header 文件，所以 PDL::Graphics::PLplot 是安装不上的，既然前面已经有了不少，这里也就不再追求自己下载 plplot 源代码来安装了。PDL::Graphics::Simple 是 《PDL Book》开篇第一个示例就使用的模块，其实际就是按顺序尝试加载::Gnuplot、::PGPLOT、::PLplot和: ...继续阅读 (55)

上篇说了 serverspec 工具，我一直对 Rspec 的语法蛮有好感的，于是昨晚花了点时间模仿这个给 Rex 写了个类似的工具，叫 Rex::Test::Spec，源代码地址见：https://github.com/chenryn/Rex--Test--Spec。语法大概是这样的：useRex::Test::Spec;describe"Nginx Test",sub{contextrun("nginx -t"),"nginx.conf testing",sub{likeits('stdout'),qr/ok/;};contextfile("~/.ssh/id_rsa"),sub{isits('ensure'),'file';isits('mode'),'0600';likeits('content'),qr/name\@email\.com/;};contextfile("/data"),sub{isits('ensure'),'directory';isits('owner'),'www';isits('mounted_on'),'/dev/sdb1';isntits('writable');};contextservice("nginx"),sub{isits('ensure'),'running';};contextpkg("nginx"),sub{isits('ens ...继续阅读 (66)

上篇说了 serverspec 工具，我一直对 Rspec 的语法蛮有好感的，于是昨晚花了点时间模仿这个给 Rex 写了个类似的工具，叫 Rex::Test::Spec，源代码地址见：https://github.com/chenryn/Rex--Test--Spec。语法大概是这样的：useRex::Test::Spec;describe"Nginx Test",sub{contextrun("nginx -t"),"nginx.conf testing",sub{likeits('stdout'),qr/ok/;};contextfile("~/.ssh/id_rsa"),sub{isits('ensure'),'file';isits('mode'),'0600';likeits('content'),qr/name\@email\.com/;};contextfile("/data"),sub{isits('ensure'),'directory';isits('owner'),'www';isits('mounted_on'),'/dev/sdb1';isntits('writable');};contextservice("nginx"),sub{isits('ensure'),'running';};contextpkg("nginx"),sub{isits('ens ...继续阅读 (50)

去年曾经写过一篇文章里提到做 puppet 的测试，用的是rspec-puppet工具。不过这个工具的作用只是能确保在 Puppet Master 上你撰写的 .pp 文件可以按照你的预期正常编译完毕，并不代表真实的节点就是按照这个状态维护的。所以今天介绍另一个工具，Serverspec，它拥有和 rspec-puppet 类似的语法(都是 Rspec 衍生品)，同时又是真的 SSH 到远程主机上去做测试！官网见：http://serverspec.org。安装直接通过gem install serverspec方式即可完成。然后通过serverspec-init命令可以创建处理来一个测试模板：. ├── Rakefile └── spec ├── 10.4.1.21 │   └── puppet_spec.rb ├── spec_helper.rb文件其实非常简单，所以之后就可以不用命令，自己创建目录和测试文件好了。目录以远端主机 IP 命名，测试文件叫foobar_spec.rb也没关系，反正在 Rakefile 里是通过spec/*/*_spec.rb载入的。下面是我写的这个puppet_spec.rb实例：require'spec_helper'describe"system"do# TODO: bondingcontextinterface('et ...继续阅读 (58)

一年前搞的一套小脚本，今天翻博客发现没发过，现在发上来好了。主要背景是这样：考虑到有 DNS 和 HTTP 劫持需要监控，但是很多 DNS 服务器对非本区域本运营商的来源请求是拒绝做出响应的，所以得把监控点分散到各地去。其实做这个事情用 nagios 的分布式就足够了，不过如果想做即时触发的紧急任务，就算在 nagios 页面上点击立刻执行，到返回全部结果也得有一阵子。所以选择了自己写一套分布式的异步系统。中控端脚本如下：#!/usr/bin/perluseModern::Perl;useAnyEvent;useAnyEvent::Redis::RipeRedis;useStorableqw/freeze thaw/;useYAML::Syck;useutf8;my$area=$ARGV[0];my$domain='fmn.xnimg.cn';my$master='10.4.1.21';my$cv=AnyEvent->condvar;my$redis=AnyEvent::Redis::RipeRedis->new(host=>$master,port=>6379,encoding=>'utf8',);my$dnslist=LoadFile("DNS.yml");formy$isp(sortkeys%$dnslist){if(defined$area){nextunlessdefin ...继续阅读 (63)

去年曾经写过一篇文章里提到做 puppet 的测试，用的是rspec-puppet工具。不过这个工具的作用只是能确保在 Puppet Master 上你撰写的 .pp 文件可以按照你的预期正常编译完毕，并不代表真实的节点就是按照这个状态维护的。所以今天介绍另一个工具，Serverspec，它拥有和 rspec-puppet 类似的语法(都是 Rspec 衍生品)，同时又是真的 SSH 到远程主机上去做测试！官网见：http://serverspec.org。安装直接通过gem install serverspec方式即可完成。然后通过serverspec-init命令可以创建处理来一个测试模板：. ├── Rakefile └── spec ├── 10.4.1.21 │   └── puppet_spec.rb ├── spec_helper.rb文件其实非常简单，所以之后就可以不用命令，自己创建目录和测试文件好了。目录以远端主机 IP 命名，测试文件叫foobar_spec.rb也没关系，反正在 Rakefile 里是通过spec/*/*_spec.rb载入的。下面是我写的这个puppet_spec.rb实例：require'spec_helper'describe"system"do# TODO: bondingcontextinterface('et ...继续阅读 (54)

一年前搞的一套小脚本，今天翻博客发现没发过，现在发上来好了。主要背景是这样：考虑到有 DNS 和 HTTP 劫持需要监控，但是很多 DNS 服务器对非本区域本运营商的来源请求是拒绝做出响应的，所以得把监控点分散到各地去。其实做这个事情用 nagios 的分布式就足够了，不过如果想做即时触发的紧急任务，就算在 nagios 页面上点击立刻执行，到返回全部结果也得有一阵子。所以选择了自己写一套分布式的异步系统。中控端脚本如下：#!/usr/bin/perluseModern::Perl;useAnyEvent;useAnyEvent::Redis::RipeRedis;useStorableqw/freeze thaw/;useYAML::Syck;useutf8;my$area=$ARGV[0];my$domain='fmn.xnimg.cn';my$master='10.4.1.21';my$cv=AnyEvent->condvar;my$redis=AnyEvent::Redis::RipeRedis->new(host=>$master,port=>6379,encoding=>'utf8',);my$dnslist=LoadFile("DNS.yml");formy$isp(sortkeys%$dnslist){if(defined$area){ ...继续阅读 (53)

Rex 是 Perl 编写的基于 SSH 链接的集群配置管理系统，语法上类似 Puppet DSL。官网中文版见http://rex.perl-china.com。本文仅为本人在部门 Wiki 上编写的简介性文档。常用命令参数rex 命令参数很多，不过因为我们的环境是 krb 认证的，所以有些参数只能写在 Rexfile 里。所以一般固定在存放了 Rexfile 的 /etc/puppet/webui 下执行命令，很多配置就自动加载了。那么还需要用到的命令参数基本就只有下面几个：-Tv： 查看当前 Rexfile 里定义了哪些 Task 任务，以及服务器组。-H： 指定 Task 将在哪些 Host 上执行。这里比较方便的地方是支持10.5.16.[95..110]这样的写法。-G： 指定 Task 将在哪些 Group 上执行。Group 的定义方式很多，Rex 默认支持的有直接在 Rexfile 里通过 group 指令指定，通过 ini 配置文件设定等等。目前我是实现了一个groups_db指令，来从我们的 sqlite 里获取。groups_db('cdnbj::nginx')就会自动生成一个名叫 ‘cdnbj::nginx’ 的服务器组，包括 cdnbj 里所有部署了 nginx 的服务器。-e： 指定一个临时任务。通常是’say ru ...继续阅读 (54)