本文之前已经拆分成章节发布在我的《Kibana 权威指南》电子书上。欢迎移步观看全书其他章节。Kibana 3 作为 ELKstack 风靡世界的最大推动力，其与优美的界面配套的简洁的代码同样功不可没。事实上，graphite 社区就通过移植 kibana 3 代码框架的方式，启动了grafana 项目。至今你还能在 grafana 源码找到二十多处 “kbn” 字样。巧合的是，在 Kibana 重构 v4 版的同时，grafana 的 v2 版也到了 Alpha 阶段，从目前的预览效果看，主体 dashboard 沿用了 Kibana 3 的风格，不过添加了额外的菜单栏，供用户权限设置等使用 —— 这意味着 grafana 2 跟 kibana 4 一样需要一个单独的 server 端。笔者并非专业的前端工程师，对 angularjs 也处于一本入门指南都没看过的水准。所以本节内容，只会抽取一些个人经验中会有涉及到的地方提出一些”私货”。欢迎方家指正。源码目录结构下面是 kibana 源码的全部文件的 tree 图：. ├── app │   ├── app.js │   ├── components │   │   ├── extend-jquery.js │   │   ├── kbn.js │   │   ├── lodash ...继续阅读 (157)

标题说是 PHP 的慢日志，其实所有函数堆栈的调试日志都可以做，比如 Java 的调试日志等等。要用 Kibana ，首先得把日志数据解析并输入到 Elasticsearch 里。所以，本文分为几个部分：多行合并，堆栈解析，Nested Aggs 处理，Kibana4 的可视化效果。多行合并堆栈日志显然都是多行的。所以首先需要把多行数据整合成单个事件。之前已经多次写过如何用 Logstash 实现这个需求了。不过，Logstash 这里有个限制，就是必须是在 shipper 段配置才能有用。如果在 index 端，不同 shipper 来的数据顺序已经打乱了，这个合并就没有意义了。所以，如果日志收集的时候没有用 Logstash 的，这时候就得自己处理了。下面是我写的一个示例：#!/usr/bin/env pypy#coding:utf-8importreimportsysimporttimeimportsocketimporturllib2importoptparsetry:importsimplejsonasjsonexceptImportError:importjsonfromcommonimportgrokFpmSlowdefaultLogTag='fpmSlow'hostname=socket.gethostname()timeout=120defgetOptions() ...继续阅读 (445)

标题说是 PHP 的慢日志，其实所有函数堆栈的调试日志都可以做，比如 Java 的调试日志等等。要用 Kibana ，首先得把日志数据解析并输入到 Elasticsearch 里。所以，本文分为几个部分：多行合并，堆栈解析，Nested Aggs 处理，Kibana4 的可视化效果。多行合并堆栈日志显然都是多行的。所以首先需要把多行数据整合成单个事件。之前已经多次写过如何用 Logstash 实现这个需求了。不过，Logstash 这里有个限制，就是必须是在 shipper 段配置才能有用。如果在 index 端，不同 shipper 来的数据顺序已经打乱了，这个合并就没有意义了。所以，如果日志收集的时候没有用 Logstash 的，这时候就得自己处理了。下面是我写的一个示例：#!/usr/bin/env pypy#coding:utf-8importreimportsysimporttimeimportsocketimporturllib2importoptparsetry:importsimplejsonasjsonexceptImportError:importjsonfromcommonimportgrokFpmSlowdefaultLogTag='fpmSlow'hostname=socket.gethostname()timeout=120defgetOptions() ...继续阅读 (130)

原文地址：http://www.elasticsearch.org/blog/kibana-aggregation-execution-order-and-you/可能现在你已经发现了 Kibana 4 的 Visualize 界面上那些狡猾的小箭头，然后会问：“你们在那干嘛呢？有啥用啊？”嗯，这些按钮是用来控制聚合执行次序的。这个就定义了 Elasticsearch 如何分析你的数据，以及 Kibana 如何展示结果。让我们预设一个常见的场景：按时序查找最活跃的用户。很简单对吧？没错，不过其实你的需求并不明确，目的并不清楚。什么叫“最活跃的用户”？让我们多加几个参数：一年时间，按照每周，计算前 5 名用户。现在更接近结果了，不过我们还是有两条不同的方式来解释这个需求：一年时间内的前 5 名用户，他们的每周活跃度每周的前 5 名用户，持续统计一年每周的前 5 名用户，持续统计一年这个截屏里，我们先运行时间轴柱状图(date histogram)，然后再问前 5 名用户。这就会给一年的每个星期创建一个桶(bucket，译者注：ES 的 聚合 API 响应内容就是以 bucket 存在的)。在每个星期里，我们找到前 5 名用户，所以在这种情况下，每周的前 5 名用户，可能都是不一样的，最后在图例里，你就看到超过 5 个用户了。然后，如果我们点开阴影区域的聚合请求(Request)标签， ...继续阅读 (145)

原文地址：http://www.elasticsearch.org/blog/kibana-4-rc1-is-now-availableKibana 4 的第一个 RC 版带着可选色、可堆叠、柱状图、饼图等等来啦！你应该注意到标题里的字母了，没错，现在不再是 beta 了。这意味着什么？这意味着我们打磨好了毛边，擦干净了痕迹。也意味着更加稳定，更好的性能，以及一些新的特性。The good stuff is below, but if you want to jump right in then upgrade to Elasticsearch 1.4.3 and grab the new build over on theKibana 4 download pageright away.小贴士建议升级到 Elasticsearch 1.4.3。 Kibana 4 RC1 依赖一些 Elasticsearch 1.4.3 的功能。更新你的kibana.yml，有些配置参数发生了变化，比如elasticsearch现在叫elasticsearch_url。多序列图Kibana 4 现在支持在每个图上画多个数值聚合。比如，在一个图上显示一个字段，或者完全不相关的多个字段的最小、最大和平均值。我们还添加上了呼声很高的百分比聚合，以及标准差视图。部分数据桶的标示你可能注意到过，很多分析引擎 ...继续阅读 (133)

原文地址：http://www.elasticsearch.org/blog/kibana-4-literally/Kibana 4 现在，从内到外，从前到后，从唯心到唯物，全方位的，正式达到产品级就绪状态了。好吧，其实一个星期前就准备好了，不过我们希望达到绝对的确保它没问题。现在，我们可以分享这个开心的消息给大家了：Kibana 4.0.0 GA 啦！截图和主要信息见下。如果你也如此激动，我们给你准备好了两步计划：从Kibana 4 下载页获取它；阅读Kibana 4 文档掌握它。小贴士: 如果你还没准备好，你需要先升级你的集群到Elasticsearch 1.4.4小贴士 2: 如果你是从 Kibana4 RC1 升级上来，你需要迁移一下你的配置。迁移方式见 gist 链接背后的故事Kibana 一直是用来解决问题的工具。为什么我每天半夜 2 点要被喊起来？代码什么时候推送到生产环境了？它是不是破坏什么了？嗯，我们解决的就是这些。多年以来，不止一个人被凌晨 2 点喊起来。我知道的，对吧？通常的说，答案越简单的时候，问题其实越难。现在，让我们来解决这个难题，这个问题有三层。解决这个问题，需要分析多个维度，多个字段，多个数据源。Kibana 4 正是我们努力创造来用最短时间和最小的麻烦解决最难的问题的。我们从 Kibana 3 里学到的东西，都应用到了 Kibana 4 里。为什么 ...继续阅读 (391)

原文地址：http://www.elasticsearch.org/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors/是时候当一个公众黑客了！我们看到地区和联邦政府每天都公开越来越多的数据以提高行政透明度，包括交通事故，药物不良反应，高校助学金申请，餐厅检查甚至厕所位置都有。现在，所有人都能访问这个数据，分析它，然后构建应用以促进公众利益。公众黑客太棒了！联邦选举委员会发布了竞选献金数据到它的网站(www.fec.gov)上，包括总统、参议院和众议院的。如同 fec.gov 上所说：“In 1975, Congress created the Federal Election Commission (FEC) to administer and enforce the Federal Election Campaign Act (FECA) – the statute that governs the financing of federal elections. The duties of the FEC, which is an independent regulatory agency, are to disclose campaign finance information, to enfo ...继续阅读 (249)

原文地址：http://www.elasticsearch.org/blog/kibana-aggregation-execution-order-and-you/可能现在你已经发现了 Kibana 4 的 Visualize 界面上那些狡猾的小箭头，然后会问：“你们在那干嘛呢？有啥用啊？”嗯，这些按钮是用来控制聚合执行次序的。这个就定义了 Elasticsearch 如何分析你的数据，以及 Kibana 如何展示结果。让我们预设一个常见的场景：按时序查找最活跃的用户。很简单对吧？没错，不过其实你的需求并不明确，目的并不清楚。什么叫“最活跃的用户”？让我们多加几个参数：一年时间，按照每周，计算前 5 名用户。现在更接近结果了，不过我们还是有两条不同的方式来解释这个需求：一年时间内的前 5 名用户，他们的每周活跃度每周的前 5 名用户，持续统计一年每周的前 5 名用户，持续统计一年这个截屏里，我们先运行时间轴柱状图(date histogram)，然后再问前 5 名用户。这就会给一年的每个星期创建一个桶(bucket，译者注：ES 的 聚合 API 响应内容就是以 bucket 存在的)。在每个星期里，我们找到前 5 名用户，所以在这种情况下，每周的前 5 名用户，可能都是不一样的，最后在图例里，你就看到超过 5 个用户了。然后，如果我们点开阴影区域的聚合请求(Request)标签， ...继续阅读 (116)

原文地址：http://www.elasticsearch.org/blog/kibana-4-rc1-is-now-availableKibana 4 的第一个 RC 版带着可选色、可堆叠、柱状图、饼图等等来啦！你应该注意到标题里的字母了，没错，现在不再是 beta 了。这意味着什么？这意味着我们打磨好了毛边，擦干净了痕迹。也意味着更加稳定，更好的性能，以及一些新的特性。The good stuff is below, but if you want to jump right in then upgrade to Elasticsearch 1.4.3 and grab the new build over on theKibana 4 download pageright away.小贴士建议升级到 Elasticsearch 1.4.3。 Kibana 4 RC1 依赖一些 Elasticsearch 1.4.3 的功能。更新你的kibana.yml，有些配置参数发生了变化，比如elasticsearch现在叫elasticsearch_url。多序列图Kibana 4 现在支持在每个图上画多个数值聚合。比如，在一个图上显示一个字段，或者完全不相关的多个字段的最小、最大和平均值。我们还添加上了呼声很高的百分比聚合，以及标准差视图。部分数据桶的标示你可能注意到过，很多分析引擎 ...继续阅读 (84)

原文地址：http://www.elasticsearch.org/blog/kibana-4-literally/Kibana 4 现在，从内到外，从前到后，从唯心到唯物，全方位的，正式达到产品级就绪状态了。好吧，其实一个星期前就准备好了，不过我们希望达到绝对的确保它没问题。现在，我们可以分享这个开心的消息给大家了：Kibana 4.0.0 GA 啦！截图和主要信息见下。如果你也如此激动，我们给你准备好了两步计划：从Kibana 4 下载页获取它；阅读Kibana 4 文档掌握它。小贴士: 如果你还没准备好，你需要先升级你的集群到Elasticsearch 1.4.4小贴士 2: 如果你是从 Kibana4 RC1 升级上来，你需要迁移一下你的配置。迁移方式见 gist 链接背后的故事Kibana 一直是用来解决问题的工具。为什么我每天半夜 2 点要被喊起来？代码什么时候推送到生产环境了？它是不是破坏什么了？嗯，我们解决的就是这些。多年以来，不止一个人被凌晨 2 点喊起来。我知道的，对吧？通常的说，答案越简单的时候，问题其实越难。现在，让我们来解决这个难题，这个问题有三层。解决这个问题，需要分析多个维度，多个字段，多个数据源。Kibana 4 正是我们努力创造来用最短时间和最小的麻烦解决最难的问题的。我们从 Kibana 3 里学到的东西，都应用到了 Kibana 4 里。为什么 ...继续阅读 (184)

原文地址：http://www.elasticsearch.org/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors/是时候当一个公众黑客了！我们看到地区和联邦政府每天都公开越来越多的数据以提高行政透明度，包括交通事故，药物不良反应，高校助学金申请，餐厅检查甚至厕所位置都有。现在，所有人都能访问这个数据，分析它，然后构建应用以促进公众利益。公众黑客太棒了！联邦选举委员会发布了竞选献金数据到它的网站(www.fec.gov)上，包括总统、参议院和众议院的。如同 fec.gov 上所说：“In 1975, Congress created the Federal Election Commission (FEC) to administer and enforce the Federal Election Campaign Act (FECA) – the statute that governs the financing of federal elections. The duties of the FEC, which is an independent regulatory agency, are to disclose campaign finance information, to enfo ...继续阅读 (206)

前两篇，一篇说在 spark 里用 SQL 方便，一篇说 updatestateByKey 可以保留状态做推算。那么怎么综合起来呢？目前看到的 spark streaming 和 spark SQL 的示例全都是在 output 阶段的foreachRDD里才调用 SQL。实际在 output 之前，也是可以对 DStream 里的 RDD 做复杂的转换操作的，这就是transform方法。通过transform方法，可以做到 SQL 请求的结果依然是 DStream 数据，这样就可以使用updateStateByKey方法了。下面是示例：importorg.apache.spark.SparkConfimportorg.apache.spark.sql._importorg.apache.spark.sql.SQLContextimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._importorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.streaming.StreamingContext._objectLogStash{caseclassStatus(avg:Double=0.0,co ...继续阅读 (119)

前一篇学习演示了 spark streaming 的基础运用。下一步进入稍微难一点的，利用 checkpoint 来保留上一个窗口的状态，这样可以做到移动窗口的更新统计。首先还是先演示一下 spark 里传回调函数的用法，上一篇里用 DStream 处理模拟了SUM()，这个纯加法是最简单的了，那么如果AVG()怎么做呢？valr=logs.filter(l=>l.path.equals("/var/log/system.log")).filter(l=>l.lineno>70)r.map(l=>l.message->(l.lineno,1)).reduceByKey((a,b)=>{(a._1+b._1,a._2+b._2)}).map(t=>AlertMsg(t._1,t._2._2,t._2._1/t._2._2)).print()这段跟之前做 SUM 的那段的区别：DStream 处理成 PairDStream 的时候，Value 不是单纯的 1，而是一个 Seq[Double, Int]。避免了上一个示例里分开两个 DStream 然后再 join 起来的操作；给reduceByKey传了一个稍微复杂的匿名函数。在这一个函数里计算了 SUM 和 COUNT，后面 map 只需要做一下除法就是 AVG 了。不过这里还用不上上一次窗口的状态。真正需要上一次窗口状态的，是red ...继续阅读 (130)

前两篇，一篇说在 spark 里用 SQL 方便，一篇说 updatestateByKey 可以保留状态做推算。那么怎么综合起来呢？目前看到的 spark streaming 和 spark SQL 的示例全都是在 output 阶段的foreachRDD里才调用 SQL。实际在 output 之前，也是可以对 DStream 里的 RDD 做复杂的转换操作的，这就是transform方法。通过transform方法，可以做到 SQL 请求的结果依然是 DStream 数据，这样就可以使用updateStateByKey方法了。下面是示例：importorg.apache.spark.SparkConfimportorg.apache.spark.sql._importorg.apache.spark.sql.SQLContextimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._importorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.streaming.StreamingContext._objectLogStash{caseclassStatus(avg:Double=0.0,co ...继续阅读 (90)

前一篇学习演示了 spark streaming 的基础运用。下一步进入稍微难一点的，利用 checkpoint 来保留上一个窗口的状态，这样可以做到移动窗口的更新统计。首先还是先演示一下 spark 里传回调函数的用法，上一篇里用 DStream 处理模拟了SUM()，这个纯加法是最简单的了，那么如果AVG()怎么做呢？valr=logs.filter(l=>l.path.equals("/var/log/system.log")).filter(l=>l.lineno>70)r.map(l=>l.message->(l.lineno,1)).reduceByKey((a,b)=>{(a._1+b._1,a._2+b._2)}).map(t=>AlertMsg(t._1,t._2._2,t._2._1/t._2._2)).print()这段跟之前做 SUM 的那段的区别：DStream 处理成 PairDStream 的时候，Value 不是单纯的 1，而是一个 Seq[Double, Int]。避免了上一个示例里分开两个 DStream 然后再 join 起来的操作；给reduceByKey传了一个稍微复杂的匿名函数。在这一个函数里计算了 SUM 和 COUNT，后面 map 只需要做一下除法就是 AVG 了。不过这里还用不上上一次窗口 ...继续阅读 (152)

之前在博客上演示过如果在 spark 里读取 elasticsearch 中的数据。自然往下一步想，是不是可以把一些原先需要定期请求 elasticsearch 的监控内容挪到 spark 里完成？这次就是探讨一下 spark streaming 环境上如何快速统计各维度的数据。期望目标是，可以实现对流数据的异常模式过滤。平常只需要简单调整模式即可。spark 基础预备之前作为示例，都是直接在 spark-shell 交互式命令行里完成的。这次说说在正式的情况下怎么做。spark 是用 scala 写的，scala 的打包工具叫 sbt。首先通过sudo port install sbt安装好。然后创建目录：mkdir -p ./logstash/src/main/scala/sbt 打包的配置文件则放在./logstash/logstash.sbt位置。内容如下(注意之间的空行是必须的)：name:="LogStash Project"version:="1.0"scalaVersion:="2.10.4"libraryDependencies+="org.apache.spark"%%"spark-core"%"1.2.0"libraryDependencies+="org.apache.spark"%%"spark-streaming"%"1.2.0"libraryDepen ...继续阅读 (159)

之前在博客上演示过如果在 spark 里读取 elasticsearch 中的数据。自然往下一步想，是不是可以把一些原先需要定期请求 elasticsearch 的监控内容挪到 spark 里完成？这次就是探讨一下 spark streaming 环境上如何快速统计各维度的数据。期望目标是，可以实现对流数据的异常模式过滤。平常只需要简单调整模式即可。spark 基础预备之前作为示例，都是直接在 spark-shell 交互式命令行里完成的。这次说说在正式的情况下怎么做。spark 是用 scala 写的，scala 的打包工具叫 sbt。首先通过sudo port install sbt安装好。然后创建目录：mkdir -p ./logstash/src/main/scala/sbt 打包的配置文件则放在./logstash/logstash.sbt位置。内容如下(注意之间的空行是必须的)：name:="LogStash Project"version:="1.0"scalaVersion:="2.10.4"libraryDependencies+="org.apache.spark"%%"spark-core"%"1.2.0"libraryDependencies+="org.apache.spark"%%"spark-streaming"%"1.2.0"libraryDepen ...继续阅读 (124)

做一个日志手机系统，一般有两个思路。一个是提供一个多语言 SDK 包，然后开发者只需要找到对应的 SDK 加载即可；一个是采用最通用的日志传输协议，让开发者采用现成的协议实现。在通用协议里，最常见的，就是 syslog 协议。不过 syslog 过去采用 UDP 的印象太过深入人心，rsyslog 虽然宣称在测试用达到了每秒上百万的性能，也没多少人相信。那么，到底用 syslog 协议做跨网络传输，靠不靠谱？自己用压测，来证明一下！测试环境两台测试机。其中：A 配置为 imtcp/514，omfwd 到 B 的 514。module( load="imtcp" ) input( type="imtcp" port="514" ruleset="forwardruleset" ) Ruleset( name="forwardruleset" ) { action ( type="omfwd" Target="$b-server-ip" Port="514" Protocol="tcp" RebindInterval="5000" name="action_fwd" queue.filename="action_fwd" queue.size="500 ...继续阅读 (462)

做一个日志手机系统，一般有两个思路。一个是提供一个多语言 SDK 包，然后开发者只需要找到对应的 SDK 加载即可；一个是采用最通用的日志传输协议，让开发者采用现成的协议实现。在通用协议里，最常见的，就是 syslog 协议。不过 syslog 过去采用 UDP 的印象太过深入人心，rsyslog 虽然宣称在测试用达到了每秒上百万的性能，也没多少人相信。那么，到底用 syslog 协议做跨网络传输，靠不靠谱？自己用压测，来证明一下！测试环境两台测试机。其中：A 配置为 imtcp/514，omfwd 到 B 的 514。module( load="imtcp" ) input( type="imtcp" port="514" ruleset="forwardruleset" ) Ruleset( name="forwardruleset" ) { action ( type="omfwd" Target="$b-server-ip" Port="514" Protocol="tcp" RebindInterval="5000" name="action_fwd" queue.filename="action_fwd" queue.size="500 ...继续阅读 (154)

Elasticsearch 官方和社区提供了各种各样的客户端库，在之前的博客中，我陆陆续续提到和演示过 Perl 的，Javascript 的，Ruby 的。上周写了一版 Python 的，考虑到好像很难找到现成的示例，如何用 python 批量写数据进 Elasticsearch，今天一并贴上来。#!/usr/bin/env pypy#coding:utf-8importreimportsysimporttimeimportdatetimeimportloggingfromelasticsearchimportElasticsearchfromelasticsearchimporthelpersfromelasticsearchimportConnectionTimeoutes=Elasticsearch(['192.168.0.2','192.168.0.3'],sniff_on_start=True,sniff_on_connection_fail=True,max_retries=3,retry_on_timeout=True)logging.basicConfig()logging.getLogger('elasticsearch').setLevel(logging.WARN)logging.getLogger('urllib3').setLevel(logging.W ...继续阅读 (519)

Elasticsearch 官方和社区提供了各种各样的客户端库，在之前的博客中，我陆陆续续提到和演示过 Perl 的，Javascript 的，Ruby 的。上周写了一版 Python 的，考虑到好像很难找到现成的示例，如何用 python 批量写数据进 Elasticsearch，今天一并贴上来。#!/usr/bin/env pypy#coding:utf-8importreimportsysimporttimeimportdatetimeimportloggingfromelasticsearchimportElasticsearchfromelasticsearchimporthelpersfromelasticsearchimportConnectionTimeoutes=Elasticsearch(['192.168.0.2','192.168.0.3'],sniff_on_start=True,sniff_on_connection_fail=True,max_retries=3,retry_on_timeout=True)logging.basicConfig()logging.getLogger('elasticsearch').setLevel(logging.WARN)logging.getLogger('urllib3').setLevel(logging.W ...继续阅读 (109)

Logstash 早年有三种不同的插件写数据到 Elasticsearch 中，分别采用 node，http 和 river 方式。从 1.4 版本以后，在重构的 LogStash::Outputs::ElasticSearch 插件中，通过protocol参数，完成了对多种方式的整合。其中，node 和 transport 方式，都是调用 Java 库的 API，而 http 方式，则调用的 REST API。在 Elasticsearch 集群和 Logstash 集群不在一个网段的时候，一般都只能采用 REST API 写数据。而且根据测试情况，采用 http 方式的写入性能，也要稍微高过 node 方式，所以，我一直都推荐采用这种方式。不过随着系统的长期运行，却发现日志流转总是不太顺畅，实际写入 Elasticsearch 的数据慢慢的就会越来越少。因为 Logstash 本身内部并无缓存机制，所以比较难判断到底是哪步出了问题——甚至可能就是 Elasticsearch 在高负载情况下就写不动？和 childe 聊了一下携程采用 transport 方式运行的情况，发现他们的 Elasticsearch 集群没有出现过类似越写越少的情况。把 logstash 的配置改成写文件，也一直没有再出现堵塞消息队列的情况。问题就此锁定在 logstash 写数据的 http 过程中。 ...继续阅读 (222)

Logstash 早年有三种不同的插件写数据到 Elasticsearch 中，分别采用 node，http 和 river 方式。从 1.4 版本以后，在重构的 LogStash::Outputs::ElasticSearch 插件中，通过protocol参数，完成了对多种方式的整合。其中，node 和 transport 方式，都是调用 Java 库的 API，而 http 方式，则调用的 REST API。在 Elasticsearch 集群和 Logstash 集群不在一个网段的时候，一般都只能采用 REST API 写数据。而且根据测试情况，采用 http 方式的写入性能，也要稍微高过 node 方式，所以，我一直都推荐采用这种方式。不过随着系统的长期运行，却发现日志流转总是不太顺畅，实际写入 Elasticsearch 的数据慢慢的就会越来越少。因为 Logstash 本身内部并无缓存机制，所以比较难判断到底是哪步出了问题——甚至可能就是 Elasticsearch 在高负载情况下就写不动？和 childe 聊了一下携程采用 transport 方式运行的情况，发现他们的 Elasticsearch 集群没有出现过类似越写越少的情况。把 logstash 的配置改成写文件，也一直没有再出现堵塞消息队列的情况。问题就此锁定在 logstash 写数据的 http 过程中。 ...继续阅读 (253)

GeoIP 是一个非常有用的信息，也是使用 ELKstack 时一般都会加上的过滤器插件。不过 geoip 插件的性能，有些时候却会成为整个系统的瓶颈。另一个问题，则是 GeoIP 数据文件的准确度，在国内比较头疼。即使你有一个自己处理出来的准确度较高的 IP 库，GeoIP 也没有提供现成的修改数据文件内容的工具。这个时候，MaxMind 公司的 GeoIP2 就进入我的视线了。GeoIP2 在字段上比 GeoIP 更丰富。而且还提供了MaxMind::DB::Writer库方便使用者自己生成 GeoIP2 数据文件！感谢@纯白色燃烧童鞋用自己的 CPAN 库成功倒逼MaxMind 公司。据@纯白色燃烧 介绍，GeoIP2 比 GeoIP 有六到七倍的性能提升。不过他是在 C 平台下，使用 libmaxminddb 库做的测试，而 logstash 是 JRuby 平台，所以我们需要的是验证如何在 JRuby 上使用 GeoIP2，以及跟 GeoIP 的性能对比。在 JRuby 上用模块，有两种方式，一种是纯 Ruby 实现，一种是纯 Java 实现。MaxMind 提供了纯 Java 实现，社区另外有一个纯 Ruby 实现的库。下面开始测试。准备工作首先需要准备环境。安装 JRuby，纯 Ruby 实现的 maxminddb 库；然后下载 GeoIP2 数据文件，下载 Java ...继续阅读 (303)

GeoIP 是一个非常有用的信息，也是使用 ELKstack 时一般都会加上的过滤器插件。不过 geoip 插件的性能，有些时候却会成为整个系统的瓶颈。另一个问题，则是 GeoIP 数据文件的准确度，在国内比较头疼。即使你有一个自己处理出来的准确度较高的 IP 库，GeoIP 也没有提供现成的修改数据文件内容的工具。这个时候，MaxMind 公司的 GeoIP2 就进入我的视线了。GeoIP2 在字段上比 GeoIP 更丰富。而且还提供了MaxMind::DB::Writer库方便使用者自己生成 GeoIP2 数据文件！感谢@纯白色燃烧童鞋用自己的 CPAN 库成功倒逼MaxMind 公司。据@纯白色燃烧 介绍，GeoIP2 比 GeoIP 有六到七倍的性能提升。不过他是在 C 平台下，使用 libmaxminddb 库做的测试，而 logstash 是 JRuby 平台，所以我们需要的是验证如何在 JRuby 上使用 GeoIP2，以及跟 GeoIP 的性能对比。在 JRuby 上用模块，有两种方式，一种是纯 Ruby 实现，一种是纯 Java 实现。MaxMind 提供了纯 Java 实现，社区另外有一个纯 Ruby 实现的库。下面开始测试。准备工作首先需要准备环境。安装 JRuby，纯 Ruby 实现的 maxminddb 库；然后下载 GeoIP2 数据文件，下载 Java ...继续阅读 (201)

zabbix 是目前非常流行的一个开源监控系统。虽然核心代码是 C 的，却通过 PHP 的 web 端提供了非常方便的界面和 RPC 接口。可以看到很多讲如何通过 RPC 接口自动化 zabbix 操作的文章。不过，如果你想做的事情正好没有现成的接口或者界面，怎么办呢？这时候就感谢 zabbix 的后端是用的 MySQL 数据库了，这意味着我们可以很方便的扩展 Zabbix 页面和接口的功能。打个比方：我们一般都会按照 hostgroup 给某个 item 做一个 summary 汇总，然后针对 summary 的值来做报警。但是收到报警的时候，怎么能快速的知道这个 group 里是哪些 host 情况相对更严重呢？zabbix 页面和接口，都没有提供这种信息查看方式。所以，我们需要自动动手，实现这个功能。@南非蜘蛛的zatree 项目，解决了跟这个类似的问题。它的着手点是：针对 hostgroup 查看 graph，通过 graph 完成肉眼查看对比和 item 值的排序。但是，单个 graph 上可能就需要加载很多 item 信息。在 hostgroup 较大，或者单 host 监控项较多的情况下，zatree 直接就因为获取过多信息得不到 MySQL 响应变得无法正常访问了。我的思路是：获取 hostgroup 列表供选择；根据选择的 hostgroup 获取 item 列表 ...继续阅读 (238)

zabbix 是目前非常流行的一个开源监控系统。虽然核心代码是 C 的，却通过 PHP 的 web 端提供了非常方便的界面和 RPC 接口。可以看到很多讲如何通过 RPC 接口自动化 zabbix 操作的文章。不过，如果你想做的事情正好没有现成的接口或者界面，怎么办呢？这时候就感谢 zabbix 的后端是用的 MySQL 数据库了，这意味着我们可以很方便的扩展 Zabbix 页面和接口的功能。打个比方：我们一般都会按照 hostgroup 给某个 item 做一个 summary 汇总，然后针对 summary 的值来做报警。但是收到报警的时候，怎么能快速的知道这个 group 里是哪些 host 情况相对更严重呢？zabbix 页面和接口，都没有提供这种信息查看方式。所以，我们需要自动动手，实现这个功能。@南非蜘蛛的zatree 项目，解决了跟这个类似的问题。它的着手点是：针对 hostgroup 查看 graph，通过 graph 完成肉眼查看对比和 item 值的排序。但是，单个 graph 上可能就需要加载很多 item 信息。在 hostgroup 较大，或者单 host 监控项较多的情况下，zatree 直接就因为获取过多信息得不到 MySQL 响应变得无法正常访问了。我的思路是：获取 hostgroup 列表供选择；根据选择的 hostgroup 获取 item 列表 ...继续阅读 (113)

Kibana4 中确实有不少让人眼前一亮的新特性，但是整体框架和使用思路上的重构实在让人较难上手。所以，把一些有需要的特性，port 回目前更稳定的 Kibana3 就有必要了。好在去年在自己 fork 中已经做了很多铺垫，包括一些基础库的版本更新。这些特性基本都只需要几行代码的变动就可以实现。从上次写博客介绍的 uniq histogram 去重统计功能后，这段时间又添加了两个功能。table 的数据导出kibana3 已经带有filesaver.js，所以加一个exportAsCsv函数即可。要点在于怎么给 table panel 右上角那排小按钮加上一个新图标。我之前说过，kibana3 代码划分的很细致，每个 panel 都固定只需要提供 editor.html，module.html，module.js 三个文件即可。panel 本身的框架，是不用关心的。因为这部分代码，在app/directives/kibanaPanel.js中。这次我们想修改 panel 外围的样式，就需要来看这个的代码了。最关键的部分在这里：''+'+'bs-tooltip="task.description" ng-class="task.icon" class="pointer">'+''+也就是说，它会读取你在 module.js 里定义的$scope.panelMeta.modals数组， ...继续阅读 (153)

Kibana4 中确实有不少让人眼前一亮的新特性，但是整体框架和使用思路上的重构实在让人较难上手。所以，把一些有需要的特性，port 回目前更稳定的 Kibana3 就有必要了。好在去年在自己 fork 中已经做了很多铺垫，包括一些基础库的版本更新。这些特性基本都只需要几行代码的变动就可以实现。从上次写博客介绍的 uniq histogram 去重统计功能后，这段时间又添加了两个功能。table 的数据导出kibana3 已经带有filesaver.js，所以加一个exportAsCsv函数即可。要点在于怎么给 table panel 右上角那排小按钮加上一个新图标。我之前说过，kibana3 代码划分的很细致，每个 panel 都固定只需要提供 editor.html，module.html，module.js 三个文件即可。panel 本身的框架，是不用关心的。因为这部分代码，在app/directives/kibanaPanel.js中。这次我们想修改 panel 外围的样式，就需要来看这个的代码了。最关键的部分在这里：'<span ng-repeat="task in panelMeta.modals" class="row-button extra" ng-show="task.show">'+'<span bs-modal="task.partial" ...继续阅读 (120)

又到一年底，总结个人业绩和得失的时候了。于我个人而言，2014 年真是精彩纷呈。说说写作首先，4 月份我写的《网站运维技术与实践》面市。开卖之前，有好心的朋友叮嘱说，万一碰到在网店评论区捣乱的，千万不要理会。不过半年多过去，似乎最差的评论也只是说章节名字取得太烂。这点真心承认，尤其是第一章，各小节标题直接就是各种 linux 命令，偏巧一般网上目录介绍默认就只显示最前面一点而不是展开全部目录的，第一眼看过去就好像本书是一本命令大全！第一次写书，留下几个遗憾。第一，忘了写致谢！第二，章节的安排次序在我心中其实是有一个完整的先后逻辑的，然而我竟然忘记在前言中讲明。直到半年后有人问及为什么没有说说一个产品交付运维的完整流程应该如何，我回答说：看书目录的次序就是了。好在销量据说尚可，这应该让我有机会在第二版中弥补。为此书写的《西江月》最后是印在了封底内页，或许第二版，我给每章写一句诗做副标题？其次，跟刘宇、长元、春生一起翻译的《Puppet Cookbook》应该也快面市了。一本 200 页的小书，编辑也忍耐我们这么多人来打酱油，呼呼~ Puppet 本身是一个到处都有新矿可挖的生态圈。曾经有同事看过刘宇的《Puppet 实战》和我的《网站运维技术与实践》Puppet 章节后说：你写的 puppet 跟刘宇的完全不一样的技术点，完全可以叫《Another Puppet 实战》。那么，现在大 ...继续阅读 (115)