老习惯，一年年底给自己做一个总结。写作今年博客写得越发的少了，只有十一篇。其中还有两篇是思辨类的文字，只有九篇是技术笔记。但是这么写并不代表我在检讨自己，因为这是我工作八年来第一次转变自己的角色，不再是一个单纯的运维，或者架构师，而是『日志易』的产品经理。甚至放大一点说，作为目前国内最领先的『日志分析工具』的唯一的产品经理，思考 IT 人员到底需要的是什么样的东西，才是我最需要做的事情。这两篇思考，一篇是日志分析中 6 个常见但没啥用的功能，一篇是机器战胜人类了，伺候机器的运维呢？。看起来我是个很喜欢唱反调的 PM 呢……所以年终总结上必须给我可能还剩下的博客读者们证明一下自己，请一定阅读下面这篇演讲稿：海量数据驱动的智能运维。这篇演讲是为了 velocity 大会创作的。今年外出演讲依然不少，但是大多是企业内训或者行业会议，公开的技术大会最终只参加了这场，而且又接近年尾，可以说整篇演讲算是集个人全年思考之大成：运维和机器之间要什么样的交互方式？运维的知识库如何自然而然的积累和继承？机器学习到底能怎么用到运维上？复杂环境下日志标准应该怎么定？不过这次演讲实际上并没有受到很大的欢迎，在后来联系 DBAplus 社群想在推一波的时候还被拒了，理由是太水了没干货。联想一下 2015 年曾经广受欢迎的那些演讲，我总结一下什么是大众希望的干货呢：我们现在跑了 100 台的集群，10 TB 的 ...继续阅读 (138)

日志分析是 IT 运维领域非常重要的一部分工作。甚至可以说，在平台化、模块化、服务化盛行的今天，这部分工作的重要性已经逼近传统的设备监控。不过日志由于来源、使用者、管理者都比设备指标要复杂，导致日志分析的功能需求，也庞大很多。在这些庞大的，或者说『泥沙俱下』的功能需求中，有那么一些然并卵的，或许因为听起来很炫酷，或许因为想延续过去的使用习惯，今天因为出差到外地，难得有空放松下，决定吐槽几个这种然并卵的功能。realtime alert排在第一位的就是所谓的『实时告警』。做一个告警系统，其实可以分成两类不同的目的：出现了问题要修复，快要出问题得避免。那么分开说：如果是要喊人来修复的，假设你的告警内容已经细化到完全不用再排查问题，从告警发出来，到你登录到服务器解决问题，至少也需要数分钟级别 —— 根据墨菲定律，这时候你很可能在睡觉在吃饭在坐车在团建，那么十分钟已经是你行动迅速了。那么告警是第 0.1 秒发出来的，跟是第 10 秒发出来的，有什么区别？而把告警从间隔 10 秒压缩到 1 秒内的实时，需要花费的架构调整和成本上升，可不是一点半点……（你说一个关键字实时过滤没啥成本？那你需要先加强一下告警系统的追踪、扩展、抑制等功能呢，告警没那么简单）如果是要提前避免的，一般你的基础架构已经进化的不错了，才会想要通过告警的触发动作来自动化修改你的流量、资源和任务调度编排。这种需求其实更多归入 ...继续阅读 (120)

rally 工具是 Elastic 官方开源的针对性性能压测工具。目前 Elasticsearch 的 nightly performance report 就是由 rally 产生的。对自己在做 ES 源码修改，或者ES 应用调优的人来说，通过 rally 验证自己的修改效果，是一件很需要且容易的事情。rally 依赖 python3.4+，所以为了试用直接在自己电脑上安装比较快。直接pip3 install esrally即可。电脑上没有 gradle 的无法从最新 master 代码编译(Macbook 上即使通过 dmg 安装的 gradle 也识别不到)。只能下 binary 包。所以运行方式为：/opt/local/Library/Frameworks/Python.framework/Versions/3.5/bin/esrally --pipeline=from-distribution --distribution-version=1.7.3默认情况下压测采用的数据集叫 geonames，是一个 2.8GB 大的 JSON 数据。ES 也提供了一系列其他类型的压测数据集。如果要切换数据集采用--track参数：/opt/local/Library/Frameworks/Python.framework/Versions/3.5/bin/esrally --pipe ...继续阅读 (174)

在上一篇文章的基础上，其实 Elasticsearch 从 2.0 以后，还新增了另一种聚合方式，叫 sampler。这个聚合的作用，是在每个分片上，只采样部分文档出来继续后续统计。比如把上一篇的查询改成这样：#!/bin/bashcurl -XPOST'localhost:9200/logstash-2016.07.18/logs/_search?pretty&terminate_after=10000&size=0'-d' { "aggs": { "group": { "terms": { "field": "result.punct" }, "aggs": { "sample": { "sampler": { "shard_size": 200 }, "aggs": { "keyword": { "significant_terms ...继续阅读 (166)

之前我曾经讲过一个简单的在 ELK 中山寨 Splunk 的『显示来源』功能的办法。这次我们玩个更有难度的、当然依然只是山寨式功能的新东西：『事件模式』功能。Splunk 6.2 推出的这个功能，会基于当前搜索语句的结果集做模式探测，根据精度调整，做成不同数量的聚类。然后给每个聚类分组内，提取出一个关键词（个别情况下也有零个或多个的）。也就是通过机器学习的手段，探测你的日志可能有什么模式，其最具识别性的关键内容是什么。这个页面如果用 SPL 表示，就是：index=_internal | cluster t=0.8 lableonly=true | findkeywords labelfield=cluster_label | sort - percentInputGroup我们目前当然在 ES 里是没法做聚类分析什么的了。不过在日志场景下，也不是没有近似的办法。第一步：完成山寨版的日志模式分组其实如何山寨模式分组，Splunk 也有类似 SPL 命令做出了示范。这个命令叫typelearner。这个命令的大致意思是：把日志里的英文单词、数字、空格等字符都隐藏掉，剩下各种标点符号，就代表一种日志类型。简单的处理方式就是：cat samplelog.cisco.asa |sed's/[0-9a-zA-Z]*//g'| sed's/[[:space:]]/_/g'然后将这个纯标点符号的 ...继续阅读 (155)

Kibana 4.x 在服务器端采用了 hapi.js 框架开发。虽然目前依然没有认证和授权的插件出来（官方 Kibana 的 shield 插件应该只是做了一个认证，授权部分是由 ES 本身的 shield 插件完成的）。不过既然叫框架嘛，自然就是有不少扩展可用。本文简要介绍一下 hapi.js 框架的认证授权插件的用法。有兴趣的读者可以自己稍微改造一下，就能让 Kibana 也有认证授权功能了。首先准备一下环境：mkdir hapi-auth-simple cd hapi-auth-simple npm init npm install --save bcrypt npm install --save hapi npm install --save hapi-rbac npm install --save hapi-auth-cookie你就会发现目录底下多出来一个node_modules/目录和package.json配置定义文件。定义如下：{"name":"hapi-auth-test","version":"1.0.0","description":"","main":"index.js","scripts":{"test":"echo \"Error: no test specified\" && exit 1"},"author":"","licens ...继续阅读 (130)

我们在使用 ELK 的时候，使用 Lucene querystring 语法的机会，远超过使用 Elasticsearch 的 query DSL。毕竟在搜索框里写语法比自己拼 JSON 简单多了。不过一般我们用的 querystring 语法总是最简单的几样：text key:value key:"term" k1:v1 AND NOT k2:v280% 的情况下，这几个用法也就足够了。但总有剩下的 20% 的情况，还是需要我们来了解一些更复杂的语法。举一个还算通用的场景：我们在 ELK 里索引了访问日志。这时候需要查一下以/api/login开头的 URL 们的情况。我们没法确定 URL 里是不是只有/api/login一种可能。没准可能还有/api/oauth/login呢？没准可能还有login/weibo/api呢？一般来说，日志进 ELK 都是采用标准分词器的。而很巧，/就是标准分词器的停止词之一。所以，我们在搜索框里写api/login等效于api login。那么太多可能都可以命中了。这个时候，Lucene 查询语法里的距离查询(proximity query)就可以帮忙了：url:"api login"看起来很简单，无非是给加了一对双引号？！没错，加引号以后，意味着这个短语查询必须是有序的，即只能命中先出现api，再出现login的文本了。这下就把login/we ...继续阅读 (159)

我们都很习惯在压测 nginx 等服务的时候，利用 systemtap 完成 flamegraph 火焰图来看具体哪个函数占用 CPU 资源过多了。那么，对 Java 实现的 elasticsearch，有没有类似办法呢？JDK 自带有 jstack 命令，可以获取相关信息，其实只要一个可视化的过程就行了。而社区也有人早已做好。下面就是 nodejs 的 javaflamegraph 库的安装使用过程：wget https://nodejs.org/download/release/v5.10.0/node-v5.10.0-linux-x64.tar.gz --no-check-certificate tar zxvf node-v5.10.0-linux-x64.tar.gz cd node-v5.10.0-linux-x64 ./bin/npm install javaflamegraph ../../bin/npm run start `ps aux|grep elasticsearc[h]|awk '{print $2}'`确保 jstack 命令可用(flame-gen.sh 里是直接调用的，注意 PATH)，确保当前目录可写。等待几十秒后，中止进程。用浏览器打开当前目录下的 flame.html。可以看到如下效果：鼠标大概在上面移动一下，可以看到大概 segment m ...继续阅读 (242)

2016 年 3 月最火爆的新闻，莫过于谷歌的 alphago 机器 4:1 大胜李世乭了。一时间各界议论纷纷，我的前同事，运维界非著名段子手@orroz在自己微博上写了两段话：『跟其他运维工程师觉得这个职业将消失不同。我是对运维职业是持极端乐观态度的，也许运维职业将是人类最后一个职业。很可能祂们在能自理之前还需要我们伺候。。。也说不定，某几个运维工程师因为某种不知道的原因还会被祂们当宠物留下来，成为人类的最后的延续。』『我终于明白这个图片的寓意了，它其实预示了人类的未来命运。』看完一笑~但是笑完以后，回头想想，运维和围棋手，其实还真是有相像的地方：传统说法中，与研发相比，运维总被认为是『更靠经验的』；一如我们说『人类棋手的经验和大局观』。我们知道，运维的『操作』，已经是可替代的了，IaaS、PaaS、运维自动化，诸多概念的落地，环境部署、软件安装不再是运维的主要工作职责。运维的职位名称，从系统管理员到运维工程师到产品工程师到站点可靠性工程师，一步步远离了基础设备层面。那，有没有可能，运维的『经验』，也是可以被机器替代掉的呢？运维经验我们先看看运维的经验到底是什么？一个 4 核 CPU 的服务器，loadavg 跑到 10+，我们就会说：负载过高了。应对办法最简单的就是『加机器』。一个 web 服务，每秒请求超过 1000，响应变慢了，我们就会说：还在用 apache 啊，快换 n ...继续阅读 (151)

上篇介绍了一下怎么用 juttle 交互式命令行查看表格式输出。juttle 事实上还提供了一个 web 服务器，做数据可视化效果，这个同样是用 juttle 语言描述配置。我们已经在上一篇安装好了juttle-engine模块，那么直接启动服务器即可：~$ juttle-engine -d然后浏览器打开http://localhost:8080就能看到页面了。注意，请使用 Chrome v45 以上版本或者 Safari 等其他浏览器，否则有个 Array 上的 bug。但是目前这个页面上本身不提供输入框直接写 juttle 语言。所以需要我们把 juttle 语言写成脚本文件，再来通过页面加载。~$ cat > ~/test.juttle <<EOF read elastic -index 'logstash-*' -from :-2d: -to :now: 'MacBook-Pro' | reduce -every :1h: count() by 'path.raw' | ( view timechart -row 0 -col 0;; view table -height 200 -row 1 -col 0; view piechart -row 1 -col 0; ); ( read elastic ...继续阅读 (193)

juttle 是一个 nodejs 项目，专注于数据处理和可视化。它自定义了一套自己的 DSL，提供交互式命令行、程序运行、界面访问三种运行方式。在 juttle 的 DSL 中，可以用|管道符串联下列指令实现数据处理：通过 read 指令读取来自 http、file、elasticsearch、graphite、influxdb、opentsdb、mysql 等数据源，通过 filter 指令及自定义的 JavaScript 函数做数据过滤，通过 reduce 指令做数据聚合，通过 join 指令做数据关联，通过 write 指令做数据转储，通过 view 指令做数据可视化。更关键的，可以用()并联同一层级的多条指令进行处理。看起来非常有意思的项目，赶紧试试吧。安装部署既然说了这是一个 nodejs 项目，自然是通过 npm 安装了：sudo npm install -g juttle sudo npm install -g juttle-engine注意，如果是在 MacBook 上安装的话，一定要先通过 AppStore 安装好 Xcode 并确认完 license。npm 安装依赖的 sqlite3 的时候没有 xcode 会僵死在那。juttle 包提供了命令行交互，juttle-engine 包提供了网页访问的服务器。juttle 的配置文件默认读取位置是$HOME/. ...继续阅读 (167)

我在 ELK Stack 中文指南的visualize 解析一节介绍了如何给 Kibana4 开发浏览器端的可视化插件。Kibana4 跟 Kibana3 比，最大的一个变化是有了独立的 node.js 服务器端。那么同样的，也就有了服务器端的 Kibana4 插件。最明显的一个场景：我们可以在 node.js 里跑定时器做 Elasticsearch 的告警逻辑了！本文示例一个最基础的 Kibana4 告警插件开发。只演示基础的定时器和 Kibana4 插件规范，实际运用中，肯定还涉及历史记录，告警项配置更新等。请读者不要直接 copy-paste。首先，我们尽量沿袭 Elastic 官方的 watcher 产品的告警配置设计。也新建一个索引，里面是具体的配置内容：#curl-XPUThttp://127.0.0.1:9200/watcher/watch/error_status-d'{"trigger":{"schedule":{"interval":"60"}},"input":{"search":{"request":{"indices":["<logstash-{now/d}>","<logstash-{now/d-1d}>"],"body":{"query":{"filtered":{"query":{"match":{"host":"MacBo ...继续阅读 (453)

又一年过去了。2015 年在博客上发表文章的时间大幅度减少，全年只写了 23 篇博客，其实还有一小半是翻译。但是个人总结还是要写的，写在博客上，因为别的平台肯定不适合发这个……写作整个 2015 年，所有的时间都用在了日志分析领域。博客上 23 篇都是 ELK、Rsyslog、Spark 相关话题。而且把去年动手写的 gitbook 正式整理完善，在机械工业出版社出版了。取名依然是个人弱项，最后咬咬牙，就叫《ELK Stack权威指南》吧。写书是件严肃的事情，换一家出版社，体验更深。在书稿完成，即将上架的时候，因为书名上这几个英文字母大小写、带不带空格的问题，编辑和我花了两天时间，收集各式资料，意图确认一个最官方最权威的拼写用法。其实 Elastic.co 官方可能并不是特别在意这个问题。因为最终我在官网上发现了两种写法，在官推上，发现了四种写法……甚至最近的官方文档，又有直接叫 Elastic Stack 的，估计是准备强化公司品牌。不过在亚马逊上，看见一个新书预告，一位欧洲同好预备明年 2 月出版一本《ELK Stack Cookbook》。所以，最后我决定都统一为”ELK Stack”。为了赶上 ESCC 北京站之前出版，书在十月底上架，不太巧的立马就碰上京东十一月两次搞活动，新书总是会被缺货的，于是有热心的朋友来问我，就只好都劝他们去互动出版网上购买 ...继续阅读 (176)

mmnormalize 是 Rsyslog 内置的一种数据解析的方案，甚至有自己的官网：http://www.liblognorm.com可以阅读相关用法细节。它既不像 Rsyslog 的 rainerscript 那样采用 ERE 类型的简单正则，也不像 Logstash的 Grok 那样采用 PCRE 类型的复杂正则(一度通过添加 regex parser 引入过 PCRE，后来又删了)，而是自己设计了一套方式，其最核心的匹配语法就是%char-to:这种“向后匹配直到＊为止”。下面是一段解析 nginx 访问日志的 mmnormalize 配置，相信大家第一眼看上去都会晕：rule=:"%client_ip:char-to:"%" %tcp_peer_ip:ipv4% - [%req_time:char-to:]%] "%verb:word% %url:word% %protocol:char-to:"%" %status:interpret:int:number% %latency:interpret:float:word% %bytes_sent:interpret:int:number% "%referrer:char-to:"%" "%user_agent:char-to:"%" %upstream_addrs:tokenized:, :tokenized: \x3a ...继续阅读 (137)

SIREn 是一个基于 Lucene 做的，专门针对 nested object 数据做优化的方案。其官网地址：http://siren.solutions。SIREn 自己并不提供完整的软件，而是以 Solr 或者 Elasticsearch 插件的形式存在。在 SIREn 官网首页写着，自己是 trush schemaless，high performance nested query。而我之前已经写博客说过，Elasticsearch 的 schemaless 是有限制的，同一个 index 下，field 的 mapping 是必须唯一一致的。否则，或者写入失败，或者搜索异常。那么我们来试一下这个 SIREn 看看。首先是下载运行：# wget http://siren.solutions/download/siren-elasticsearch-1.4-bin.zip# unzip siren-elasticsearch-1.4-bin.zip# cd siren-elasticsearch-1.4-bin# ./example/bin/elasticsearch然后我们尝试写入几条 mapping 有冲突的数据：# curl -XDELETE "http://localhost:9200/napr"# curl -XPOST "http:/ ...继续阅读 (173)

SIREn 是一个基于 Lucene 做的，专门针对 nested object 数据做优化的方案。其官网地址：http://siren.solutions。SIREn 自己并不提供完整的软件，而是以 Solr 或者 Elasticsearch 插件的形式存在。在 SIREn 官网首页写着，自己是 trush schemaless，high performance nested query。而我之前已经写博客说过，Elasticsearch 的 schemaless 是有限制的，同一个 index 下，field 的 mapping 是必须唯一一致的。否则，或者写入失败，或者搜索异常。那么我们来试一下这个 SIREn 看看。首先是下载运行：# wget http://siren.solutions/download/siren-elasticsearch-1.4-bin.zip# unzip siren-elasticsearch-1.4-bin.zip# cd siren-elasticsearch-1.4-bin# ./example/bin/elasticsearch然后我们尝试写入几条 mapping 有冲突的数据：# curl -XDELETE "http://localhost:9200/napr"# curl -XPOST "http://localhost:9200 ...继续阅读 (129)

2015 年 10 月 25 日，ESCC 2015 上海站召开，感谢携程的大力支持，让我得以参与，参会笔记如下：上海站的分享，和北京站集中在 ELK 经验分享不太一样，各个方面、层面都有涉及。上午，分别是 ES 2.0 介绍和 Logstash 2.0 介绍。都是 ES 原厂工程师的英文演讲，以个人的感觉，口音听起来还是蛮舒服能听懂的。ES 2.0 的主要特性和更新其实在官方博客上陆陆续续大多是提过了的。不过在 mapping 冲突的示例上，我觉得这次演讲选择的更好：举例的是相同 type，不同 analyzer 的冲突，比官博上不同 type 的来说，更明确，不会让人误以为只要 type 一致就算 mapping 一致了。演讲后尝试问了两个问题，一个是想到曾经看到一个issue，里面提到可以对不再写入数据的索引关掉 IndexWriter 节省资源，所以询问这个事情有没有进展，imotov 回答说他不记得具体有这个 issue，但是在较高的 Lucene 版本中这个 IndexWriter 占用的资源是跟实际有没有写入操作相关的，所以从 ES 1.5 版以后，应该这个 IndexWriter 开着不会是什么问题。我回来翻了一下 issue，原来这个已经 close 了，官方是有选择的解决这个问题，对应的是synced flush，在这里解释了不搞一个 read only mod ...继续阅读 (160)

2015 年 10 月 25 日，ESCC 2015 上海站召开，感谢携程的大力支持，让我得以参与，参会笔记如下：上海站的分享，和北京站集中在 ELK 经验分享不太一样，各个方面、层面都有涉及。上午，分别是 ES 2.0 介绍和 Logstash 2.0 介绍。都是 ES 原厂工程师的英文演讲，以个人的感觉，口音听起来还是蛮舒服能听懂的。ES 2.0 的主要特性和更新其实在官方博客上陆陆续续大多是提过了的。不过在 mapping 冲突的示例上，我觉得这次演讲选择的更好：举例的是相同 type，不同 analyzer 的冲突，比官博上不同 type 的来说，更明确，不会让人误以为只要 type 一致就算 mapping 一致了。演讲后尝试问了两个问题，一个是想到曾经看到一个issue，里面提到可以对不再写入数据的索引关掉 IndexWriter 节省资源，所以询问这个事情有没有进展，imotov 回答说他不记得具体有这个 issue，但是在较高的 Lucene 版本中这个 IndexWriter 占用的资源是跟实际有没有写入操作相关的，所以从 ES 1.5 版以后，应该这个 IndexWriter 开着不会是什么问题。我回来翻了一下 issue，原来这个已经 close 了，官方是有选择的解决这个问题，对应的是synced flush，在这里解释了不搞一个 read only mod ...继续阅读 (143)

10 月 17 号举办了第四届 ESCC(ElasticSearch China Conference) 北京站。作为个人习惯，稍作记录。今年场地换到了中科院软件所。之前曾经参加过一次 openstack 的活动，也是在这个场地，不过这次居然还提供了午餐，软件所对开源社区的支持真的是蛮积极的。会前在 QQ 群里就看到，甚至有从成都上海赶过来的同好(他们开始不知道自己城市稍后也会有)。清早起来，和去年 ESCC 一样又是一个雾霾天……和去年相比，今年的签到处显得正式多了：有签名墙，有易拉宝和传单，还有各色小贴纸派送~尤其是 Found.io 的，原先只见过小狗造型，这次见到三四种，漂亮死了~按 medcl 所说，这批小礼品是 elastic.co 公司花了上千元快递费从国外特意送过来的！同样特意送来的还有 ES 作者 Shay 录制的对 ESCC 的祝福视频。Shay 特意讲到了他在发布 ES 时收到的第一个评论，对方用 ES 来支持对抗流行疾病的斗争，这是一种极大的激励。我想：如果上帝为了遏制人类而发明这么多语言，那么开源运动就是新时代人类的通天塔吧！会议另一个巧合是，两位讲师，凌霄和刘波涛，穿了同款 T shirt，都是一只麋鹿头像的文化衫。虽然麋鹿图标在 ELK 正式产品上没出现多久，但是 ELK 麋鹿形象看来还是深入人心了~和去年 ESCC 相比，今年的分享主题有很大不同。去 ...继续阅读 (211)

10 月 17 号举办了第四届 ESCC(ElasticSearch China Conference) 北京站。作为个人习惯，稍作记录。今年场地换到了中科院软件所。之前曾经参加过一次 openstack 的活动，也是在这个场地，不过这次居然还提供了午餐，软件所对开源社区的支持真的是蛮积极的。会前在 QQ 群里就看到，甚至有从成都上海赶过来的同好(他们开始不知道自己城市稍后也会有)。清早起来，和去年 ESCC 一样又是一个雾霾天……和去年相比，今年的签到处显得正式多了：有签名墙，有易拉宝和传单，还有各色小贴纸派送~尤其是 Found.io 的，原先只见过小狗造型，这次见到三四种，漂亮死了~按 medcl 所说，这批小礼品是 elastic.co 公司花了上千元快递费从国外特意送过来的！同样特意送来的还有 ES 作者 Shay 录制的对 ESCC 的祝福视频。Shay 特意讲到了他在发布 ES 时收到的第一个评论，对方用 ES 来支持对抗流行疾病的斗争，这是一种极大的激励。我想：如果上帝为了遏制人类而发明这么多语言，那么开源运动就是新时代人类的通天塔吧！会议另一个巧合是，两位讲师，凌霄和刘波涛，穿了同款 T shirt，都是一只麋鹿头像的文化衫。虽然麋鹿图标在 ELK 正式产品上没出现多久，但是 ELK 麋鹿形象看来还是深入人心了~和去年 ESCC 相比，今年的分享主题有很大不同。去 ...继续阅读 (159)

Rsyslog 从 v6 以后，实现了全新的 rainerscript 语法，数据处理灵活度大大提高。我最近一直在把 logstash 的解析配置迁移到 rsyslog 中完成。结果今天碰到一个非常好玩的地方。由此也说明了，一切 DSL，都不要想当然的觉得它会有跟编程语言完全一样的行为。事情是这样的：一段 JSON 日志，在 rsyslog 中经过下面一段逻辑：set$!datetime=exec_template("get_now_time");if($!msg!date)then{reset$!datetime=replace($!msg!date," ","T")&"+0800";}if($!msg!video_time_duration)then{set$!msg!video_duration_num=0;set$!msg!video_duration_timesum=0;set$!msg!video_first_duration=cnum($!msg!video_time_duration[0]!duration);foreach($.itemin$!msg!video_time_duration)do{if($.item!type=="1")then{reset$ ...继续阅读 (213)

Rsyslog 从 v6 以后，实现了全新的 rainerscript 语法，数据处理灵活度大大提高。我最近一直在把 logstash 的解析配置迁移到 rsyslog 中完成。结果今天碰到一个非常好玩的地方。由此也说明了，一切 DSL，都不要想当然的觉得它会有跟编程语言完全一样的行为。事情是这样的：一段 JSON 日志，在 rsyslog 中经过下面一段逻辑：set$!datetime=exec_template("get_now_time");if($!msg!date)then{reset$!datetime=replace($!msg!date," ","T")&"+0800";}if($!msg!video_time_duration)then{set$!msg!video_duration_num=0;set$!msg!video_duration_timesum=0;set$!msg!video_first_duration=cnum($!msg!video_time_duration[0]!duration);foreach($.itemin$!msg!video_time_duration)do{if($.item!type=="1")then{reset$!msg!video_duration_num=$!msg!video_duration_num+1 ...继续阅读 (127)

原文地址：http://www.elasticsearch.org/blog/kibana-custom-field-formattersKibana 4.1 引入了一个新特性叫字段展示格式(field formatters)，让我们可以实时转换字段内容成更形象的样式。这个特性帮助我们不修改数据的存储方式，而用另一种方式显示它。有关 field formatters 的介绍，可以阅读之前一篇博客。本文的目的，则是带大家过一遍 field formatters 的开发流程。从 field formatter 接口开始，自己实现一个基础的 formatter，可以字段给 error 单词加高亮效果，最后完成整个解决方案。起步Kibana 开发环境的搭建介绍可以在Kibana repository看到。从 Kibana 根目录触发，field formatters 相关代码存在/src/ui/public/stringify目录下。目录结构如下所示：/stringify |–type //包括各种 formatter |–icons |–editors //formatter 用来请求和显示附加信息的 HTML 页面 |–tests|–register.js //每个 formatter 都要在这里面注册Kibana ...继续阅读 (478)

原文地址：http://www.elasticsearch.org/blog/kibana-custom-field-formattersKibana 4.1 引入了一个新特性叫字段展示格式(field formatters)，让我们可以实时转换字段内容成更形象的样式。这个特性帮助我们不修改数据的存储方式，而用另一种方式显示它。有关 field formatters 的介绍，可以阅读之前一篇博客。本文的目的，则是带大家过一遍 field formatters 的开发流程。从 field formatter 接口开始，自己实现一个基础的 formatter，可以字段给 error 单词加高亮效果，最后完成整个解决方案。起步Kibana 开发环境的搭建介绍可以在Kibana repository看到。从 Kibana 根目录触发，field formatters 相关代码存在/src/ui/public/stringify目录下。目录结构如下所示：/stringify|–type //包括各种 formatter|–icons|–editors //formatter 用来请求和显示附加信息的 HTML 页面|–tests|–register.js //每个 formatter 都要在这里面注册Kibana 4.1 里，f ...继续阅读 (189)

这个标题肯定绕晕很多人吧。具体说明一下场景就明白了：Nginx 和 Apache 的访问日志，因为都属于网站访问，所以写入到同一个索引的不同类型下，比方logstash-accesslog-2015.04.03/nginx和logstash-accesslog-2015.04.03/apache。既然都是访问日志，肯定很多字段的内容含义是雷同的，比如 clientip, domain, urlpath 等等。其中 nginx 有一个变量叫$request_time，apache 有一个变量叫%T，乍看上去也是同义的，我就统一命名为 “requestTime” 了。这就是”同一索引(logstash-accesslog-YYYY.MM.DD)下不同类型(nginx,apache)的同名字段(requestTime)”。但事实上，这里有个问题：nginx 中的以秒为单位，是把毫秒算作小数；apache 中的以秒为单位，是真的只记秒钟整数位！所以，这两个类型生成的映射在这个字段上是不一致的。nginx 类型的 requestTime 是double，apache 类型的 requestTime 是long。不过平常看起来似乎也没什么影响，写入数据都照常，查看数据的时候默认显示的 JSON 也各自无异。直到我准备用一把 scripted fi ...继续阅读 (328)

这个标题肯定绕晕很多人吧。具体说明一下场景就明白了：Nginx 和 Apache 的访问日志，因为都属于网站访问，所以写入到同一个索引的不同类型下，比方logstash-accesslog-2015.04.03/nginx和logstash-accesslog-2015.04.03/apache。既然都是访问日志，肯定很多字段的内容含义是雷同的，比如 clientip, domain, urlpath 等等。其中 nginx 有一个变量叫$request_time，apache 有一个变量叫%T，乍看上去也是同义的，我就统一命名为 “requestTime” 了。这就是”同一索引(logstash-accesslog-YYYY.MM.DD)下不同类型(nginx,apache)的同名字段(requestTime)”。但事实上，这里有个问题：nginx 中的以秒为单位，是把毫秒算作小数；apache 中的以秒为单位，是真的只记秒钟整数位！所以，这两个类型生成的映射在这个字段上是不一致的。nginx 类型的 requestTime 是double，apache 类型的 requestTime 是long。不过平常看起来似乎也没什么影响，写入数据都照常，查看数据的时候默认显示的 JSON 也各自无异。直到我准备用一把 scripted fi ...继续阅读 (146)

juttle 是一个 nodejs 项目，专注于数据处理和可视化。它自定义了一套自己的 DSL，提供交互式命令行、程序运行、界面访问三种运行方式。在 juttle 的 DSL 中，可以用|管道符串联下列指令实现数据处理：通过 read 指令读取来自 http、file、elasticsearch、graphite、influxdb、opentsdb、mysql 等数据源，通过 filter 指令及自定义的 JavaScript 函数做数据过滤，通过 reduce 指令做数据聚合，通过 join 指令做数据关联，通过 write 指令做数据转储，通过 view 指令做数据可视化。更关键的，可以用()并联同一层级的多条指令进行处理。看起来非常有意思的项目，赶紧试试吧。安装部署既然说了这是一个 nodejs 项目，自然是通过 npm 安装了：sudo npm install -g juttle sudo npm install -g juttle-engine注意，如果是在 MacBook 上安装的话，一定要先通过 AppStore 安装好 Xcode 并确认完 license。npm 安装依赖的 sqlite3 的时候没有 xcode 会僵死在那。juttle 包提供了命令行交互，juttle-engine 包提供了网页访问的服务器。juttle 的配置文件默认读取位置是$HOME/. ...继续阅读 (115)

上个月曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。不过如果你有多台 logstash 的时候，这种方式就比较难办了 —— 即使你给 logstash 集群申请一个 VIP，也很难确定说转发完全符合。所以一般来说，更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。环境部署这里只讲 kafka 单机的部署。只是示例嘛：cd kafka_2.10-0.8.2.0/bin/ ./zookeeper-server-start.sh ../config/zookeeper.properties & ./kafka-server-start.sh --daemon ../config/server.properties数据转发保持跟之前示例的连贯性，这里继续用 logstash 发送数据到 kafka。首先创建一个 kafka 的 topic：./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic logstash然后到 logstash 里，修改配置为：input { file { path => "/var/log/*.log" } ...继续阅读 (637)

本文之前已经拆分成章节发布在我的《Kibana 权威指南》电子书上。欢迎移步观看全书其他章节。Kibana 3 作为 ELKstack 风靡世界的最大推动力，其与优美的界面配套的简洁的代码同样功不可没。事实上，graphite 社区就通过移植 kibana 3 代码框架的方式，启动了grafana 项目。至今你还能在 grafana 源码找到二十多处 “kbn” 字样。巧合的是，在 Kibana 重构 v4 版的同时，grafana 的 v2 版也到了 Alpha 阶段，从目前的预览效果看，主体 dashboard 沿用了 Kibana 3 的风格，不过添加了额外的菜单栏，供用户权限设置等使用 —— 这意味着 grafana 2 跟 kibana 4 一样需要一个单独的 server 端。笔者并非专业的前端工程师，对 angularjs 也处于一本入门指南都没看过的水准。所以本节内容，只会抽取一些个人经验中会有涉及到的地方提出一些”私货”。欢迎方家指正。源码目录结构下面是 kibana 源码的全部文件的 tree 图：. ├── app │   ├── app.js │   ├── components │   │   ├── extend-jquery.js │   │   ├── kbn.js │   │   ├── lodash ...继续阅读 (2054)

上个月曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。不过如果你有多台 logstash 的时候，这种方式就比较难办了 —— 即使你给 logstash 集群申请一个 VIP，也很难确定说转发完全符合。所以一般来说，更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。环境部署这里只讲 kafka 单机的部署。只是示例嘛：cd kafka_2.10-0.8.2.0/bin/ ./zookeeper-server-start.sh ../config/zookeeper.properties & ./kafka-server-start.sh --daemon ../config/server.properties数据转发保持跟之前示例的连贯性，这里继续用 logstash 发送数据到 kafka。首先创建一个 kafka 的 topic：./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic logstash然后到 logstash 里，修改配置为：input { file { path => "/var/log/* ...继续阅读 (186)