在碰到线上性能问题的时候，如果能在线通过采样方式获取热点函数/方法就可以更方便地定位问题所在，进行优化。Linux 平台上，对于多数 C/C++ 编写的应用，可以通过 perf 来方便的采样，还可以进一步生成火焰图来更直观地观察。Java 是没法直接用 perf 的。虽然有一个perf-map-agent，但是并不方便，尝试过程中还弄出了 kernel panic，所以这玩意是不敢在线上用了。不过 JDK 自己其实已经带了一个采样工具 FlightRecorder ，算是 JMC 的一部分。这个功能是商业版本的功能，虽说启用的时候并没检查 license，但是理论上要在生产环境用，还是要花钱的。首先，应用启动的时候，要给 java 加上参数：-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -XX:FlightRecorderOptions=loglevel=info然后在想开始采样的时候sudo -u -i jcmd JFR.start filename=/tmp/app.jfr duration=60s这里可以指定输出的文件路径，和采样时间。之后可以用sudo -u -i jcmd JFR.check来检查采样是不是已经完成了。确认完成后，就可以把 jfr 文件传回本地，用 jmc 来分析了。如果想要生成火焰图，还有这么 ...继续阅读 (10)

我们有一个 java 应用，启动的时候要初始化连接池，在连接一堆 sharding 过的 DB 时，经常会有一部分连接超时失败的，集中在一两台后端机器上，但每次失败的后端服务器却又不固定，也并不是每次启动都能遇到。超时时间设为了 50ms，看起来有点短但是对局域网，和压力并不算大的 DB 来说，这个时间已经长得匪夷所思了。后来尝试调大成 100ms，还是有失败的。但是如果启动成功后，却没再记录到过连接超时的情况。排查网络问题首先是抓包，本来打算看看是不是对端响应慢有啥重传的，结果发现了更神奇的事情：发起 TCP 连接的 SYN 包不够数！也就是说，有几个连接根本连 SYN 包都没发出去过。还发现有一两个连接收到了 DB 服务器的 SYN/ACK 后，居然发了 RST ！所有服务器有响应的 SYN/ACK，包括被 RST 的，延迟都不到 0.2ms，速度挺正常的。那些个丢了的 SYN 和被 RST 的是怎么回事呢？然后再用 strace 套着启动试试。这回也顺带了解了 java 在 linux 上连接超时的实现方式。首先发起一个非阻塞的 connect，然后用 poll 来等待直到超时，如果超时，则把 socket shutdown 了。然而在 strace 的记录里，所有的 connect 系统调用一个不少，只是在 poll 的时候超时了。这倒是可以解释前面抓包里 RST 的原因。 ...继续阅读 (35)

go 语言的 http 客户端可以在初始化话的时候通过client := http.Client{ Timeout: 5 * time.Second, }来设置请求超时，即整个 http 请求到完成响应的时间限制。那么如果想另外设置 tcp 连接阶段的超时可以这样玩：client := http.Client{ Transport: &http.Transport{ Proxy: http.ProxyFromEnvironment, Dial: (&net.Dialer{ Timeout: 2 * time.Second, Deadline: time.Now().Add(3 * time.Second), KeepAlive: 2 * time.Second, }).Dial, TLSHandshakeTimeout: 2 * time.Second, }, Timeout: 5 * time.Second, }通过设置 Transport 结构中的 Dial 的属性来实现。如上面的代码中，Dial 的 Timetout 是在 tcp 连接时设置的连接超时，Deadline 则会在超过这个时间后强制关闭连接，在连接无响应的时候回有用。KeepAlive 则会发起心跳，检测连接是否存活。此外，可以设置 TLSHan ...继续阅读 (33)

linux 里，对于进程的子进程，父进程可以用 wait、waitpid 来等待结果。但是对于一个独立的进程就不行了。有时候想监控一个进程，或者在父进程异常退出后想找回子进程状态，就只能另辟蹊径。于是，想了个通过 ptrace 来跟踪进程退出的办法，做了个小程序：https://github.com/xiezhenye/waitpid/可以通过 waitpid 来等待一个独立进程退出并获取 exit code。 ...继续阅读 (15)

php-fpm 可以配置一个 pm.status_path ，如/status，然后通过 web server 访问这个地址来获取运行状态。但这样会侵入 web server 的配置，在一个 web server 后端有多个 php-fpm 的适合也不方便分别监控每一个后端的状态，为了安全，还要配置访问控制。好在有个现成的工具 cgi-fcgi，可以把 fcgi 请求包装成 cgi 方式，这样就可以直接在命令行中调用 fastcgi。cgi-fcgi 在 redhat/centos 中可以用yum install fcgi安装，在 ubuntu 中可以用apt-get install libfcgi-dev安装。用以下方式就能获取 php-fpm 的状态了。path=/status export REQUEST_METHOD=GET export SCRIPT_NAME="$path" export SCRIPT_FILENAME="$path" export QUERY_STRING='' # export QUERY_STRING='full' # export QUERY_STRING='json' # export QUERY_STRING='full&xml' addr=/var/run/php-fpm.socket # addr=127.0.0.1:900 ...继续阅读 (13)

有时候，我们希望将 MySQL 的 relay log 多保留一段时间，比如用于高可用切换后的数据补齐，于是就会设置 relay_log_purge=0，禁止 SQL 线程在执行完一个 relay log 后自动将其删除。但是在官方文档关于这个设置有这么一句话：Disabling purging of relay logs when using the --relay-log-recovery option risks data consistency and is therefore not crash-safe.究竟是什么样的风险呢？查找了一番后，基本上明白了原因。首先，为了让从库是 crash safe 的，必须设置 relay_log_recovery=1，这个选项的作用是，在 MySQL 崩溃或人工重启后，由于 IO 线程无法保证记录的从主库读取的 binlog 位置的正确性，因此，就不管 master_info 中记录的位置，而是根据 relay_log_info 中记录的已执行的 binlog 位置从主库下载，并让 SQL 线程也从这个位置开始执行。MySQL 启动时，相当于执行了 flush logs ，会新开一个 relay log 文件，新的 relay log 会记录在新的文件中。如果默认情况 relay_log_purge=1 时，SQL 线程就会自动将之 ...继续阅读 (27)

线上发现有几个 supervisord 启动的 php 后台进程没有正常工作。上去 strace 了一下，发现卡在了写 stdout 上：# strace -p 2509 Process 2509 attached - interrupt to quit write(1, "[2015-05-22 18:48:19] **************"..., 82为啥写 stdout 会卡住呢？看了进程 2509 的 fd 1，原来是个管道，那就是管道对面的进程没有读取数据了。于是就写了个脚本遍历了所有进程的所有 fd 去找管道对面是哪个进程。结果却很神奇，管道对面居然也是进程 2509 自己！# readlink /proc/2509/fd/1 pipe:[124628537] # readlink /proc/2509/fd/2 pipe:[124628537] # readlink /proc/2509/fd/1066 pipe:[124628537] # readlink /proc/2509/fd/1067 pipe:[124628537]这就难怪了，显然 php 自己不会干自己读自己写的事，于是就卡住了。但是这又是怎么造成的呢？看到一个进程自己和自己管道，就想到了这应该是父子进程间用管道 ipc，然后没关干净造成的吧。php 是由 supervisord 启动的， ...继续阅读 (28)

默认情况下，*nix 命令的 stdout 和 stdin 如果是在终端中是行缓冲，stderr 则是无缓冲。而这些标准输入输出如果是在管道中或重定向文件则是全缓冲。有时候使用管道处理数据的时候，并不希望管道后面的命令一直阻塞等待前一个的输出填满缓冲区刷新的时候才能处理，而是希望能即时看到数据。有些命令提供了参数来设置缓冲模式，比如 tcpdump 可以使用 -l 参数来强制设置为行缓冲，awk、grep、sed 等也有这样的参数。但是也还是有很多命令行工具并没有提供这样的功能，这时候可以利用 stdbuf 命令来设置。比如stdbuf -oL tcpdump ... | grep ...就可以把 tcpdump 的 stdout 设置为行缓冲，起到同样的效果。同样可以用 -i, -e 来设置 stdin 和 stderr 的缓冲模式。可以设置为 L 表示行缓冲，0 表示无缓冲，或者设置一个指定的缓冲区大小，如 4K 。这样无论命令是否支持设置缓冲模式都可以解决这些问题了。 ...继续阅读 (32)

MySQL 在使用 row 格式，并使用默认的 binlog_row_image=full 的时候，binlog 中记录了完整的更新前后的数据镜像。因此，根据 row 格式 binlog 进行撤销操作是可行的。我就试着做了这么个工具[GitHub 页面] [linux 二进制文件]例如./binlog_undo -f /data/mysql/log-bin.000004 -p 3958 -o binlog.out会扫描 /data/mysql/log-bin.000004 从位置 3958 到末尾的所有事务，倒转其中所有事务顺序和每个事务中的语句顺序，并反向所有的操作，把 WRITE 和 DELETE 反转，把 UPDATE 的前后镜像互换，然后将生成后的 binlog 文件写入 binlog.out 中。之后就可以用 mysqlbinlog 工具来回放这个 binlog 来撤销操作了。 ...继续阅读 (31)

有朋友的一对 MySQL 出现远大于其他类似实例的大量更新。因为开启了主备双向复制和 log_slave_updates，所以首先猜测是不是有循环复制，主 stop slave 后暂时正常。看了下主上的 relay_log，验证了这一点。幸而来回复制的只是监控用的心跳更新，不会搞坏数据。但是 MySQL 会比较 server_id ，一般情况下是不会出问题的。于是又仔细看了下主上不正常的 relay_log ，发现其中 event 的 server_id 和当前的都不同。 问下来确实曾经在线改过 server_id。想了下怎么触发这个问题，在自己的实例上复现了一把开启 主->备 的复制主上插入若干记录更改主的server_id开启 备->主 的复制轰！实际操作中，由于存在复制延时，即使没有先停止备->的复制也有可能触发问题。然后就是怎么拆掉这个雷了。由于来回复制的只是心跳更新，所以只需要跳过就行，其实如果不是的话也已经完蛋没法救了。首先想到的是 binlog_ignore_db 和 replicate_ignore_db 。但是这两个不是动态变量，重启一次服务代价太大。同事@Tachikoma提醒我 change master 还有个 ignore_server_ids 选项。于是就只需要 change master to ignore_server_ids (1,2) 忽略之前的 ...继续阅读 (34)

MariaDB 中自带了很多 MySQL 中没有的插件。我对其中的 spider 存储引擎很有兴趣。这个引擎可以让 MySQL 作为一个 proxy ，来实现 sharding、高可用等功能。这些功能已经有一些产品实现了，比如 MaxScale、Cobar、OneProxy、Atlas。但是我觉着 spider 把自己作为一个存储引擎来实现这些功能是有其优势的。SQL 解析和查询优化是个非常复杂而且很难做好的工作。其他替代产品都是自己实现，由于复杂性，这些产品都带来了一下限制，没能支持全部常见的 SQL 语句，给使用和实施带来了困难。而作为一个存储引擎，这些工作都由 MySQL 自身完成了，后面的工作就会简单很多，想做点优化的话也会容易些。由于 MariaDB 从 MySQL 5.5 时代就分道扬镳了，做过很多改动后，和目前版本的 MySQL 已经有了不小差异，所以插件基本上没法直接拿到 MySQL 里编译使用。我就花了点功夫，把 spider 引擎移植到了 MySQL 5.6。https://github.com/xiezhenye/mysql-plugin-spider-engine编译使用和一般的插件差不多cp -r src /path/to/mysql-src/storage/spider cd /path/to/mysql-src cmake . -DBUILD_CONF ...继续阅读 (23)

之前写了一个禁止创建 MyISAM 表的插件（blog），有报 issue，在 MySQL 重启后 uninstall plugin 会引发 crash。测试了一下果然可以复现。挂上 gdb 后，backstace 如下：(gdb) bt #0 0x00000000006f7658 in column_bitmaps_set (write_set_arg=0x189ad98, read_set_arg=0x189ad98, this=0x7fc3a800fa60) at /root/mysql-5.6.24-tp/sql/table.h:1228 #1 use_all_columns (this=0x7fc3a800fa60) at /root/mysql-5.6.24-tp/sql/table.h:1238 #2 mysql_uninstall_plugin (thd=thd@entry=0x1d1b030, name=0x1d1d858) at /root/mysql-5.6.24-tp/sql/sql_plugin.cc:2077 #3 0x00000000006e8daf in mysql_execute_command (thd=thd@entry=0x1d1b030) at /root/mysql-5.6.24-tp/sql/sql_parse.cc:4 ...继续阅读 (25)

go 语言中，可以通过 cgo 来调用 C 库。但是由于 goroutine 的机制，外部的 C 函数调用可能能够很快返回，也可能执行很长时间。为了 goroutine 调度不被阻塞，就一律对每个 cgo 调用都从线程池中取一个线程来执行，完成后再返回原 goroutine。这样一来，每个 cgo 调用都带来了巨大的额外开销。所以 go 的很多库在实现时，都没有通过包装 C 库，而是选择完全用 go 来实现。这就使得 go 少了大量现有的 C 库可以利用。读过 go 的代码后发现，要让 cgo 调用不通过线程池调用并不算麻烦，所以就自己修改了一下 cgo 命令。如下面的代码中package cgo // // int add(int a, int b) { // int ret = a + b; // return ret; // } // import "C" func CAdd(a, b int) int { return int(C.add(C.int(a), C.int(b))) } func AsmCAdd(a, b int) int { return int(c.add(C.int(a), C.int(b))) }C.add 是传统的 cgo 调用方式。c.add 则是修改后不经过线程池的方式。两者可以并存，程序员可以自己判断 C 函数的执行时间， ...继续阅读 (37)

对于一般进程，要让进程崩溃时能生成 core file 用于调试，只需要设置 rlimit 的 core file size > 0 即可。比如，用在 ulimit -c unlimited 时启动程序。对 MySQL 来说，由于 core file 中会包含表空间的数据，所以默认情况下为了安全，mysqld 捕获了 SEGV 等信号，崩溃时并不会生成 core file，需要在 my.cnf 或启动参数中加上 core-file。但是即使做到了以上两点，在 mysqld crash 时还是可能无法 core dump。还有一些系统参数会影响 core dump。以下脚本可供参考：echo 2 >/proc/sys/fs/suid_dumpable chmod 0777 /var/crash echo /var/crash/core> /proc/sys/kernel/core_pattern echo 1 >/proc/sys/kernel/core_uses_pid由于 mysql 通常会以 suid 方式启动，所以需要打开 suid_dumpable 。对于 core_pattern，最好指定一个保证可写的绝对路径。之后，就可以用 kill -SEGV 让 mysqld 崩溃，测试一下能不能正常产生 core file 了。 ...继续阅读 (35)

为了演示，首先建两个包含不良索引的表，并弄点数据。mysql> show create table test1\G *************************** 1. row *************************** Table: test1 Create Table: CREATE TABLE `test1` ( `id` int(11) NOT NULL, `f1` int(11) DEFAULT NULL, `f2` int(11) DEFAULT NULL, `f3` int(11) DEFAULT NULL, PRIMARY KEY (`id`), KEY `k1` (`f1`,`id`), KEY `k2` (`id`,`f1`), KEY `k3` (`f1`), KEY `k4` (`f1`,`f3`), KEY `k5` (`f1`,`f3`,`f2`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1 1 row in set (0.00 sec) mysql> show create table test2\G *************************** 1. row *************************** Ta ...继续阅读 (19)

Pacemaker / Corosync 是 Linux 下一组常用的高可用集群系统。Pacemaker 本身已经自带了很多常用应用的管理功能。但是如果要使用 Pacemaker 来管理自己实现的服务或是一些别的没现成的东西可用的服务时，就需要自己实现一个资源了。Pacemaker 的资源主要有两类，即 LSB 和 OCF。其中 LSB 即 Linux 标准服务，通常就是 /etc/init.d 目录下那些脚本。Pacemaker 可以用这些脚本来启停服务。在crm ra list lsb中可以看到。另一类 OCF 实际上是对 LSB 服务的扩展，增加了一些高可用集群管理的功能如故障监控等和更多的元信息。可以通过crm ra list ocf看到当前支持的资源。要让 pacemaker 可以很好的对服务进行高可用保障就得实现一个 OCF 资源。Pacemaker 自带的资源管理程序都在 /usr/lib/ocf/resource.d 下。其中的 heartbeat 目录中就包含了那些自带的常用服务。那些服务的脚本可以作为我们自己实现时候的参考。每个 OCF 资源是一个可执行文件。通过命令行参数和环境变量来接受来自 Pacemaker 的输入。下面是一个简单的例子，创建了一个名叫 test 的资源。crm ra meta test的结果如下：crm(live)# ra meta te ...继续阅读 (26)

一般来说，自动化通过 ssh 执行操作或者通过 scp 传文件首先得过 ssh 认证这一关。采用公钥认证是最方便安全的方式。但是有时候不得不使用密码认证。而 ssh 默认是直接读写终端来输出提示信息和读入密码的，所以没法直接用echo password | ssh ...的方式来认证。expect 是最常用的用于解决这类问题的工具。但是这玩意实在是很不好用，也不能保证一定安装过。好在 ssh 还是开了一扇窗，让我们可以实现这点。ssh 有个环境变量，SSH_ASKPASS ，设置了这个环境变量，并且当前会话不是终端时，ssh 在认证时会启动这个程序，从这个程序的标准输出来读取密码。这个功能本来是用于图形终端的，所以还要设置另一个环境变量 DISPLAY=’none:0’，让 ssh 不要试图访问 X11 。至于让进程脱离终端，使用 setsid 就可以了。下面这个例子就展示了自动化实现密码认证并执行命令。echo 'echo BEGIN!; ls /' | setsid env SSH_ASKPASS='/root/pswd.sh' DISPLAY='none:0' ssh root@127.0.0.1 2>&1 Pseudo-terminal will not be allocated because stdin is not a terminal. B ...继续阅读 (30)

在 MySQL 主从复制时，有时候会碰到这样的故障：在 Slave 上 Slave_IO_Running 和 Slave_SQL_Running 都是 Yes，Slave_SQL_Running_State 显示 Slave has read all relay log; waiting for the slave I/O thread to update it ，看起来状态都正常，但实际却滞后于主，Master_Log_File 和 Read_Master_Log_Pos 也不是实际主上最新的位置。一种可能是 Master 上的 binlog dump 线程挂了。但有时候，在 Master 上检查也是完全正常的。那 Slave 的延误又是怎么造成的呢？在 MySQL 的复制协议里，由 Slave 发送一个 COM_BINLOG_DUMP 命令后，就完全由 Master 来推送数据，Master、Slave 之间不再需要交互。如果 Master 没有更新，也就不会有数据流，Slave 就不会收到任何数据包。但是如果由于某种原因造成 Master 无法把数据发送到 Slave ，比如发生过网络故障或其他原因导致 Master 上的 TCP 连接丢失，由于 TCP 协议的特性，Slave 没有机会得到通知，所以也没法知道收不到数据是因为 Master 本来就没有更新呢还是由于出了故障。 ...继续阅读 (47)

当一个程序发生故障时，有时候想通过了解该进程正在执行的系统调用来排查问题。通常可以用 strace 来跟踪。但是当进程已经处于 D 状态（uninterruptible sleep）时，strace 也帮不上忙。这时候可以通过cat /proc//syscall来获取当前的系统调用以及参数。这里用最近排查的一个问题为例。碰到的问题是，发现一台服务器在执行 pvcreate 创建物理卷的时候卡死，进程状态为 D# ps aux|grep pvcreate root 8443 0.0 0.0 27096 2152 ? D Apr04 0:00 pvcreate /dev/sddlmac ...D 状态实际是在等待系统调用返回。那么来看看究竟在等待什么系统调用B0313010:~ # cat /proc/8443/syscall 0 0x7 0x70f000 0x1000 0x0 0x7f33e1532e80 0x7f33e1532ed8 0x7fff3a6b8718 0x7f33e128cf00第一个数字是系统调用号，后面是参数。不同的系统调用所需的参数个数不同。这里的字段数是按最大参数数量来的，所以不一定每个参数字段都有价值。那么怎么知道系统调用号对应哪个系统调用呢？在头文件 /usr/include/asm/unistd_64.h 中都有定 ...继续阅读 (26)

VLAN（虚拟局域网）通过控制分派出入局域网的数据包到正确的出入端口，实现对不同设备进行逻辑分组管理。一个 VLAN 相当于广播域，它能将广播控制在一个 VLAN 内部。而不同 VLAN 之间或 VLAN 与 LAN / WAN 的数据通信必须通过网络层完成。VLAN 可以降低局域网内大量数据流通时，因无用数据包过多导致雍塞的问题，以及提升局域网的安全性。对 Linux 来说，通常通过 vconfig 或 ip link add 来配置 vlan，创建虚拟 VLAN 网络接口。如ip link add link eth0 name vlan100 type vlan id 100 ip link change vlan100 up ip addr add 10.10.100.201/24 dev vlan100创建了一个 VLAN 接口 vlan100，对应 VLAN 号是 100，并配置了 IP 10.10.100.201。此时，同一个 VLAN 中的机器相互间用 VLAN 的 IP 都可以访问。但是如果两个机器各自位于不同的 VLAN，则相互之间是无法通过 IP 访问，也无法 ping 通。Linux 的路由通常情况下是按 IP 包的目的地址查询路由表的。如果 IP 包的来源和目的位于不同的 VLAN，或者一个位于 VLAN ，另一个是普通的链路，就会对应不同的网络接口。响应包 ...继续阅读 (16)

之前在 SLES 11 SP2 上观察到 netstat -lntp 时，PID 一列有部分进程显示为 – 。# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:42659 0.0.0.0:* LISTEN 32555/rpc.statd tcp 0 0 0.0.0.0:4996 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:4998 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:4999 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:111 ...继续阅读 (34)