线上有部分机器连接外部存储时经常会会发生读写超时，通过 sar 工具查看网卡流量并不是太高，千兆网卡流入流出带宽只达到一半左右:$ sar -n DEV 2 01:59:39 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s 01:59:41 PM lo 55256.00 55256.00 14330.32 14330.32 0.00 0.00 0.00 01:59:41 PM eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 01:59:41 PM eth1 93348.50 87195.00 34645.71 22573.81 0.00 0.00 0.00通过 ifconfig 工具发现网卡有丢包！eth1 Link encap:Ethernet HWaddr 00:25:90:A6:87:4F inet addr:10.xx.xx.xx Bcast:10.xx.xx.xx Mask:255.255.255 ...继续阅读 (29)

zookeeper 集群一共有 5 台机器组成，上边记录的是应用程序的配置信息和进度信息。 程序在完成一些阶段性工作之后会将当前进度保存到 zk 上，这样就能够在程序意外 crash 之后能够恢复上次的进度。之后发现本来某一个进程专属的 zk 进度点被多个进程修改，表现就是当正常的进程退出之后，节点的 mtime 以及 version 值依然在变化（节点本身的值一直是 0，看不到明显变化）。现在的问题就是找到到底是谁在修改这个节点？zookeeper 日志zookeeper 运行时会有三种日志写到本地磁盘:1. zookeeper.log 记录客户端的连接建立，断开等事件，文本类型 2. log.xxxx transaction log， 记录每次更新事件，二进制类型 3. snapshot.xxxx 快照文件，二进制类型了解了三种日志记录的内容，就可以开始追查上边的问题了。1. 找到修改者的 sessiontransaction log 里记录了所有的更新事件，自然从这里开始入手。 这个文件是二进制的，所以必须配合相应的解码器一起使用：LogFormatter, 全称是org.apache.zookeeper.server.LogFormatter，工具可以自行下载。将二进制 transaction log 转换为文本型，如下：java -Xmx2048m -cp Log ...继续阅读 (54)

本文是最近使用zookeeper client时所看资料的一些总结，主要内容来自Zookeeper的官方手册，以及FAQ文档。Zookeeper数据模型zk具有像文件系统一样的层状的命名空间。命名空间中的每一个节点都可存储数据。只有绝对路径，名字都是unicode字符。每个节点都是ZNode类型（如同文件系统的stat）。每个ZNode上可以设置Watch，znode改变会通知设置的watch的客户端，同时清除Watch每次对znode的读写都是原子的，每次读写都是带要操作znode版本号的。尽量保证单个znode在1MB一下。通常几K。临时节点的概念：只存在于一个Session的有效期内的节点。临时节点不允许有子节点。使用zxid来标示zk中的每个事件（导致zk状态改变的事件）。全局唯一。对每个znode的改变触发当前znode versions的改变。每个znode维护三个version（version：对应每次znode data改变，cversion：对应每次子节点改变，aversion：对应每次acl改变）Zookeeper状态转换session timeout时间至少是ticket time（默认是2000ms）的2倍，同时最大不能超过20倍ticket time一旦session 过期，不必手动重新连接。zk client会处理重连。Session的过期与否是由ser ...继续阅读 (19)

2012真是不安稳，才放假回来线上服务就各种问题==# 好一点的直接出core，还算有的调试。还有直接莫名其妙Hang住的，而且之前设计的运行监控在这个关键时刻也失灵了。为了保证服务进程运行正常，我们自己写了一套进程监控脚本，当服务异常时会报警或是重启服务。经过检查发现正是这个监控脚本的问题，记录在此。在Shell中获取制定进程的CPU和内存占用量对进程监控主要的监控指标就那么几个：cpu，内存，运行状态等等。手工查看的很容易，可以直接使用所有Linux发行版都带的Top工具和PS工具，或是使用自己装的更专业的Sar之类的管理工具。直接运行top会默认进入一个不断刷新的curse屏幕，上边按照一定的规则动态显示系统中全部进程的信息，其中就包括PID，优先级，虚拟内存占用量，实际内存占用率，CUP占用率等等，输出的字段也是可以自定义的。默认的Top输出是一个curse界面，这对人类是友好的，但是却不利于Shell脚本处理。我们可以使用-b参数让内容直接输出到stdout上，同样还是每隔一段时间更新一次。如果只想要一次输出，可以进一步加上-n 1参数。为了查看指定PID进程的信息，则可以再加上-p PID参数。同时配合grep和awk等工具即可取得想要的PID进程的某个字段信息。比如要看PID=1的全字段信息：sagi@sagi-desktop:~$ top -b -n 1 -p 1 ...继续阅读 (20)

ID即标示符，在某个搜索域内能唯一标示其中某个对象。在关系型数据库中每个表都需要定义一个主键来唯一标示一条记录。为了方便一般都会使用一个autoincrement属性的整形数做为ID。因为数据库本身能保证这个数是在这个表范围内一直累加的，所以任何两条记录不会有相同的ID值，包括已经删除的记录。可是一旦表大到一定程度，要跨机器分表的时候，那么就不能再依靠这个autoincrement字段唯一表示一条记录了。因为此时的搜索域已经扩大到多个机器，而每台机器的auto_increment都是独立增长的。本文总结了几种在分布式环境下可用的ID生成方式。主要内容来自Instagram的一篇Blog。UUID(universally unique identifier)正如其名字一样，UUID就是为了要在分布式环境中产生唯一标示符而发布的一个标准。标准中规定UUID长度为16Bytes（128Bits），一般将其表示为550e8400-e29b-41d4-a716-446655440000这种16进制格式，同时将其分为5部分，每部分用-分割，各部分长度分别为8,4,4,12。现在使用的UUID算法有5个版本，分别使用5种不同的算法计算产生。UUID1: 依据当前计算机的MAC地址和时钟来生成uuid。UUID2: 和版本1类似，不过使用域标示符和本地UID代替了版本1中的时钟信息。UUID3: ...继续阅读 (16)

单件模式(Singleton Pattern)应该是设计模式中实现起来最简单的一个了。通过使用单件模式，能够保证全局只存在一个类的实例化对象。本文用C++语言来说明如何写一个简单的单件类。在有些场景下需要一个类只能在全局存在一个实例化对象，典型的情况如线程池，数据库连接池，全局缓存，日志句柄等等。这种情况下如果实例化多个对象或是随意复制多份对象都会对全局共享的资源造成一定影响。单件设计模式就是为了解决这种问题产生的。在C++中，要保证变量全局有效并且唯一可以使用static类型；另外想要禁止用户随意实例化类，可以将类的构造函数声明为private，同时也要禁止对象的复制和拷贝，同样将拷贝构造函数和赋值操作符声明为private。类的声明代码如下：// Singleton.h #ifndef __SINGLETON__ #define __SINGLETON__ class Singleton { public: static Singleton *getInstance(); private: Singleton(); Singleton(const Singleton &s;); void operator=(const Singleton &rhs;); static Singl ...继续阅读 (27)

在编写服务端软件的时候，如何处理各种I/O事件是其中很重要的一部分。在Unix Network Programming中介绍了5种Unix/Linux下可用的I/O编程模型：1 阻塞式I/O2 非阻塞式I/O3 I/O复用4 信号驱动式I/O5异步I/O这几种都是基本的I/O编程模型，可以单独使用其中一种，也可以组合使用。为了应对高并发量的情形，在C10K Problem中另外总结了5种高性能的I/O编程模型：1 单线程非阻塞式水平触发I/O(Serve many clients with each thread, and use nonblocking I/O and level-triggered readiness notification);2 单线程非阻塞式边沿触发I/O(Serve many clients with each thread, and use nonblocking I/O and readiness change notification);3 多线程异步I/O模型(Serve many clients with each server thread, and use asynchronous I/O);4 单个服务线程对应单个客户(Serve one client with each server thread);5 将服务线程放到内核(Build ...继续阅读 (16)

实验室有几台linux服务器，有的用来做项目开发和测试，有的用来做代码库和知识共享。服务器都是直接接入教育网，理论上分配到的IP地址都是公网地址。但是考虑到教育网与公网之间的访问障碍以及有伟大的校长保护，对服务器的安全配置也就没怎么在意，iptables神马的都是默认配置。另外因为服务器地址都是通过DHCP获得的，为了方便实验室同学访问，给每台机器都绑定了dynamic dns。一直以来运行的都非常好，直到清明假期过后。 清明假期过后像往常一样登陆到开发服务器上，偶然发现ls命令显示有点问题:ls: unrecognized prefix: do ls: unparsable value for LS_COLORS environment variable.开始以为有谁动了我的bash配置文件，检查之后没发现问题。后来google了一下这条出错信息，找到这两个页面：Link1, Link2。考虑到那个悲催&弱智的root密码，看来服务器是被hack了==#首先看下ssh登陆记录，redhat系的ssh记录在/var/log/secure，debian系的记录在/var/log/auth.log。发现了大量的ssh登陆错误的记录：# cat /var/log/secure | grep "sshd" | grep "Failed" Apr 4 12:09:45 localhos ...继续阅读 (19)

Mac中的开发工具链都是围绕xcode展开的，但是对于只想使用gcc，g++编译c/c++代码的情况，装一个动辄3，4G的开发工具实在是不符合KISS原则。更新：4.3版本的xcode已经将图形开发界面和命令行工具分开了发布了。还有即使装了xcode，默认带的gcc编译器都是lvmm做前端的，并非纯正的gnu gcc。如果你想用纯正的gcc，最好的办法就是自己手动编译一个。本文中的安装步骤来源于：http://solarianprogrammer.com/2011/12/01/compiling-gcc-4-6-2-on-mac-osx-lion/，可以直接看英文原版。首先下载必要的源代码：gcc-4.6.2 ftp://ftp.gnu.org/gnu/gcc/gcc-4.6.2/MPC库http://www.multiprecision.org/index.phpprog=mpc&page;=downloadMPFR库http://www.mpfr.org/mpfr-current/#downloadGMP库http://gmplib.org/编译前看下当前已安装的gcc版本:sagi@MacBookPro:~$ gcc --verion i686-apple-darwin11-llvm-gcc-4.2: no input files新建个文件夹，用来放之后编译好的gcc：m ...继续阅读 (17)

那天看到微博上看到讨论如何设计网络程序BufferLink。其中@简悦风云 给出个使用Ring Buffer的思路同时也顺带着嘲讽了一下C++和STL（链接），结果引出混战。本文不关心事件，纯粹讨论其中的两个技术点——RingBuffer和Memory Poll。两者都是内存管理中比较常用的技术。我们知道C语言中使用malloc/free库函数来申请/释放内存，C++中对应的是new/delete，终归也是调用malloc/free。有些程序会非常频繁的申请/释放内存，这就导致内存碎片的产生，进而引起性能下降甚至内存分配失败。像Memcached这种内存kv数据库为了解决这种问题都是在应用层自己又实现了一套内存管理模块。Redis早期版本直接使用malloc/free库函数，后来忍受不了其性能，在后续版本中使用freebsd中的内存管理算法jemalloc来代替。所以在高性能程序中，优良的内存管理算法至关重要。Ring BufferRing Buffer也叫Circular Buffer，是一种缓冲区数据结构，一般用于生产者-消费者模式的程序中，一个或多个生产者不停产生数据，同时一个或多个消费者使用数据，数据使用完这块缓冲区就可以释放了。简单的Ring Buffer其实就是基于连续内存地址的循环队列，稍有不同的是当队列满时，某些Ring Buffer应用场景可以直接覆盖掉队尾的数据 ...继续阅读 (23)

吐槽文。MacOS中默认是安装了Apache和PHP的，Lion中Apache版本是2.2.20。开启的办法是将“系统偏好设置->共享->Web共享”前边的checkbox选中即可。安装MySQL可以直接去官网下载DMG包安装。PHP同样在MacOS中内置了，Lion中的版本是5.3.6。具体的安装办法可以参考下边的链接。本文主要记录一些安装中出现的异常及解决办法。安装mcryt扩展系统中默认的PHP是没有安装这个扩展的。但是如果你要使用PHPMyAdmin来管理数据库的话，就需要手动安装。吐槽一下，相比Linux，在MacOS里给PHP安装扩展实在是比较麻烦。不仅要手动编译libmcrypt库，还要下载与当前系统版本对应的PHP源码。为了能手动编译代码，需要安装GCC或是XCODE。具体的编译安装过程参见链接2。PHPMyAdmin连不上数据库(2002错误)这是因为MacOS上MySQL的默认socket路径（/tmp/mysql.sock）与php配置文件中默认的路径（/var/mysql/mysql.sock）不一致。需要将/etc/php.ini中的mysql.default_socket改为/tmp/mysql.sock。To Be Continued.参考文章MacOS安装AMPhttp://dancewithnet.com/2010/05/09/run-apache ...继续阅读 (17)

周五去Hadoop in China 2011打酱油，下午听了一场来自Yahoo!巴塞罗那研究院科学家Flavio Junqueira先生的演讲。他演讲的主题是《Apache BookKeeper: High-performance reliable write-ahead logging》，主要是介绍了一种高可靠日志记录存储系统也就是BookKeeper（BookKeeper is a system to reliably log streams of records）。开发Bookkeeper最初是源于这样一个问题：在Hadoop中，因为故障恢复的考虑，Namenode在对它的记录做修改前都会先将本条修改的日志写到磁盘上。但是这里有另一个潜在问题，当Namenode发生故障时，很可能连本地磁盘也不能访问，这时之前的记录的日志也就没用了。基于上述考虑，可以将Namenode的日志信息保存在一个可靠地分布式存储系统中——也就是BookKeeper。当然BookKeeper除了适于上述场景，其它任何单点写入并要求保证高性能和数据不丢失（Strong Durabilty Guarantees）也都可以使用。BookKeeper中的一些术语：Bookies: BookKeeper服务器Ledgers: 传递的日志数据流Ledger Entry: 日志流中的一条单独日志记录BookKeep ...继续阅读 (178)

之前一篇文章简单介绍了使用Vector Clock解决消息副本不一致问题的方法。虽然文章题目叫做“简单的Vector Clock”，但是说的都是从使用者角度看的，对于使用者而言确实比较简单。所以如果系统中提供了这个机制，那不妨就直接用好了。现在我们换个角度来看这个机制，从实现者角度来看，恐怕这个系统就不是那么容易了。从实现者角度来看，其中最难的两个问题是：1）确定谁作为消息更新的Actor（actor，在vclock中有自己独立的域，同时负责版本解析和递增）；2）保证vclock能过随着时间延续，无限地递增。在上一篇文章所用的例子中，将提出对消息修改的客户端（即Alice等人）当做vclock中的actor。当然vclock就是为这种模型设计的，并且能很好的工作。但是这种模型仍有不足之处，一个显著的缺点就是，vclock的长度将会随着客户端的增加而增加。当客户端规模较小时，这不是问题。但是在一个大型分布式系统中，客户端的规模可能会非常大，此时不仅存储vclock要耗费大量的内存，而且对其解析也要花费不少时间。同样使用上一篇文章中的例子来看。首先Alice发出第一条消息，“提议将时间定为周三”。图中vclock的actor做了简写，Alice用A代表。date = Wednesday vclock = Alice:1接着Ben建议改为周二：date = Tuesday vcl ...继续阅读 (11)

上一篇文章中说过Dynamo为了解决数据一致性问题使用了Vector Clock。基本思想就是对同一份数据的每一次修改都加上<修改者，版本号>的标签。在搜索相关资料的时候发现了另一个有意思的项目，Riak。Riak可以说是一个类Dynamo的Erlang实现，更多相关介绍可以参考下边链接。本文来自Riak主页上的一篇blog，简单介绍Vector Clock以及在Riak中的使用。虽然名为“简单的Vector Click”，仅仅是介绍的简单。后续还有一篇“复杂的Vector Click”Vector clock确实很简单，以至于你第一次见到它时甚至不确定能不能给你带来好处。不过只要你认真遵循vector clock的几条准则，它就一定能有效的解决你所遇到的问题。这几条简单的准则就是：1）为每一个要操纵数据的人分配一个ID；2）然后在任何时候，只要修改了数据，就一定带上自己的ID和数据原有的Vector clock。接下来先以生活中的一件事情为例解释一下这两条规则，然后我们再看看Riak中要怎么做。假设有如下场景：Alice，Ben，Catby，Dave四人约定下周要一起聚餐，首先四个人通过邮件商量聚餐的时间。 Alice首先建议，周三。 之后Deve和Catby商量觉得周四更合适。 后来Deve又和Ben商量之后觉得周二也行。 最后Alice要汇总大家的意见，得到的反馈如下 ...继续阅读 (26)