接着昨天的Proactor模式介绍。      proactor模式将所有IO操作交给主线程和linux内核来处理，工作线程负责业务逻辑。异步IO实现这种模式的工作流程如下： 1）主线程使用aio_read函数注册socket读完成事件，提供用户接收数据的缓冲区地址以及读操作完成时如何通知应用程序（有信号等手段）; 2）主线程继续处理其他逻辑; 3）当socket数据读入缓冲区后， ...继续阅读 (5)

很多人学习编程技术一般都通过一本编程语言的入门书籍，然后尝试做一些例子和小项目。但是这些都不能让我们深入的学习很多的编程技巧和高深技术，当然这个时候很多有经验的学习人员就会告诉大家，找一个好的开源软件理解它的设计与实现原理，阅读开源项目的源代码，都知道源码之前了无秘密。我也承认读源码能够快速提高我们的编程能力和编程思维，我也经常研究很多项目的源代码，有些是工作需要，有些是兴趣。但是我今天想说的都不是这些，我想说的是更高一层的学习方案，就是通过自己的实践实现一个开源软件，也许这个开源软件没有任何人使用，但是在实现的这个过程中你会学习到很多，因为实现一个真正的开源软件需要使用到很多编程知识和技巧，这就会驱使你不断去学习这些编程知识和技巧，学会之后能够马上用于实践，真正实践完成以后你对这些编程知识和技巧理解就更深入了。我目前就正在做这样一件事情，我选择的是实现一个类似nginx的高性能http服务器。选择这个的理由很简单，我在一个互联网公司，http协议和http服务器经常和我打交道，在架构设计和分布式系统实现的时候可能都需要考虑这些。我开源的地址如下：https://github.com/brucewoo/JHttpServer，如果你也对这个感兴趣可以一起参与，包括设计功能，架构和实现。做这个开源项目的唯一目的就是学习，通过实践的方式来学习。关于这个开源软件的一切我都会 ...继续阅读 (13)

很多人学习编程技术一般都通过一本编程语言的入门书籍，然后尝试做一些例子和小项目。但是这些都不能让我们深入的学习很多的编程技巧和高深技术，当然这个时候很多有经验的学习人员就会告诉大家，找一个好的开源软件理解它的设计与实现原理，阅读开源项目的源代码，都知道源码之前了无秘密。我也承认读源码能够快速提高我们的编程能力和编程思维，我也经常研究很多项目的源代码，有些是工作需要，有些是兴趣。但是我今天想说的都不 ...继续阅读 (8)

1.概述某年某月某日某项目的线上分布式文件系统服务器多台linux系统kernel崩溃，严重影响了某项目对外提供服务的能力，在公司造成了不小影响。通过排查线上问题基本确定了是由于linux内核panic造成的原因，通过两个阶段的问题排查，基本上确定了linux内核panic的原因。排查问题的主要手段就是网上查找资料和根据内核错误日志分析并且构造条件重现。本文档就是对自己在整个问题排查过程中的总结。2.第一阶段因为刚出现问题的时候大家都比较紧急，每天加班都很晚，也制定了很多问题重现和定位原因的计划。我第一阶段连续坚持了两周分析问题原因，由于第一阶段自己所做的功能基本上全部形成了详细的分析文档，所以下面主要总结一下自己在第一阶段都采取了一些什么样的措施以及到达了什么效果。第一阶段自己也分了几步走，当然最先想到的是重现线上的现象，所以我首先查看了线上的内核错误日志，根据日志显示主要是qmgr和master两个进程导致的内核panic（至少日志信息是这么提示的）。当然还结合当时服务器的现象，load比较高，对外不能提供服务。所以自己首先想到的就是通过写程序模拟不断发送邮件（因为qmgr和master进程都与发送邮件相关的进程），当程序运行起来的时候，自己小小的激动了一下，就是load上去了，服务器的对外服务能力变慢了（ssh登录），当时的线上接近线上现象，但是后面内核一直没有panic，哪 ...继续阅读 (18)

1.概述 某年某月某日某项目的线上分布式文件系统服务器多台linux系统kernel崩溃，严重影响了某项目对外提供服务的能力，在公司造成了不小影响。通过排查线上问题基本确定了是由于linux内核panic造成的原因，通过两个阶段的问题排查，基本上确定了linux内核panic的原因。排查问题的主要手段就是网上查找资料和根据内核错误日志分析并且构造条件重现。本文档就是对自己在整个问题排查过程中 ...继续阅读 (3)

首先看看遇到的什么错误，这是在从13.04升级到13.10的过程中遇到的，如下：Traceback (most recent call last):File "/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main"__main__", fname, loader, pkg_name)File "/usr/lib/python2.7/runpy.py", line 72, in _run_codeexec code in run_globalsFile "/usr/lib/python2.7/py_compile.py", line 183, insys.exit(main())File "/usr/lib/python2.7/py_compile.py", line 165, in maincompile(filename, doraise=True)File "/usr/lib/python2.7/py_compile.py", line 136, in compileos.rename(path_tmp, cfile)OSError: [Errno 21] Is a directorydpkg: error processing scons (--configure):子进程 已安装 post-instal ...继续阅读 (45)

首先看看遇到的什么错误，这是在从13.04升级到13.10的过程中遇到的，如下： Traceback (most recent call last):   File "/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main     "__main__", fname, loader, pkg_name)   File " ...继续阅读 (2)

（1）集群内部子版本协议类型宏定义：与公共协议保持独立性，以便消息类型和协议升级受影响#define CEPH_OSDC_PROTOCOL 24 /* server/client */OSD服务器集群与客户端协议版本#define CEPH_MDSC_PROTOCOL 32 /* server/client */MDS与客户端#define CEPH_MONC_PROTOCOL 15 /* server/client */监控与客户端#define CEPH_INO_ROOT 1 //根目录节点的inode号#define CEPH_INO_CEPH 2 /* hidden .ceph dir */隐藏目录.ceph的inode节点号/* arbitrary limit on max # of monitors (cluster of 3 is typical) */#define CEPH_MAX_MON 31 //最大的监控集群数量（2）文件布局：描述一个文件（inode）的数据布局struct ceph_file_layout {/* file -> object mapping */文件到对象的映射__le32 fl_stripe_unit; /* stripe unit, in bytes. must be multipleof ...继续阅读 (16)

（1）集群内部子版本协议类型宏定义：与公共协议保持独立性，以便消息类型和协议升级受影响 #define CEPH_OSDC_PROTOCOL   24 /* server/client */OSD服务器集群与客户端协议版本 #define CEPH_MDSC_PROTOCOL   32 /* server/client */MDS与客户端 #define CEPH_MONC_PROTOC ...继续阅读 (1)

（1）文件系统id结构：16个字符组成struct ceph_fsid { unsigned char fsid[16]; };以及对应的比较函数：static inline int ceph_fsid_compare(const struct ceph_fsid *a, const struct ceph_fsid *b) { return memcmp(a, b, sizeof(*a)); }（2）定义保留的snap的id宏typedef __le64 ceph_snapid_t; #define CEPH_SNAPDIR ((__u64)(-1)) /* reserved for hidden .snap dir */ #define CEPH_NOSNAP ((__u64)(-2)) /* "head", "live" revision */ #define CEPH_MAXSNAP ((__u64)(-3)) /* largest valid snapid */ struct ceph_timespec {//自定义的时间描述结构体 __le32 tv_sec; __le32 tv_nsec; } __attribute__ ((packed));（3）对象布局宏：对象怎样放到放置组PG里面去（placement group）#defin ...继续阅读 (273)

（1）文件系统id结构：16个字符组成 struct ceph_fsid { unsigned char fsid[16]; }; 以及对应的比较函数： static inline int ceph_fsid_compare(const struct ceph_fsid *a, const struct ceph_fsid *b) { return memcmp(a, b ...继续阅读 (2)

1.Msgr.h文件：定义消息传输层的数据类型，以供ceph使用（1）默认的监控端口：#define CEPH_MON_PORT 6789（2）客户端处理端口范围定义：#define CEPH_PORT_FIRST 6789//监控 #define CEPH_PORT_START 6800 //开始 #define CEPH_PORT_LAST 6900//结束（3）tcp协议标识和版本信息：#define CEPH_BANNER "ceph v027" #define CEPH_BANNER_MAX_LEN 30//最大长度（4）ceph中的实体名称：在网络传输中使用，例如mds0表示元数据服务器0struct ceph_entity_name { __u8 type; /* CEPH_ENTITY_TYPE_* */ __le64 num; } __attribute__ ((packed));//按照紧凑模式分配内存，而不是内存对齐 #define CEPH_ENTITY_TYPE_MON 0x01//监控服务器实体 #define CEPH_ENTITY_TYPE_MDS 0x02//元数据服务器实体 #define CEPH_ENTITY_TYPE_OSD 0x04//对象存储设备实体 #define CEPH_ENTITY_ ...继续阅读 (56)

这一部分主要实现了底层IO通信，还涉及到通信服务器的堵塞、非堵塞、单线程、多线程等运行模式，所以实现比较复杂。这一部分涉及到的类的关系图如下：由上面的类关系图可以看出，这一部分的类关系比较复杂，复杂的不是继承关系，而是相互之间的依赖关系。因为服务器需要处理很多的任务，也需要处理多个客户端的连接，这就涉及到多线程编程以及多线程之间通信及并发的情况。这一部分涉及到的并发编程的类容将在后面章节单独分析，本章主要介绍服务器模型和IO通信的具体细节。第一节 服务器基类TServer所有具体的服务器模型实现类都从一个共同的基类继承，这个基类就是本节介绍的TServer类，这个类又从Runnable继承，Runnable类是一个实现多线程的抽象类，类似java里面的。下面分别从成员变量的定义、构造函数和其他相关函数介绍TServer定义的功能。1.成员变量定义一个类的成员变量定义基本上能够体现出类的属性，首先看看主要成员变量的定义及其作用：boost::shared_ptrprocessorFactory_;//处理层的对象生成工厂对象boost::shared_ptrserverTransport_;//服务器传输对象boost::shared_ptrinputTransportFactory_;//输入传输层工厂对象boost::shared_ptroutputTranspor ...继续阅读 (45)

内存缓存是简单的在内存进行读写操作的一种传输，任何时候想在上面写入数据都是放入缓存中，任何时候读操作数据也是来至于缓存。内存缓存的分配使用c语言的malloc类函数，分配的长度是需要长度的两倍，需要考虑这些内存缓存的使用范围。同样这个类继承至缓存基类TBufferBase，默认的缓存大小是1024（static const uint32_t defaultSize = 1024;），所有的构造函数都调用函数initCommon，这个函数实现如下：voidinitCommon(uint8_t* buf, uint32_t size, bool owner, uint32_t wPos) { if (buf== NULL && size != 0) {//如果传递过来的buf为null并且size不为0 assert(owner);//断言这个内存缓存是不是自己所有，不是就报错不继续执行后面的代码了 buf =(uint8_t*)std::malloc(size);//是自己拥有的内存缓存就自己分配size大小的内存作为缓存 if(buf == NULL) { throw std::bad_alloc();//分配失败抛出异常 } } buffer_= buf;//初始化缓存成员变量 buffer ...继续阅读 (55)

帧传输类就是按照一帧的固定大小来传输数据，所有的写操作首先都是在内存中完成的直到调用了flush操作，然后传输节点在flush操作之后将所有数据根据数据的有效载荷写入数据的长度的二进制块发送出去，允许在接收的另一端按照固定的长度来读取。帧传输类同样还是从缓存基类TBufferBase继承而来，实现的接口当然也基本相同，只是实现的方式不同而已，下面就来看看具体的实现过程和原理。这个类所采用的默认缓存长度是512（static const int DEFAULT_BUFFER_SIZE = 512;），两个基本构造函数一个采用默认的缓存长度，另一个可以指定一个需要的缓存长度。下面还是重点分析慢读、读帧等操作的实现过程：（1）慢读实现如下：uint32_t TFramedTransport::readSlow(uint8_t* buf, uint32_t len) { 　　 uint32_t want = len;//想要读取的长度 　　 uint32_t have = rBound_ - rBase_;//内存缓存中已经有的数据的长度 　　 assert(have < want);//如果以后数据长度满足需要读的长度就不需要采用慢读 　　 　　 // 如果我们有一些数据在缓存，拷贝出来并且返回它。 　　 // 我们没有试图读取更多的数据而是不得不返回它，因为我们不能保证在下面 ...继续阅读 (30)

本节主要介绍缓冲相关的传输类，缓存的作用就是为了提高读写的效率。Thrift在实现缓存传输的时候首先建立一个缓存的基类，然后需要实现缓存功能的类都可以直接从这个基类继承。下面就详细分析这个基类以及一个具体的实现类。缓存基类TBufferBase缓存基类就是让传输类所有的读写函数都提供缓存来提高性能。它在通常情况下采用memcpy来设计和实现快路径的读写访问操作，这些操作函数通
常都是小、非虚拟和内联函数。TBufferBase是一个抽象的基类，子类必须实现慢路径的读写函数等操作，慢路径的读写等操作主要是为了在缓存已经满或空的情况下执行。首先看看缓存基类的定义，代码如下：class TBufferBase : public TVirtualTransport{ 　　 public: 　　 uint32_t read(uint8_t* buf, uint32_t len) {//读函数 　　 uint8_t* new_rBase = rBase_ + len;//得到需要读到的缓存边界 　　 if (TDB_LIKELY(new_rBase <= rBound_)) {//判断缓存是否有足够的数据可读，采用了分支预测技术 　　 std::memcpy(buf, rBase_, len);//直接内存拷贝 　　 rBase_ = new_rBase ...继续阅读 (36)