C++11中对类(class)新增的特性default/delete 控制默认函数在我们没有显式定义类的复制构造函数和赋值操作符的情况下，编译器会为我们生成默认的这两个函数：默认的赋值函数以内存复制的形式完成对象的复制。这种机制可以为我们节省很多编写复制构造函数和赋值操作符的时间，但是在某些情况下，比如我们不希望对象被复制，在之前我们需要将复制构造函数和赋值操作符声明为private，现在可以使用delete关键字实现：class X { // … X& operator=(const X&) = delete; // 禁用类的赋值操作符 X(const X&) = delete; };显式地使用default关键字声明使用类的默认行为，对于编译器来说明显是多余的，但是对于代码的阅读者来说，使用default显式地定义复制操作，则意味着这个复制操作就是一个普通的默认的复制操作。override /final 强制重写/禁止重写虚函数派生类中可以不实现基类虚函数，也可以实现，但不使用virtual关键字；这很容易给人造成混淆，有时为了确认某个函数是否是虚函数，我们不得不追溯到基类查看；C++11引入了两个新的标识符： override和finaloverride，表示函数应当重写基类中的虚函数。（用于派生类的虚函数中）final，表 ...继续阅读 (12)

当优化扩展到多核时"软件开发没有银弹，我们能做的就是选择和平衡;"上一篇文章我们聊了在单线程下程序优化的5个方向（ref：《程序优化的5个方向》）；当单核优化到极值后，就到了多任务的情况；想起来很清晰，单个任务分解成多个任务，让多个cpu同时来工作，并行执行，效率自然就上去了；但，未必就这么简单；任务分解的粒度首先，我们需要确定，我们的单个任务是否可以分解；比如解析很多个文件，这样的任务划分成多个很简单；但如果是一个耗时的串行逻辑计算，后期的计算依赖前期的结果，这样就不好拆分；这种形式可能需要在更高层次上来拆分；数据竞争编程就是计算和数据；计算并行了，但数据还是访问同一份，访问共同的资源会产生资源竞争；如果不进行控制，可能导致同一份数据重复计算（多个读的场景）或是脏数据的产生（有回写的场景）；引入锁为了让数据访问有序进行，需要引入锁来防止脏数据；控制锁的粒度，是个需要精心考虑的话题；比如对于大量读少量写的场景，相比一视同仁的加锁，使用读写锁能显著提升效率；我们日常能接触到的产品中，数据库是个用锁高手，在更新数据的时候，是锁住行，还是列、或是表，不同的粒度性能相差明显；惊群现象考虑这样的场景：多个线程都在等在一个锁，如果可以拿到锁，线程就开始工作（线程池）当锁被释放时，如果唤醒多个线程可能会产生 惊群现象；解决方案：使用单线程方案/处理accpet连接 处理等待锁的操作，让任何时刻只 ...继续阅读 (20)

程序优化的5个方向80/20法则：程序执行中，80%的时间消耗在20%的代码上。优化前，我们首先得找到这20%的关键路径；各种语言都有专门的工具来找到这20%的关键路径，比如C++经常用到的gprof；参考《C++的性能优化实践》在关键路径上对耗时的计算进行优化；主要的优化方向为：减少重复计算、预先计算、延后计算、降低计算代价、不计算；减少重复计算典型的例子如缓存，将之前相同的计算（查数据库，读写文件）存下来，等待下一次继续使用；适用场景：计算结果有有效期，过段时间后需要再次计算；预先计算对于关键路径中比较耗时的计算，预先计算出来，节省每次计算的成本；预先计算出对照表关键路径中需要用到的映射关系对照表，将对照表预先计算，在关键路径中直接取用；将计算提前到初始化期间比如，内存分配耗时，将其提前到初始化的时间分配，建立内存池；将计算提前到编译期间比如：使用常量表达式，在编译期间将最终值计算出来，节省这部分的运行时开销；相关技术：模版元编程；适用场景：计算出来的值一直有效，无需再次计算；延迟计算将计算耗时延迟到后期，这样，对于异常情况或其它分支情况，在中途就转换，不用再计算；有较多分支条件将最耗时的计算延后，这样，可能很多场景在中途就转到其它分支上，不用计算；判断条件中的技巧：a||b a&&b;如果判断条件比较耗时，将更耗时的放在后面计算；这样，对于a||b,当a成立时，b就不用再计算 ...继续阅读 (17)

消除临时对象在我们的代码中，有些临时对象正在使用而我们并未察觉;性能优化时，消除临时对象，特别是大的临时对象，对提升性能效果明显；这里列出常见的临时对象产生的地方：按值返回按值返回函数结果，结果就是一个临时对象string add(string s1,string s2) { string s3; s3 = s1+s2; return s3; }解决方案：在大多数场景下，这个临时对象可以通过按引用返回来消除；void add(string s1,string s2,string& retvalue ) { retvalue = s1+s2; }幸运的是，编译器通常会对按值返回做优化，将其改写为按引用返回；但编译器做的也是非常保守的工作，仅对匿名返回临时对象做这种按引用传递；以上函数就不会做，而以下函数，编译器会自动优化为按引用传递：string add(string s1,string s2) { return s1+s2; }注：返回值优化（RVO： return value Optimition）：由编译器来完成将值返回转换为引用返回；按值传递参数按值传递参数，会有临时对象的分配string add(string s1,string s2) { string s3; s3 = s1+s2; return s3; } ...继续阅读 (18)

清楚利弊，用好内联内联的语法在类声明中定义方法；内联方法放在类声明之外，但必须出现在头文件中，且内联方法声明中使用inline标识；注：inline只是对编译器的建议，是否内联的决定权在编译器；内联节省的开销函数调用开销调用间优化 优秀的编译器可是内联方法的边界难以区分（将代码内联后，对代码进行重新排列）内联带来的问题代码膨胀（空间开销）由于代码膨胀带来的页面缓存命中率下降编译时间增加修改文件后相关文件都需要重新编译；由于函数边界模糊，该内联函数遇到问题后不好排查；内联函数的建议优化时，只针对高频代码内联；对于调用频率高的（80%以上场景都会走到的路径）：函数规模<5行：总是内联；5-20行,将高频率的调用点选择性内联；超过20行，重写方法，体现出快速路径并将其内联；内联的技巧将内联工作放到开发周期后期使用条件内联，通过宏和编译选项的技巧控制在开发初期不内联，而到开发后期再加上自定义内联选项进行内联；SPARC体系结构中的内联SPARC中有充足的寄存器，在限定的调用深度范围内几乎没有调用返回的性能损失（无须在调用时存储就的寄存器内容），所有，这种体系结构的内联效果甚微，一般不用考虑内联；Posted by: 大CC | 29JUN,2015博客：blog.me115.com[订阅]Github：大CC ...继续阅读 (26)

Redis数据导入工具优化过程总结背景使用C++开发了一个Redis数据导入工具从oracle中将所有表数据导入到redis中；不是单纯的数据导入，每条oracle中的原有记录，需要经过业务逻辑处理，并添加索引（redis集合）；工具完成后，性能是个瓶颈；优化效果使用了2个样本数据测试：样本数据a表8763 条记录；b表940279 条记录；优化前，a表耗时11.417s；优化后，a表耗时1.883s；用到的工具gprof, pstrace,time使用time工具查看每次执行的耗时，分别包含用户时间和系统时间；使用pstrace打印实时运行，查询进程主要的系统调用，发现耗时点；使用gprof统计程序的耗时汇总，集中精力优化最耗时的地方；使用简介：1.对g++的所有编辑和连接选项都必须要加上-pg（第一天由于没有在连接处加上-pg选项，导致无法出统计报告）；2.执行完程序后，本目录会产生gmon.out文件；3.gprof redistool gmou.out > report,生成可读文件report，打开report集中优化最耗时的函数；优化过程优化前11.417s：time ./redistool im a a.csv real 0m11.417s user 0m6.035s sys 0m4.782s （发现系统调用时间过长）文件内存映射系统调用时间过长， ...继续阅读 (45)

STL区间成员函数及区间算法总结在这里总结下可替代循环的区间成员函数和区间算法；相比单元素遍历操作，使用区间成员函数的优势在于：1）更少的函数调用2）更少的元素移动3）更少的内存分配在区间成员函数不适用的情况下也应该使用区间算法，至少，相比手写循环而言，它更加简单，有效，并且不容易出错；区间成员函数区间构造标准容器都支持区间构造函数：container::container(InputIterator begin, // 区间的起点 InputIterator end); // 区间的终点例如：int myints[] = { 10, 20, 30, 30, 20, 10, 10, 20 }; std::vectormyvector (myints, myints+8);以上是c++98中常用法，在C++11中，vector可以直接初始化了：std::vectorsecond ={10, 20, 30, 30, 20, 10, 10, 20}; 或者： std::vectorsecond ({10, 20, 30, 30, 20, 10, 10, 20});区间插入标准序列容器提供这种形式的insert：void container::insert(iterator position, // 区间插入的位置 ...继续阅读 (35)

高效的使用STL仅仅是个选择的问题，都是STL，可能写出来的效率相差几倍；熟悉以下条款，高效的使用STL；当对象很大时，建立指针的容器而不是对象的容器1）STL基于拷贝的方式的来工作，任何需要放入STL中的元素，都会被复制；这也好理解，STL工作的容器是在堆内开辟的一块新空间，而我们自己的变量一般存放在函数栈或另一块堆空间中；为了能够完全控制STL自己的元素，为了能在自己的地盘随心干活；这就涉及到复制；而如果复制的对象很大，由复制带来的性能代价也不小 ；对于大对象的操作，使用指针来代替对象能消除这方面的代价；2）只涉及到指针拷贝操作， 没有额外类的构造函数和赋值构造函数的调用；vecttorvt1; vt1.push_bach(myBigObj); vecttorvt2; vt2.push_bach(new BigObj());注意事项：1）容器销毁前需要自行销毁指针所指向的对象；否则就造成了内存泄漏；2）使用排序等算法时，需要构造基于对象的比较函数，如果使用默认的比较函数，其结果是基于指针大小的比较，而不是对象的比较；用empty() 代替size()来检查是否为空因为对于list，size()会遍历每一个元素来确定大小，时间复杂度 o（n），线性时间；而empty总是保证常数时间；尽量用区间成员函数代替单元素操作使用区间成员函数有以下好处：1）更少的函数调用2）更少的元素移动 ...继续阅读 (15)

常用的STL查找算法《effective STL》中有句忠告，尽量用算法替代手写循环；查找少不了循环遍历，在这里总结下常用的STL查找算法；查找有三种，即点线面：点就是查找目标为单个元素；线就是查找目标为区间；面就是查找目标为集合；针对每个类别的查找，默认的比较函数是相等，为了满足更丰富的需求，算法也都提供了自定义比较函数的版本；单个元素查找find() 比较条件为相等的查找find()从给定区间中查找单个元素,定义：templateInputIterator find (InputIterator first, InputIterator last, const T& val);示例，从myvector中查找30：int myints[] = { 10, 20, 30, 40 }; std::vectormyvector (myints,myints+4); it = find (myvector.begin(), myvector.end(), 30); if (it != myvector.end()) std::cout << "Element found in myvector: " << *it << '\n'; else std::cout << "Element not found in myvector\n";find_if() 自定义比较函数st ...继续阅读 (24)

使用ansible批量管理远程服务器背景本地需要管理远程的一批服务器，主要执行以下任务：1） 将本地的文件复制到远端所有服务器；2） 需要在远程服务器中执行一个个命令；远端服务器路径并非完全一致，一般访问通过环境变量中定义的变量路径访问；比如在.bashrc中定义$app_path=/opt/app/bin最终选择ansible，使用这个自动化运维工具可以满足我的需求；下面介绍下对于我这种场景需要使用的ansible的主要模块；关于ansible是什么以及安装配置请自行百度；复制copy模块使用copy模块，可以将本地文件一键复制到远程服务器；-a后跟上参数，参数中指定本地文件和远端路径；ansible myservers -m copy -a "src=/opt/app/bin/transfer.tar dest=~/"ansible通过ssh登录到远程服务器后，并不执行.bash_profile来设置用户自定义的环境变量；如果我们需要管理的目标服务器的路径不同，就不能直接写绝对路径，也不能写变量替换的路径；比如：针对服务器A的目标复制路径为 /opt/app/user1/bin ,服务器B的目标复制路径为/opt/app/user2/bin; 这两个路径在各自的服务器中的路径变量都设置为$bin; 但在copy模块中，我们不能直接使用dest = $bin/；路径设置一般放在. ...继续阅读 (36)

IO设计模式：Reactor和Proactor对比平时接触的开源产品如Redis、ACE，事件模型都使用的Reactor模式；而同样做事件处理的Proactor，由于操作系统的原因，相关的开源产品也少；这里学习下其模型结构，重点对比下两者的异同点；反应器ReactorReactor模式结构Reactor包含如下角色：Handle 句柄；用来标识socket连接或是打开文件；Synchronous Event Demultiplexer：同步事件多路分解器：由操作系统内核实现的一个函数；用于阻塞等待发生在句柄集合上的一个或多个事件；（如select/epoll；）Event Handler：事件处理接口Concrete Event HandlerA：实现应用程序所提供的特定事件处理逻辑；Reactor：反应器，定义一个接口，实现以下功能：1）供应用程序注册和删除关注的事件句柄；2）运行事件循环；3）有就绪事件到来时，分发事件到之前注册的回调函数上处理； “反应”器名字中”反应“的由来：“反应”即“倒置”，“控制逆转”,具体事件处理程序不调用反应器，而是由反应器分配一个具体事件处理程序，具体事件处理程序对某个指定的事件发生做出反应；这种控制逆转又称为“好莱坞法则”（不要调用我，让我来调用你）业务流程及时序图应用启动，将关注的事件handle注册到Reactor中；调用Reac ...继续阅读 (21)

客户-服务器程序设计方法《unix网络编程》第一卷中将客户服务器程序设计方法讲得透彻，这篇文章将其中编码的细节略去，通过伪代码的形式展现，主要介绍各种方法的思想；示例是一个经典的TCP回射程序：客户端发起连接请求，连接后发送一串数据；收到服务端的数据后输出到终端；服务端收到客户端的数据后原样回写给客户端；客户端伪代码：sockfd = socket(AF_INET,SOCK_STREAM,0); //与服务端建立连接 connect(sockfd); //连接建立后从终端读入数据并发送到服务端； //从服务端收到数据后回写到终端 while(fgets(sendline,MAXLINE,fileHandler)!= NULL){ writen(sockfd,sendline,strlen(sendline)); if(readline(sockfd,recvline,MAXLINE) == 0){ cout << "recive over!"; } fputs(recvline,stdout); }下面介绍服务端程序处理多个客户请求的开发范式；多进程处理对于多个客户请求，服务器端采用fork的方式创建新进程来处理；处理流程：主进程绑定ip端口后，使用accept()等待新客户的请求；每一个新的用户请求到来，都创建一个新的子进程来处理具 ...继续阅读 (28)

Redis性能测试Benchmark工具redis发布版本中自带了redis-benchmark性能测试工具;示例：使用50个并发连接，发出100000个请求，每个请求的数据为2kb，测试host为127.0.0.1 端口为6379的redis服务器性能：./redis-benchmark -h 127.0.0.1 -p 6379 -c 50 -n 100000 -d 2 ... ====== SADD ====== 100000 requests completed in 2.27 seconds 500 parallel clients 3 bytes payload keep alive: 1 4.66% <= 1 milliseconds 14.15% <= 2 milliseconds 23.87% <= 3 milliseconds 33.59% <= 4 milliseconds 43.13% <= 5 milliseconds 52.69% <= 6 milliseconds 62.08% <= 7 milliseconds 71.43% <= 8 milliseconds 80.66% <= 9 milliseconds 89.10% <= 10 milliseconds 95.23% <= 11 milliseconds 98.76% <= ...继续阅读 (26)

Redis事务的分析及改进Redis的事务特性数据ACID特性满足了几条？为了保持简单，redis事务保证了其中的一致性和隔离性；不满足原子性和持久性；原子性redis事务在执行的中途遇到错误，不会回滚，而是继续执行后续命令；（违反原子性）事务可以理解为一个打包的批量执行脚本，但批量指令并非原子化的操作；中间某条指令的失败不会导致前面已做指令的回滚，也不会造成后续的指令不做；比如：redis 127.0.0.1:7000> multi OK redis 127.0.0.1:7000> set a aaa QUEUED redis 127.0.0.1:7000> set b bbb QUEUED redis 127.0.0.1:7000> set c ccc QUEUED redis 127.0.0.1:7000> exec 1) OK 2) OK 3) OK如果在set b bbb处失败，set a已成功不会回滚，set c还会继续执行；持久性事务不过是用队列包裹起了一组 Redis 命令，并没有提供任何额外的持久性功能，所以事务的持久性由 Redis 所使用的持久化模式决定：在单纯的内存模式下，事务肯定是不持久的。在 RDB 模式下，服务器可能在事务执行之后、RDB 文件更新之前的这段时间失败，所以 RDB 模式下的 Redis 事务也是不持久的。在 AOF 的“总是 SYNC ...继续阅读 (14)

DigitalOcean Coupon & Promo Codes for 2015优惠码又到了缴费的时间，上网搜了一圈，发现了不少优惠码，没有大额的，只有10美元；有需要的可以试试:SHIPITFASTSHIPITNOW10DODEPLOYWP10DEPLOY2DOradio-tTWITTER914DigitalOcean地址使用以下地址注册，你将直接获得10美元（可用来支付2个月的VPS费用）,而我也可以获取推广收益：DigitalOcean注册 ...继续阅读 (13)

C++ Redis mset 二进制数据接口封装方案需求C++中使用hiredis客户端接口访问redis；需要使用mset一次设置多个二进制数据以下给出三种封装实现方案；简单拼接方案在redis-cli中，mset的语法是这样的：/opt/colin$./redis-cli mset a 11 b 22 c 333 OK按照这样的语法拼接后，直接使用hiredis字符串接口redisCommand传递：void msetNotBinary(redisContext *c, const vector&vtKey;, const vector& vtVal ) { if(vtKey.size() != vtVal.size()) { throw runtime_error( "Redis error" ); } string strCmd = "MSET"; for(int i = 0; i < vtKey.size(); i++) { strCmd += " "+vtKey[i]+" "+vtVal[i]; } cout << "strCmd:" << strCmd << endl; void * r = redisCommand(c, strCmd.c_str() ); ...继续阅读 (18)

const变量赋值报错分析const变量赋值报错从变量到常量的赋值是合法C++的语法约定的，如从char 到const char顺畅；但从char **到 const char **编译器就会报错：error: invalid conversion from `char**' to `const char**'示例：int main(int argc, char *argv[]) { char a = '1'; const char b = a; char * a2 = "12345"; const char * b2 = a2; char** a3 = NULL; //const char** b3 = a3; //error char** const c3 = a3; //ok char* const * d3 = a3; //ok }原因：const char** b3 说明 b3的指针可以变更，可以再指向另外一个地址；b3和a3都是unqualified的，但b3指向的对象类型为pointer to const char，a3指向的对象类型为 pointer to char，两者是不相容类型，不符合两操作数必须指向相容类型的规定，因此赋值非法。更详细的解释详见参考资料1；而char** const c ...继续阅读 (18)

发布《Linux工具快速教程》阶段性的完成了这本书开源书籍，发布出来给有需要的朋友，同时也欢迎更多的朋友加入进来，完善这本书；本书Github地址：https://github.com/me115/linuxtools_rst在线阅读缘起Linux下有很多命令行工具供我们使用，每个工具总是提供了大量参数供我们选择；实际工作中，我们用到的工具，最常用的总是那么几个参数组合；为此，我写了这本相对实用的书；这本书专注于Linux工具的最常用用法，以便读者能以最快时间掌握，并在工作中应用；总论全书分为三个部分：第一部分为基础篇，介绍我们工作中常用的工具的高频用法；第二部分为进阶篇，介绍的工具更多的适合程序员使用，分为程序构建、程序调试及程序优化；第三部分是工具参考篇，主要介绍实用工具的用法和实例；相比第一二部分，这里针对每个工具的介绍更全面；同时，这个教程也可当作Linux命令手册使用，使用左边栏的目录和搜索栏可以很方便的查阅；目录大纲Linux基础学会使用命令帮助文件及目录管理文本处理磁盘管理进程管理工具性能监控网络工具用户管理工具系统管理及IPC资源管理Linux工具进阶程序构建程序调试性能优化工具参考篇gdb 调试利器ldd 查看程序依赖库lsof 一切皆文件ps 进程查看器pstack 跟踪进程栈strace 跟踪进程中的系统调用ipcs 查询进程间通信状态top linux下的任 ...继续阅读 (15)