之前在公司内网看到fanli分享过该类的内容，里面提到了backup requests和canary requests，印象比较深刻，也是深有体会，所以这里就转载下这篇文章，以便后续加深理解。原文：Jeff首先以Google的搜索服务为例，说明了何为大扇出服务（Large Fanout Service），即一个搜索请求需要有大量子系统（Web、新闻、图像、视频、博客等等）参与其中，以便提供更丰富的搜索结果。在Google，基本不 会为特定的服务提供特定的机器，而是将服务都部署在一个机器池中，这被称为共享环境（Shared Environment），Google的共享环境大致会包含以下几个部分——Linux、调度系统、文件系统ChunkServer、多种其他系统服 务、Bigtable Tablet Server、随机MapReduce任务、CPU密集型任务以及随机应用。它的好处是可以极大地提升利用率，但同时也会带来诸多无法预测的问题，比如网 络拥塞等等。尤其是响应时间的长尾现象比较明显，一次请求的平均响应时间是10毫秒，但是却有99%ile的响应时间大于1秒，在大扇出服务中，如果需要 调用100台服务器获得最终结果，那有63%的请求耗时会大于1秒。（备注：99%ile的含义：%ile means the percentage of people ranked below yo ...继续阅读 (34)

在awk中并未直接提供ord函数，所以在将某个字符转换为码时，需要自己来实现awk 'BEGIN{for (i = 0; i < 256; ++i) {ord[sprintf("%c", i)] = i;} }'  ' { print ord['a'];  ord ['b']; }'这里主要是构造了ord为key,val的数据结构，key为char字符，val对应的ascii码您可能对下面文章也感兴趣: ...继续阅读 (58)

正则在Awk中用处比较多，这里就其主要用法做个大概的介绍。使用正则awk中的regexp是用斜线包括，如/xx/, 就是一个比较简单的正则awk '/foo/ {print $2}'上面的示例是每行的记录只要包括foo字符串的，就将其第二个字段打印注：/foo/ : 是指只要记录包含子串即可，不管其出现的位置两种匹配方式~  !~str ~ /regexp/    str匹配正则表达式时，返回truestr !~  /regexp/   str不匹配正则表达式时，返回true正则中的转义字符对于一些非可打印的字符，使用\进行转义。如 \t : 代表tab  \\  代表\,   \*代表*正则中使用的operator^ : 头部开始匹配如^Sep :  则str必须以Sep开头，正则匹配才会返回true$ :  尾部匹配如end$ :  则str必须以end结尾，则正匹配才会返回true. : 匹配任意的字符[...] : 匹配[]包含字符的某一个如[0-9] 匹配任意的一个数字[a-zA-Z] 匹配任意的字母[MVX] 匹配字符’M’ ‘V’ ‘X’中的某一个内置的表示：[:alnum:] 代表所有的字母和数字，[:alpha:] 代表所有的字母  [:digit:] 代表所有的数字[^...] : 中括号中 ...继续阅读 (34)

今天主要介绍下awk中内置的String函数和awk中内置的变量。awk中内置的string函数index(in, find): 在 string “in”中查找 find 的第一次出现位置，返回的find在in中第一个字符出现的位置，从1开始awk 'BEGIN { print index("peanut", "an") }' # 打印3length(string) : 返回字符串的长度，如果是number类型，返回对应字符的长度match(string, regexp) : 正则匹配regexp的规则，如果匹配，则返回对应第一个字符的位置split(string, array, fieldsep) : 按照fieldsep分割字符串，并将结果放置到array中，array的下标从1开始split("yaronspace.cn", fields, ".") # fields[1] = "yaronspace" # fields[2] = "cn"sprintf(format, expression1, …): 格式化字符串sub(regexp, replacement, target): 将第一个匹配的regexp的部分使用replacement替代，替代后的结果还是保存在target变量中。所以target必须是变量，不可为字符常量str = ...继续阅读 (26)

最近在线上中遇到使用libmemcached的svr连接memcached间隔性的出现47错误，每次在2s的时间内大量出现，其宏定义为MEMCACHED_SERVER_TEMPORARILY_DISABLED，表示memcached临时性不可用.libmecached的版本是0.53刚开始以为是网络间隔性异常导致，但是在排查无果的情况，只能深入看下libmemcached的源代码，发现了其内部实现的retry_timeout的机制：当某个时刻，某台memcached机器出现连接超时情况时，会将server的状态标识为MEMCACHED_SERVER_STATE_IN_TIMEOUT在接下来的retry_timeout（默认为2s）的时间内，libmemcached将不会重新连接该memcached，总是直接返回47错误码，表示服务临时不可用我们遇到的情况就是当某个时刻网络抖动（这个在跨机房通信应该比较常见），可能会是在ms级的，但是libmemcached会直接将该server不可用，并且在2s内不再重试。这里就是所谓的“快隔离、慢恢复”的理念，会在2s内导致该memcached不可用，出现大量47错误的原因。可以通过MEMCACHED_BEHAVIOR_RETRY_TIMEOUT将retry_timeout设置为1s来减少网络抖动的影响，但是不能设置为0，最少是1s.您可能对下面 ...继续阅读 (53)

平时在程序设计中，我们推荐使用snprintf, 主要是为了避免str写越界的情况发生，但是对snprintf的返回值理解有个误区，今天特别记录下。snprintf的函数原型为：int snprintf(char *str, size_t size, const char *format, …);说明：之前以为snprintf的返回值是实际写入到str字符串的长度，其实不然case 1: 如果要输出的字符串的长度< size, 主要这里不包括=, 因为snprintf会自动将\0加入到str中，snprintf的返回值是实际str的长度case 2: 如果要输出的字符串长度>= size, 则表明str的长度不够写入原有的长度，则snprintf的返回值在理想情况下（即str的长度足够长）的字符串长度，所以其返回值可能会出现>= size的情况。另外需要说明的snprintf会自动将’\0′追加到str的末尾，而snprintf的返回值是不包括’\0′的这个在官方的manual里写的比较清楚：If the output was truncated due to this limit then the returnvalue is the number of characters (not including the tra ...继续阅读 (37)

总有一个适合你的阿里技术嘉年华2013年1.阿里分布式数据库服务原理与实践2.实时计算服务化实践3.构建一个跨机房的Hadoop集群4.Android设备体验优化5.无线互联网-产品质量保证6.探求计算性能极限-探求计算密集应用优化的天花板7.基于Hadoop_HBase的一淘搜索离线系统8.深度学习：机器学习的新浪潮9.阿里分布式数据库服务原理与实践10.百度媒体云技术及架构11.后端-大型网站SEO优化实践12.去哪儿酒店实时搜索技术分享13.淘宝消息中间件技术演变14.AB测试和灰度发布平台架构设计和实践15.淘宝网CRM平台架构for ADC16.HouseMD介绍17.Inside TAE18.Nashorn与JDK8——动态语言在JVM上的高性能实现19.Scala中的函数式特征与并发20.TMS模块化页面搭建平台21.Web页面分层交叉实验22.北冥神功- 新一代数据查询中间层23.互联网系统的稳定性保证：微博的实践24.基于OpenStack构建网易云主机服务25.架构模式与实践漫谈26.容量规划与授权限流降级27.淘宝文本中的语义分析以及技术展望28.天猫个性化推荐架构29.新一代前端代码开发与部属方案——独角兽系统功能简介30.让店铺飞起来31.商品详情页静态异步化32.架起前端和开发的桥梁33.淘宝网商品详情页静态异步化34.不一样的装修35.跨终端的文件加载 ...继续阅读 (59)

大家在Linux下都用shell的TAB自动补全功能，非常方便，但是有时自己开发程序，可能需要自定义实现TAB自动补全功能，这时可能就会用到complete命令来实现对命令的自定义补全，本文主要介绍complete的用法，下一篇会着重介绍对ssh的自动补全的实现。入门首先先看一个非常简单的例子：$ # Create a dummy command: $ touch ~/bin/myfoo $ chmod +x ~/bin/myfoo $ # Create some files: $ touch a.bar a.foo b.bar b.foo $ # Use the command and try auto-completion. $ # Note that all files are displayed: $ myfooa.bar a.foo b.bar b.foo $ # Now tell bash that we only want foo files. $ # This command tells bash args to myfoo are completed $ # by generating a list of files and then excluding $ # everything # that doesn't match *.foo: $ complet ...继续阅读 (34)

Hadoop MapReduce是比较经典的Master/Slave架构设计，系统主要包括两大模块：JobTracker : 也就是我们所说的Master, 包括资源管理功能和作业调用功能；TaskTracker : Slave模块，或者称为Worker，任务执行的节点；JobTracker中资源管理Hadoop以slot（槽位）代表计算资源，包括一定的内存和cpu核，具体细分为Map Slot和Reduce Slot，一个Task可占用多个slots；一个TaskTracker可划分多个slots（可配置）, slots间的资源隔离目前hadoop做的不是太好；TaskTracker作为具体的执行单元，采用pull的的方式拉取任务，TaskTracker会定期的向JobTracker发送心跳，心跳的信息包括：我还活着，TaskTracker中运行的task的状态，如果有空闲的slots的话，向JobTracker表明我有空闲资源，JobTracker以心跳应答的方式向TaskTracker分配新的Task;JobTracker不会主动的和TaskTracker联系，只会接收心跳，然后再应答中向TaskTracker发送指令，如启动Task, 杀死Task；如果长时间未收到TaskTracker的心跳，表明TaskTracker可能已宕机，则会重启TaskTracker上已经分配的 ...继续阅读 (38)

今天同事问了关于const 值被更改的问题，这个问题在面试中也会经常被问到，所以专门写篇博客总结下。代码如下输出结果：a:10 p:20简单分析：其实针对该问题，原因比较简单，在printf调用中，由于a是常量，编译器做了优化，将a的值直接替换为10，所以在后续对a的内存位置进行更改为20时，并未对printf的a参数影响。当然，同事并未相信我的分析，我只能调用汇编后的代码进行分析。深度分析：1. 生成汇编代码：g++ -S test.cpp   # 输出的汇编代码位于test.s中2. 汇编代码如下：根据第26行，验证了我上述的分析，此时同事想让我讲下整个汇编代码的逻辑（我心里暗喜，刚好最近在上@林士鼎 的课程，顺便复习下）3. 函数调用的知识理解函数调用栈，有几个概念需要事先明确：a. 栈的增长方式由高到低（大学课本里早就会背了，但是要真正理解）b. 参数传递方式：寄存器 + 栈c. %rsp : 栈头指针 ， push pop会更改对应的指针值d. %rbp : 帧指针， 这个概念非常重要，当前函数的栈的起始位置，使用%rbp + offset访问局部变量及传递的参数，下面这张图是@林士鼎 老师的课件中某个图4. 汇编分析：main: .LFB2: pushq %rbp # 将原来的帧指针保存 .LCFI0: movq %rsp, %rbp # 将当前%rs ...继续阅读 (39)

今天在weibo上发现了GDB调试STL容器类的利器，这里记录下：脚本地址：这里使用方法：将链接里的文件内容保存到home目录的.gdbinit中，然后启动gdb时就可直接使用相关命令.提供以下的方法：#std::vector -- via pvector command #std::list -- via plist or plist_member command #std::map -- via pmap or pmap_member command #std::multimap -- via pmap or pmap_member command #std::set -- via pset command #std::multiset -- via pset command #std::deque -- via pdequeue command #std::stack -- via pstack command #std::queue -- via pqueue command #std::priority_queue -- via ppqueue command #std::bitset -- via pbitset command #std::string -- via pstring command #std::widestring -- via pwstring co ...继续阅读 (28)

今天看到云风的一篇blog,提到了XOR链表，第一次见到，算法非常有意思，记录下。大概思想：正常实现双向链表，对于每个node都会保存两个指针pre和next, 但是对于XOR linked list来说，可以只保存一个指针就可以实现，保存的就是pre^next的异或值。这个数据结构可以工作起来，依赖位运算的一个特性： A^(A^B) == B ，我们知道前序地址或后继地址中的任意一个，都可以用这个值推算出另一个来。这样的链表，从前向后与从后向前遍历的算法是一样的，区别只在于初始参数。对于每个链表对象，我们只需要保存链表的head和tail, 就可实现从头和从尾遍历链表。这里是Wikipedia对XOR linked list的介绍：http://en.wikipedia.org/wiki/XOR_linked_list另外还有一篇论文对lock-free FIFO 的介绍：http://people.csail.mit.edu/edya/publications/OptimisticFIFOQueue-journal.pdf最多留言日志 ...继续阅读 (34)

iMacros是作为浏览器的插件，通过录制对网页的操作，然后进行回放，这样可以避免大量的重复性的劳动；目前已支持Firefox、Chrome和IE，我试用了一下Firefox的插件，感觉还挺方便的，与类似12306的刷票插件的原理基本是一样的，不过iMacros提供了自己的脚本，你可以直接图形界面录制，当然你也可以通过自己修改脚本来进行录制并回放，是实现浏览器自动抓取的利器。本文主要介绍iMacros的基本用法，最后以一个比较的小的例子作为说明。安装1. Firefox插件下载地址：这里2. Chrome插件下载地址：这里使用安装完成后，你会看到增加了这个图标，然后点击该图标，你就会看到iMacros展开的样子可以看到上面一栏是对应的脚本，下面分为三栏：“运行”， “记录”， “编辑”“运行”： 选中某个录制的脚本，点击运行，就会回放对应的操作“记录”： 点击“记录”按钮，此时iMacros会开始录制你再浏览器上做的操作，然后会保存在Current.iim脚本中，比如我首先打开baidu.com, 并点击录制，然后输入”firefox imacros”搜索，最后“停止”；“编辑”：选中“Current.iim”文件，选择“编辑宏”按钮，你会看到如下的内容：VERSION BUILD=8300326 RECOR ...继续阅读 (25)

最近在看《Unix/Linux设计思想》这本书，有些地方读起来很容易，但是真正理解还需要细细品味，以后就把书中提到的一些准则简单记录下，主要是为了加深理解，今天主要记录下Unix哲学的概述。Unix哲学概述：(1)小即是美。相对于同类庞然大物，小巧的事物有着无可比拟的优势，其中一点就是它们能够以独特有效的方式结合其他小事物，这和软件工程中提到的“模块化”的思想基本是一致的。(2)让每个程序只做好一件事情。通过集中精力应对单一任务，程序可以减少冗余代码，从而避免过高的资源开销、不必要的复杂性和缺乏灵活性。(3) 尽快建立原型。大多数人都认同“建立原型”（prototyping）是任何项目的一个重要组成部分。在Unix环境中，它是达成完美设计的主要工具。(4) 舍高效率而取移植性。当Unix作为第一个可移植性系统而开创先河时，它曾掀起过轩然大波。今天，可移植性早被视作为现代软件设计中一个理所当然的特性。(5)使用纯文本文件来存储数据。可以看到在类Unix的系统中，所有的配置文件都是使用文本数据直接存储，一方面用户可以直接修改配置，另一方面也是为移植性考虑的。(6)充分利用软件的杠杆效应。很多程序员对可重用代码模块的重要性只有一些肤浅的认识。代码重用能帮助人们充分利用软件的杠杆效应。一些Unix程序员正是遵循这个强大的理念，在相对较短的时间内编写出大量应用程序。(7)使用shell脚步来 ...继续阅读 (30)

google开源了hashtables的包，包括两个部分：sparse, 比较节省空间space-efficient;dense, 高效的查询效率 time-efficient;同时接口兼容SCI的hash_map和hash_set, 并且提供了序列化的功能，非常赞~下面是其官方的性能测试数据：可以看到sparse_hash_map比stl::map和hash_map节省2/3的空间，而dense_hash_map具备较高的查询，删除, insert性能，可以根据具体的应用来使用不同的数据结构。下载地址：http://code.google.com/p/sparsehash/doc :http://google-sparsehash.googlecode.com/svn/trunk/doc/SPARSE_HASH_MAP: map_grow 665 ns map_predict/grow 303 ns map_replace 177 ns map_fetch 117 ns map_remove 192 ns memory used in map_grow 84.3956 Mbytes DENSE_HASH_MAP: map_grow ...继续阅读 (43)

最近一直在做索引压缩方面的事情，无意中看到了Jeff Dean大牛分享的google早期的索引结构，对于我们这种刚刚起步的搜索公司，还是很有启发意义的，收获还是比较大，所以就简单记录下。1. 索引压缩常用的压缩算法淘宝的一篇技术blog分享了一些比较常用的压缩算法：varint (变长压缩)： 字节对齐，压缩比不高group varint: 变长压缩的变形，比varint的解压速率高很多，这里有它的实现Gamma:  对比较小的数字压缩比会比较高，将数值分为两个部分： 一元编码（num_bits）+二进制编码Simple9 + simple16: 对于32bit的空间进行组织，可存储多个数值PForDelta + NewPForDelta: 比较新的压缩算法，压缩比和解压缩比都比较高效，适合于docid_delta的压缩关于这些算法的相关介绍可以看下www.wikipedia.org，或者搜下对应的paper.2. Google的索引结构可以看到，对于token的doclist是以Block的方式进行组织的，如果doclist比较长，还会使用skip table来快速查找；Block的组织方式：a. block header:  使用变长存储与上一个block的delta, 并存储block 实际的存储长度（可能是作为验证）b. 第二行使用Gamma来压缩编码类型及在block中出 ...继续阅读 (66)

今天是腊月二十六，还在公司上班，看来今天是没有可能码代码，就静下心来回顾下2012年，看了前两年的总结，虽然只有寥寥几行，但是回味起来还是挺有味道的~ 所以记录下2012发生的事，算个总结吧!关键词：毕业2012.07.01正式从ICT毕业，正式结束了自己的学生生涯，也算是比较顺利；从2月份过年回来，被拉去封闭开发了一段时间，大概有一个月的时间，那段时间也算是见识了下大场面，还被领导人接见了下哈~之后回来开始搞毕业论文，这里也晒下毕业论文的题目：面向网络仿真的虚拟化网络IO优化研究与实现，是基于KVM虚拟机做的二次优化，加上研究生之前的工作和周大神的帮助，最后论文完成的比较顺利，顺利通过了论文的答辩，据说最后还被评为优秀毕业论文，哈哈，也算是最自己研究生三年的一个交代了~回顾三年的研究生生涯，学术上没有啥成果，最后连一篇论文都没有发表，技术了稍微有些提高吧，接触了一些开源的项目的，但是比较遗憾的是没有专注于在上面，纯属打酱油状态，最后的收获就是认识了猛爷，彪爷和韬爷三位同学，现在韬爷已经飘洋过海，猛爷和彪爷最后就职于某靠谱的互联网公司，当然是希望韬爷以后带领我们完成屌丝的逆袭了。关键词：工作2012我也正式参加工作，最后去了一家伪互联网公司，提前了一个月去公司实习，提前熟悉环境，最后看来这个决定还是比较明智的，后面批量入职的同学都要被bt新人练习题折磨近一个月的时间，主要负责的工作 ...继续阅读 (38)

使用#pragma pack(n)伪指令#pragma pack (n)，编译器将按照n 个字节对齐伪指令#pragma pack ()，取消自定义字节对齐方式#pragma pack(1) struct my_align_struct { uint32 u0:8; uint32 u1:8; uint32 u2:8; uint32 u3:16; }; #pragma pack() sizeof(my_align_struct) == 5 // 默认情况下gcc是按照四字节对齐的，sizeof(my_align_struct) == 8.使用__attribute__属性struct my_align_struct { uint32 u0:8; uint32 u1:8; uint32 u2:8; uint32 u3:16; }__attribute__((packed, aligned(1)));您可能对下面文章也感兴趣: ...继续阅读 (37)

Latency Comparison Numbers -------------------------- L1 cache reference 0.5 ns Branch mispredict 5 ns L2 cache reference 7 ns 14x L1 cache Mutex lock/unlock 25 ns Main memory reference 100 ns 20x L2 cache, 200x L1 cache Compress 1K bytes with Zippy 3,000 ns Send 1K bytes over 1 Gbps network 10,000 ns 0.01 ms Read 4K randomly from SSD* 150,000 ns 0.15 ms Read 1 MB sequentially from memory ...继续阅读 (45)

最近在做性能优化时，遇到一个问题，系统中进程占用的内存没有那么多，但是通过TOP看到系统对实际物理内存接近满额，十分纳闷，后来问了同事才知道原来是Cache Memory占用了大量内存，上网查阅了相关资料，整理记录下。什么是Cache Memory当进程对磁盘中的文件大量读写时，Linux内核为了提升读写性能，会将文件在内存中进行缓存，这部分内存就是Cache Memory(缓存内存)。即使你的程序运行结束后，Cache Memory也不会自动释放。这就会导致你在Linux系统中程序频繁读写文件后，你会发现可用物理内存会很少。如何释放Cache Memory(缓存内存)：用下面的命令可以释放Cache Memory：To free pagecache:echo 1 > /proc/sys/vm/drop_cachesTo free dentries and inodes:echo 2 > /proc/sys/vm/drop_cachesTo free pagecache, dentries and inodes:echo 3 > /proc/sys/vm/drop_cachesfree命令介绍total used free shared buffers cachedMem: 16425996 10727220 5698776 0 380904 9389832-/+ buffers/ ...继续阅读 (38)

今天学习了sort, uniq, cut, paste和split命令的用法，其中sort的选项比较多一些，其它的命令就比较简单了关于sort,本站之前写过一篇关于sort的高级用法，请点击这里一、Sort命令sort [OPTION]… [FILE]…对文件按指定的域进行排序常用选项：-c: 检测文件是否已经排序-m: 将两个已经排序的文件进行合并-u: 在排序过程中，删除重复的行-o: 保存排序后的文件-t: 域分隔符，默认为空格和tab-n: 指定待排序的域为数字类型-r: 逆序排序，默认为正向排序-b: 按域排序时忽略第一个空格+n: 按照第n个域进行排序，域从第0个开始计数+m.n: 按照第m个域的第n个字符开始开始排序-k: 按照第k个域进行排序，域从第1个开始计数常见的用法例子：sort  -o output.txt  your_file.txt  #对文件按第一域进行排序，将排序结果保存到output.txt sort -t: -r +2n your_file.txt #对文件按照第2个域进行逆向排序，第二个域为数字类型，同时分割符为: df | sort -b -r -k5  #按照磁盘的占用率从高到底进行排序输出二、uniq命令uniq [OPTION]… [INPUT [OUTPUT]]从文件中去除或删除重复的行，在功能 ...继续阅读 (35)

最新在看《Linux And Unix shell Programing 》，避免看完之后忘记，以后每看一部分都记录下。今天主要记录下linux下最常用的两个命令grep和find。一、Grep命令grep [OPTIONS] PATTERN [FILE...]grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]查找文件中包含某个关键词的行；常用选项：-c : 只输出匹配的行数-i : 查找不区分大小写-n: 显示匹配的行号-v: 显示不包含关键词的行-A Num: 显示匹配的行及其后面num行-B Num: 显示匹配的行及其前面的num行-r:  如果遇到目录递归查询-E :正则表达式扩展常见的用法grep keyword -r * # 在当前目录及其子目录下查找包含keyword的行 grep --exclude="*\.svn*" keyword -r  *  #功能同上，但是不查找.svn文件 #正则表达式 grep  ‘48[34]’ your_file #查找包含483或者484的行 grep '4\{3,8\}' your_file #查找包含3个到8个4的行 grep -E  '216|329' your_file  #包含216或者329的行 #和其它程序配合使用 ps  aux | grep apache2 ...继续阅读 (32)

背景在我们的实际开发过程中，经常会开发一些插件，比较常见的例子如：给你 DataHandler，它是一个抽象类，提供一些数据操作的接口，然后插件开发者就需要继承DataHandler，并按需求实现对应的接口，将其作为插件，编译到最终的二进制程序中，最后通过配置文件指定生效该插件。//  data_handler.h Class DataHandler { public: virtual bool Handle(std::vectordata_list) =0; virtual ~DataHandler(){} }; REGISTER_REGISTER(DataHandler) #define REGISTER_DATA_HANDLER(name) REGISTER_CLASS(DataHandler, name)// my_data_handler.h class MyDataHandler : public DataHandler { public: virtual bool Handle(std::vectorresult_list); };// my_data_handler.cc bool MyDataHandler::Handle(std::vectordata_list) { // Implemention... } REGISTER_DAT ...继续阅读 (29)

scoped_ptr, shared_ptr和weak_ptr的都称为智能指针，但是各个的用法都不太一样，本文就就详细介绍其具体用法以及具体实现方法。用法介绍scoped_ptr: “scoped”即作用域的含义，主要用于指针在某个作用域中有效，当离开作用域时，该指针自动释放，这就避免了出现忘记回收内存的情形，同时scoped_ptr的复制构造函数和赋值函数为私有，这样就避免了指针的传递， 示例如下：scopedg_ptr; { scoped_ptrptr(new T); g_ptr = ptr;//illegal, because the assign operator is private. //T* will deleted when it goes out of this scoped. }shared_ptr: 共享所有权的智能指针，当某个对象需要在多个地方使用时，被多个指针引用，此时程序可能就无法确定在何时释放该对象，因此就需要使用“引用计数”的方法，当对象被引用的次数为0时，自动释放该对象，示例代码如下：shared_ptrg_ptr; { shared_ptrptr; // reference count is 1. g_ptr = ptr; //now reference count is 2 // when it goes ...继续阅读 (35)

在Stevens的《Unix 环境高级编程》中第11章线程关于pthread_cond_wait的介绍中有一个生产者-消费者的例子P311，在进入pthread_cond_wait前使用while进行条件判断，而没有直接使用if,耐人费解！代码如下：#includestruct msg { struct msg *m_next; /* value...*/ }; struct msg* workq; pthread_cond_t qready = PTHREAD_COND_INITIALIZER; pthread_mutex_t qlock = PTHREAD_MUTEX_INITIALIZER; void process_msg() { struct msg* mp; for (;;) { pthread_mutex_lock(&qlock;); while (workq == NULL) { pthread_cond_wait(&qread;, &qlock;); } mq = workq; workq = mp->m_next; pthread_mutex_unlock(&qlock;); /* now process the message mp */ } } void enqueue_msg(struct msg* mp ...继续阅读 (26)

1. 单个文件的读取在shell脚本下，可以多种方式实现按行读取文件，如下：forlinein`cat${input_filename}`doecho$linedonewhilereadlinedoecho$linedone<${input_filename}其中第二种方式是将文件重定向到标准输入中2. 多个文件读取方法那如何实现同时多个文件的读呢？我们可以继续利用bash中的文件重定向功能，将文件重定向到特定的文件描述符中，语法如下：nfilen>>filenfile这里的n代表打开文件file的文件描述符，类似其他编程语言中的fd，如果没有指定n，则其默认行为如下：file#same as 1>filefile#same as 0file我们可以通过exec命令来打开所要重定向的文件：exec7<&7#使用符合是为了区分7是文件描述符，而不是文件名readdata<&8关闭文件exec7dev/nullexec8dev/null多文件读取示例代码如下：readfiles(){localFD1=7localFD2=8localfile1=$1localfile2=$2localcount1=0localcount2=0localeof1=0localeof2=0localdata1localdata2# Open files.exec7<$file1ex ...继续阅读 (29)

通过Shell获得本机IP地址方法，直接上代码：IP=`ifconfig|grep'inet addr:'|grep-v'127.0.0.1'|cut-d:-f2|awk'{ print $1}'`;echo$IP;如果想获得第一个IP地址的话，可以在grep ‘inet addr:’增加参数-m 1即可您可能对下面文章也感兴趣: ...继续阅读 (47)

需求鉴于国内网络环境的恶劣，本人的blog的托管在国外的vps，为了防范数据丢失，需要及时备份下网站的数据和代码，这样等哪天数据丢失即可及时恢复，数据最重要解决方法自己就通过查找资料，简单地写了shell脚本首先打包wordpress代码，使用mysqldump导出mysql数据其次使用mail命令发送数据到指定邮箱最后crontab定时执行即可搞定另外在使用mail命令行工具时遇到了一个问题，stackoverflow帮我解决了，具体在这里实现脚本#!/bin/bash # author: yaronli (jidalyg_8711@163.com) # powered by yaronspace.cn set -x backup() { cd /var/www/ #打包代码 tar -czf /tmp/${1}_$(date +%F).tar.gz ${1} #导出数据 mysqldump -u${2} -p${3} ${1} > /tmp/${1}_$(date +%F).sql #以附件形式发送邮件 (uuencode /tmp/${1}_$(date +%F).tar.gz ${1}_$(date +%F).tar.gz; uuencode /tmp/${1}_$(date +%F).sql ${1}_$(date +%F).sql)\ | mail -s ${1 ...继续阅读 (39)

原文地址：http://www.oschina.net/question/12_45835比较好的文章，分享下需求列表：要求是 bash, wget, 以及 “mail” 命令 (sendmail, exim, postfix, 之类)可监控任何 HTTP/HTTPS URL, 检查 “200″ 状态返回检查请求返回时间，用于监控一些慢响应通过 Email 发送异常状态提醒可定制的接收异常信息的邮箱可定制慢响应的时间避免重复发送相同的异常提醒使用简单文本文件作为数据存储，不需要数据库crontab脚本如下：*/5****root/home/username/sitemonitor.shsitemonitor.sh脚本如下：#!/bin/bash# Simple HTTP/S availability notifications script v0.1# March 20, 2012 by Jeff Rowberg - http://www.sectorfej.netHOSTS=(\"http://www.yahoo.com"\"https://www.google.com"\"http://www.amazon.com"\)NOTIFY_FROM_EMAIL="Site Monitoring"NOTIFY_TO_EMAIL="Server Admin"STATUS_ ...继续阅读 (30)

关于Systemtap的介绍，请移步到这里，是调试内核和分析系统软件瓶颈的利器今天主要介绍下在debian系统的安装1. 安装Systemtapsudoapt-getinstallsystemtap2. 安装elfutilsapt-getinstallelfutils3. 安装kernel debug info包，否则无法追踪内核信息uname-r#查看内核版本sudoapt-getinstalllinux-image-2.6.32-5-amd64-dbg# 2.6.32-5-amd64为uname -r的命令输出sudoapt-getinstalllinux-headers-2.6.32-5-amd644. 测试sudostap-k-e'probe begin{printf("hello"); exit();}'具体关于Systemtap语法的使用，请参考下面链接http://sourceware.org/systemtap/documentation.htmlhttp://www.abc188.com/info/html/wangzhanyunying/jianzhanjingyan/20080417/69732.html5. 参考文章1.http://www.ningoo.net/html/2010/use_systemtap_on_ubuntu.html2.http://s ...继续阅读 (29)