从昨天开始发觉自己香港的机器负载很高，昨天比较忙，没搭理它，今早来看负载已经到20+了，我的机器12核的，发觉不行了，得查一下先用top然后看到每个核的us其实很小，但是wa很高导致load到了20+，首先想到的就是硬盘的问题从上面的图种看到，CPU的0号核最明显，18.1%的us，idle为0，而wa已经到80.6%了接下来就是查看硬盘瞬时的写入和读取的量有多大，使用命令dstat后就是下图数据这个命令看到了每一秒的cpu的负载，硬盘的读取与写入的数据量，网络的读取和发送的数据量等消息。接下来就是查找大量写入和读取硬盘的程序从这图中就可以看出了，其实大量写入的是nginx，造成原因可能是我昨天将nginx的fastcgi-cache打开了造成的最后把nginx的fastcgi-cache关闭了后就好了，分析原因应该是这样的：我机器的硬盘的读写本来就垃圾，但是读总比写好一点，然后fastcgi-cache一直往硬盘写入大量的小文件，导致磁盘的写压力非常大，也导致了磁盘的读性能也一起变的很差，然后磁盘IO的wait就飚涨起来了 ...继续阅读 (28)

自己的vps上的mysql安装的是5.5版本，并且使用的innodb引擎，使用了一段时间后发觉硬盘占用很吓人，一顿du -sh *后看到是mysql的ibdata1文件居然30G+，瞬间差异了，哪来的那么多数据，然后仔细查了下各个库，总共都才6G的数据，怎么可能占了30G，然后网上找了下资料才知道ibdata1在删除表的数据的时候提及也不会减少，所以才会涨的这么大，下面就是解决的步骤，我的系统是Centos 6.4 64bit。首先先把数据里的文件导出来mysqldump -uroot -proot mydatabase>mydatabase.sql然后停止数据库并且修改mysql配置文件sudo /etc/init.d/mysql stop然后修改配置文件/etc/my.cnfsudo vim /etc/my.cnf [mysqld] innodb_file_per_table接着清空数据库data目录sudo rm -rf /usr/local/mysql/data/*接着重新构建数据/usr/local/mysql/scripts/mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data;启动mysq ...继续阅读 (57)

文件上传是这个很普遍的问题，图片上传到网络相册、网盘上传文件、文章附带图片上传等都涉及到文件的上传。在写代码的时候各种编程语言都封装好了上传的操作，程序员操作起来也很简单，但是这样也就造成了很多人只懂操作，不知道原理。前段时间搞小文件存储系统的时候，涉及到一个问题，就是关于文件上传的实现。我的提供了对外下载并存储的服务，意思就是接口接收一个外部图片的链接，比如：http://pic.5442.com/2013/0328/10/19.jpg 这个是别人网站的一个图片，如果它用了防盗链的话我就不能直接用，我需要的是将它下载下来存到我的图片server，然后返回一个我的server的链接给用户用于访问这个图片。由于我的接口接受的是这张图片的链接，所以我得先将它下载下来，然后放到我的server里面。如果是将文件直接存储在硬盘上的话，简单的php的move操作就行，但是我用了weedfs来管理这些小文件，而weedfs对外是一个http的文件上传接口，所以我就必须自己构造文件的上传，这就涉及到了自己来实现《RFC1867》我是用lua来写的这个小系统，所以我只实现了lua版本的，代码如下文件名：multipart-post.lua local gen_boundary = function() local t = {"BOUNDARY-"} for i=2,17 do t[i] = ...继续阅读 (48)

PHP开发的主干已经切换到大版本7了，这个版本Zend引擎改变很大，可以说是一个全新的版本，因此新的Zend引擎被命名为NG。在这个大版本中变量以及hash表变动也很大。所以在这里把自己的学习过程和成果记录下来，毕竟好记性不如烂笔头啊。数据结构HashTable的结构定义在Zend/zend_types.h，之前的php版本中被定义在Zend/Zend_hash.h文件中。HashTable中的每一个元素都被保存在一个Bucket结构中，新的结构定义如下：typedef struct _Bucket { zval val; zend_ulong h; /* hash value (or numeric index) */ zend_string *key; /* string key or NULL for numerics */ } Bucket;新的Bucket的结构已经相当简洁了，不像原来的里面还有链表指针什么的。HashTable的结构定义如下：typedef struct _HashTable { union { struct { ZEND_ENDIAN_LOHI_3( ...继续阅读 (39)

最近个人站被一SB给爬了，之前没发现，都爬了几个月了。之所以是SB就是拿着个火车头就认为自己爬遍网络无阻拦了。记录一下最近对防抓的研究和理解防抓可以分为主动和被动，主动被动是对于网站来说的。下面的策略都得先过滤掉蜘蛛被动防御 1.统计单位时间内单个IP的访问次数 2.统计单位时间内单个UA的访问次数（针对火车头） 主动防御 1.302跳转 2.js跳转 3.cookie验证前两个没啥好说的，很简单的，着重说一下后面三个的实现方式302跳转302跳转主要是对访问的ip随机的进行一次302跳转，而跳转的时候在原始url后面加上几个参数，一般抓取程序或者cc攻击不会去识别header，设定一个阀值，当一个IP多次不跳转的时候就可以干掉他了。而如果成功进行了跳转的话，一般就可以认为是正常的用户，那么我们可以设置一个cookie值以及时效，当然cookie的值是经过ip和一些特殊参数计算出来的，不能让别人给破解了，然后在这个时效内不会再对用户进行探测js跳转其实js跳转也跟上面类似，不过跳转的方式是通过js来进行的。当一个请求来的时候可以吐出一个简单的js跳转，然后再原始的url后面加上一些参数，接下来的一些验证什么的就跟上面302跳转一样了cookie验证cookie验证是当用户第一次访问的时候就给他种下cookie，并记录访问次数，如果第二次来访问没cookie的话 ...继续阅读 (32)

最近拿一台双核1G的kvm vps搭建了一个图片的服务器，前面用百度云加速扛着，有了个专业图片存储及CDN的样子。每天还是有50W左右的PV，流量在30G左右。总结一下最近接触过的两个分布式小文件系统weedfs和fastdfs。fastdfs的详细介绍看这里=》传送门weedfs官方地址=>传送门在两个系统中都有一个负责管理存储节点或者存储卷的服务，weedfs中叫master,而fastdfs中叫做tracker。下面是在文档中对各自的master的解释FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 Weed-FS的master server选择管理数据卷（data volumes）而不是数据块，每个数据卷大小是32GB，能够保存大量的文件（ 小文件 ），每个存储节点能够拥有很多个数据卷，master节点只需要保存这些卷的元数据就可以了，并且这些数据量很少，并且大部分情况下是很少会变化的。 所有的卷都由master服务器来管理，master服务器包含了卷id和卷服务器的mapping，这些信息基本不变，可以很好的缓存起来。根据上面的解释就可以知道，master在上传和下载文件的过程中都承载着定位文件需要上传或者下载的具体的卷。在具体存储小文件的时候，weedfs是通过将多个小文件的二级 ...继续阅读 (56)

先说说这个系统是咋么回事。这个系统有两个接口：第一个接口是图片链接上传接口，抓取脚本抓取到别人的图片链接后，直接将图片链接上传到这里，然后这个接口将链接生成一个16位的码，然后以这个码为key，图片原始链接为value存入ttserver中，然后将码返回给客户端，客户端下次就用这个码拼接图片链接来访问本张图片第二个就是图片访问接口了，用拼接好的链接来访问图片，首先会用这个16位的码在ttserver中有没有存本码对应的fastdfs的访问链接，有的话直接返回图片内容；没有的话就表明系统中还没这张图片，然后就进行接下来的工作：先用这个码从ttserver中将原始的图片链接拿出来，然后将图片内容拉回来存入fastdfs中，然后将fastdfs返回的图片存储链接存入ttserver中大概的流程就是这样的，懒得画图了。然后说说为啥会用openresty、ttserver、fastdfs这套吧。openresty:非常适合一些逻辑简单但性能要求高的，这里刚好合适，没有啥逻辑处理，只是很简单的流程。openrestyttserver：我用它为啥不用memcache或者redis的原因很简单，它数据存在硬盘，然后热数据在内存中，也很稳定。因为我的图片访问的冷热度很明显的，所以用它就比较好。官方文档TokyoCabinet和TokyoTyrant，安装方式见《ttserver安装》fastdfs： ...继续阅读 (71)

指数补偿的定义：通过反馈，以指数的速度找到一个合适某个计算过程的因子指数补偿指的是，在执行事件时，通过反馈，逐渐降低某个过程的速率，从而最终找到一个合适的速率（来处理事件）。指数补偿通常用于网络和传输协议，比如在进行网络连接时，如果第一次请求失败，那么可以等待 t_1 之后重试，如果再次请求还是失败，那么等待 t_2 之后重试。。。重试可以一直继续下去，或者等待次数或等待时间超过特定值为止。等待的时间 t_n 可以是随机选择，也可以随着重试的次数而逐渐加大，诸如此类。维基百科的解释==》Exponential backoff在《UNIX 环境高级编程，第二版》（APUE，2E） 16.4 节提供了一个带重试的 socket 连接程序， 如果连接失败， 那么程序就睡眠一段时间再尝试， 每失败一次睡眠的时间就延长一些#include "apue.h" #includesocket.h> #define MAXSLEEP 128 int connect_retry(int sockfd, const struct sockaddr *addr, socklen_t alen) { int nsec; for (nsec = 1; nsec < MAXSLEEP; nsec <<=1) { if (connect(sockfd, addr, alen) ...继续阅读 (35)

命令参数："a:" //unix socket的权限位信息，unix socket的权限位信息和普通文件的权限位信息一样 "p:" //memcached监听的TCP端口值，默认是11211 "s:" //unix socket监听的socket文件路径 "U:" //memcached监听的UDP端口值，默认是11211 "m:" //memcached使用的最大内存值，默认是64M "M" //当memcached的内存使用完时，不进行LRU淘汰数据，直接返回错误，该选项就是关闭LRU "c:" //memcached的最大连接数,如果不指定，按系统的最大值进行 "k" //是否锁定memcached所持有的内存，如果锁定了内存，其他业务持有的内存就会减小 "hi" //帮助信息 "r" //core文件的大小，如果不指定，按系统的最大值进行 "v" //调试信息 "d" //设定以daemon方式运行 "l:" //绑定的ip信息，如果服务器有多个ip，可以在多个ip上面启动多个Memcached实例，注意：这个不是可接收的IP地址 "u:" //memcached运行的用户，如果以root启动，需要指定用户，否则程序错误，退出。 "P:" //memcached以daemon方式运行时，保存pid的文件路径信 ...继续阅读 (33)

手册中是这样描述array_merge的array_merge() 将一个或多个数组的单元合并起来，一个数组中的值附加在前一个数组的后面。返回作为结果的数组。 如果输入的数组中有相同的字符串键名，则该键名后面的值将覆盖前一个值。然而，如果数组包含数字键名，后面的值将不会覆盖原来的值，而是附加到后面。 如果只给了一个数组并且该数组是数字索引的，则键名会以连续方式重新索引。但是手册中没有详细的描述对于两个数组使用加法运算（+）的时候的具体的操作方式与结果。举两个例子php $arr_1 = array('a','b','c'); $arr_2 = array('b','c','d'); $arr_3 = $arr_1 + $arr_2; print_r($arr_3); /***************************************/ $arr_1 = array( 'a' ='a', 'b' => 'b', 'c' => 'c' ); $arr_2 = array( 'b' => 's', 'c' => 'c', 'd' => 'd' ); $arr_3 = $arr_1 + $arr_2; print_r($arr_3);输出分别是什么呢，看下面Array ( [0] => a [1] => b ...继续阅读 (26)