ZZ：进程间大数据拷贝方法调研@招牌疯子综述多进程程序经常会遇到数据拷贝的需求，一般情况下的进程间通信可以认为是个传递消息的场景。在此场景中，原始数据和目标数据都存储于内存里，传递的消耗比较小，而且有大量成熟的消息库可以拿来使用，本文不再赘述。但是如果我们需要传递的是一个容量很大的数据，它们不能长期存储于内存中，就会涉及到从磁盘取出，然后传递给目标进程，目标进程再把数据发给磁盘或socket fd的情景。在这个情况下，由于多次数据复制和CPU状态的切换，会导致数据传输性能低下，严重制约整体服务的负载能力。本文将针对此问题调研三种拷贝方法，并进行比较和测试，试图寻找大数据拷贝的最佳方案，以提高既有系统的效率。传统数据传输流程当我们需要打开或保存磁盘上的一个文件时，最先想到的就是read()和write()方法，我们用一个进程从源文件fd中read数据，然后放到管道里，另一个进程通过管道把这些数据write到磁盘或socket fd中，完成拷贝流程。Linux中传统的 I/O 操作是一种缓冲I/O，I/O过程中产生的数据传输通常需要在缓冲区中进行多次的拷贝操作。一般来说，在传输数据的时候，用户应用程序需要分配一块大小合适的缓冲区用来存放需要传输的数据。应用程序从文件中读取一块数据，然后把这块数据通过网络发送到接收端去。用户应用程序只是需要调用两个系统调用read()和write()就可 ...继续阅读 (14)

用SecureCRT登录到堡垒机，然后ssh到目标机器，此时SecureCRT的标签名还是原来的，容易误操作，可以把下面的代码放入到目标机器的配置文件中，当ssh过去的时候，SecureCRT的标签名就会变成目标机器的PS1值# vi ~/.bash_profile echo -ne "\e]1;$(awk -F' |@' '/PS1/{print $(NF-2)}' ~/.bashrc)\a" ...继续阅读 (113)

用SecureCRT登录到堡垒机，然后ssh到目标机器，此时SecureCRT的标签名还是原来的，容易误操作，可以把下面的代码放入到目标机器的配置文件中，当ssh过去的时候，SecureCRT的标签名就会变成目标机器的PS1值# vi ~/.bash_profile echo -ne "\e]1;$(awk -F' |@' '/PS1/{print $(NF-2)}' ~/.bashrc)\a" ...继续阅读 (67)

在命令行中切换目录是最常用的操作，不过很少有比一遍又一遍重复“cd ls cd ls cd ls ……”更令人沮丧的事情了。如果你不是百分百确定你想要进入的下一个目录的名字，那么你不得不使用ls来确认，然后使用cd来进入你想要进的那一个。所幸的是，现在大量的终端和shell语言提供了强大的自动补全功能来处理该问题。但是，你仍然需要一直疯狂地敲击TAB键来干这事。如果你和我一样懒惰，你一定会对autojump感到惊喜。autojump是一个命令行工具，它允许你可以直接跳转到你喜爱的目录，而不用管你现在身在何处。更多请参考：自动补完不算什么，一键直达目录才是终极神器！ ...继续阅读 (51)

php-fpm提供了状态输出，可以通过它来做些监控修改php-fpm.confvi php-fpm.conf # status pm.status_path = /php_status # ping ping.path = /php_ping修改fastcgi_params，解决访问php-fpm的status，显示空白页面的问题vi nginx/conf/fastcgi_params # 添加 fastcgi_param PATH_TRANSLATED $document_root$fastcgi_script_name;添加Nginx虚拟主机server { listen 80; server_name localhost; location ~ ^/(php_status|php_ping)$ { access_log off; allow 127.0.0.1; deny all; include fastcgi_params; fastcgi_pass 127.0.0.1:10080; } }这样就可以了，测试curl http://localhost/php_status curl http://localhost/php_ping ...继续阅读 (27)

绕过Nginx，直接测试cgi例如我们测试php-fpm的status状态页# 安装fcgi yum -y install fcgi # 开始测试 SCRIPT_NAME=/php_status \ SCRIPT_FILENAME=/php_status \ QUERY_STRING= \ REQUEST_METHOD=GET \ cgi-fcgi -bind -connect 127.0.0.1:10080 ...继续阅读 (14)

最近有台MySQL，在运行一段时间后，res和virt内存都会去到很高，res会占到物理内存的90%，最终导致业务异常期间做过的尝试：用tcpcopy来把生产环境的流量导到测试服，但MySQL内存并无异常将innodbfilepertable=1修改为innodbfilepertable=0，运行1天后，内存飙升还是比较厉害上面的措施都没有用。下面这个，不确定有没有试过，也记录下吧mysqldump -q，就是把数据尽快写到磁盘，而不是存在内存最后是同事看监控，发现在凌晨，MySQL备份后，内存才飙升，我们最后定位到MySQL内存异常的原因是以下2个：xxx_db下表太多：近2W了，一个区服就一个表来寸配置由于表太多，下面的指令把整个库的表结构导出来的时候，估计会把整个结构先写入内存，但理论上，这个表结构不会大mysqldump -d $1 > $1_db_struc.sql解决办法：不导整个库的结构，一个表一个表地导（这个也是目前的做法），或者直接就不导结构，因为都是一样的减少表数量，我们后来把它改为了这种方式，单个表存所有区服的信息 ...继续阅读 (16)

MySQL5.6加入了一个把buffer_pool dump到磁盘的功能，加快MySQL重启后，数据的预热速度，我们用的Percona Server 5.5也加入了这个功能主要有以下几点：只dump页表的号码到磁盘，而不是数据 ，所以，即使你buffer_pool很大，实际dump出来的数据很小，文件存放在MySQL的数据目录可以设置固定时间间隔自动dump设置关闭时自动dump，开启时自动restoreinnodb_buffer_pool_restore_at_startup=600，每10分钟保存buffer_pool到磁盘，这个只是保存了磁盘上数据的索引，并不是真正的数据，否则这个文件会非常大innodb_blocking_buffer_pool_restore=1，在MySQL启动时，阻塞启动过程，直到buffer_pool预热后才通知系统已经启动成功#!/bin/bash # change online mysql -uroot -pxxx <<EOF set @@global.innodb_buffer_pool_restore_at_startup=600; select * from information_schema.XTRADB_ADMIN_COMMAND /*!XTRA_LRU_DUMP*/; EOF手动dump和restore可以在MyS ...继续阅读 (31)

适合单次分析简介如果你想统计下以下数据，命令行工具GoAccess是非常适合的不同页面的访问不同Referrers不同来源IP404，浏览器，操作系统 日志格式GoAccess用的是apache的格式定义，内置了4种格式，如果你用的是Nginx默认的日志格式，那么这里可以选”NCSA Combined Log Format”，也可以自定义，默认定义文件在:~/.goaccessrc你也可以在其他地方定义，然后通过-p指定日志格式定义文件假设有一条日志格式是:0.025 - 192.168.15.41 - - [08/Jan/2014:18:14:35 +0800] "GET /Game.php?agentName=kk&serverID=3 HTTP/1.1" 200 5803 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" -分别代表处理时间、这个-是人为定义上去的、请求来源IP、这个-字段，是获取远程用户，这里没有，所以是-、这里的-是NCSA标准格式里的、请求时间、请求的URL、http响应码、发送的数据大小、引用来源，这里是空，所以是-、客户端版本等信息、最后一个列是让代理请求客户端IP的，这里是空，所以也是-那么日志定义文件应该是这样:color_scheme 0 date_fo ...继续阅读 (33)

最近访问gitbucket，基本都要5-6s才能打开，在服务器上看java进程占用CPU500%，通过下面的proxy_cache配置，把图片等静态资源缓存起来，可以实现gitbucket秒开，CPU使用降到30%左右，效果非常明显创建目录并给予Nginx运行用户权限mkidr /data/cache/nginx chown -R www.www /data/cache/nginxhttp段配置定义cache的存放路径http{ proxy_cache_path /data/cache/nginx levels=1:2 keys_zone=cache:512m inactive=1d max_size=60g; # 下面省略其他配置 .... .... }修改虚拟主机配置# 注意下面的配置要放在location / {这个目录配置之前 location ~ \.(gif|png|txt|css|png|jpe?g|ico|js)$ { proxy_pass http://localhost:8088; proxy_hide_header Set-Cookie; proxy_ignore_headers Set-Cookie Expires Cache-Control; proxy_redirect off; ...继续阅读 (211)

Time Machine Backup用起来比较方便，每个小时进行备份，文档、代码，再也不用频繁地提交到仓库。但从使用至今，一直困扰我的是每隔一个月就要来一次新备份，说句实话，200G+的东西，完整备份要6-7个小时，真心伤不起，本来以为是为了安全，每月创建一个新备份，也就忍了，但最近更却每周就要来一次全新备份，实在无法忍受，前几天搜索到一篇文章，今天又要遇到这个问题，警告提示：Time Machine 已完成备份验证。要提高可靠性，Time Machine 必须为您创建新的备份。总结下来，所有的指令如下，所有指令都是用普通用户运行，10.10.5测试通过：chflags -R nouchg /Volumes/{name of your network share}/{name of}.sparsebundle hdiutil attach -nomount -noverify -noautofsck /Volumes/{name of your network share/{name of}.sparsebundle上面的指令输入如下，我们需要Apple_HFSX前面的分区号，需要修改diskxs2中的x为对应的数字：/dev/diskx Apple_partition_scheme /dev/diskxs1 Apple_partition_map /dev/diskxs2 Ap ...继续阅读 (119)

相关介绍openstf说明系统环境：openSUSE 13.2 64bit软件安装基础环境zypper -n in make gcc gcc-c++ protobuf-devel ncurses-devel \ jemalloc-devel boost-devel tar wget m4 which \ openssl-devel libcurl-devel automake autoconf \ libtool libicu-devel git libsodium-develnode-v4.1.0-linux-x64直接下载二进制文件# 安装 tar xf /dist/dist/stf/node-v4.1.0-linux-x64.tar.gz mv node-v4.1.0 node ln -s /usr/local/node/bin/* /usr/bin/android-sdk_r24.3.4-linux现在的sdk包已经不包含adb这个命令，需要额外安装# 下载链接 wget http://dl.google.com/android/android-sdk_r24.3.4-linux.tgz # 软件包解压缩到/usr/local # 列出所有sdk ./android list sdk --all # 安装指定 ...继续阅读 (78)

如题，这种情况，通常是作为网关，但本例并不是作为网关，而是局域网中的 一台机器，需要连接2个网段，CentOS上的默认设置只能有一个网段通讯，解决办法是设置rp_filter这个内核参数，对于排查这种问题比较有用的内核参数是log_martians，具体方法请参考下面的地址：Linux rp_filter 配置在实际设置过程中，把rp_filter从2设置为1时，需要等一段时间后，eth1才会显示不通，比较奇怪BTW，rp_filter这个参数是在《深度实践KVM》中看到的，很赞的一本书。 ...继续阅读 (59)

今天更新，老提示输入ftp连接信息，实在不想开ftp，于是搜索了些资料，记录如下一、确保Nginx和PHP-FPM用同一个用户运行本例中是nginx用户grep user /etc/nginx/nginx.confegrep 'user|group' /etc/php-fpm.d/www.conf二、设置WordPress为nginx用户所有chown -R nginx.nginx /data/web/wp三、修改WordPress配置vi wp-config.phpdefine('FS_METHOD', 'direct');现在去后台更新，就不会提示输入ftp信息了。 ...继续阅读 (22)

我们目前利用了flock来限制并发，通常是用一个小括号把需要执行的代码包含起来，这样就会产生一个子shell，带来的问题是父shell无法获得子shell的返回值，昨天刚好Google到这个文章，在这里贴下。#!/bin/bash(flock -s 200# … commands executed under lock …) 200>/var/lock/mylockfileUnfortunately, this invokes a subshell which has the following drawbacks:You cannot pass values to variables from the subshell in the main shell script.There is a performance penalty.The syntax coloring in “vim” does not work properly. :)This motivated my colleague zImage to come up with a usage form which does not invoke a subshell in Bash:#!/bin/bashexec 200>/var/lock/mylockfile || exit 1f ...继续阅读 (28)

安装雅黑字体，然后修改GUI.py123gtk.rc_parse_string('style "font" {font_name = "Lucida Grande"} widget_class "*" style "font"')修改为gtk.rc_parse_string('style "font" {font_name = "Microsoft YaHei"} widget_class "*" style "font"') ...继续阅读 (164)

pt-ioprofile定位负载来源文件官网介绍http://www.percona.com/doc/percona-toolkit/2.0/index.htmlwget percona.com/get/percona-toolkit.tar.gztar xf percona-toolkit.tar.gzcd percona-toolkitperl Makefile.PLmakemake install查看pid为6378 的进程io情况分析 这里是mysqld进程，对于定位问题更有用的是通过IO的吞吐量来进行定位。使用参数 --cell=sizes，该参数将结果已 B/s 的方式展示出来pt-ioprofile --profile-pid=6378 --cell=sizes --run-time=1下面这条可以进行时时观察，watch -n 1 pt-ioprofile --profile-pid=6378 --cell=sizes --run-time=1pt-ioprofile定位负载来源文件官网介绍http://www.percona.com/doc/percona-toolkit/2.0/index.htmlwget percona.com/get/percona-toolkit.tar.gztar xf percona-toolkit.tar.gzcd percona- ...继续阅读 (44)

最近做的功能，涉及ORM，数据明明已经插入数据库，但在页面上却查不到，一开始以为是cache的问题，但最后google发现是Django和uwsgi直接衔接出了问题：Using #django 1.5 on #uwsgi ? You'll want at least 1.3, otherwise DB connections aren't closed between requests.解决办法就是升级uwsgi参考：https://twitter.com/raphaelbarrois/status/337924659666362368https://groups.google.com/forum/#!topic/django-users/8OgkXAjuvDM ...继续阅读 (25)

英文原文见下面的链接Improved InnoDB fast index creationmysqldump导出数据的时候，加入--innodb-optimize-keys可以使导入时间缩短一半（仅适用于把整个库导出为一个sql的情况），原理是在创建表的时候，只创建主键索引，二级索引在load完数据后再创建 ...继续阅读 (18)

Linux网关，本来只有一进一出2个网卡eth0：外网eth1：内网 192.168.100.1所以iptables的规则看起来是这样-A POSTROUTING -s 192.168.0.0/16 -o eth0 -j MASQUERADE由于业务需要 ，加了一个出口，修改后eth0:外网eth2：外网eth1：内网 192.168.100.1这时数据会根据路由，从不同的出口出，所以不能加-o eth0了,所以规则改成了-A POSTROUTING -s 192.168.0.0/16 -j MASQUERADE这个变更带来的问题就是，我们vpn拨号获取到的也是192.168.0.0/16段的，然后我们访问内网的服务器，在服务器上看到的就是网关的内网IP：192.168.100.1，为什么？因为它也被MASQUERADE了。当vpn用户登录服务器出现问题的时候，我们要排查，这下问题来了，这么多用户，在服务器上看到的都是192.168.100.1，根本无法查，上网找了下，发现了神一样的规则，应用后，在服务器上看到的又是VPN分配的原始IP了-A POSTROUTING -s 192.168.0.0/16 ! -d 192.168.0.0/16 -j MASQUERADE ...继续阅读 (38)

1、ll -h /opt/zimbra/data/ldap/mdb/db/data.mdb看到是80G，但 du -sh 看只有4M，这样带来的问题是，当用rsync备份目录的时候，同步到远程的就是80G，十分坑爹2、官方的说明OpenLDAP_Performance_Tuning_8.03、解决方法a、修改文件大小：solvedcritical-ldap-primary-mdb-database-is-90-full-in-zimbrab、利用mdb_copy来备份：ldap data.mdb after upgrade from 8.0.0 -> 8.0.1 has a size of 85GB ...继续阅读 (128)

有几台Esxi，虚拟机较多，有时要找一台虚拟机是在哪台物理机上，很不方便，上网找到这个Python模块，可以列出某台物理机上所有虚拟机一、安装模块pip install pyvmomi二、获取Esxi下所有虚拟机列表先下载脚本git clone https://github.com/vmware/pyvmomi.git开始使用cd pyvmomi/sample python getallvms.py  -s 192.168.8.xxx -u xxxx -p xxxxx ...继续阅读 (367)

今天XenServer重启，发现有个SR不可用，进控制台,lvdisplay还可以看到，但lvscan发现是inactive状态解决办法： vgchange -a y没什么技术含量，年纪大，记性差，作个记录 ...继续阅读 (26)

没有办法直接获取，通过一些非常规手段来1、telnet上去telnet 127.0.0.1 112112、根据items获取slab的id，items后面的数字，就是slab idstats itemsSTAT items:3:number 1STAT items:3:age 498STAT items:22:number 1STAT items:22:age 498END3、获取某slab id下的所有key其中，3为slab id，100为取100个stats cachedump 3 100 ...继续阅读 (28)

最近有台MySQL，在运行一段时间后，res和virt内存都会去到很高，res会占到物理内存的90%，期间做过的尝试：1、用tcpcopy来把生产环境的流量导到测试服，但MySQL内存并无异常2、将innodb_file_per_table=1修改为innodb_file_per_table=0，运行1天后，内存飙升还是比较厉害同事看监控，发现在凌晨，MySQL备份后，内存才飙升最后查找到MySQL内存异常的原因是以下2个：1、xxx_db下表太多：近2W了2、由于表太多，${MYSQLDUMP} -uroot -p${MYSQLPASSWORD} -d $1 > "${BACKUPDIR}/$1_db_struc.sql"这个指令把整个库的表结构导出来的时候，估计会把整个结构先写入内存解决办法：1、减少表数量2、不导整个库的结构，一个表一个表地导（这个也是目前的做法），或者直接就不导结构，因为都是一样的 ...继续阅读 (25)

问题：openssh /bin/bash: Operation not permittedconnection closed ::1 或者 connection closed 127.0.0.1解决办法：计算机，管理，用户，把cyg_server,sshd这2个用户删掉vi /etc/passwd 同样把上面的2个用户删掉ssh-host-config -y就可以了如果还是不行，试试以管理员身份运行Cygwin.bat参考文章：http://cygwin.1069669.n5.nabble.com/ssh-logon-failure-td57002.html ...继续阅读 (21)