Docker 的优点自从问世就一直被工业界热论。平时工作中，所部署的大多数Python项目都会用上virtualenv, 沙箱隔离带来的好处不言而喻。我也希望静态编译的服务，比如GolangC++的项目 同样能使用上沙箱环境。得益于Docker，我们仍然可以做到。这个过程没有想象中的简单，需要一番折腾，我以最近写的 KafkServer 为例，叙述我是怎么构建的，需要读者具备一定的 Docker 基础. 或许这不是最好的方法。一览该 Docker 项目1234567891011zj@zheng-ji:~/workspace/gocode/src/kafconsumer/docker$ tree.├── Dockerfile├── kafConsumer│ ├── consumer│ ├── etc│ │ ├── config.yml│ │ └── logger.xml│ └── script│ └── start.sh└── kafConsumer.tar.gz以上的截图，是一个完整的Docker项目，包含了：Dockerfile,kafCounsumer(服务端程序，里面附带的启动脚本，配置程序，以及二进制文件)，还有它被压缩而成的kafConsumer.tar.gzDockerfile 的内容12345678910FROM ubuntu ...继续阅读 (26)

管理众多服务器，如果没有自动化的手段，会被累死。Ansilbe 曾经在WIKI里有记载，在一定程度上解放了我.我想记录下平时写的一些Ansible playbook,因此这个文章将会持续更新。批量修改密码change-password.yaml1234567---- hosts: my-linode-hostsudo: yesuser: zhengjitasks:- name: update passworduser: name=guest password=xxxxx这里的密码是用md5sum 生成的哈希串，只有这样才能让Ansible识别.执行1ansible-playbook change-password.yaml -K批量重启服务1234567891011- hosts: my-linode-hostsudo: yestasks:- name: supervisorct restart fxservershell: supervisorctl restart fxservernotify:- Echo hello#触发调度handlers:- name: Echo helloshell: uptime待更新 ...继续阅读 (42)

知乎上面有一个有趣而且严肃的问题, 再次引起我对代码质量的思考。如知乎所言，代码质量低下如：文件关系混乱注释过期、不明确或者没有文档过期、不明确或者没有架构乱设计过度设计不检查用户输入的错误情况不检查API或者函数返回的errorcode或者exception没有单元测试等自动化测试过程编译起来很难到处复制代码，公用的部分不整理成内部库垃圾代码存在的客观因素有很多, 包括时间压力，业务留坑，绕开技术难点等。回头发现自己生产出坏代码的时候，除了羞愧，我是带有深深的污点强迫症。就好比一个工匠毕其一生修炼雕塑，却留下令自己鄙视的雕纹, 说道关乎尊严或许也不为过的。于是我愿意，且习惯性推倒自己的过去，希望用每一个顿悟的今天取代往日无知的自我。春节的时候学习了 flask, 发现以前写过的一些 Web 项目实现不够优雅，在 flask 对比实现下更是丑陋, 同样的功能，如果换一种方法, 可以感受到简洁，编码组织的顺畅， 更好地部署方式。 遂用了2个晚上推倒了以前写过的一个短地址服务。加上了一些提升用户体验的前端代码, 我想这样或许能给使用这个系统的人带来工作效率的提高吧。那晚回去的路上, 我是开心的，好比闻到洗好晒干的被子发出的芬芳。我想我应该，也会一直记住这种感觉，并践行着。 ...继续阅读 (20)

耗了3个夜晚出来的东西.先上图吧：是的，就是这样一个类似百度框的联想提升功能，让我纠结了几个晚上，在实现成功的那一瞬间，着实感受到编程之美。很享受为了一个小idea折腾的酣畅淋漓的过程。起因: 在公司GitLab看到有这人对内部管理系统提出了这个需求，但是一直没有被close, 我觉得应该挺有趣的，好奇心驱动下就开始搞了。如果仅仅是实现这个需求，应该有很多种方法一：使用一个hash,将关键字填入key，如果采用此法，数据量大的时候估计堪忧，以一个汉字2个Byte计算的话，1kw个词条，1个词条10个词语的话需要占用大于200M内存。方法二：前缀匹配，那么应该怎么选择数据结构,朴素的做法是O(N^N),我们肯定采用复杂度较优的Trie树 O(1)方法三：Radix Tree 据说这个是linux cache的一个算法。看了几个小时，真心复杂，不得不佩服内核开发者！讲一讲trie树吧根节点不包含字符，除根节点外的每一个子节点都包含一个字符。根节点到某一节点，路径上经过的字符连接起来，就是该节点对应的字符串。每个单词的公共前缀作为一个字符节点保存。叶子节点的指针是空的以下是具体的数据结构代码1234567type Node struct {Link map[string]*Node #指针Key string #每个节点的字符 ...继续阅读 (33)

服务器上每个PHP进程占用一个数据库链接，当有 n 台服务器, 每台服务器用用100 * m 个PHP 进程的时候，数据库的压力是有点小大。为了解决这个问题, 可以有的选择是：业内炒的比较火的有，奇虎Atlas, 淘宝前架构师写的OneProxy, 官方的MySQL-Proxy;从连接层解决负载均衡的压力，Haproxy 所擅长的事情对于第一个选择，同事做过调研，使用起来不太放心。官方库就无人维护, 于是，最后选择了 Haproxy 来承担数据库的前端代理.链接数下降明显。一些关键的配置参考连接:以下是配置内容123456789101112131415listen mysql-clusterbind 127.0.0.1:3306 # 连接本地3306 到后端的DBmode tcpoption mysql-check user haproxy_check # haproxy_check 是该haproxy用户balance roundrobinserver mysql-1 10.0.0.1:3306 check # 后端DBserver mysql-2 10.0.0.2:3306 check # 后端DBlisten 0.0.0.0:8080 # 监控页面mode httpstats enablestats uri /stats realm Strictly\ Privatesta ...继续阅读 (32)

ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速, Kibana 是一个与之配套的 web 界面。安装所需的：需要openJDK下载并安装elasticsearch-1.4.2.deb下载并安装kibana-4.0.0-beta3.tar.gz配置相关启动 elasticsearch 方式如下1sudo service elasticsearch restart我是使用supervisor启动 kibana,同时使用monit监控elasticsearch在/etc/defaut/elasticsearch 配置数据文件目录的地址，log 地址，调整内存和堆栈大小，个人认为机器配置的50% 就可以了。Nginx 配置，使得kibanan可以被外部访问，eleasticsearch 默认监听的是5601：1234567891011server {listen 80;#auth_basic_user_file /home/ymserver/auth/kibana-user;error_log /home/ymserver/log/nginx/kibana.err.log;location / {proxy_pass http://127.0.0.1:5601$request_uri;prox ...继续阅读 (23)

在管理线上数据库，时常要做一些数据归档操作，在没有了解Percona toolkit之前，第一个想到的是在夜深人静的时候使用MySqlDump来完成这件事情。但它不是我们的优质选择，理由有：MySqlDump只能备份在本机，不能直接做远端备份导出数据量太大的时候会锁表, 即使它的速度很快，但是在线上服务这是很危险的操作它仅仅只能导出，无法做到同时删除(可能不是太有必要)面对上述的场景，Percona Toolkit让DBA 有了更好地选择，pt-archiver应时而生。pt-archiver 介绍：根据官方文档的说法，几乎不会对线上的OTLP操作有影响：The goal is a low-impact, forward-only job to nibble old data out of the table without impacting OLTP queries much它可以帮助我们将数据归档到文件, 另一个数据库，或者同一个数据库的另一个表, 亦或是用于合并两个表的内容。用法介绍：1pt-archiver [OPTION...] --source DSN --where WHERE归档的文件方便使用 load data infile 命令导入数据。另外你还可以用它来执行 delete 操作。这个工具默认的会删除源中的数据，使用的时候请注意。假如我们将数据库里符合条件的记 ...继续阅读 (35)

在定位线上服务问题的时候，通常会去查看Nginx的error log那么 error 的定义, 对查找问题就显得很有帮助upstream prematurely closed connection请求uri的时候出现的异常，是由于 upstream 还未返回应答给用户时用户断掉连接造成的，对系统没有影响，可以忽略recv() failed (104: Connection reset by peer)服务器的并发连接数超过了其承载量，服务器会将其中一些连接Down掉；客户关掉了浏览器，而服务器还在给客户端发送数据;(111: Connection refused) while connecting to upstream用户在连接时，若遇到后端 upstream 挂掉或者不通，会收到该错误(111: Connection refused) while reading response header from upstream用户在连接成功后读取数据时，若遇到后端 upstream 挂掉或者不通，会收到该错误(111: Connection refused) while sending request to upstreamNginx 和 upstream 连接成功后发送数据时，若遇到后端 upstream 挂掉或者不通，会收到该错误(110: Connection timed ou ...继续阅读 (84)

开发中，要定位具体问题，特别是网络问题的时候，多数是要晋出tcpdump，遗憾的是我略懂皮毛，有必要深入一些。 简单说下我常用的 TcpDump的方法1tcpdump -i eth0 -Xxn port 80 -s 0 -c 1024如果仅仅是看manual 多数时候还是会忘记，好记性不如烂笔头，上述的选项是我认为很有用的1234-i 指定网卡-Xxn X使用Ascii和16进制，n 表示 ip 用数字表示-s 0 表示整包抓取-c 1024 表示包得大小如果希望将抓包过程中保留下来，可以在上述命令尾部加上-w trace.cap这种格式的文件，文本编辑器是无法理解，需要特殊的软件才能回复，比如wiresharkTcpdump 中的 flag 有必要提下：PSH 代表要求发送立即发送缓冲区内的其他对应数据包，无需缓冲区满才发送RST 如果RST=1表示连接马上结束，无需等待终止确认手续，发送端已经断线SYNC 表示主动连接到对方，建立连接FIN 表示传送结束，发送方等待对方响应通过 wireshark 可以再现所谓的三次握手和四次挥手过程。 ...继续阅读 (19)

这三个月以来,有30天是凌晨才离开公司的.甚至有好几天都通宵没有睡过,累。貌似熟悉了凌晨的路灯,和冷冽的寒风。技术的东西,整理在 EvertNote 里，但想写一些非技术的冲动似乎更强。生活有很长的路要走, 几乎每天都在发现不足之处,只能让内心更强大, 去接受,去改变, 淡定去拥抱无时不刻的变化, 怀着信念与希望继续走着。感谢 Everet 一直以来给我的信念, 我们也都在《感谢你让我上场》获得共鸣。我也坚信这位青年会是我们这届的骄傲。我想让生活慢下来，做一些重要不紧急的事。 ...继续阅读 (26)

需要为机器调配参数了, 早些时候看过不少文章, 但没经历过始终不深刻, 以下讲的是在 8core 8G，Centos 配置 php-fpm 与 NGINX。php-fpm 参数配置关于 php-fpm 的配置,Ubuntu系统中/etc/php5/fpm/pool.d目录下, Centos是/etc/php-fpm.d目录下编辑www.conf12345listen = /var/run/php5-fpm.socklisten.backlog = -1 (on FreeBSD -1 unlimit)pm = static # 使用静态进程管理pm.max_children = 128request_terminate_timeout = 8s #设置太大，会导致work进程过多，来不及kill掉编辑/etc/default/php5-fpm1ulimit -n 655360Nginx 配合参数启用irqbalance由于精简系统的服务没有开启irqbalance，irqbalance现在被证实为非常有必要的服务，他的主要功能是可以合理的调配使用各个 CPU 核心，特别是对于目前主流多核心的 CPU，简单的说就是能够把压力均匀的分配到各个 CPU 核心上，对提升性能有很大的帮助。123shell> yum -y install irqbalanceshell> service irq ...继续阅读 (35)

简单简述下我遇到的问题:现在局域网有2台机器, 其中一台机器(下文我们称之为ServerA)可以访问外网,有独立IP,而另外一台机器(ServerB)访问不了外网, 需要想办法让 ServerB 也能上网。ServerA 操作123vi /etc/sysctl.confnet.ipv4.ip_forward = 1iptables -t nat -A POSTROUTING -s 10.4.0.0/16 -j MASQUERADEServerB编辑 /etc/network/interface 主要是修改gateway 参数，指向 ServerA 的 IPsudo ifdown eth0; sudo ifup eth0ServerB 就可以连接外网了。 ...继续阅读 (33)

最近需要改动线上一个有千万条记录的表，涉及到加字段操作，这个表有索引，按照经验，为了加速修改表结构,去掉索引。由于我删除的是Unique Index, 而服务一直在写,程序依赖数据库的唯一索引去重,导致瞬间有重复数据,唯一索引重新加上时会报Duplicated Key entry Error,回放事件我们的数据表，之前是有UNIQUE INDEX(cuid, aid), 因为去掉索引，服务持续写入，导致有重复记录，所幸的是，这是一个统计表, 不影响功能，所以需要找出重复的记录12345select cuid,aid from (select cuid, aid,count(1) as numfrom register_chngroup by cuid,aid having num > 1) t;显示有8条记录,如果手动删除,是很慢且愚蠢的做法,还是用 SQL 执行,镇定之后执行1234567delete from register_chn where (cuid,aid) in (select cuid,aid from (select cuid, aid,count(1) as numfrom register_chngroup by cuid,aid having num > 1) t);影响了８条记录.然后瞬间加上索引.所幸是成功了, 事实上当时的合理操作应该是用事务。123 ...继续阅读 (25)

我想写一篇长期更新的文章，随着知识积累持续更新的文章，而最近遇到的在涉及的Mysql优化，便是一个可以琢磨的点，变量比较多，并且需要在每次采坑才来的深刻。tmp_table_size 这个是临时表的大小，与之对应的有max_heap_size单位是Byte,tmp_table_size的大小关乎临时表的大小, 如果设置太小，会导致一些数据直接写入磁盘，比较蛋疼, 看了官方文档，涉及到Dynamic Variable=Yes那么这种配置便可以直接在终端用语句设置，并生效，不需要重启机器1set global tmp_table_size = 512 * 1024 *1024max_connections 当show processlist发现有好多链接的时候，客户端想登陆mysql却失败。可以执行, 看看是不是现有的链接数已经逼近12show global variable like '%max%'set global max_connections 1000thread_concurrency同一时间与性的线程设置，如果分配不当，会导致mysql不能充分使用多｀cpu｀, 出现同一时刻只有一个核在工作。thread_concurrency应设为CPU核数的2倍. 比如有一个双核的CPU, 那么thread_concurrency的应该为4; 2个双核的cpu,thread_conc ...继续阅读 (9)

看到的现象今天在游戏服务器上使用了top 命令系统使用参数，发现内存16G 的内存用了12G, 如下但是同时在线人数不多，机器的负载并不是很大，并发也不高, 只有900+。而游戏的服务端代码仅仅使用了7.8G, 我们不禁会问，内存去哪里了？难道是系统自己占用的内存呢，不可能一个8核16G的机器系统自己占用了4G吧?带着这个疑问，查阅了资料，发现其中并非表明所看到的这么简单. 我们来看以下 使用free -m命令Mem 参数 解释total 内存总数: 15875 , total = used + freeused 已经使用的内存数: 11900free 空闲的内存数: 3975shared 当前已经废弃不用，总是0buffers: Buffer Cache内存数: 145cached: Page Cache内存数: 5561-/+ buffers/cache的解惑-buffers/cache 的内存数: 6193 (大致等于第1行的 used - buffers - cached), 反映的是被程序实实在在吃掉的内存，+buffers/cache 的内存数: 9682 (大致等于第1行的 free + buffers + cached), 反映的是可以挪用的内存总数两种cache因为cpu速度明显快过内存， 为了提高磁盘存取效率, Linux做了一些精心的设计, 采取了两种主要Ca ...继续阅读 (19)

一转眼到了 10 月份了, 依然很忙, 好多碰到的，解决了的, 没能解决的蛋疼问题, 那些一闪而过的被记载于 evernote里, 信誓旦旦说过要记载下来，终究也还是被时间欺骗。在过去的九月份，我们迁移了一批业务到云上。除了 mysql 需要热备处理，redis-server 同样也面临这种问题。相比起来，redis 的热备显得更为简单。为了可以更好地阐述过程，我们定义了三个角色A 服务器，原来拥有 redis 数据库的机器B 服务器，未来取代 A 服务器的 redis 数据库服务器C 服务器，B 服务器的 slave我们在停止服务的5分钟，在 A 的命令行，执行1bgsave使得内存里的数据，完整地保存于 dumps.rdb配置好 B 服务器的redis server, 用上述的 dumps.rdb 取代该服务器的 dumps.rdb , 这里说的配置好，需要指定好 bind-address, 推荐使用内网 IP, 备份目录在 C 服务器的 redis 配置上 更改为:123slaveof IP地址 端口slave-serve-stale-data noslave-read-only yes # 只读这样就开始备份了。 ...继续阅读 (21)

数据库做主从，这个过程是需要很耐心的。数据库做主从目的:故障恢复， 柔性可用也可以做读写分离实验过程中 mysql 用的版本是 Percona Server ，安装过程由于修改默认的数据目录，数据文件不再使用/var/lib/mysql,数据文件夹被我安放位置是/data/mysql/data同时log 目录也放在这里/data/mysql/log注意需要修改目录属主12sudo chown mysql:mysql -R /data/mysql然后执行 sudo mysql_install_db这时候会发生sudo service mysql stop失败，原因和方法见此神贴好了开始进入正题了，备份数据的原理在主库上把数据更改记录到二进制日志 (Binary Log)备库将主库的日志复制到自己的中继日志中备库读取中继日志的事件，将其重放到备库的数据之上从其他服务器克隆备库的方法：使用冷备份：关闭主库，将数据复制到备库，重启主库后，会使用一个新的二进制日志文件，在备库执行 CHANGE MASTER TO 指向这个文件的起始处，缺陷在于关闭主库使用热备份，如果仅使用，mysqlhotcopy,或rsync来复制数据使用快照或备份：需要知道二进制日志坐标，就可以使用主库的快照和备份来初始化备库，只需要把备份或快照恢复到备库，然后使用 CHANGE MASTER TO 指定二进制日志的 ...继续阅读 (11)