学习 MIT 6.824Lab1 MapReduce，做下笔记MapReduce 的思路把数据分成 M 份，每一份叫做 Mi启动一个 master 对象，由它来控制如何分配调控master 挑出一个 worker，对 Mi 执行 map 操作，返回一个 KV 数组然后把 KV 数组分成 nReduce 份存在本地，等待 Reduce 操作。当 map 全部完成后，每个 Mi 产生 nReduce 份结果，每一个叫做 Ri。文件名：mrtmp-JobName-Mi-Ri 其中Mi Ri 分别表示数字，因此这一步会产生 M * nReduce 份文件。从每个 Mi 中选择一份 Ri。然后根据 Key 排序，把相同 Key 的 Value 合在一起，生成 Key /list(value)开始 Reduce，输入list(value)，最后会生成 R 份文件 mrtmp.JobName-res-Ri最后 Merge 成一个文件。作业步骤Part1 完成 doMap 和 doReduce。doMap 完成3，4两个步骤. doReduce 完成5，6两个步骤。Part2 实现 main/wc.go 在Part1的基础上完成函数调用而已。Part3 把 map 和 reduce 的操作变成异步。用到了RPC，用channel 来实现并发控制。代码笔记源码common.go11-32行：可变参数 ...继续阅读 (8)

Nginx, Redis 项目中，均使用上了双链表。列表类型的键进行操作(RPUSH, LPOP)时，程序底层操作用的是双端链表。源码Nginx 典型应用是在连接池中。Nginx 会处理大量的 socket 连接，为提高并发处理链接的能力，引入了连接池，其实现这个连接池用到了双链表。源码.对于双端链表，教科书上曾有提及，但如今映像并不深刻，再度理解并实践一次。结构定义与初始化12345678910typedef struct Node {int num;struct Node * next; //前继指针struct Node * pre; //后继指针} Node;typedef struct dlist {Node * head; //双链表的指向头结点的元素Node * tail; //双链表指向尾部节点的元素，方便从后检索} dlist;初始化的双链表，head,tail均为空。插入操作插入操作，是按照递增的顺序插入，涉及到双链表的更改，因此传参是指向链表的指针，分三种情况空链表插入头元素，head 与 tail 节点均要修改在链表尾部插入节点，要变动 tail 指针中间插入节点1234567891011121314151617181920212223242526272829303132333435static int insertDlist(dlist **list, ...继续阅读 (8)

ZooKeeper 是一个开源的分布式协调服务，是分布式数据一致性的解决方案。集群角色在 ZooKeeper 中，有三种角色： Leader，Follower，Observer一个 ZooKeeper 集群同时只会有一个Leader，其他都是 Follower 或 Observer。 Leader 服务器为客户端提供读和写服务，Follower 和 Observer 都能提供读服务，不能提供写服务。区别在于，Observer 不参与 Leader 选举过程，也不参与写操作的过半写成功策略，因此 Observer 可以在不影响写性能的情况下提升集群的读性能。会话客户端和 ZooKeeper 服务器会与服务器建立一个 TCP 连接，通过这个连接，客户端能够通过心跳检测和服务器保持有效的会话，也能够向 ZooKeeper 服务器发送请求并接受响应，同时还能通过该连接接收来自服务器的 Watch 事件通知。数据节点ZooKeeper 中的数据节点是指数据模型中的数据单元，称为 ZNode。ZooKeeper将所有数据存储在内存中，数据模型是一棵树（ZNode Tree），由斜杠进行分割的路径，就是一个ZNode。每个ZNode上都会保存自己的数据内容，同时会保存一系列属性信息。每个ZNode不仅本身可以写数据，还可以有下一级文件或目录。在ZooKeeper中，ZNode可以分为持久节点和临 ...继续阅读 (22)

正向代理和反向代理正向代理正向代理 是一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定原始服务器，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。反向代理反向代理正好相反，对于客户端而言它就像是原始服务器，并且客户端不需要进行任何特别的设置。客户端向反向代理内容发送普通请求，接着反向代理将判断向何处(原始服务器)转交请求，并将获得的内容返回给客户端，就像这些内容原本就是它自己的一样。正向代理软件Nginx 能做正向代理，遗憾的是它不能做 HTTPS 的正向代理。以下是一个例子。不能有 hostname。必须有 resolver, 即 DNS配置正向代理参数，均是由 Nginx 变量组成123456789server{resolver 8.8.8.8;resolver_timeout 30s;listen 80;location / {proxy_pass http://$http_host$request_uri;proxy_set_header Host $http_host;}}Squid 可正向代理 HTTP 以及 HTTPS1sudo apt-get install squid编辑/etc/squid3/squid.conf, 并重启1234567http_port 31 ...继续阅读 (16)

Cgroup 实现了对计算机资源使用上的隔离，它是 Docker 底层的基础技术。我们可以用它来限制程序使用的CPU、内存、磁盘。安装在 Ubuntu 14.04 下安装的方法：1sudo apt-get install cgroup-bin安装完后执行mount -t cgroup会出现如下，可以看到它其实是一个文件系统1234cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,relatime,cpuset)cgroup on /sys/fs/cgroup/cpu type cgroup (rw,relatime,cpu)...cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,relatime,hugetlb)如果没有看到以上的目录，这时候需要手动 mount 了123456789cd /sys/fsmkdir cgroupmount -t tmpfs cgroup_root ./cgroupmkdir cgroup/cpusetmount -t cgroup -ocpuset cpuset ./cgroup/cpuset/mkdir cgroup/cpumount -t cgroup -ocpu cpu ./cgroup/cpu/mkdir cgroup/memorymount -t ...继续阅读 (9)

记录昨天定位一个诡异 bug 的过程，我耗费了不少精力，你若有兴趣，请带着一点耐心看完它。我们使用go-redis-server开发具有 redis 协议的服务。 按照文档，我们实现了如下接口，其背后访问的是 AWS 的 Dynamodb，我们的服务也开发了监控接口，以供我们这些程序狗知道它发生了什么。123func (handler *RedisHandler) Get(key string) (result string, err error)func (handler *RedisHandler) Set(key string, val string) (err error)func (handler *RedisHandler) Del(key string) (count int, err error)这样，我们就能通过 redis 客户端来执行 Get，Set，Del 操作。问题背景我在批量写入几千条数据时，通过监控接口，我看到服务突然卡住的样子，没有 Get，Set的统计信息了。但我能肯定的是客户端一直有数据在往服务写入，或者读写。 同时从 AWS 监控得到的反馈是 Dynamodb 使用超过预设值，我调高了读写预设值，重启服务，就恢复可用（重启大法好）。 程序试运行十多天，只发生过一次异常，之后再无重现。 这个事情没有搞清楚，就成为我一个心结。重现问题我们来看看代码 ...继续阅读 (31)

今天和朋友聊天，他多次提到了共享内存，惭愧的是我没怎么用上，只是从 APUE 等神书阅读到此类名词。这个周末，我来搞懂它们。共享内存它是 Linux 最底层的通信机制，被称为最快的通信机制。多个进程共享同一个内存区域实现进程间通信。一个进程创建一个共享内存区域，并将数据存放到共享内存中，而后多个进程对其进行访问。借鉴网友的例子，我做了注释和修改，一个进程写共享内存 (shmwrite.c)，一个进程读共享内存(shmread.c)。共享内存并未提供同步机制，在第一个进程结束对共享内存的写操作之前，并无自动机制阻止第二个进程开始对它进行读取。上述代码中，我通过自己维护了一个变量 isWritten 来控制同步行为。还好，伟大的计算机先驱们提供了信号量来帮我们解决同步的问题。信号量为了防止出现因多个程序同时访问一个共享资源带来的问题，Linux 使用 信号量协调进程对共享资源的访问的。 信号量只能进行两种操作等待和发送信号，即 P(sv) 和 V(sv).P(sv)：当sv的值大于零，就减1；当它的值为零，就挂起该进程的执行。V(sv)：当有其他进程因等待sv而被挂起，就让它恢复运行，当没有进程因等待sv而挂起，就给它加1.比如：两个进程共享信号量 sv，其中一个进程执行了 P(sv) 操作，它将得到信号量，进入临界区，将 sv 减1。此时sv=0,第二个进程将被阻止进入临界区，它会被 ...继续阅读 (12)

面对海量数据，我们需要一个索引数据结构，用来帮助查询，快速判断数据记录是否存在，这类数据结构叫过滤器，常用的选择是Bloom Filter. 而Cuckoo Filter是它的优化变种。借此也用 Golang 实践了这个算法。Bloom Filter的位图模式有两个问题：误报，它能判断元素一定不存在，但只能判断可能存在，因为存在其它元素被映射到部分相同位上，导致该位置1，那么一个不存在的元素可能会被误报成存在；漏报，如果删除了某个元素，导致该映射位被置0，那么本来存在的元素会被漏报成不存在。Cuckoo Filter，可以确保该元素存在的必然性，又可以在不违背此前提下删除任意元素，仅仅比Bloom Filter牺牲了微量空间效率。 它的的数据模型:每个元素对应两个哈希算法，在哈希碰撞时会启用备用哈希算法。每一个桶是有4路的，每个槽对应一个指纹。Feature支持删除操作支持快速查找，支持 O(1) 查找速度高效的空间利用，四路槽的表，可以有95% 的空间利用率可替代布隆过滤器Installation1go get github.com/zheng-ji/goCuckooExample12345678910111213141516171819202122import("fmt""github.com/zheng-ji/goCuckoo")fun ...继续阅读 (105)

有时候我们需要处理耗时的操作，同时又要保持较快的响应速度，就需要借助异步队列的帮助。Celery 作为异步队列服务，想必是很多人和我一样的选择。用法在官方文档也详细介绍，不再赘述。这次想记录的是用 Celery 来实现定时任务。这里也有一点点坑。main.py 的内容1234567891011121314151617fromceleryimportCeleryfromlibimportdistributefromcelery.schedulesimportcrontabapp=distribute.appapp.conf.update(CELERYBEAT_SCHEDULE={'every-minute':{'task':'test_cron','schedule':crontab(minute="*"),'args':(16,13),}},CELERY_INCLUDE=("apps.tasks",))if__name__=='__main__':app.start()实际工作单元,我放在 apps 目录下的tasks.py文件中1234fromlib.distributeimportapp@app.task(name="test_cron")defmul(x,y):returnx*y上述是一个简单的 Crontab 应用 ...继续阅读 (47)

四种模式下的环境变量加载跨机器SSH 传递环境变量四种模式下的环境变量加载名词解析login shell: 指用户以非图形化界面 ssh登陆到机器上时获得的第一个 shell。interactive: 交互式，有输入提示符，它的标准输入输出和错误输出都会显示在控制台上。interactive + login shell比如登陆机器后的第一个 shell 就是这种场景。它首先加载 /etc/profile，然后再依次去加载下列三个配置文件之一，一旦找到其中一个便不再接着寻找123~/.bash_profile~/.bash_login~/.profile设计如此多的配置是为了兼容 bourne shell 和 C shell，尽量杜绝使用 .bash_login，如果已创建，需要创建 .bash_profile 覆盖noninteractive + login shellbash -l script.sh 就是这种场景。-l参数是将shell作为一个login shell启动，配置文件的加载与第一种完全一样。interactive + non-login shell在一个已有shell中运行bash，此时会打开一个交互式的shell，因为不再需要登陆，所以不是login shell。启动 shell 时会去查找并加载12/etc/bash.bashrc~/.bashrcnon-int ...继续阅读 (33)

MySQL 建立主从复制后，在Slave_IO_Running,Slave_SQL_Runing都是 Yes 的前提下，通过监控Second_Behind_Master的数值来判断主从延迟时间，该值为0时是否意味着主从同步是无延迟的呢？12345678mysql>showslavestatus\G;***************************1.row***************************Slave_IO_State:Waitingformastertosendevent....Slave_IO_Running:YesSlave_SQL_Running:YesSeconds_Behind_Master:0...很遗憾，我们并不能这样去判断，因为你看到的有可能是假象。MySQL的同步是异步完成的，其中IO thread 接收从主库的 binlog，然后在从库生成 relay logSQL thead 解析 relay log 后在从库上进行重放Second_Behind_Master(以下简称SBM) 是 SQL thread 在执行IO thread 生成的relay log的时间差。relay log中event的时间戳是主库上的时间戳，而SQL thread的时间戳是从库上的，SBM 代表的是从库延后主库的时间差。主库上执行了一个大的操作，这个操 ...继续阅读 (23)

Ansible 在使用的过程中，如果机器数量比较固定，且变更不多的情况下，可在 /etc/ansible/hosts 文件里面配置固定的组合机器IP， 并给他起组的别名，执行 Ansible 脚本便可以通过别名找到相应的机器。12[webservers]111.222.333.444 ansible_ssh_port=888假如你有很多台机器，且机器经常变更导致IP时常变换，你还想把IP逐个写入 /etc/ansible/hosts 就不现实了。你也许会问，若不把 IP 写进 /etc/ansible/hosts，那不是没法用 Ansible 指挥这些机器？ 感谢 Ansible Dynamic Inventory， 如果我们能通过编程等手段获取变更机器的IP，我们还是有办法实现的。Dynamic Inventory 的原理通过编程的方式,也就是动态获取机器的 json 信息;Ansible 通过解析这串 json 字符串;1ansible -i yourprogram.py -m raw -a 'cd /home'Ansible Dynamic Inventory 对程序返回的 json 的转义是这样的：1{"devtest-asg": {"hosts": ["172.31.21.164"], "vars": {"ansible_ssh_port": 12306}}}翻译一下就 ...继续阅读 (23)

在分布式系统中，各个机器都有程序运行的本地日志，有时为了分析需求，不得不这些分散的日志汇总需求，相信很多人会选择 Rsync，Scp 之类， 但它们的实时性不强，而且也会带来名字冲突的问题。扩展性差强人意，一点也不优雅。现实中，我们就碰到了这样的需求：实时汇总线上多台服务器的 Nginx 日志。Flume 立功了。Flume 简介Flume是一个分布式，可靠高效的日志收集系统，它允许用户自定义数据传输模型，因此可扩展性也强。也有较强的容错和恢复机制. 以下是几个重要的概念Event：Event 是 Flume 数据传输的基本单元。flume 以事件的形式将数据从源头传送到最终的目的。Agent：Agent包含 Sources, Channels, Sinks 和其他组件，它利用这些组件将events从一个节点传输到另一个节点或最终目的。Source：Source负责接收events，并将events批量的放到一个或多个Channels。Channel：Channel位于 Source 和 Sink 之间，用于缓存进来的events，当Sink成功的将events发送到下一跳的channel或最终目的，events从Channel移除。Sink：Sink 负责将 events 传输到下一跳或最终目的，成功完成后将events从channel移除。Source 就有 Syslog So ...继续阅读 (30)

这个标题或许会让你想起《黑客帝国》里经典的台词，你要选择蓝色药丸，还是红色药丸？Redis 是我们重度使用的一个开源软件，对它的持久化配置做一番相对深入的总结，是值得的。目前它有两种主流的持久化存储方式 SnapShot 以及 AOF 。什么是 Snapshot什么是 AOF选择哪种药丸什么是 SnapshotSnapshot 将内存中数据以结构化的方式序列化到 rdb 文件中，是默认的持久化方式，便于解析引擎快速解析和内存实施。快照得由间隔时间，变更次数同时符合才会触发， 该过程中并不阻塞客户端请求，copy-on-write 方式也意味着极端情况下可能会导致实际数据2倍内存的使用量。它首先将数据写入临时文件，结束后，将临时文件重名为 dump.rdb。可以使用redis-check-dump用来检测完整性只有快照结束后才会将旧的文件替换成新的，因此任何时候 RDB 文件都是完整的。如果在触发 snapshot 之前，server 失效。会导致上一个时间点之后的数据未能序列化到 rdb 文件，安全性上稍弱。我们可手动执行 save 或 bgsave 命令让 redis 执行快照。两个命令的区别在于:save 是由主进程进行快照操作，会阻塞其它请求;bgsave 会通过 fork 子进程进行快照操作;RDB 文件默认是经过压缩的二进制文件，占用的空间会小于内存中的数据，更加利于传输 ...继续阅读 (22)

用下班时间写了一个 ngx lua 的拓展,GitHub。可以:[x] 实时监控域名的 qps[x] 实时监控域名的 5xx 个数[x] 实时监控域名的 响应时长[x] 并附带 Ganglia 监控插件使用配置nginx.conf1234567891011121314151617181920212223242526http {......lua_shared_dict statics_dict 1M; # 初始化变量lua_package_path "/etc/nginx/ngx_reqstatus_lua/?.lua"; #路径server {listen 80;server_name justforfun.com;# 在需要监控的 server_name 添加此句log_by_lua_file "/etc/nginx/ngx_reqstatus_lua/hook.lua";location /{......}}# 监控服务server {listen 127.0.0.1:6080;location /{access_by_lua_file "/etc/nginx/ngx_reqstatus_lua/status.lua";}}}效果, 查看justforfun.com的命令1curl localhost:6080/?domain=justforfun.com输出123 ...继续阅读 (360)

我们经常需要从 Nginx 日志分析得出很多有价值的东西，分析的方法是各种 shell, awk, python, 现在GoAccess给你另外一种选择, 值得拥有。安装 用以下的方式安装，才能得到新版的 GoAccess, 功能更健全1234$ echo "deb http://deb.goaccess.io $(lsb_release -cs) main"|sudo tee -a /etc/apt/sources.list$ wget -O - http://deb.goaccess.io/gnugpg.key | sudo apt-key add -$ sudo apt-get update$ sudo apt-get install goaccess推荐配置安装完成之后，会生成一份/etc/goaccess.conf稍作编辑，这就是默认的配置，免去了后续每次都要定义格式123time-format %T # 只有这种方式才能解决 0.0us 的显示问题date-format %d/%b/%Ylog-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u" %T使用输出报表，报表中，我们可以看到最常访问的 IP, 接口，以及每个接口使用带宽，平均响应时长，状态码等，对业务分析有较好的便利性1234567891011终端显示goaccess - ...继续阅读 (43)

这一篇文章是做了不少功课的。什么是 Gre 隧道什么是 VrrpKeepAlived 是什么用Keepalived 怎么玩附录什么是 Gre 隧道GRE 隧道是一种 IP-2-IP 的隧道，是通用路由封装协议，可以对某些网路层协议的数据报进行封装，使这些被封装的数据报能够在 IPv4/IPv6 网络中传输。Tunnel 是一个虚拟的点对点的连接，提供了一条通路使封装的数据报文能够在这个通路上传输，并且在一个Tunnel 的两端分别对数据报进行封装及解封装。Linux 上创建 GRE 隧道，需要 ip_gre 内核模块，它是Pv4 隧道的驱动程序。假设我有2台服务器，想做这两台之间创建 GRE 隧道$server_A_ip 表示服务器A的IP$server_B_ip 服务器B 的内网IP1234567891011# 在 A 机器上执行# 创建 GRE 协议的 虚拟网络设备, 指定本地和对端 IPsudo ip link add gretap1 type gretap local $server_a_ip remote $server_b_ipsudo ip link set dev gretap1 up # 启动该设备sudo ip addr add dev gretap1 10.1.1.2/24 # 给该设备一个虚拟网络地址# 在 B 机器上执行# 创建 GRE 协议的 虚拟网络 ...继续阅读 (25)

Tengine 能动态加载第三方模块，成为我们青睐的选择，我们可以编译动态链接文件，而不需要重新安装 Nginx, 这对在线增强 webservice 很有帮助. 感谢 agentzh,lua-nginx-module, 可以让我们使用 lua 增强nginx的功能, 不言而喻，我们必须现有 Lua 的环境，才能运行 ngx_lua;编译 nginx_lua官方推荐使用LuaJit,虽然也可以使用Lua，但是即时编译(Just-In-Time Compiler)混合了动态编译和静态编译，一句一句编译源代码，但是会将翻译过的代码缓存起来以降低性能损耗。下载安装12345wget http://luajit.org/download/LuaJIT-2.0.4.tar.gztar zxvf LuaJIT-2.0.4.tar.gzcd LuaJIT-2.0.4makemake install设置环境变量12export LUAJIT_LIB=/usr/local/libexport LUAJIT_INC=/usr/local/include/luajit-2.0然后编译ngx-lua-module.so1/usr/local/share/dso_tool/ --path=/Path/To/Lua-Nginx-module设置动态库12> echo "/usr/local/lib" ...继续阅读 (35)

喜欢 Flask 经典的 RestFul 设计风格，以及它与 Gevent 的优雅结合，可以帮助我们轻松构建异步非阻塞应用，烂笔头记下一些较好的实践。消息反馈Flask 上下文注册 JinJia 模板过滤器itsdangerous 生成过期时间 Json 签名一种较好的项目组织方式BluePrint 的好Json 返回自定义出错页面WTF 跨站脚本防御消息反馈Flask 提供了一个非常简单的方法来使用闪现系统向用户反馈信息。 闪现系统使得在一个请求结束的时候记录一个信息，然后在且仅仅在下一个请求中访问这个数据。这通常配合一个布局模板实现文档链接123456# 视图函数需要调用flash('your response message for user')# 前端页面调用for message in get_flashed_messages()就可以输出反馈信息Flask 上下文有两种上下文：程序上下文，请求上下文current_app： 程序级别上下文，当前激活程序的实例。g: 请求级别的上下文request: 是请求级别的上下文，封装了客户端发出的 Http 请求中的内容session: 用户会话，用于存储请求之间需要记住的键值对注册 JinJia 模板过滤1234def reverse_filter(s):return s[::-1]app.jinja_env.filters[' ...继续阅读 (83)

写在开头过去的两个多星期，酣畅淋漓地撸码。值得欣慰的是，几位小伙伴同心协力完成一个自研的，类似pushover的产品。感谢 Leader 的信任，让我在负责开发的同时也兼顾了一把项目经理。谢谢 IOS, Android 客户端的兄弟，设计师的支持，还有一位实习生，开心看到他的点滴成长。提下背景，我们之前使用pushover来做报警推送，但是它对天朝用户不友好，Android 用户需要翻墙使用，有时候不稳定，体现为会收不到信息，pushove 限制推送上限，需要付费。我们的受众不仅有程序汪，还有运营产品汪，他们需要一款更容易上手的推送软件，至少不需要番羽墙。于是自己开发一个很有必要。为最大程度降低用户使用门槛，同时保证用户信息的安全，我们用了 LDAP 账户登陆，严格控制权限，以及 HTTPS 协议开发。下面提一提 LDAP 这个东西。LDAP 是什么LDAP维基百科简单地讲，它是以目录树的方式存放账户信息。这次项目中，我们不希望用户重新注册账户，而是采用原有的用户体系，这样对单点登录以及权限控制的好处不严而喻, LDAP 协议呼之欲出。virtualenv 下安装 python-ldap我们采用 Python 开发，这就需要 python-ldap 的帮助了, 记下安装笔记的好处是下次不用在此纠结太长时间。12apt-get install libsasl2-dev python- ...继续阅读 (60)

定位服务器问题时, 我们需要各式各样的武器, 诸如 iftop, ifstat, netstat, tcpdump, iostat。dstat 等, 因此工具箱需要装满很多工具, 在面对问题的时候才能显得不费吹灰之力, 迅速定位问题并解决, 保障服务稳定运行。Sysdig 的横空出世, 对我们而言, 就是一把瑞士军刀, 灵活小巧, 武艺多端.安装常用操作高效的实战安装1234curl -s https://s3.amazonaws.com/download.draios.com/DRAIOS-GPG-KEY.public | apt-key add -curl -s -o /etc/apt/sources.list.d/draios.list http://download.draios.com/stable/deb/draios.listapt-get updateapt-get -y install sysdig常用操作sysdig 有很多 chisel, chisel 意为 铲子, 可以理解为定位某类问题的工具, sysdig 采用 Lua 编写的。查看 chisel 列表1sysdig -cl查看具体某个 chisel 的提示1sysdig -i spy_logs使用某个 chisel1sysdig -c spy_logs过滤器可以帮助我们从各种输出信息中, 筛选出我们需 ...继续阅读 (60)

当你只有一两台服务器的情况下，可以直接登上服务器，手敲命令完成软件部署，代码发布等工作。但假如你有10台，100台的时候，这种方式不仅浪费大量时间，而且给人为犯错带来了可能。于是我们选择Ansible来做自动化批量操作。之前有记录一些 Ansible 入门的使用,请看这里, 这半年的积累, 总结一些实用的经验, 记录了一把。配置 ansible.cfg 文件使用 ansible role 来区分业务files 目录的路径定位使用 tags 区分不同操作规划 ansible roles 的 tasks 文件ansible-play-book 一些常用的选项更好地配置文件我们会如下配置/etc/ansible/host, 特意指明用户与 端口123[web-cluster]<node-1-IP> ansible_ssh_port=<Your Port> ansible_ssh_user=zj<node-2-IP> ansible_ssh_port=<Your Port> ansible_ssh_user=zj在/etc/ansible/ansible.cfg文件里 我们特意提及了 ansible-role 的配置，未来我们会使用这个东西1roles_path = /home/zj/my-ansible/roles使用 ansible ...继续阅读 (67)

我们服务多是用 supervisor 启动的， 但监控多数是用monit, 如果我们能通过监测 supervisor 事件变化来做监控，就可以写一套通用的监控程序。庆幸的是，supervisor 的eventListener支持我的设想。这个监控程序需要用 supervisor 启动，类型不再是program, 而是eventlistener，这里有几个比较耗时的地方需要记录下。supervisor 有独特的通信协议,需要遵循，否则通讯不会被触发123456def write_stdout(self, s):sys.stdout.write(s)sys.stdout.flush()write_stdout('READY\n') //类似开始握手write_stdout('RESULT 2\nOK') //结束通讯需要从标准输入端读取事件,而且他是个阻塞的事件模型12345while 1:self.write_stdout('READY\n')line = sys.stdin.readline()do_some_thing()self.write_stdout('RESULT 2\nOK')supervisor 配置文件需要订阅事件12345678[eventlistener:alarm]user=zjcommand=/usr/bin/python /home/ymserver/bi ...继续阅读 (53)

为解决线上 Redis 服务直连出现链接数爆棚而做的调研， 对 Twitter 开源的 twemproxy 做一些记录。 我们之所以放弃官方的 RedisCLuster 是因为不太满意其性能初窥原理安装与配置不支持的操作压力测试摘自极光博客的评论初窥原理Twitter 出品的轻量级 Redis，memcached 代理，使用它可以减少缓存服务器的连接数，并且利用它来作分片。作是说最差情况下，性能损耗不会多于20%。背后是用了pipeline，redis是支持使用pipeline批处理的。twemproxy 与每个 redis 服务器都会建立一个连接，每个连接实现了两个 FIFO 的队列， 通过这两个队列实现对 redis 的 pipeline 访问，将多个客户端的访问合并到一个连接，这样既减少了redis服务器的连接数，又提高了访问性能。安装与配置安装12345678apt-get install automakeapt-get install libtoolgit clone git://github.com/twitter/twemproxy.gitcd twemproxyautoreconf -fvi./configuremakesudo make install默认的可执行文件在 /usr/local/sbin/nutcracker配置文件 /etc/nutcracker/ ...继续阅读 (41)

周末参加了公司组织的黑客马拉松比赛,通宵达旦完成了作品是个值得纪念的经历, 我们的产品叫做：正义的朋友我们想要实现的功能是让人在紧急关头用最快速的方式联系到可以帮助你的人，于是我们通过锁屏应用来实现;用户在锁屏状态，画一个v手势，会把自己的地理位置发送给设置好的联系人，并持续每十秒发送一次周围的声音给联系人；用户在锁屏状态，画一个w手势，会发出专业的求救声这次比赛的感觉, 与当年叫神马团队的似曾相识, 队友非常给力, 大家都很拼, 我喜欢这种感觉, 事实上，在比赛之前，为了工作上的项目我已经几乎透支了, 队友也是一样。 但周六上午我们还是快速进入状态, 被逼的潜力果然不容小觑. 晒一张我们队伍合照. ...继续阅读 (37)

今天查看了服务器时，发现/var/log/btmp日志文件较大。此文件是记录错误登录的日志， 文件较大意味着有人使用密码字典登录ssh服务， 这个文件是需要用lastab命令才可读的。查看尝试恶意登陆的前十个IP1sudo lastb | awk '{ print $3}' | awk '{++S[$NF]} END {for(a in S) print a, S[a]}' | sort -rk2 |head如果有有必要封阻IP的话，可以执行：1iptables -A INPUT -i eth0 -s *.*.*.0/24 -j DROP ...继续阅读 (38)

阅读完构建高性能服务器一书，书中对MySQL配置做了讲解，我用烂笔头记录一番，明白它们这么配置的真正意义，形成系统的认知。通用配置innodb_pool_buffer 合理配置文件打开数的合理设置打开表优化设置临时表的设置查看索引命中率通用配置1skip-name-resolve:禁止 MySQL 对外连接 DNS 解析 ,这一选项可以消除 MySQL 进行DNS解析时间，开启该选项，所有远程主机连接授权都要使用 IP。1back_log=512指出在 MySQL 暂停响应之前，有多少个请求被存在堆栈中。1key_buffer_size指定用于索引的缓冲区大小，增加它可得到更好的索引处理能力，对于内存 4G 左右，可设置为 256MB。1max_allowed_packet=4M设定在一次网络传输中的最大值。1thread_stack=256k设置每个线程的堆栈大小，可满足普通操作。1table_cache=614k高速缓冲区的大小，当mysql访问一个表示，缓冲区还有空间，那么这个表就会被放入缓冲区，一般看峰值时间状态值，open_tables与open_cache，用于判断是否需要增加table_cache，如果open_Table接近table_cache就要增加了。1sort_buffer_size=6M设定查询排序所用的缓冲区大小，是对每个链接而言，如果有100个连接，那 ...继续阅读 (34)

背景最近在优化一个短地址的统计服务，之前是使用 Cookie 来做统计每天的UV，而且这个需求是近乎实时的， 业务方需要每5分钟就能看到最新统计结果。但有些情况我们是取不到Cookie的，比如服务器对服务器的狂刷访问，那么UV就计算不准确， 是时候要改造方案了。后来我用 IP+UserAgent 来识别用户，从而统计 UV。好了，接下来你会怎么做这个实时统计呢？两个方案的选择Plan A：将每天的IP+UA存进 Redis 的 Set 集合里，它会自动去重，然后计算该集合里元素的个数得到结果，此方案似乎不错， 但真的好吗？假如每天大概有200W个UV，1个用户标识IP+UA需要大概150个字节，那么大约要耗费300MB的内存。觉得内存太宝贵，应该有更好的方法，想起了位运算， 于是就有了Plan B:将IP+UA组合成的字符串哈希成一个数值，然后借助 Redis 的 BitSet 数据结构求出UV。以下是伪代码123456conn = redis()index = hash(UA+IP)key = "xxx_2015-05-10"conn.do('SETBIT', key, index, 1) # 将该hash值对应的位赋值为1realtime_uv = conn.do('BITCOUNT', key) # 得到实时的uv根据业务的情况，我的hash桶开了200W个位，大概需要消耗2 ...继续阅读 (40)

我们需要搭建邮件服务，采用Postfix服务, 坑点不少，遂记录。 现在我们决定在IP：1.2.3.4的机器上部署Postfix服务，让它可以发邮件安装1sudo apt-get install postfix配置编辑/etc/postfix/main.cnf123456789101112131415161718smtpd_banner = $myhostname ESMTP $mail_name (Ubuntu)biff = noappend_dot_mydomain = noreadme_directory = nosmtpd_tls_cert_file=/etc/ssl/certs/ssl-cert-snakeoil.pemsmtpd_tls_key_file=/etc/ssl/private/ssl-cert-snakeoil.keysmtpd_use_tls=yessmtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scachesmtp_tls_session_cache_database = btree:${data_directory}/smtp_scachemyhostname = mail.zheng-ji.info 邮箱服务器域名alias_maps = hash:/etc/alias ...继续阅读 (51)

现象周日早晨收到ganglia报警, 内容是：1MySQL_Slave_SQL is 0.00意味着从库同步有问题了。这时候进入从库看看状态1show slave status\G;看到1234567891011121314151617181920212223Slave_IO_State: Waiting for master to send eventMaster_Host: xxx.xxx.xxxMaster_User: replicationMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000028ad_Master_Log_Pos: 982714864Relay_Log_File: relay-bin.000143Relay_Master_Log_File: mysql-bin.000028Slave_IO_Running: YesSlave_SQL_Running: NoReplicate_Do_DB:Replicate_Ignore_DB:Replicate_Do_Table:Replicate_Ignore_Table:Replicate_Wild_Do_Table:Replicate_Wild_Ignore_Table:Last_Errno: 1594Last_Error: Relay lo ...继续阅读 (31)