背景介绍：目前，在线上环境中，大家需要在家里远程访问很多受限的服务器页面，而这些服务器是通过自动伸缩创建的，IP地址变化很频繁，因此很难通过在VPN中添加删除静态路由的方式让大家访问。因此，我一直通过创建SSH Tunnel的方式，利用一台固定的白名单主机去访问那些服务器。在此，将我的脚本分享给大家。脚本地址：https://github.com/mcsrainbow/shell-scripts/blob/master/scripts/create_tunnel.sh ...继续阅读 (16)

面试题内容：需求：以"|"为分隔符，打印第一字段第一个字符是1，第二个字段第二个字符是2，第三个字段第三个字符是3，以此类推；倒数第二个字段前8个字符是当天日期如“20140610”。源文件raw_data.txt：1|12|a7f865ce-b274-4b23-890c-893c7d1f2198||||2016082055104 3|22|bd166d4f-5222-4d69-a277-deb543db1a9d||||20141117012936| 1|a2af|1135ea2-067a-4d4c-b56f|01442332|308g5dfg|955226r9|2016092037|20150428102737 1|222|1f3f1950-6b0e-4459-a1ee|sad4sadf|adsa5dfd|7746765|2016092002|$ date +%Y%m%d20160920我用Python实现的代码：$ ./check_string.pyMatched: 1|a2af|1135ea2-067a-4d4c-b56f|01442332|308g5dfg|955226r9|2016092037|20150428102737#!/usr/bin/env python import datetime def check_item(string): item_lis ...继续阅读 (14)

参考资料：https://oozie.apache.org/docs/4.0.0/WebServicesAPI.html背景介绍：在我们的线上Hadoop集群中，采用了Oozie来作为Workflow的管理，而平时有不少Workflow在执行过程中会因为各种问题而失败。于是，我们通常都会通过Oozie Web Console去Troubleshooting，但是整个过程并不方便，在研究了Oozie API之后，我写了一个脚本来自动化的帮我们完成绝大部分的Troubleshooting步骤。具体配置：整个脚本需要模拟的Troubleshooting思路如下：1. 获取整个Workflow所有步骤的信息，通常的状态有：OK,RUNNING,FAILED,KILLED2. 对FAILED和KILLED状态的步骤，首先获取其consoleUrl，然后进一步获取更有价值的logsLinks，同时打印相关的调试信息，并导出该步骤的相关XML配置文件脚本地址：https://github.com/mcsrainbow/python-demos/blob/master/demos/debug_oozie_job.py执行示例：[dong@idc1-server1 ~]$ debug_oozie_job.py --server idc1-hive1 --job_id 0011096-16012123 ...继续阅读 (28)

参考资料：http://blog.irq1.com/megacli-commands-to-storcli-command-conversion/https://github.com/mcsrainbow/shell-scripts/blob/master/scripts/MegaRAID_SUM背景介绍：在我们的线上环境中，有大量的物理实体服务器，主要用于对配置要求很高的Hadoop集群。通常在这些服务器中，都配置了RAID卡并且挂载有16块大小至少为3T的硬盘，由于Hadoop集群的IO密集型特征，不少硬盘经常不堪重负而损坏，因此对RAID磁盘健康状态的检查，非常有必要。具体配置：整个脚本的思路如下：1. 通过MegaCli64分别获取异常状态的信息，通常有Degrade,Offline,Failed等状态2. 将获取到的异常状态汇总，并提取出有问题的磁盘槽位信息脚本地址：https://github.com/mcsrainbow/shell-scripts/blob/master/scripts/check_megaraid_status执行示例：[root@idc1-server1 ~]# /usr/local/nagios/libexec/check_megaraid_status CRIT - Virtual Drives: {Degraded: 0, Offline: ...继续阅读 (26)

背景介绍：关于运维工具，网上已经有前辈用了三张图表，将系统各个层面的性能调优，性能监控，性能测试都进行了总结。我觉得非常有必要再学习一次，因此打算将这三张图贴到本文当中，并且在之后不断的完善，针对各个命令做一些简单的介绍，并跟上用例。图表浏览：性能调优性能监控性能测试工具详解：待续... ...继续阅读 (23)

话不多说，具体内容如下：haproxy-1.5.17.specName: haproxy Version: 1.5.17 Release: el6 Summary: The Reliable, High Performance TCP/HTTP Load Balancer Group: System Environment/Daemons License: GPL URL: http://www.haproxy.org Source: haproxy-1.5.17.tar.gz Vendor: Willy Tarreau BuildRequires: gcc gcc-c++ autoconf automake cmake openssl openssl-devel pcre pcre-devel pcre-static Requires: pcre pcre-devel pcre-static openssl openssl-devel %description HAProxy is a free, very fast and reliable solution offering high availability, load ...继续阅读 (21)

背景：在群里，总会有人聊到曾经做过的最坑的事情，其中当然少不了rm命令，比如最出名的rm -rf /*命令。受HDFS回收站机制的启发，我即兴的写了一个shell脚本来实现类似的功能。具体配置：[dong@localhost ~]$ sudo touch /usr/bin/delete[dong@localhost ~]$ sudo chmod +x /usr/bin/delete[dong@localhost ~]$ sudo vim /usr/bin/delete#!/bin/bash trash_dir=${HOME}/.Trash/$(date +%Y%m%d%H%M%S) mkdir -p ${trash_dir} for item in $@; do if $(echo ${item} |grep -Evq "^\-|^\-\-"); then full_path=$(readlink -f ${item}) full_dir=$(dirname ${full_path}) mkdir -p ${trash_dir}${full_dir} echo -n "Moving ${item} to ${trash_dir}${full_path}..." mv ${item} ${trash_dir}${full_path} ...继续阅读 (16)

参考资料：http://centoshowtos.org/monitoring/graphite/背景介绍：通常，我们会将比较重要的指标都纳入到监控系统中，并在监控系统中进行绘图。但有时候，可能会需要临时的针对某些特定的数据进行分析并绘图，并且通常都是一堆历史数据，进行事后分析的。比如，近期线上的日志传输系统，在某些节点上传输的比较慢，那么我们就想分析一下哪些时段的日志比较慢，就从历史记录中取出了在这些节点上近4天所有日志的传输细节，包括日志大小，传输时间等；然后，通过Graphite，非常方便的导入了这些数据，并绘图分析。具体配置：环境介绍：OS: CentOS6.5 x86_64 Minimal1. 安装EPEL扩展库# yum install -y epel-release# sed -i s/#baseurl=/baseurl=/g /etc/yum.repos.d/epel.repo# sed -i s/mirrorlist=/#mirrorlist=/g /etc/yum.repos.d/epel.repo# yum clean all2. 安装系统所需套件yum install -y python python-devel python-pipyum groupinstall -y 'Development Tools'3. 安装配置Graphite相关软件（MySQ ...继续阅读 (76)

学好英语，不仅仅是能考试，更重要的是，听力，和口语表达。这里，我推荐给大家一个学英语的很棒的方法，以前外教教过的，亲身体验很爽，妙不可言，很多英语本身才有的幽默都可以体会到。具体如下：1. 在网上搜索一部英文电影的剧本2. 阅读剧本并将所有的生词都学会3. 找到这部电影4. 去掉电影字幕（包括英文字幕）来欣赏 ...继续阅读 (22)

参考资料：https://blogs.oracle.com/mandalika/entry/measuring_network_bandwidth_using_iperf背景介绍：在调试网络时，经常需要检测两台主机间的最大带宽，我一直使用iperf命令，效果很好很准确，但发现有一些运维朋友并不知道有这个工具，于是打算写篇文章简单介绍一下。具体操作：操作系统：CentOS6.5 x86_64 Minimal服务器：192.168.10.11192.168.10.12[root@192.168.10.11 ~]# yum install http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm[root@192.168.10.11 ~]# yum install iperf[root@192.168.10.12 ~]# yum install http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm[root@192.168.10.12 ~]# yum install iperf[root@192.168.10.12 ~]# iperf -s-------------------------------------- ...继续阅读 (18)

参考资料：http://www.shadowsocks.org背景介绍：相对于VPN而言，搭建一个Shadowsocks服务，然后通过浏览器代理的方式来使用，要方便很多。它的原理跟SSH Tunnel类似，就是通过Shadowsocks的服务端与其专用的Shadowsocks客户端建立起一个加密的隧道，然后Shadowsocks客户端会在本地监听一个端口，默认为1080；所有经过这个本地端口的数据都会通过这个加密隧道。相关配置：OS: CentOS 6.4 x86_64 Minimal1. 安装Shadowsocks Server# pip install shadowsocks2. 配置/etc/shadowsocks.json# vim /etc/shadowsocks.json{ "server": "0.0.0.0", "server_port": 443, "local_address": "127.0.0.1", "local_port": 1080, "password": "shadowsockspass", "timeout": 600, "method": "aes-256-cfb", "fast_open": false, "workers": 1 }注解：在以上配置文件中，定义了监听的服务器地址为任意地址："server" ...继续阅读 (137)

参考资料：https://www.digitalocean.com/community/tutorials/how-to-setup-your-own-vpn-with-pptp背景介绍：搭建PPTP VPN Server应该是非常容易的，可身边有不少朋友在参考了一些文章后仍然来求助于我，走了不少的弯路。因此，觉得自己有必要写一篇文章来讲解一下。毕竟我写文章的习惯是边操作边记录，所以一步一步照着做就可以完成，大家都喜欢看。相关配置：OS: CentOS 6.4 x86_64 Minimal1. 安装EPEL扩展库# yum install http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm2. 安装PPTP扩展库# yum install http://poptop.sourceforge.net/yum/stable/rhel6/pptp-release-current.noarch.rpm3. 安装PPTP VPN Server# yum install pptpd4. 编辑/etc/pptpd.conf# vim /etc/pptpd.conf######################################################################## ...继续阅读 (45)

背景介绍：在一些技术群里面，看到仍然有一些运维在用mysqldump这样的命令来备份MySQL，于是感觉有必要介绍一下innobackupex。现在，绝大多数使用MySQL的场景中，都用到了Master-Slave这样的架构。相对于mysqldump而言，使用innobackupex备份有以下好处：1. 以数据文件为备份对象，文件级别备份，速度快，尤其适合需要对所有数据进行备份的场景；2. 热备份，不会对现有的数据库访问造成任何影响；3. 记录binlog以及replication相关信息，在创建和恢复Slave时非常有用；具体用例：环境介绍架构：Master-Slave MySQL端口：3308 配置文件：/etc/my_3308.cnf 备份目录：/mysql-backup/3308 MySQL数据目录：/opt/mysql_3308/data 服务脚本：/etc/init.d/mysql_3308在Master上备份# innobackupex --defaults-file=/etc/my_3308.cnf /mysql-backup/3308 --user=backup-user --password=backup-user --no-lock在Slave上备份# innobackupex --defaults-file=/etc/my_3308.cnf /mysql-b ...继续阅读 (34)

背景介绍：今天，在运维群里面跟一些群友聊天，我主要吐槽了关于EXT4文件系统难以做数据恢复的问题，因为过去自己有尝试过EXT3和EXT4上的数据恢复，主要用的是ext3grep和ext4undelete，EXT3基本上每次都能恢复成功，但EXT4却没有成功过一次，每次恢复出来的文件都是破损的，或残缺不全的。期间，一些比较资深的牛人说EXT4他们成功的恢复过，并且说抱怨Linux文件系统数据不好恢复的人都是对Linux文件系统的基础知识不熟悉，多去看看Linux文件系统关于block, inode, superblock的知识，对于删除文件就是另外的认识了。听到之后很是惭愧，的确过去只是停留在工具层面，没有深入了解这些方面的知识。然后，我提到了一个场景，就是某个进程在运行过程中一直在打印一个日志，这时候，有人误删了这个日志。群友说这种情况下恢复文件是非常简单的，因为文件其实还存在于系统当中，不过必须要让进程保持在运行状态，一旦停止或重启后，文件就消失了。相信大家都有过类似的经验，在清理空间的时候，虽然删掉了一些大的日志文件，但是空间并没有得到释放，而是必须要等到重启服务或杀掉进程的时候才会。于是我简单的搜索了一下，找到了这篇文章：http://unix.stackexchange.com/questions/101237/how-to-recover-files-i-deleted- ...继续阅读 (35)

背景工作了这么些年，说实话对于TCP/IP协议一直没有真正的理解。惭愧之余，贴一张很棒的协议图，以供自己查阅，资料来源：http://www.colasoft.com.cn/download/protocols_map.php介绍中英文对照：每一个协议缩写用英文，全称用中文，这样非常容易理解。简洁明了，如TCP协议，协议图上标注的是TCP 传输控制协议。合理的协议分组：每个协议簇都是按照应用类型进行了分组调整，让读者更容易理解。清晰的协议关系：每个协议都可以通过流程线找到其上层协议或下层协议，非常便于了解协议之间的关系情况。协议图 ...继续阅读 (41)

HAProxyCPU: 8核内存: 16G数量：4Servers数量: 150类型：HTTP/HTTPS响应GET/POST请求，返回json数据并产生日志稳定支持的并发会话数量：400K系统相关配置# grep -E 'maxconn|nbproc' /etc/haproxy/haproxy.cfgmaxconn 200000 nbproc 7# cat /etc/security/limits.d/90-nproc.conf# Default limit for number of user's processes to prevent # accidental fork bombs. # See rhbz #432903 for reasoning. * - nproc 4096 root - nproc unlimite# cat /etc/security/limits.d/90-nofile.conf* - nofile 200000# cat /etc/sysctl.conf# Kernel sysctl configuration file for Red Hat Linux # # For binary values, 0 is disabled ...继续阅读 (155)

参考资料：http://www.cnblogs.com/wangbin/archive/2011/10/11/2207179.htmlhttp://www.programgo.com/article/84763718594/魔法列表：1. 变量定义# var无定义时取值hello [dong@idc1-server1 ~]$ echo ${var} [dong@idc1-server1 ~]$ echo ${var-hello} hello [dong@idc1-server1 ~]$ echo ${var:-hello} hello # var无定义时取值hello且赋值为hello [dong@idc1-server1 ~]$ echo ${var=hello} hello [dong@idc1-server1 ~]$ echo ${var:=hello} hello [dong@idc1-server1 ~]$ echo ${var} hello # var有定义时取值$var [dong@idc1-server1 ~]$ echo ${var-bye} hello # var有定义时取值bye [dong@idc1-server1 ~]$ echo ${var+bye} bye [dong@idc1-server1 ~]$ echo ${var:+bye} bye2 ...继续阅读 (26)

参考资料：http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/VPC_Scenario2.html背景介绍：目前，公有云越来越普及，基本上绝大部分的初创型企业都会在企业发展初期，采用公有云上的虚拟机作为服务器来开展业务。而在公有云厂商中，AWS基本上算是一枝独秀，无论是在功能，还是可靠性，可扩展性，以及全球布局等诸多方面。本文主要对AWS上的VPC私有网络的创建与配置进行讲解，并对Web UI上的各个步骤进行了截图，更加形象，也方便大家的理解。VPC，顾名思义Virtual Private Cloud，即虚拟私有云。很多企业或项目在发展初期选择了公有云，但基本上无一例外全都选择了最简单的方式来创建虚拟机，即每台虚拟机都有一个公网IP地址，以及私网IP地址。其中，私网IP地址不可变更，所在的私网IP段不可选择，如果对服务器进行了Stop操作，再次Start之后，私网IP会随机变更；而公网IP地址，则可以绑定一个IP地址来将其固定。在这样的一个架构当中，如果服务器数量不多，对安全性，可扩展性，高可用性等各个方面没有什么要求的话，也是能满足需要的。但是，当服务器数量较多时，也就是说，当企业发展到中期的时候，VPC的重要性就越来越体现出来了，其中，最显著的几个方面为：1. 在安全方面，通过构建一个VPC网络，能够将几乎所有的服务器都部 ...继续阅读 (25)

参考资料：Hadoop:http://www.cloudera.com/content/cloudera/en/documentation/core/v5-3-x/topics/cdh_ig_earlier_cdh5_upgrade.html?scroll=topic_8Oozie:http://www.cloudera.com/content/cloudera/en/documentation/core/v5-3-x/topics/cdh_ig_oozie_upgrade.htmlHive:http://www.cloudera.com/content/cloudera/en/documentation/core/v5-3-x/topics/cdh_ig_hive_upgrade.htmlPig:http://www.cloudera.com/content/cloudera/en/documentation/core/v5-3-x/topics/cdh_ig_pig_upgrade.html1. 在所有Hadoop服务器上停止Monit(我们线上使用了Monit来监听进程)登录idc2-admin1(我们线上使用了idc2-admin1作为管理机以及Yum repo服务器)# mkdir /root/cdh530_upgrade_from_500# cd /root/cdh53 ...继续阅读 (59)

在工作和生活中，自己经常会被一些不太健康的心态所困扰，导致内心纠结，浪费了许多宝贵的时间，特在此做出反省。1. 接受“不完美”的存在公司新配了MacBook Pro笔记本，非常喜欢，因为没有使用经验于是尝试安装了很多各种各样的软件，而有不少软件在卸载后会留下一些残存的垃圾，并不能清理到完全没有安装过的程度。但自己却浪费了很多时间来清理这些软件留下的信息，并在面对一些留有痕迹且无法清除的地方时，内心非常纠结，郁闷，经常有将整个系统都重装的冲动。反省：：其实，通过常规的方式卸载掉软件，并删除一些很明显的残存的垃圾，就已经能够达到清理的目的了。如果反复纠结并浪费时间在这上面，其实只是为了满足自己不健康的心态，让自己感觉很“干净”，又回到了“当初”。实际上不仅会浪费宝贵的时间，不会带来任何好处(比如磁盘空间的节省)，还会有非常大的风险误删系统的重要文件，导致整个系统都出现问题。这种类似的心态，其实自己在使用手机，以及一些生活用品时也会有，很没有意义，且浪费时间。其实，在使用的过程中，安装使用一些新的软件，是在所难免的事情，让整个电脑“干净”的没有一点“杂物”，是完全不可能的事情。因此，要能够接受电脑上有一些所谓的“不干净”的东西。在清理掉很明显的一些残存的垃圾之后，维护好当前经常使用的软件与系统环境，才是最有意义的。上升一点高度来看的话，就是要接受“不完美”的存在，过好“当前”才是最主要的 ...继续阅读 (17)

最近，线上的CDH5集群增加了一批新的datanode，但是其中有一些datanode的负载明显比其它的要高。通过Ganglia上的图形报告查看，发现这些datanode的CPU %ni很高，进一步查看进程，发现不少的hdfs与yarn进程运行在高优先级(<0 可通过 ps -lp pid 查看)上，这样会夺取一部分重要系统进程的资源，导致一些问题。于是，我们通过在线调整的方式，将所有hdfs与yarn用户的进程优先级都设置为了0，将问题解决了。具体步骤如下：vim /etc/security/limits.d/hdfs.conf新增如下配置：hdfs hard priority 20 hdfs hard nice 0vim /etc/security/limits.d/yarn.conf新增如下配置：yarn hard priority 20 yarn hard nice 0vim /etc/security/limits.d/mapred.conf新增如下配置：mapred hard priority 20 mapred hard nice 0执行命令，在线调整hdfs，yarn与mapred用户的进程nice优先级：renice 0 -u hdfs ya ...继续阅读 (25)

在使用Mac与Linux的命令行终端时，经常会在一些目录之间频繁的切换，于是我参考了一些资料，在.bashrc中写了几个小函数，来方便这样的操作。操作示例：1.进入某个目录并通过mark命令创建一个链接[dong@Dong-MacBookPro ~]$ cd Downloads/Pictures/[dong@Dong-MacBookPro Pictures]$ mark pictures2.执行jump命令，在敲Tab键后的自动完成列表中选择想要进入的链接[dong@Dong-MacBookPro Pictures]$ cd[dong@Dong-MacBookPro ~]$ jumpchrome github pictures tmp[dong@Dong-MacBookPro ~]$ jump pictures[dong@Dong-MacBookPro Pictures]$ pwd/Users/dong/Downloads/Pictures3.执行unmark命令，在敲Tab键后的自动完成列表中选择想要删除的链接[dong@Dong-MacBookPro Pictures]$ cd[dong@Dong-MacBookPro ~]$ unmarkchrome github pictures tmp[dong@Dong-MacBookPro ~]$ unmark pictu ...继续阅读 (26)

运维的工作其实也可以很有趣。Slack企业聊天软件有着很丰富的API，我们正尝试使用slackbot或hubot来将一部分运维工作，比如部署，回滚，计划任务等通过聊天机器人来触发。这样，以后需要做什么，直接 @slackbot 说一句"Deploy the app servers with the lastest packages. 或 Rollback the app servers with the last backup."，然后 slackbot 就会说一句："Yes sir." "I've the done the deployment, everything is OK."。看起来很高大上，其实不过是将之前手动执行命令或点击的动作做了一个新的包装，不过好处在于，通过这种方式，我们可以不再通过繁琐的邮件方式来通知大家，因为其他人都可以通过企业聊天软件收到相应的消息。待我们实现之后，我会写一篇文章好好分享给大家的。 ...继续阅读 (54)

参考资料：https://www.digitalocean.com/community/tutorials/how-to-setup-and-configure-an-openvpn-server-on-centos-6http://www.unixmen.com/setup-openvpn-server-client-centos-6-5/http://docs.ucloud.cn/software/vpn/OpenVPN4CentOS.html背景介绍：最近，GFW开始针对VPN进行了屏蔽，之前在VPS上搭建的PPTP/L2TP VPN在有些时候都开始变得不稳定了。因此，打算在VPS上再搭建一个OpenVPN Server，以备不时之需。相关配置：OS: CentOS 6.4 x86_64 Minimal1. 安装EPEL扩展库# yum install http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm2. 安装所需依赖软件包# yum install -y openssl openssl-devel lzo lzo-devel pam pam-devel automake pkgconfig3. 安装OpenVPN# yum install openvpn4. 下载easy-rsa ...继续阅读 (30)

我们在线上采用的是CDH的Hadoop发行版，但从CDH3迁移到CDH5之后，Bug层出不穷。:(CDH5.0.x版本没有什么严重的Bug，但是Namenode之间的状态同步却有问题。具体表现为，在需要Decommission某个节点时，必须在Active Namenode上操作，如果在Standby Namenode上操作，其Decommissioning状态不会同步到Active Namenode上，也不会真正的Decommissioning。而即使在Active Namenode上操作的话，Decommissioned状态也不会同步到Standby Namenode；通过升级到CDH5.1.0之后，我们解决了这个问题，但没想到的是，后面版本的Bug会更加严重。在CDH5.1.0版本中，有严重的snapshot操作导致edits记录紊乱使Namenode崩溃的问题，在定位到了其匹配的Bug后，我们只能继续通过升级到CDH5.2.0解决这个问题。但CDH5.2.0又引入了一个新的Bug，就是Namenode与Datanode的心跳会因为正在运行的job而被block，虽然Datanode的负载并不高，但仍然会导致Last Contact值不断增大。而默认的心跳超时时间是630秒，超过这个数值之后，Namenode就自动将Datanode列入Deadnodes当中。我们所有的开发和 ...继续阅读 (60)

参考资料：http://blog.creke.net/722.html背景介绍：目前，线上有好几个数据中心，不同数据中心之间的速度差异还是比较大的，我们一般选择一个最优的数据中心作为VPN的接入点。但有些时候直接通过VPN访问其它数据中心的服务会很慢，于是就临时通过SSH Tunnel来解决。应用场景：直接访问服务器idc1-server1很快，但是直接访问idc2-server2很慢，而idc1-server1到idc2-server2却很快；于是，我们打算用idc1-server1服务器作为跳板来连接idc2-server2。ssh -i /path/to/sshkey -l username -f -N -T -L 8088:idc2-server2:80 idc1-server1通过浏览器直接访问http://localhost:8088就相当于访问了http://idc2-server2关键参数介绍：-L 8088:idc2-server2:80将本地的某个端口转发到远端指定机器的指定端口。工作原理是：本地机器上分配了一个socket侦听port端口，一旦这个端口上有了连接, 该连接就经过安全隧道(idc1-server1)转发出去，即 localhost:8088 -> (idc1-server1) -> idc2-server2:80；ssh -i /path/to/ ...继续阅读 (38)