我们必须高度重视开源软件的安全问题，当开发者在使用Docker时，从本地构建应用程序到生产环境部署是没有任何差异的（译者注：作者的言外之意是更应该重视Docker的安全问题）。当Docker被越来越多的平台使用的时候，我们需要严格保证Docker作为一个项目或者平台的安全性。因此，我们决定在Docker系列教程的第五篇来讨论Docker安全性的相关问题以及为什么会它们影响到Docker的整体安全性。由于Docker是LXC的延伸，它也很容易使用LXC的安全特性。在本系列的第一篇文章中，我们知道docker run命令可以用来运行容器。那运行这个命令后，Docker做了哪些具体的工作呢？具体如下：docker run命令初始化。Docker 运行 lxc-start 来执行run命令。lxc-start 在容器中创建了一组namespace和Control Groups。对于那些不知道namespace和control groups的概念的读者，我在这里先给他们解释一下：namespace是隔离的第一级，容器是相互隔离的，一个容器是看不到其它容器内部运行的进程情况（译者注：namespace系列教程可以阅读DockerOne上的系列教程）。每个容器都分配了单独的网络栈，因此一个容器不可能访问另一容器的sockets。为了支持容器之间的IP通信，您必须指定容器的公网IP端口。Contr ...继续阅读 (9)

前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括Hadoop Committer（Hadoop开发者）求助。在获得很多人帮助后，自己将遇到问题和心得整理成文，希望本文可以对那些焦头烂额的Hadoop新手们有所帮助，少走笔者的弯路。PS. 本文基于 Cloudera CDH 3u4（同Apache Hadoop 1.0）编写。相关推荐配置为官方推荐值或者笔者经验数值，它不是绝对的，可能会因为不同的应用场景和硬件环境有所出入。1. 选择Cloudera CDH部署你的Cluster动机大多数管理员都是从Apache Hadoop开始学习。笔者最开始也使用Apache版本Hadoop进行开发和部署工作，但接触到Cloudera CDH后，我发现它可以使管理员的工作更简单，不仅可以获得最新的特性和Bug修复，有时也会带来令人惊喜的性能改善。CDH为什么更好？笔者罗列了以下几点：CDH基于稳定版Apache Hadoop，并应用了最新Bug修复或 ...继续阅读 (10)

我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图：从上图可以看到，MRv1是围绕着MapReduce进行，并没有过多地考虑以后出现的其它数据处理方式 。按着上图的设计思路，我们每开发一种数据处理方式（例如spark），都要重复实现相应的集群资源管理和数据处理。因此，Yarn就很自然的被开发出来了。Yarn对MRv1的最大改进就是将资源管理与任务调度分离，使得各种数据处理方式能够共享资源管理，如下图所示：从上图我们可以看到，Yarn是一种统一资源管理方式，是从MRv1中的JobTracker分离出来的。这样的好处显而易见：资源共享，扩展性好等。MRv1与Yarn的主要区别：在MRv1中，由JobTracker负责资源管理和作业控制，而Yarn中，JobTracker被分为两部分：ResourceManager（RM）和ApplicationMaster（AM）。如下图所示：从上图中，我们可以清晰的看到 ，对于MRv1无论是资源管理里还是任务调度都是有JobTracker来完成得。这导致了，JobTracker负荷太大不便于管理和扩展而对于Yarn，我们看可以清晰地看到资源管理和任务调度被分为了两个部分：RM和AM。Yarn与MRv1的差异对编程的影响 ...继续阅读 (18)

DockerOne组织翻译了Flux7的Docker入门教程，本文是系列入门教程的第四篇，介绍了Docker Registry，它是Docker中的重要组件。本文通过情景演绎的方式对其进行了介绍，图文并茂，强烈推荐读者阅读。在Docker系列教程的上一篇文章中，我们讨论了Dockerfile的重要性并提供了一系列Dockerfile的命令，使镜像的自动构建更加容易。在这篇文章中，我们将介绍Docker的一个重要组件：Docker Registry。它是所有仓库（包括共有和私有）以及工作流的中央Registry。在深入Docker Registry之前，让我们先去看看一些常见的术语和与仓库相关的概念。Repositories（仓库）可以被标记为喜欢或者像书签一样标记起来用户可以在仓库下评论。私有仓库和共有仓库类似，不同之处在于前者不会在搜索结果中显示，也没有访问它的权限。只有用户设置为合作者才能访问私有仓库。成功推送之后配置webhooks。Docker Registry有三个角色，分别是index、registry和registry client。角色 1 — Indexindex负责并维护有关用户帐户、镜像的校验以及公共命名空间的信息。它使用以下组件维护这些信息：Web UI元数据存储认证服务符号化这也分解了较长的URL，以方便使用和验证用户存储库。角色 2 R ...继续阅读 (4)

上一篇文章中，我们介绍了15个Docker命令，你应该对Docker有个大致的了解了。那15个命令在手动创建镜像时会用到，它们涵盖了镜像的创建、提交、搜索、pull和push的功能。现在问题来了，既然Docker能自动创建镜像，那为什么要选择耗时而又乏味的方式来创建镜像呢？Docker为我们提供了Dockerfile来解决自动化的问题。在这篇文章中，我们将讨论什么是Dockerfile，它能够做到的事情以及Dockerfile的一些基本语法。易于自动化的命令Dockerfile包含创建镜像所需要的全部指令。基于在Dockerfile中的指令，我们可以使用Docker build命令来创建镜像。通过减少镜像和容器的创建过程来简化部署。Dockerfile支持支持的语法命令如下：INSTRUCTION argument指令不区分大小写。但是，命名约定为全部大写。所有Dockerfile都必须以FROM命令开始。FROM命令会指定镜像基于哪个基础镜像创建，接下来的命令也会基于这个基础镜像（译者注：CentOS和Ubuntu有些命令可是不一样的）。FROM命令可以多次使用，表示会创建多个镜像。具体语法如下：FROM例如：FROM ubuntu上面的指定告诉我们，新的镜像将基于Ubuntu的镜像来构建。继FROM命令，DockefFile还提供了一些其它的命令以实现自动化。在文本文件或Doc ...继续阅读 (18)

在这篇文章中，我们将学习15个Docker命令，并通过实践来学习它是如何工作的。首先，让我们通过下面的命令来检查Docker的安装是否正确：docker info如果没有找到这条命令，则表示Docker安装错误。如果安装正确，则会输出类似下面的内容：到这一步Docker里还没有镜像或是容器。所以，让我们通过使用命令预先构建的镜像来创建来一个：sudo docker pull busybox BusyBox是一个最小的Linux系统，它提供了该系统的主要功能，不包含一些与GNU相关的功能和选项。下一步我们将运行一个“Hello World”的例子，我们暂且叫它“Hello Docker”吧。docker run busybox /bin/echo Hello Docker 现在，让我们以后台进程的方式运行hello docker：sample_job=$(docker run -d busybox /bin/sh -c "while true; do echo Docker; sleep 1; done") sample_job命令会隔一秒打印一次Docker，使用docker logs可以查看输出的结果。如果没有给这个job起名字，那这个job就会被分配一个id，以后使用命令例如docker logs查看日志就会变得比较麻烦。运行docker logs命令来查看job的当前状态：d ...继续阅读 (7)

本文主要涉及Docker的基础知识：Docker的特征、理念以及如何安装使用Docker。Docker 特征Docker有不少有趣的功能，通过本教程相信你会更好地理解它们。Docker的特性主要包括以下几点：速度飞快以及优雅的隔离框架物美价廉CPU/内存的低消耗快速开/关机跨云计算基础构架 Docker 组件与元素Docker有三个组件和三个基本元素，读者可以快速浏览下面这个视频来了解这些组建和元素，以及它们的关系。三个组件分别是：Docker Client是用户界面，它支持用户与Docker Daemon之间通信。Docker Daemon运行于主机上，处理服务请求。Docker Index是中央registry，支持拥有公有与私有访问权限的Docker容器镜像的备份。三个基本要素分别是：Docker Containers负责应用程序的运行，包括操作系统、用户添加的文件以及元数据。Docker Images是一个只读模板，用来运行Docker容器。DockerFile是文件指令集，用来说明如何自动创建Docker镜像。在讨论Docker组件和基本要素如何交互之前，让我们来谈谈Docker的支柱。Docker使用以下操作系统的功能来提高容器技术效率：Namespaces充当隔离的第一级。确保一个容器中运行一个进程而且不能看到或影响容器外的其它进程。Control Groups是LX ...继续阅读 (9)

作者简介谭志宇，运维总监@胡莱游戏熟悉运维自动化，擅长架构设计，熟悉各种云平台技术和产品、负责设计开发运维平台管理体系。正文其实我本没有想过要写这篇文字，但有次和业内的一位技术朋友聊起当前互联网技术的话题，聊了很多东西，从互联网产业的崛起、蓬勃发展、未来的走向又聊到互联网技术起步、变化、开源、融合……等等。我本是运维出身，不可避免的会聊些运维类的话题，其中就有最近一两年运维工程师招聘难的现象，朋友说：你何不写篇文章让新入行的运维朋友看看你们这些搞了多年运维老人的一些看法、想法呢？当时我也只是端起桌上的水杯喝了一口，然后一笑而过，说了一个字：难！不难写，但难于让人理解。回家后我也没把这个事情当回事儿，直到有一天看不到不少运维的朋友在QQ群里喊：哪里有运维的坑啊? 而另一边微信群里很多公司的运维管理层也在喊：求推荐各种运维人才！才越发感觉这需求关系的不对称，为什么会出现这样的现象呢？我晚上回家仔细的考虑了下。任何一件事物的出现都有起因，要说明白运维这事儿还得从头说起: 我把运维的进化同互联网的发展结合在一起分成几个阶段来讲！2000年前：启蒙这个时候互联网公司极少，就几个门户网站，上网有56Kbps的Modem就已经很牛了，能出去向朋友炫耀的，那个时候QQ还不叫QQ，叫OICQ，那个时候的聊天室也不像现在的聊天室，都是本地化的叫什么xxx信息港，你想跟其他省市的 ...继续阅读 (4)

以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calculation8G VM (4G For MR)yarn-site.xmlyarn.nodemanager.resource.memory-mb= containers * RAM-per-container4096yarn-site.xmlyarn.scheduler.minimum-allocation-mb= RAM-per-container1024yarn-site.xmlyarn.scheduler.maximum-allocation-mb= containers * RAM-per-container4096mapred-site.xmlmapreduce.map.memory.mb= RAM-per-container1024mapred-site.xmlmapreduce.reduce.memory.mb= 2 * RAM-per-container2048mapred-si ...继续阅读 (10)

今有一小型项目，完全自主弄，原来以为很简单的NTP服务，我给折腾了2个多小时才整撑头（以前都是运维搞，没太注意，所以这技术的东西，在简单都需要亲尝啊），这里记录为以后别再浪费时间。目标环境，5台Linux centos 6.3， 一台作为NTPD服务与外部公共NTP服务同步时间，同时作为内网的NTPD服务器，其他机器与这台服务做时间同步。服务器IP角色说明同步方式192.168.1.135NTPD服务1、负责与外部公共NTPD服务同步标准时间2、作为内外网络的NTPD服务NTPD服务平滑同步192.168.1.xxx内外NTP客户端内网设备与192.168.1.135同步时间NTPD服务平滑同步……内外NTP客户端内网设备与192.168.1.135同步时间NTPD服务平滑同步1、NTP时间同步方式选择NTP同步方式在linux下一般两种：使用ntpdate命令直接同步和使用NTPD服务平滑同步。有什么区别呢，简单说下，免得时间长了，概念又模糊。现有一台设备，系统时间是 13:00 , 真实的当前时间(在空中，也许卫星上，这里假设是在准备同步的上级目标NTP服务器)是: 12:30  。如果我们使用ntpdate同步（ntpdate -u 目标NTP服务器IP），操作系统的时间立即更新为12:30,假如，我们的系统有一个定时应用，是在每天12:40运行，那么实际今天这个的任务已经运 ...继续阅读 (14)

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。Fair Scheduler的配置选项包括两部分，其中一部分在yarn-site.xml中，主要用于配置调度器级别的参数，另外一部分在一个自定义配置文件（默认是fair-scheduler.xml）中，主要用于配置各个队列的资源量、权重等信息。想要了解Fair Scheduler是什么，可阅读我的这篇文章“Hadoop公平调度器分析”。1. 配置文件yarn-site.xml（1） yarn.scheduler.fair.allocation.file ：自定义XML配置文件所在位置，该文件主要用于描述各个队列的属性，比如资源量、权重等，具体配置格式将在后面介绍。（2） yarn.scheduler.fair.user-as-default-queue：当应用程序未指定队列名时，是否指定用户名作为应用程序所在的队列名。如果设置为false或者未设置，所有未知队列的应用程序将被提交到default队列中，默认值为true。（3） yarn.scheduler.fair.preemption：是否启用抢占机制，默 ...继续阅读 (16)

言编写的一个脚本管理工具，该工具仅适用于MySQL Replication（二层）环境，目的在于维持Master主库的高可用性。一、简介学习一个高可用小软件，不但要熟悉其功能，还要了解其架构及工作原理。1. 架构从架构上来说，MHA分为如下两大部分：（1）Node我们知道，MHA是基于MySQL Replication环境的，在该环境中，不管是Master角色，还是Slave角色，都称为Node，是被监控管理的对象节点。Node服务器上需要安装MHA Node包。（2）ManagerManager为MHA架构中的管理者，建议部署在一台独立的服务器上，当然也可部署在某个Slave上，但该Slave永远不要被选择成为新的Master，否则故障切换后的MHA架构就失去了高可用性。Manager服务器需要安装MHA Manager包，并完善一个主配置文件。一个Manager可管理多套MySQL Replication环境。2. 工作原理相较于其它HA软件，MHA的目的在于维持MySQL Replication中Master库的高可用性，其最大特点是可以修复多个Slave之间的差异日志，最终使所有Slave保持数据一致，然后从中选择一个充当新的Master，并将其它Slave指向它。基本工作流程大致如下：（1） Manager定期监控Master，监控时间间隔由参数ping_interval ...继续阅读 (14)

啥是DevOpsDevOps(Deveplopment和Operations的简称)，中译为开发运维一体化，可定义为是一种过程、方法、文化、运动或实践，主要是为了通过高度自动化的过程来加强开发和其他IT职能部门之间的沟通和协作，加速软件和服务的持续交付。DevOps是一个虚无缥缈的玩意儿，它并不能简单的被工具或软件来定义或量化，但工具或软件却是实现DevOps的一个重要组成部分。在一个较成熟的软件和服务交付的公司里，就技术层面来说主要分为三个组成部分——开发、测试和运维。DevOps的作用就是将这三个部分紧密的连接起来，提供一条从软件开发到质量保障到技术运营的自动化流水线，加强不同角色之间的沟通和协作，基于用户需求实现软件和服务的快速可持续交付。个人认为DevOps更应该更全面的被称为DevTestOps,测试(高端点说是质量管控)往往是很容易被忽视的一个部分，但是偏偏这个环节却又异常重要和复杂。虽然我从未干过测试的活儿，但脑补一下也可大概了解是个什么情况。所以特此提出来，希望看到此贴的朋友们能够更加重视所交付软件产品的质量管控，同时也给予测试工作必须的重视以及测试工程师必要的尊重。为啥要DevOps“开发的这群傻叉新给的发布包又把系统CPU搞到100%了，应用又夯住了，都是些什么水平的人**”“运维的这绑傻鸟技术太差，维护的是些什么稀烂的系统，在我这跑得好好的，上他们那应用就挂… ...继续阅读 (2)

在云计算时代，开发和运维的结合变得越来越重要。在DIFF论坛第一期，前新浪SAE运维主管，郑志勇，分享了《一个开发眼中的运维》根据自己从开发人员转型运维之后的心得，谈如何把在开发上的运用抽象思维方式运用到运维领域。1. 运维不是什么？运维不是打杂的，运维不是客服，运维也不是服务开发的，但要做好合作。2. 运维是什么？运维服务于整个产品，保证架构合理，系统稳定。运维只对业务稳定负责，所有的工作都是奔着这个去的。3. 你如何写程序，写程序的目的是什么？程序是为了完成特定的功能。为了完成特定的功能，程序需要申请资源、使用资源、管理资源，功能完成后，还要释放资源。说到底，就是跟资源打交道，和资源打交道的工具是“编程语言”。资源包括什么？内存、CPU、磁盘、网络、文件描述符、外部API、缓存、数据库等，编程语言是如何管理资源的、合理的算法/架构保证了资源的合理使用，malloc/free分配内存、connec、close使用网络等等。4. 什么样的程序算好程序？正确的程序算好程序。逻辑正确，使用资源尽可能的少；没有bug，没有把机器资源耗尽；稳定性好，不会异常退出；可用性高，有HA方案，不会因为一台机器（或一个进程）无法提供服务，而影响整个系统的服务；没有单点是基本要求；容易扩展，只需要简单的增加资源（CPU、内存、磁盘、机器等）就行，不需要太多人工迁数据、修改配置等；容易维护，包括容易配置 ...继续阅读 (6)

今天在自己的一个技术群中又被问道了这么一个问题，于是又通俗的解释了一下，做个记录，大家看看解释是否清楚！shell中可能经常能看到：>/dev/null 2>&1命令的结果可以通过%>的形式来定义输出分解这个组合：“>/dev/null 2>&1” 为五部分。1：> 代表重定向到哪里，例如：echo “123″ > /home/123.txt2：/dev/null 代表空设备文件3：2> 表示stderr标准错误4：& 表示等同于的意思，2>&1，表示2的输出重定向等同于15：1 表示stdout标准输出，系统默认值是1，所以”>/dev/null”等同于 “1>/dev/null”因此，>/dev/null 2>&1也可以写成“1> /dev/null 2> &1”那么本文标题的语句执行过程为：1>/dev/null ：首先表示标准输出重定向到空设备文件，也就是不输出任何信息到终端，说白了就是不显示任何信息。2>&1 ：接着，标准错误输出重定向 到 标准输出，因为之前标准输出已经重定向到了空设备文件，所以标准错误输出也重定向到空设备文件。说清楚了吗，大家理解下吧！顺便对比述说下这么用的好处！最常用的方式有：command > file 2>file 与command > file 2>&1它们 有什么不同的地 ...继续阅读 (7)

今天在编译Apache时候出现了几个错误，首先是libexpat.so错误，然后出现libz.a错误，总结如下：我的环境是操作系统：Red Hat Enterprise Linux Server release 5 (Tikanga)Linux webserver 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:14 EST 2007 x86_64 x86_64 x86_64 GNU/Linuxapache的版本：httpd-2.0.61.tar.gz下面是这个错误的解决解决过程。1 libexpat.so错误错误现象：/usr/lib/libexpat.so: could not read symbols: File in wrong format解决方法：编译时增加编译参数 –with-expat=builtin 。好像在64位服务器下编译脚本在定位系统 expat 支持时有些问题。通过指定expat，用系统自带的expat来编译就不存在这个问题了。2 libz.a错误错误现象：/usr/local/lib/libz.a: could not read symbols: Bad valuecollect2: ld returned 1 exit status解决方法：重新安装 zlib-1.2.3.tar.gz1. tar -zxvf zlib-1.2 ...继续阅读 (7)

一:登录MySQL登录MySQL的命令是mysql， mysql 的使用语法如下：mysql [-u username] [-h host] [-p[password]] [dbname]username 与 password 分别是 MySQL 的用户名与密码，mysql的初始管理帐号是root，没有密码，注意：这个root用户不是Linux的系统用户。MySQL默认用户是root，由于初始没有密码，第一次进时只需键入mysql即可。[root@test1 local]# mysql 　　Welcome to the MySQL monitor.　Commands end with ; or \g. 　　Your MySQL connection id is 1 to server version: 4.0.16-standard 　　Type 'help;' or '\h' for help. Type '\c' to clear the buffer. 　　mysql> 　　出现了“mysql>”提示符，恭喜你，安装成功！ 　　增加了密码后的登录格式如下： 　　mysql -u root -p 　　Enter password: (输入密码) 　　其中-u后跟的是用户名，-p要求输入密码，回车后在输入密码处输入密码。注意：这个mysql文件在/usr/bin目录下，与后面讲的 ...继续阅读 (2)

一个apache有linux下的并发不是很高的,大约到3K的样子,普通的服务器都会不同程度的出现问题.apache有关并发控制主要是 prefork和worker二个其中一个来控制.我们可以使用httpd -l来确定当前使用的MPM是prefork.c,还是Worker.c.下面是apache中有关prefork的配置.下面是我优化过的参数.#有这个参数就不必像apache1一样修改源码才能修改256客户数的限制,听讲要放到最前面才会生效,2000是这个参数的最大值ServerLimit 2000#指定服务器启动时建立的子进程数量，prefork默认为5。StartServers 25#指定空闲子进程的最小数量，默认为5。如果当前空闲子进程数少于MinSpareServers ，那么Apache将以最大每秒一个的速度产生新的子进程。此参数不要设的太大。MinSpareServers 25#设置空闲子进程的最大数量，默认为10。如果当前有超过MaxSpareServers数量的空闲子进程，那么父进程将杀死多余的子进程。此参数 不要设的太大。如果你将该指令的值设置为比MinSpareServers小，Apache将会自动将其修改成”MinSpareServers+1″。MaxSpareServers 50#限定同一时间客户端最大接入请求的数量(单个进程并发线程数 ...继续阅读 (10)

前天在51CTO群里面，大家问我运维知识地图的问题，我想到了一篇文章。这篇文章是在去年公司运维通道面试，自己作为评委参与了整个过程，然后写了一个总结发表在运维知识库，虽然是建议未来的运维职级晋升者如何应对（类似攻略），但其实看到的是对运维人的要求，供大家参考~这次很有幸作为运维线的通道评审，参与部门整个职级晋升的面试过程，三天下来，我感觉自己的收获非常的大。因为从其他几位评审和各位参加通道晋升的同学们身上，的确学到了很多东西。但此文是不谈自己的收获，而是谈一些关于职级晋升的经验，总结出来供大家参考一下。首先还是得说一说这个职级晋升的目的。个人理解，其实是公司和部门制定这一制度，想对大家的成长负责，设定一个清晰的路线图，依此往目标方向发展。从另外一个方面来说，公司把职级晋升和部分利益挂钩，其实是为了更好推行这一制度，从而驱动公司整个人才建设及个人成长进入渐进式的正循环中。当然这次从申请的数量来看，说明大家对于自己成长的诉求还是非常强烈的。其实成长是属于自己的，自我驱动会是最好的结果。其次也谈谈在面试过程中，看到的一些问题。比如说面试者紧张、自信心不足；技术细节深入不够；有些同学存在偏科现象，对职责范围之外的运维关联知识或者业务的了解不多；业务运维的理解和思考不多，没有和业界去对齐；工作成绩不够突出，除了维护业务之外，没有更多的成绩支撑。针对这些问题，后面会谈谈个人的一些看法。也不得不 ...继续阅读 (1)

一、什么是大型网站运维？首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知名度、服务器 量级、pv量等考虑，其它因素不是重点；因此，我们先定义服务器规模大于1000台，pv每天至少上亿（至少国内排名前10），如sina、baidu、 QQ等等；其它小型网站可能没有真正意义上的运维工程师，这与网站规范不够和成本因素有关，更多的是集合网络、系统 、开发工作于一身的“复合性人才”，就如有些公司把一些合同采购都纳入了运维职责范围，还有如IDC网络规划也纳入运维职责。所以，非常重要一定需要明白：运维对其它关联工种必须非常了解熟悉：网络、系统、系统开发、存储，安全,DB等；我在这里所讲的运维工程师就是指专职运维工程师。我们再来说说一般产品的“出生”流程：1、首先公司管理层给出指导思想，PM定位市场需求（或copy成熟应用）进行调研、分析、最终给出详细设计。2、架构师根据产品设计的需求，如pv大小预估、服务器规模、应用架构等因素完成网络规划,架构设计等（基本上对网络变动不大，除非大项目）3、开发工程师将设计code实现出来、测试工程师对应用进行测试。4、好，到运维工程师出马了，首先明确一点不是说前三步就与运维工作无关了，恰恰相反，前三步与运维关系很大：应用的前期架构设计、软/硬 ...继续阅读 (11)

面试经历：问题一：你的特长是什么，你最擅长什么？答：介绍了下研究生期间老板给的论文任务和大论文（面试官对这不感兴趣），然后说了下我比较喜欢数据库，在自学数据库问题二：介绍下redis，redis是个什么东西？答：（因为简历上也写着熟悉redis呢。）redis是个内存键值数据库，它的优点是。。。（跟关系数据库简单做了下对比），也不知道有没有回答上要点。问题三：介绍下redis的master、slave架构。答：redis的复制、集群功能。。。问题四：说下选举协议（因为我前面说到了故障恢复），如果master挂掉怎么办？答：（那个好像是paxos协议，但是具体怎么弄之前看过理解不了，就大概的讲了下）问题五：这个协议有什么缺陷？答：复制集结点个数不能太少。问题六：之前说到自动故障恢复，都有哪些故障？答：单点失效，某个结点挂掉，负载均衡（这个跟故障没关系啊，哎），结点的加入和移除。问题七：redis的吞吐量是多少（读写性能）？答：几万到几十万吧，不太清楚（这个记不清楚啊，竟然问这个，查了下10万左右）。问题八：hadoop的mapreduce是怎样一个过程？（简历上写着了解一些hadoop技术。。。）map是怎么切分数据的？（这个问题不懂是什么意思）答：回答了下整个处理过程，最后我说数据处理好后返回给用户（返回个毛啊，直接存HDFS里），结果面试官非常惊讶，然后我又说每个结点处理好后还要 ...继续阅读 (10)

面试经历：基本上是:1.接到面试电话，简短的对简历内容进行信息确认，而后要求等待；2.几天后邀请正式面试，一面是职业技能测验，完了人力资源人员面试，而后回去等待；3.后通知技术面试，技术人员面试是群面，就是几个技术人员对你进行面试，包括基本技能，以及业务方面，后回去等待；4.最后一轮是总监面试，到这轮基本上没有问题了，而后回去等待；5.然后来电通知面试成功。面试官提的问题：基本上是:1.接到面试电话，简短的对简历内容进行信息确认，而后要求等待；2.几天后邀请正式面试，一面是职业技能测验，完了人力资源人员面试，而后回去等待；3.后通知技术面试，技术人员面试是群面，就是几个技术人员对你进行面试，包括基本技能，以及业务方面，后回去等待；4.最后一轮是总监面试，到这轮基本上没有问题了，而后回去等待；5.大概一周后来电通知面试成功。应聘途径：网上申请面试内容：电话面试 1对1面试面试难度：难度一般面试感觉：一般转载请注明：锋芒网»美图运维面试经历【厦门岗位】 ...继续阅读 (4)

面试时间：2016面试职位：运维分享时间：2016-09面试经历：1， 发试卷很有讲究，第一个跟最后一个至少相差20分钟。但收卷却是统一时间，所以这个运气很重要。2， 笔试是选拔的第一关，也可以说是最重要的一关，因为这关通过不了，基本也就没机会了这是一个门槛。除非去霸面，但对霸面者要求很高，需要你很优秀，包括能跟工作人员很好的沟通，简历等很多方面3， 非技术类的智力题较多，没有做过智力题的可以上网找找，然后练练，要先自己做，直接看答案没意义。还有图形、数字推理题等。4， 自我感觉做得还行，应该可以通过。面试官提的问题：一面（淘汰率最高的面试）笔试结束后，上腾讯网查到了相关通知，武汉地区的一周后笔试结果才出来。在此期间也没什么关注这个了，每天继续上课，考研复习等等。20号晚上8点多，跟xq吃完饭，就去了自习室，刚到教室打开手机，便看到了腾讯的面试通知（21号早上11点去珞珈山国际酒店参加面试），当时特别激动，有种呼吸紧张的感觉，很想发泄的大喊一声（自习室很安静，影响不好不适合呵呵），然后就回到了宿舍，开电脑查信息。知道了腾讯非技术的每年第一轮基本都是群面，也就是无领导小组讨论，然后找了一些相关视频来学习。还特意看了qq在空间里分享的那个视频（对我一面的帮助很大），他还写上了自己的评论。当时我忘了笔试那天签到时到底写的什么岗位了，很盲目的准备了资料，便很早就睡觉了。— ...继续阅读 (5)

一、合理使用Shell历史命令记录功能在Linux下可通过history命令查看用户所有的历史操作记录，同时shell命令操作记录默认保存在用户目录下的.bash_history文件中，通过这个文件可以查询shell命令的执行历史，有助于运维人员进行系统审计和问题排查，同时，在服务器遭受黑客攻击后，也可以通过这个命令或文件查询黑客登录服务器所执行的历史命令操作，但是有时候黑客在入侵服务器后为了毁灭痕迹，可能会删除.bash_history文件，这就需要合理的保护或备份.bash_history文件。下面介绍下history日志文件的安全配置方法。默认的history命令只能查看用户历史操作记录，并不能区分每个用户操作命令的时间，这点对于排查问题十分不便，不过可以通过下面的方法（加入四行内容）让history命令自动记录所有shell命令的执行时间，编辑/etc/bashrc文件：HISTFILESIZE=4000 HISTSIZE=4000 HISTTIMEFORMAT='%F %T' export HISTTIMEFORMAT其中，HISTFILESIZE定义了在.bash_history文件中保存命令的记录总数，默认值是1000，这里设置为4000；HISTSIZE定义了history命令输出的记录总数；HISTTIMEFORMAT定义时间显示格式，这里的格式与date命令后的 ...继续阅读 (5)

一、Keepalived介绍Keepalived是Linux下一个轻量级的高可用解决方案，它与HeartBeat、RoseHA实现的功能类似，都可以实现服务或者网络的高可用，但是又有差别：HeartBeat是一个专业的、功能完善的高可用软件，它提供了HA软件所需的基本功能，比如心跳检测和资源接管，监测集群中的系统服务，在群集节点间转移共享IP地址的所有者等，HeartBeat功能强大，但是部署和使用相对比较麻烦；与HeartBeat相比，Keepalived主要是通过虚拟路由冗余来实现高可用功能，虽然它没有HeartBeat功能强大，但Keepalived部署和使用非常简单，所有配置只需一个配置文件即可完成。这也是本章重点介绍Keepalived的原因。二、Keepalived是什么Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态。它根据layer3, 4 & 5交换机制检测每个服务节点的状态，如果某个服务节点出现异常，或工作出现故障，Keepalived将检测到，并将出现故障的服务节点从集群系统中剔除，而在故障节点恢复正常后，Keepalived又可以自动将此服务节点重新加入到服务器集群中，这些工作全部自动完成，不需要人工干涉，需要人工完成的只是修复出现故障的服务节点。Keepalived后来又加入了VRRP的功能，VRRP是Virtual Ro ...继续阅读 (2)

MySQL数据库作为最基础的数据存储服务之一，在整个系统中有着非常重要的地位，因此要求其具备高可用性是无可厚非的。有很多解决方案能实现不同的SLA（服务水平协定），这些方案可以保证数据库服务器在硬件或软件出现故障时服务继续可用。高性能性需要解决的主要有两个问题，即如何实现数据共享或同步数据，另一个是如何处理failover，数据共享一般的解决方案是通过SAN（Storage Area Network）来实现，而数据同步可以通过rsync软件或DRBD技术来实现；failover的意思就是当服务器死机或出现错误时可以自动切换到其他备用的服务器，不影响服务器上业务系统的运行。本文重点介绍一下目前比较成熟的Mysql高性能解决方案。1、主从复制解决方案这是MySQL自身提供的一种高可用解决方案，数据同步方法采用的是MySQL replication技术。MySQL replication就是一个日志的复制过程，在复制过程中一个服务器充当主服务器，而一个或多个其他服务器充当从服务器，简单说就是从服务器到主服务器拉取二进制日志文件，然后再将日志文件解析成相应的SQL在从服务器上重新执行一遍主服务器的操作，通过这种方式保证数据的一致性。MySQL replication技术仅仅提供了日志的同步执行功能，而从服务器只能提供读操作，并且当主服务器故障时，必须通过手动来处理failover，通常的做 ...继续阅读 (1)

一、VNC的安装与使用# yum -y install tigervnc-server首次启动# vncserver :1会提示输入两次密码然后编辑/root/.vnc/xstartup，将最后一行twm替换为gnome-session或者startkde懒人可以直接用以下语句直接替换（执行任意一条即可，建议选择第一条稳定，但是占用内存较多）sed -i 's/twm/gnome-session/g' /root/.vnc/xstartup sed -i 's/twm/startkde/g' /root/.vnc/xstartup重启vncserver# vncserver客户端连接vncclient里输入 vncserver-IP:1可能出现的问题：vncserver 启动错误：could not open default font ‘fixed’错误.安装vncserver出现如下错误：vncext: VNC extension running!vncext: Listening for VNC connections on all interface(s), port 5901vncext: created VNC server for screen 0Could not init font path element /usr/share/X11/fo ...继续阅读 (1)

一、hadoop发行版介绍 目前Hadoop发行版非常多，有Intel发行版，华为发行版、Cloudera发行版（CDH）、Hortonworks版本等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，是由于Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。 目前而言，不收费的Hadoop版本主要有三个，都是国外厂商，分别是： Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）Hortonworks版本(Hortonworks Data Platform，简称“HDP”） 对于国内用户而言，绝大多数选择CDH版本，Cloudera的CDH和Apache的Hadoop的区别如下： (1) CDH对Hadoop版本的划分非常清晰，截止目前为止，CDH共有5个版本，其中，前三个已经不再更新，最近的两个，分别是CDH4和CDH5，CDH4基于Hadoop2.0，CDH5基于hadoop2.2/2.3/2.5/2.6.相比而言，Apache版本则混乱得多；同时，CDH发行版比Apache hadoop在兼容性，安全性，稳 ...继续阅读 (5)

薪酬谈判开始于求职之前薪酬谈判能力很大程度上受声望影响，为了提高自己的声望，我强烈建议软件开发人员打造个人品牌，并积极营销自己。为了做到这一点，基本策略是尽可能让自己的名字出现在各种媒体上。写博客，做博客，写书，写文章，在大会或用户组中发表演讲，制作视频教程，为开源贡献代码等，尽一切可能让自己的名字出现在各种场合。只要记住：自我营销做得越好，声望越高，薪酬谈判就越容易。这一点有可能是最重要的因素。 求职的几种方式第一种：当你看到一份招聘启事，然后发送简历去申请该职位。很多求职者认为这是获得工作的唯一方式。其实这是获得工作最糟糕的一种方式，很难在薪酬谈判中占据有利的地位，因为和雇主比起来，明显是你处于弱势，因为你是竭尽所能渴望得到那份工作的人。第二种：通过他人推荐。当你认识一家公司的某个人，他们亲自推荐你应聘某个职位，最终你获得了那份工作。这种方式绝对比你自己申请职位好很多。另外，推荐人在公司的声誉越高，你的可信度也就越高。这种可信度会大大影响你在入职时的薪酬谈判能力。第三种：一家想给你提供工作的公司找到你，要么直接给你一份工作，要么请你提出求职申请。这种情况下你将处于最佳状态。在这种情况下，你尽坑你根据自己的声望为自己标价。所以在任何时候，只要有雇主直接找到你，你在谈判时就拥有有利地位。但必须承认，这种情况确实很少发生，但确有发生。要想让这种机会发生在自己身上，最好的方法 ...继续阅读 (3)

之前曾经写过一篇如何学习Linux的文章，得到了很多反馈，大家都在分享自己的学习经验和体会，并且也提出了不少意见和建议。学习这个事情其实是说起来容易，做起来就很难，虽然给大家提高了很多学习linux的思路和方法，但是很多时候，学习的过程是个锻炼和总结的过程，需要自己去体会和领悟，而这个领悟跟钻研的深度有关，所以，对linux技术点钻研较深的朋友，可能收获的知识就多一些，提高也就快一些，而相反，不太喜欢钻研的朋友们，技能提高就稍微慢一点，因此，我们说虽然有了统一的学习方法，但是由于每个人的领悟力不同，学习的速度和掌握的技能也不尽相同。 学习的方式有很多种，有书本学习、视频学习、面授学习等，书本学习是传统的学习方法，需要有钻研和坚持精神，对领悟能力也有很高要求，因此学习时间成本相对较高；而面授弥补了书本学习的缺点，可以跟老师面对面交流，这是优势，但是由于面授需要专职学习，无论是时间成本还是费用成本都是最高的，如果是小班授课那还好一些，要是遇上群体几百人一起上课，那基本失去了面授的所有优势。最后说说视频学习方式，视频学习是介于书本学习和面授学习直接的一种学习方式，学习的时间成本和费用都属于可接受的范围，对于不懂的知识点可以反复学习，直到学会为止，如果加上课程作业的辅助，完全可以达到最优的学习效果。 考虑到不同学习方式在学习效率和速度方面的特点，也总结了自己的学习方法， ...继续阅读 (3)