Mongodb副本集：NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点，由此MongoDB设计了副本集和分片的功能，先来用用副本集。 Mongodb副本集的同步机制：数据复制的目的是使数据得到最大的可用性，避免单点故障引起的整站不能访问的情况的发生，Mongodb的副本集在同一时刻只有一台服务器是可以写的，副本集的主从复制也是一个异步同步的过程，是slave端从primary端获取日志，然后在自己身上完全顺序的执行日志所记录的各种操作（该日志是不记录查询操作的），这个日志就是local数据库中的oplog.rs表，默认在64位机器上这个表是比较大的，占磁盘大小的5%，oplog.rs的大小可以在启动参数中设定：--oplogSize 1000,单位是M。1，设置yum源安装创建/etc/yum.repos.d/mongodb-enterprise.repo文件，这样就可以使用yum来安装mongodb了。 [mongodb-org-3.0]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/gpgcheck=1ena ...继续阅读 (90)

  1，准备虚拟机 本地pc笔记本电脑上安装了几台vm（vm虚拟机搭建的方式可以参考这里的详细搭建过程：http://blog.csdn.net/mchdba/article/details/38751463），里面虚拟机了几台centos的linux服务器，本地pc机器能联通虚拟机，但是虚拟机上不了外网：[root@oracle_master ~]# ping www.baidu.com                                    ping: unknown host www.baidu.com[root@oracle_master ~]#  2，设置虚拟机的网络连接设置外网的方式有很多种，我这里采用nat+dns方式来实现，首先需要配置虚拟机的网络连接方式 设置网络连接为nat，进入“虚拟机（oracle_master）”-> “设置” -> “网络适配器” -> “网络连接”，选择“NAT 模型(H):用于共享主机的IP地址”，如下图11.png所示： 3，查找本地dns服务器找到自己 ...继续阅读 (69)

<->为什么要使用域名在web应用时代，使用域名已经成为了一种标准，why？使用域名能给我们带来很多方便，大概常见的有如下2个显而易见的好处：（1）容易记住：域名在因特网上用来代替IP地址，因为IP地址没有实际含义，而且人们也不容易记住，所以用有含义的英文字母来代替。在网络上，专门有DNS（域名服务器）来进行域名与IP的相互转换，人们输入域名，在DNS上转换为IP，才能找到相应的服务器，打开相应的网页。 （2）方便迁移：比如原来192.168.121.210的数据库服务器的数据库down了，我要切换到新的192.168.121.221上面去，如果你应用程序上写的是ip地址，那么你就要修改应用程序的配置文件了改成121.221，而且应用越多改的也越多；反之如果你应用程序里面配置的是域名db1.yes.com，那么只要在dns域名里面将域名db1对应的ip地址从121.210修改成121.221然后重新加载域名就生效了，这个时候应用程序不需要做任何改动，都会指向新的数据库服务器121.221了。 1，      域名安装的方式1.1 yum安装dns# 如果yum install -ybind*失败的话，那么这里yum 后面的bind不能带*需要执行yum install -y bind，yum ...继续阅读 (71)

1，redis报警运营同事说app登录不了，运维工程师说卡在redis这里，然后去后台看了app工程日志，有如下报警信息： 2016-06-06 16:26:03,838 [http-6600-2:ERROR] com.plocc.ugc.redis.service.impl.RedisServiceImpl - GET_LIKE_ERRORorg.springframework.data.redis.RedisConnectionFailureException: Cannot get Jedis connection; nested exception is redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool                at org.springframework.data.redis.connection.jedis.JedisConnectionFactory.fetchJedisConnector(JedisConnectionFactory.j ...继续阅读 (85)

1，同事报告了一条非常复杂的sql，说很慢，叫我优化下。很慢的sql，也很长有几百行吧，^_^，如下：selectbm2.bis_must_id,       bm2.qz_year_month,       bm2.money,       bm2.adjust_money,       bm2.bis_cont_id,       bm2.must_type,       bm2.rent_last_pay_date,       bc.BIS_STORE_IDS,       bc.BIS_STORE_NOS,       bc.BIS_SHOP_ID,       b ...继续阅读 (46)

 MySQL版本是5.7.10-log社区版本，需要进行备份，但是备份时间长了后，磁盘不够用，所以需要对指定旧的备份集合进行清理工作。 1，mysqldump备份脚本备份脚本为，里面有几个需要注意的参数：（1）--master-data=2 ：这个参数可以在搭建从库的时候，记录当前备份的复制点信息。 （2）--extended-insert=false：这个在形成sql语句的时候，一条记录一个insert语句 （3）--single-transaction：来保证备份的一致性，实际上它的工作原理是设定本次会话的隔离级别为：REPEATABLE READ，以确保本次会话(dump)时，不会看到其他会话已经提交了的数据。 备份脚本为：backup_full.shdate=`date "+%Y%m%d%H%M%S"`back_path=/data/mysql/backup/datamysqldump=/usr/local/mysql/bin/mysqldumpcd ${back_path}${mysqldump} -uroot --password="xs_pys@7y895b"  -R -E -h localhost --socket=/usr/local/mysql/mysql.sock --skip-opt --sing ...继续阅读 (44)

   <-报错->，root调用脚本1get_dg.sh出错[root@zabbix_serv_121_12 ~]#/usr/local/zabbix/bin/zabbix_get -s 192.168.3.13 -p10050 -k"oracle.standby_status"standard in must be a tty1[root@zabbix_serv_121_12 ~]# 1，调整脚本1get_dg.sh需要在脚本里面配置一些oracle的环境变量，这样可以利用当前的zabbix帐号来运行sqlplus命令：[root@pldb02 data]# more get_dg.sh#!/bin/bash#tbname="v$archived_log"#echo $tbname#result=`sqlplus zabbix/ys_zb_0418@PD2`#sqlplus -S '/nolog' zabbix/ys_zb_0418@PD2 << EOF#su - oracle -c "export NLS_LANG=american_america.ZHS16GBKexport ORACLE_BASE=/oracle/app/oracleexport ORACLE_HOME=/oracle/app/oracle ...继续阅读 (98)

运维工程师面试题 1、修复并检测/dev/sdb 2、Tomcat容器和jetty容器的特点和区别 3、分配只读帐号 4、如何用zabbix帐号能运行oracle帐号下的sqlplus命令 5、写一个脚本，简单检测192.168.1.0/23网段里的机器，区分出存活和离线的主机（所有服务器默认接收并回应正常ICMP请求包），并写入到两个不同的文件或者输出到终端 6、列出您熟悉的开源软件(主流互联网应用软件)，并列出每个程序主配置文件的路径和名称 7、Mysql主从复制的关键配置项 8、Nginx的主要功能以及原理 9、写出新建LVM分区，并挂载到/data目录的命令和步骤 10、           如何使用sh调试shell脚本，如何调试python脚本？ 11、           如何显示分区/dev/sdb的Inodes值,并调整这个值 12、        & ...继续阅读 (90)

 文件比对工具MD5Calc_66725.exe：http://download.csdn.net/detail/mchdba/9530265  解压缩，打开MD5Calc_66725.exe，双击打开exe，然后拖动文件test.sql进来，会显示文件大小以及MD5值。 然后记录此MD5值，然后去打开另外的备份test2.sql，录入原来的信息，比较MD5值，查看显示信息： PS：其实不用点击按钮，肉眼看也能看到前后差异了，^_^ ...继续阅读 (47)

<->环境准备         线上单实例oracle11g（PD1），已经运行了一段时间，属于单点实例，按照云上一不小心发生的vm文件故障来看，这个很危险，所以需要做高可用。 所以今天在线上刚刚新装了oracle备库实例（PD2），现在需要在PD1和PD2上做一个dataguard用来高可用。PD1为master库，PD2为standby库。 PS：需要注意的是，在安装PD2的时候，备库PD2的各种目录路径都要保持和主库PD1一致。 1，确保主库状态查看主库状态：SQL> selectname,open_mode,database_role,log_mode,force_logging from v$database; NAME         OPEN_MODE              DATABASE_ROLE        LOG_MODE   &nb ...继续阅读 (51)

1，安装mail基础组件安装mail的基础组件：yum install sendmail -y                                                                                                                                                               ...继续阅读 (164)

1，mysql down了，zabbix没有报警去查看后台mysql进程，确实没有mysql进程在运行着：[root@db_m2_slave2 ~]# ps -eaf|grep mysqlroot    62585 62087  0 19:48 pts/1    00:00:00 grep mysql[root@db_m2_slave2 ~]# 那么，mysql 关机了，但是zabbix，没有报警出来，原因在哪里？ 2，找到zabbix-agent分析查看agent启动的配置文件路径：[root@db_m2_slave2 zabbix]# ps -eaf|grepzabbixroot     3113 43637  0 20:28 pts/0    00:00:00 grep zabbixzabbix  52503     1  0 May17 ?        00:00:00 /usr/sbin/zabbix_agentd -c/etc/zabbix/z ...继续阅读 (148)

 1，问题描述上次在zabbix中使用了percona的mysql插件来监控mysql5.7.11，见：http://blog.csdn.net/mchdba/article/details/51447750，在监控的时候发现从库延迟落后很多（Seconds_Behind_Master: 3089）的时候，zabbix没有报警，那么问题在哪里？ 2，分析问题从本源上着手，去查看监控slave报警的脚本： if [ "$ITEM" = "running-slave" ]; then    # Check for running slave    #RES=`HOME=~zabbix mysql -e 'SHOW SLAVE STATUS\G' | egrep '(Slave_IO_Running|Slave_SQL_Running):' | awk -F: '{print $2}' | tr '\n' ','`   RES=`/usr/local/mysql/bin/mysql -S /usr/local/mysql/mysql.sock -e 'SHOW SLAVE STATUS\G' | egrep '(Slave_IO_Running|Slave_ ...继续阅读 (55)

1，线上监控人员报错，tomcat下的应用连接数据库问题：--- Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 99,634,779 milliseconds ago.  The last packet sent successfully to the server was 99,634,781 milliseconds ago. is longer than the server configured value of 'wait_timeout'. You should consider either expiring and/or testing connection validity before use in your application, increasing the server configured values for client timeouts, or using the Connector/J connection property 'autoReconnect=true' to avoid this problem.; nested ...继续阅读 (133)

--前言上次用了zabbix自带的mysql插件来监控mysql数据库，但是太过简陋了，对于我们dba来说，基本没有啥作用，所以需要做更详细的监控，而percona就有这个详细监控的模版以及脚本，正好拿过来用。 1，      需要安装php脚本运行环境percona监控zabbix的脚本使用php写的，所以需要准备好php运行环境，这里直接用yum安装就可以满足要求了：yum install -y php php-mysql 2，      加载官方percona模版去percona官网下载：[root@zabbix_serv_121_12 percona]#wgethttps://www.percona.com/downloads/percona-monitoring-plugins/1.1.6/percona-zabbix-templates-1.1.6-1.noarch.rpm  [root@zabbix_serv_121_12 percona]# rpm -ivh percona-zabbix-templates-1.1.6-1.noarch.rpmwarning: percona-zabbix-templat ...继续阅读 (96)

-->前言在使用percona zabbix mysql模版插件的过程中，碰到的一些问题记录在此，后续如果再碰到的话，也一起记录下来，好记星不如烂笔头，这是真理啊~1，报错记录ERROR: Can't connect to local MySQL调试报错：[root@db_master_2 zabbix_agentd.d]# /usr/bin/php -q /var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php --host localhost --items ggERROR: Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)[root@db_master_2 zabbix_agentd.d]#[root@db_master_2 zabbix_agentd.d]#  解决方案：做软连接，ln -s /usr/local/mysql/mysql.sock /var/lib/mysql/mysql.sock，做完软连接后需要重启zabbix_agentd才能生效。[root@db_m2_slave1 ~]# mkdir -p /var/lib/mysql/[root@db_m2_sl ...继续阅读 (77)

 1，环境orabbix准备上次做了安装部署orabbix，记录在http://blog.csdn.net/mchdba/article/details/51366790，不过监控了一台oracle数据库，这次就在这个基础上直接添加第二台、第三台oracle数据库监控。  2，监控第二台oracle11g库修改配置文件 vim/usr/local/orabbix/conf/config.props：# put here your databases in a comma separated list#放置oracle列表用逗号分隔，这里放置的是hostname，和zabbix界面上的hosts里面的hostname保持一模一样。                                                                             ...继续阅读 (97)

 --安装背景         上次碰到问题，cursor：mutex S导致的load过高，参考原来剖析额过程记录地址：http://blog.csdn.net/mchdba/article/details/51299062，有说可以升级到11.2.0.4就能避免这种问题，所以准备重新搭建新版本11.2.0.4。1，修改内核1.1 修改sysctl.conf文件[root@orcltest Downloads]# vim/etc/sysctl.conf# add by tim.mankernel.shmmax = 277495689510912kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048586fs.file-max = 6815744 # Controls the maximum number of shared memory segments, in pages       ...继续阅读 (46)

 1，下载专门的防火墙模版我这里是sonicwall防火墙，由于防火墙厂商不太一样，所以各种接口端口也不太一样，需要调整一些参数，最好的办法是去下载专门的模版，这些在zabbix的网站上有下载，下载地址是：http://www.zabbix.org/wiki/Zabbix_Templates#External_template_resources，可以看到sonic的模版：SonicwallTZ105Connections, Interfaces, Model, Traffic, Triggers2015-06-17André Fernando Pereira -https://br.linkedin.com/in/andrefp  2，确保zabbix-server支持snmap后import模版Zabbix-server服务器编译安装的时候，确保使用了参数—with-net-snmp，可以通过历史编译参数命令如下查看有--with-net-snmp表示支持./configure--prefix=/usr/local/zabbix --enable-server --enable-agent --with-mysql--enable-ipv6 --with-net-snmp --with-libcurl --with-libxml2 &n ...继续阅读 (67)

 1，Zabbix安装后启动报错[root@azure_test_dbm1_3_111 soft]#/usr/sbin/zabbix_agentd -c /etc/zabbix/zabbix_agentd.conf/usr/sbin/zabbix_agentd: error whileloading shared libraries: libodbc.so.2: cannot open shared object file: No suchfile or directory[root@azure_test_dbm1_3_111 soft]#  2，Yum安装unixODBC[root@azure_test_dbm1_3_111 soft]# yum -yinstall unixODBC*Loaded plugins: refresh-packagekit,securitySetting up Install ProcessResolving Dependencies--> Running transaction check---> Package unixODBC.x86_640:2.2.14-14.el6 will be installed--> Finished Dependency ResolutionError: M ...继续阅读 (81)

 服务器准备Keepalived:192.168.13.15Keepalived:192.168.13.16Mysql-m1: 192.168.13.15Mysql-m2: 192.168.13.16 1，在m1、m2上准备mysql5.7环境在两台服务器上安装mysql5.7，安装mysql参考如下：http://blog.csdn.net/mchdba/article/details/51138063，然后关闭selinux。 2，在m1上部署keepalived（1）yum源安装：yuminstall keepalived –y，只是版本低一些是1.2.13 （2）源码安装：# 下载最新版本：1.2.20wgethttp://www.keepalived.org/software/keepalived-1.2.20.tar.gz                                                            ...继续阅读 (55)

 -->Orabbix简介说明 orabbix是一个用来监控oracle数据库性能的zabbix插件工具，通过安装在被监控服务器上客户端上收集数据并传给zabbix服务器端，然后通过调用图形显示。具有以下功能：(1)、数据库版本(2)、归档文件(3)、等待的事件（如文件的I/O，单块的读，多块的读，直接读，SQLNet消息，控制文件I/O，日志写等）(4)、HitRatio（监控Hit Ratio的触发，表/存储过程，SQLArea，Body）(5)、逻辑I/O（当前读操作，持续的读操作，块的更改）(6)、PGA(7)、SGA（固定的缓冲，JAVApool，Large Pool，Log Buffer，Shared Pool，Buffer Cache）(8)、物理I/O（重写操作，数据文件写操作，数据文件读操作）9、SharePool（PoolDictionary Cache, Pool Free Memory, Library Cache,Sql Area ,Misc.）10、Pin Hit Ratio(monitor Hit Ratio on Trigger, Tables/Procedures, SQLArea,Body)11、Session/Processes(monitor Sessions and processes)12、Session (Ac ...继续阅读 (78)

 1，dataguard搭建好后，归档日志传输不过去去查看master库上面的日志tail –f /data/oracle/diag/rdbms/test_m1/powerdes/trace/alert_powerdes.log，显示信息如下：Sun May 08 00:34:17 2016Error 1034 received logging on to the standbyPING[ARC2]: Heartbeat failed to connect to standby 'test_m2'. Error is1034.  2，tnsping earch_m2是通的[oracle@azure_test_dbm1_3_111 admin]$ tnsping test_m3 TNS Ping Utility for Linux: Version 11.2.0.4.0 - Production on 08-MAY-2016 09:13:42 Copyright (c) 1997, 2013, Oracle.  All rights reserved. Used parameter files:  Used TNSNAMES adapter to resolve the aliasAtte ...继续阅读 (73)

 1，My.cnf中用户名密码无效在azure云上面，使用Zabbix监控mysql中，发现在/usr/local/mysql/my.cnf里面设置的默认用户名密码无效，出不来数据，而且在zabbix服务器上，使用zabbix_get也报错failed，如下[root@zabbix_serv_121_12 ~]#/usr/local/zabbix/bin/zabbix_get -s 192.168.13.13 -p10050 -kmysql.status[Uptime]/usr/local/mysql/bin/mysqladmin: connect toserver at 'localhost' failederror: 'Access denied for user'adminuser'@'localhost' (using password: NO)'[root@zabbix_serv_121_12 ~]# 2，尝试[client]无效在/usr/local/mysql/my.cnf里面添加所有客户端都可以使用的[client]选项卡配额好mysql的用户名密码[root@azure_test_dbm2_3_13 mysql]# vim.my.cnf [client]MYSQL_USER=zabbixpassword=ys_test0418&nbs ...继续阅读 (79)

--<>问题描述         Mycat 在进行join的时候，本来是应该join出4条记录，但是结果却只出来2条记录，问题在哪里？mycat版本是1.5  mysql版本是5.6.12-log 1，准备环境，先去原始mysql库上执行建库录入数据操作#在db1库和db2库分别建2个测试表mysql> use db1Database changedmysql> CREATE TABLE `t1` (    ->   `id` bigint(20) NOT NULL AUTO_INCREMENT,    ->   `name` varchar(200) DEFAULT NULL,    ->   PRIMARY KEY (`id`)    -> ) ENGINE=InnoDB AUTO_INCREMENT=2001 DEFAULT CHARSET=utf8;             &n ...继续阅读 (53)

-->问题背景同事电话我，说oracle数据库很慢，很卡，cpu99%了。 1，查看问题现场，cpu高单核不高，load高多核，看到每个核只有20%左右使用了1/5，所以数据库应该没事，没有到故障级别，只是load高已经接近90了，E:\u\azure_cloud\oracle\05.png： 2，看io读写比较低，磁盘io不是瓶颈实时观察，才148，可以看出io性能没有问题，毕竟是ssd磁盘，E:\u\azure_cloud\oracle\04.png： 3，查看锁表情况，比较少select t2.username,t2.sid,t2.serial#,t2.logon_time fromv$locked_object t1,v$session t2 where t1.session_id=t2.sid order byt2.logon_time;执行没有记录。SQL> select t2.username,t2.sid,t2.serial#,t2.logon_time from v$locked_object t1,v$session t2 where t1.session_id=t2.sid order by t2.logon_time;              ...继续阅读 (45)

分析catlet，画出Mycat收到新连接请求，执行SQL，返回结果集的过程中所涉及到的重要类，方法，以及逻辑样例SQL：Select a.id,a.name,b.title from a,b where a.id=b.id分布：假如sql涉及到多个节点。大概mycat的流程如下：1，前端sql请求过来，调用processSQL方法，1.1，new DirectDBJoinHandler(ctx)加载handler1.2，ctx.executeNativeSQLSequnceJob(dataNodes,sql,joinHandler);一个个处理节点，串行不并行担心内存撑了（bty，可以设置大内存用来并行处理吗）2，Jobhandler处理2.1 onHeadler方法；记录当前处理的datanode数据节点和处理字段2.2 onRowData方法；收到一行记录开始处理，根据fielads得到id信息2.3 rows.put(id,rowData)方法、ids.offer(id)方法；放入结果集2.4 createQryJob方法；满足>1000调用，执行下一批job，进去B里面2.5 executeNativeSQLParallJob方法；获取join的B表数据，2.6 onRowData方法；获取id字符，加入A表记录形成新的报文结果集，有B字段2.7 ctx.write ...继续阅读 (212)

-->监控思路先在zabbix主机上面配置好mysql服务器的信息，添加好zabbix自带的Template App MySQL模版，然后去mysql服务器上安装agent，再添加mysql监控脚本。 1，建立mysql host groups组模板是 zabbix系统提供的，进入 zabbix web 后台，Configuration-->Hosts groups-->点击“Create host group”-->选择template选项卡，选择模板“TemplateApp MySQL，Templdate OS Linux”，最后点击update 即可（032.png） 2，建立hosts模板是 zabbix系统提供的，进入zabbix web 后台，configuration-->hosts-->点击你的主机 name-->选择template选项卡，选择模板“Template App MySQL”，最后点击左边的“Add”按钮，最后点击“update”按钮即可(033.png)3，rpm部署agent客户端rpm方式安装：#添加zabbix帐号groupadd zabbixuseradd zabbix -g zabbix -s /sbin/nologin#下载安装包wget http://repo.zabbix ...继续阅读 (104)

-->背景，源码安装完成zabbix-server3.0已经安装完成，接下来需要进行基础配置，zabbix-server安装参考：http://blog.csdn.net/mchdba/article/details/51263871，接下来可以开始配置zabbix管理界面。 1，打开初始化网址：http://192.168.121.12，开始进入zabbix管理界面，点击”Next step”  2，这里会检查各种配置，主要是php的配置，如果都满足，就是ok点击“Next step”进行下一步，否则会提示fail，如果参数不通过，可以修改php.ini文件，然后重启php-fpm服务。D:\study\zabbix.021.png  3，22.png开始录入数据库配置，配置各种参数如下所示，数据库连接用户在安装zabbix_server的时候已经分配好了，录入配置，点击“Next stenp”。    4，023.png接下来输入zabbix_server管理的ip地址和port端口，输入别名。  5，024.png，配置成功后，会到最好一个界面，看到zabbix的各种信息 6，025.png报错信息Cannot create the configura ...继续阅读 (186)

安装文档地址：https://www.zabbix.com/documentation/3.0/下载地址：http://repo.zabbix.com/zabbix/3.0/rhel/6/x86_64/ -->背景rpm安装上次，从rpm安装到放弃http://blog.csdn.net/mchdba/article/details/51226751 ，事后仔细想了下，虽然rpm安装不成功，但是还有别的办法可以一试，比如resource，所以准备下载tar.gz准备源码安装。对zabbix的安装做个大概的简介，zabbix安装需要安装以下4个重要的模块（1）zabbix_server，zabbix服务器端，提供基础服务监控（2）zabbix_agentd，zabbix客户端，为被监控的服务器与zabbix_server保持监控联系状态（3）php，zabbix管理工程组件，zabbix-web是php工程（4）nginx，通过nginx来控制访问zabbix-web工程界面（5）mysql，存储zabbix监控数据和基础信息1，关闭selinux[root@hch_test_121_12 zabbix-server-mysql-3.0.1]# setenforce 0             & ...继续阅读 (96)