1、复制进程Mysql的复制（replication）是一个异步的复制，从一个Mysql instace（称之为Master）复制到另一个Mysql instance（称之Slave）。实现整个复制操作主要由三个进程完成的，其中两个进程在Slave（Sql进程和IO进程），另外一个进程在Master（IO进程）上。要实施复制，首先必须打开Master端的binary log（bin-log）功能，否则无法实现。因为整个复制过程实际上就是Slave从Master端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。复制的基本过程如下：1)、Slave上面的IO进程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容；2)、Master接收到来自Slave的IO进程的请求后，通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息，返回给Slave的IO进程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息已经到Master端的bin-log文件的名称以及bin-log的位置；3)、Slave的IO进程接收到信息后，将接收到的日志内容依次添加到Slave端的relay-log文件的最末端，并将读取到的Master端的bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的高速Mas ...继续阅读 (11)

前天突然收到Monitor Center发出来的报警：PROBLEM:CN_DSL_***4/MAXFILE is CRITICAL,SNMP CRITICAL – *These File size is larger than 18932735283: /abc/def/ghi/***/***.MYD刚看到这个报警的时候，还吓了一跳。数据文件超过最大文件限制？不会吧？好像才18G嘛，怎么会就开始报警了？于是开始查找报警来源，经过一番查找，总算找到监控脚本。这台机器之前是SA管理维护的，所以相关规范也是按照SA管理的web服务器来设计的。所以他们在监控系统中添加了某些特定的目录下文件大小的限制，防止某些意外出现大文件的情况。最后我只得在监控脚本中过滤掉了MySQL的“.MYD”和“.MYI”文件。说到文件大小，刚好常有人问我说MySQL是否有单个表的大小限制？限制多大呢？这里做一个简单的介绍吧。在老版本的MySQL 3.22中，MySQL的单表限大小为4GB，当时的MySQL的存储引擎还是ISAM存储引擎。但是，当出现MyISAM存储引擎之后，也就是从MySQL 3.23开始，MySQL单表最大限制就已经扩大到了64PB了（官方文档显示）。也就是说，从目前的技术环境来看，MySQL数据库的MyISAM存储引擎单表大小限制已经不是有MySQL数据库本身来决定，而是由所在主 ...继续阅读 (10)

在前一篇Blog“开始MySQL性能优化与架构设计方面技术书籍的撰写工作”中透露了新书的大纲结构，这几天不断有朋友给出各种很好的建议，我自己也不断思考之前结构的合理性，考虑到结构的合理性和内容安排的需要，在总结了各位朋友的建议之后，打算将第一部分的结构篇第二章“MySQL 架构组成”的大纲结构稍做调整。“第三方MySQL工具简介”将不再作为独立的一个章节，而会根据各种第三方工具的不同功能而分散在对应的部分。比如，各种客户端管理工具将会分散在“维护篇”的“日常维护”相关章节中，而一些备份相关的工具则放置在“备份恢复”章节，而像Ameba这样的Proxy类则会放置在“架构篇”中。此外，对“维护篇”中的“MySQL安全管理”一章也有部分调整，如下：4、 MySQL 安全策略管理4.1 数据库系统安全相关因素4.2 MySQL权限系统介绍4.2 访问授权策略4.3 安全设置注意项4.4 小结虽然大纲结构有所调整，但是所涉及的内容基本不会有太大变化，只是内容安排位置有所调整。随着写作进度的推进，可能还会有不少类似的大纲结构调整动作，如果各位朋友还有任何建议都可以留言或者mail联系，欢迎大家拍砖 ...继续阅读 (21)

受博文视点所邀，最近正开始编写一本关于MySQL性能优化与架构设计方面的技术书籍（书名暂时还未确定），考虑到MySQL数据库其入门简单的特点和基本的用户操作手册中英文版本都有的情况，这本书的内容将定位在MySQL中高级技术，适合于对MySQL已经有一个基本了解的读者，或者软件系统架构师，新技术选型决策者等，当然对专职/兼职的Database Administrator来说自然是更合适不过的了。基于我个人自身的技术特长以及博文视点和各互联网公司相关技术人员以及博文的广大读者沟通调研结果，本书目前暂定大纲如下：一、基础篇1、 MySQL 基本介绍1.1 MySQL Server简介1.2 MySQL 与其他数据库简单比较1.3 MySQL 主要适用场景1.4 小结2、 MySQL 架构组成2.1 MySQL 物理文件组成2.2 MySQL Server 系统架构2.3 MySQL 自带工具使用介绍2.4 第三方MySQL工具简介2.5 小结3、MySQL 存储引擎介绍3.1 MyISAM 介绍3.2 Innodb 介绍3.3 NDB Cluster 介绍3.4 其他存储引擎3.5 小结二、维护篇4、 MySQL 安全策略管理4.1 数据库系统安全相关因素4.2 访问授权策略4.3 系统安全设置选项4.4 代码相关安全因素4.5 小结5、 MySQL 日常基本维护5.1 表维护5.2 索 ...继续阅读 (20)

考虑到最近开始写一本MySQL 数据库方面的书籍的需要，在个人站点关闭了两年之后，终于又再次被开启，希望这次能够坚持下去，哈哈！在此先大吼一声: Hi everyone, i am back ! ...继续阅读 (14)

MySQL MyIsam 存储引擎在创建索引的时候，索引键长度是有一个较为严格的长度限制的，所有索引键最大长度总和不能超过1000，而且不是实际数据长度的总和，而是索引键字段定义长度的总和。下面做个简单的测试，记录一下。root@sky:~# mysql -u sky -p -h127.0.0.1Enter password:Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 44Server version: 5.0.51a-log MySQL Community Server (GPL)Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the buffer.sky@127.0.0.1 : (none) 05:23:08> use test;Database changedsky@127.0.0.1 : test 05:23:11>sky@127.0.0.1 : test 05:23:12>先创建一个MyIsam表，字符集选择latin1，三个字段均设置为varchar 255，：sky@127.0.0.1 : test 05:23:12> create table test_ind-> (a varchar(25 ...继续阅读 (10)

前段时间一位同事收到某开发部门一位同事求助，希望帮忙优化一条Mysql的sql语句，大体如下：select n.id ,nc.contentfrom news n force index (category1_status,category2_status,category3_status),news_content ncwhere n.id=nc.idand n.status=2 and (n.category_id_1 in (5003107,5003108)or n.category_id_2 in (5003107,5003108)or n.category_id_3 in (5003107,5003108)调试的时候发现怎么都不能走index_merge的执行计划（我们所期望的），后来临时给他们一个union的解决方案。后来下班吃完晚饭后一起找问题，发现即使只有单个表，也没办法走到index_merge的执行计划，不管是加提示还是不加提示，调试过程如下：mysql> explain select n.id ,nc.content-> from news n force index (category1_status,category2_status,category3_status),news_content nc-> where n.id=nc.id-> and n.s ...继续阅读 (8)

在V2的Heartbeat中，为了将资源的监控和切换结合起来，同时支持多节点集群，Heartbeat提供了一种积分策略来控制各个资源在集群中各节点之间的切换策略。通过该积分机制，计算出各节点的的总分数，得分最高者将成为active状态来管理某个（或某组）资源。如果在CIB的配置文件中不做出任何配置的话，那么每一个资源的初始分数（resource-stickiness）都会是默认的0，而且每一个资源在每次失败之后所减掉的分数（resource-failure-stickiness）也是0。如此的话，一个资源不论他失败多少次，heartbeat都只是执行restart操作，不会进行节点切换。一般来说，resource-stickiness的值都是正数，resource-failure-stickiness的值都是负数。另外还有一个特殊值那就是正无穷大（INFINITY）和负无穷大（-INFINITY）。如果节点的分数为负分，那么不管什么情况发生，该节点都不会接管资源（冷备节点）。随着资源的各种状态的发生，在各节点上面的分数就会发生变化，随着分数的变化，一旦某节点的分数大于当前运行该资源的节点的分数之后，heartbeat就会做出切换动作，现在运行该资源的节点将释放资源，分数高出的节点将接管该资源。在CIB的配置中，可以给每个资源定义一个分数，通过resource-stickiness来 ...继续阅读 (17)

1、下载对应版本的heartbeat包由于安装beartbeat的rpm包需要其他一些包为前提条件，所以可能还需要下载对应版本的其他的几个rpm包，像如下：[root@mysql1 heartbeat]# rpm -ivh heartbeat-2.1.3-3.el4.centos.i386.rpmwarning: heartbeat-2.1.3-3.el4.centos.i386.rpm: V3 DSA signature: NOKEY, key ID 443e1821error: Failed dependencies:heartbeat-pils = 2.1.3-3.el4.centos is needed by heartbeat-2.1.3-3.el4.centos.i386heartbeat-stonith = 2.1.3-3.el4.centos is needed by heartbeat-2.1.3-3.el4.centos.i386libpils.so.1 is needed by heartbeat-2.1.3-3.el4.centos.i386libstonith.so.1 is needed by heartbeat-2.1.3-3.el4.centos.i386然后下载heartbeat-pils-2.1.3-3.el4.centos.i386.rpm和h ...继续阅读 (17)

测试环境：rhel3.5，drbd 8.0.7，mysql5.0.51-rc-log1、首先从www.drbd.org下载了源代码包（我下载的8.0.7版本的包）2、检查主机上面有没有linux的内核源代码，如果没有，需要找到相对应版本的源代码包安装上去。3、开始安装drbd：1) 解压：tar -zxvf drbd-8.0.7.tar.gz2) 进入drbd源码目录，根据kernel源码位置来编译drbd：make KDIR=/usr/src/kernel/ (如果没有更改过内核，可以直接运行make，编译程序会到/lib/module里面去自己根据相关配置寻找到kernel源码)make install如果没有报错，应该基本install好了，检查是否生成了相应的文件：/etc/drbd.conf ; /etc/init.d/drbd ; 以及./drbd/drbd.ko同时系统应该至少多了以下两个命令：drbdadm和drbdsetup不要删除此源码目录，后面还会用到里面的./scripts/drbd.conf 和 ./drbd/drbd.ko4、现在可以加载安装drbd模块了insmod drbd.ko 或者 modprobe drbd通过lsmod检查是否已经成功#lsmod |grep drbd如果有，则表示成功了5、更改drbd配置文件：/etc/drbd.co ...继续阅读 (18)

测试环境：Type OS MysqlMaster rhel3.5 5.1.22-rc-logSlave1 rhel3.5 5.1.22-rc-logSlave2 rhel4.4 5.1.22-rc-log切换测试过程是：1) Master down2) Slave1 切换成新的Master3) Slave2 更换Master配置为原Slave1详细过程如下：1、从slave（slave1）群众中选定一个slave，准备钱换成master；2、检查slave1的复制状态：mysql> SHOW PROCESSLIST ;+—-+————-+———–+——+———+————+———————————————————————–+——————+| Id | User | Host | db | Command | Time | State | Info |+—-+————-+———–+——+———+————+———————————————————————–+—— ...继续阅读 (13)

做为一个开发DBA，要保障数据库应用的质量，很重要的一点就是必须在项目的每一个阶段都参与到项目组的工作中。下面就各个阶段说一下我个人认为该做的一些工作吧：一、需求阶段要想能在整个项目周期中能够更早的了解项目所涉及到的内容，把握项目范围，而在后面的工作中取得更多的主动权使质量能够得到有效的控制，开发DBA就需要在需求被确认之前就开始参与。1、项目孕育阶段：在公司目前的项目流程中，需求阶段实际上是在项目还没有确认是否要做的时候就开始了。在这个时候，一般情况下PD（或者运营）部门可能不会和我们沟通，而是和技术部门的RA或者架构师们沟通，描绘对该项目的一个大概的轮廓和需求，让技术部的同事提出一些对该项目的看法。一个项目最后是否需要做也正是在这个阶段来确定的。所以，这个时候如果RA或者架构对该项目在数据库方面的影响把握的不是很准确的话，可能就会造成后面项目的需求分析和确认的过程中DBA和 PD部门之间可能会出现较多分歧。要解决这个问题一般只有两种办法：一是通过沟通交流或者培训加强RA和架构对我们数据库的了解和把握能力；二是通过各种途径使我们自己能参与到这个阶段。对于第一种办法，好处是可以减少我们的工作量，而坏处就是架构和RA到底能对数据库方面的影响把握到什么程度是没办法很好地控制的。第二种方法的好处是我们能够完全由我们自己把握到项目对数据库的影响，给出更准确的评估，而坏处一是增加了我们的工作 ...继续阅读 (3)

上个周末恐怕是我过的最郁闷的一个周末了。上周五晚上为了将电脑上空余的一部分空间分出来给Linux用，就用pqmagic调整原有分区的大小，将里面一个存放数据的盘区分出一部分空闲空间。调整过程一切正常，没有出现任何错误。机器重启之后为了将最后的两个较小的空闲分区和到一块儿，就想直接从Windows的磁盘管理里面将两个连续的分区删除掉应该就可以了，删除最后一个分区的时候也很正常，可当删除倒数第二个分区的时候却让我及其郁闷，他没有和最后一个未分区空间合并，而直接和他前面的一个分区合并，也就是前面的分区也被自动删除成为了未分区磁盘空间。这下就搞大了，那里面可是存放着我整个电脑中最重要的数据啊。当时一下就傻眼了，咋办？想来肯定是分区表信息出问题了，只能寄希望能通过工具来修复了。然后再次启用被众人捧为“神”的pqmagic，希望能帮我修复分区表，没想到pqmagic都无法启动了，痛苦啊！重启机器试试看吧，说不定重启后pqmagic就能用了呢（侥幸的这样想）？然后就重启了系统，没想到重启以后连系统都进不了了，报出错误说找不到操作系统！！！！！看来分区表信息是彻底坏了，唉，先将系统装起来吧，还好C盘从来不放重要数据。刚好可以在安装的时候重新将原来的分区表修复一下，也只有这样的办法了。安装好系统，按照最初的大小分好了区，接上网线在网上google解决办法，希望能将数据恢复回来。忙乎了一天，找了好几款 ...继续阅读 (13)

通过前面关于索引扫描还是全表扫描（Index Scan Or Full Table Scan）？的讨论又发现了自己基础概念不清晰的一个大问题：DB block gets，Consistent gets，Physical reads与Logical reads各自具体表示的是什么以及之间的的关系到底是怎样。官方在线文档基本的定义为如下：DB block gets：the number of accesses to the current image of a blockConsistent gets：the number of accesses to a read-consistent image of a blockPhysical reads：the number of blocks read from disk通过官方的简要解释加上对fenng和旺旺的请教以及网上搜索了一些资料，终于加深了一些理解：这其中主要涉及到了Oracle读取数据的consistent mode和current mode这两个模式，对于db block gets是在current mode下读取的block数目（单位应该是“块次”，同一个block读取了两个算做2），而consistent gets是在consistent mode下读取的block数目（单位同上）。current mode下读取数据是为 ...继续阅读 (17)