巡检工作是保障系统平稳有效运行必不可少的一个环节，目的是能及时发现系统中存在的隐患。我们生活中也随处可见各种巡检，比如电力巡检、消防检查等，正是这些巡检工作，我们才能在稳定的环境下进行工作、生活。巡检对于数据库或者其他IT系统来说也同样至关重要，特别是在降低风险、提高服务稳定性方面起到了非常关键作用。本文介绍了美团MySQL数据库巡检系统的框架和巡检内容，希望能够帮助大家了解什么是数据库巡检，美团的巡检系统架构是如何设计的，以及巡检系统是如何保障MySQL服务稳定运行的。一、背景为了保障数据库的稳定运行，以下核心功能组件必不可少：图1 数据库运维保障核心功能组件其中，数据库巡检作为运维保障体系最重要的环节之一，能够帮助我们发现数据库存在的隐患，提前治理，做到防患于未然。对于大规模集群而言，灵活健壮的自动化巡检能力，至关重要。任何系统都会经历一个原始的阶段，最早的巡检是由中控机+定时巡检脚本+前端展示构成的。但是，随着时间的推移，老巡检方案逐渐暴露出了一些问题：巡检定时任务执行依赖中控机，存在单点问题；巡检结果分散在不同的库表，无法进行统计；巡检脚本没有统一开发标准，不能保证执行的成功率；每个巡检项都需要单独写接口取数据，并修改前端用于巡检结果展示，比较繁琐；巡检发现的隐患需要DBA主动打开前端查看，再进行处理，影响整体隐患的治理速度；……所以我们需要一个灵活、稳定的巡检系统来帮助我 ...继续阅读 (7)

按照重要程度划分数据库级别级别DCBAS影响面小于10人10-1000人1000-100000人100000-1000000人1000000人以上业务类型举例测试/开发系统，小型OA 记账软件等中型OA ERP 财务软件等中大型ERP MES HRM ，大型医院HIS电信CRM 银行BANKING等大型公共应用 如12306等灾难救援价格500-50005千到三万3万到10万10万到50万50万以上一般的配套设施几乎无任何有效备份少量磁盘上逻辑备份可能有物理备份+其他备份形式物理/逻辑备份+DataGuard,OGG等物理/逻辑灾备;存储级别冗余等+多数据中心冗余都有猜想失败，您看看下面的文章有用吗？配置MySQL SSLMySql 随机读取数据slow log中出现大量的binlog dump记录MySQL修改库名MySQL下读取表中字段的说明和备注信息MySQL体系结构MySQL general_logMysqlcft中文全文索引插件MySQL 生成随机密码分表处理设计思想和实现 ...继续阅读 (6)

有个疑似 OCD 患者最近抽风升级了一下 MySQL 数据库，然后发现 blog 里面全都变成了乱码。 那乱码的模式一看就是把 utf8 直接扔进了 latin1 的数据库，一看 SHOW CREATE TABLE mt_entry 发现果然如此。 略有些慌神，看了 MySQL 文档发现用 ALTER TABLE 的 CONVERT TO 硬来有点不太行好，遂想到可以试试看 mysqldump，于是做了： 当作 latin1(不然会再按 utf8 编码一次)： mysqldump mt_delphij –default-character-set=latin1 -r utf8.dump 把里面的 CHARSET=latin1 替换为 CHARSET=utf8： sed -e s,CHARSET=latin1,CHARSET=utf8,g < utf8.dump > utf8.dump.edited 删掉其中的 SET NAMES latin1。 然后重新导入：mysql -uroot -p --default-character-set=utf8 mt_delphij mysql> SET names utf8; mysql> SOURCE utf8.dump.edited; 还好没用到 zfs rollback。猜想失败，您看看下面 ...继续阅读 (8)

前言MySQL 的 innodb 引擎之所以使用 B+tree 来存储索引，就是想尽量减少数据查询时磁盘 IO 次数。树的高度直接影响了查询的性能。一般树的高度在 3~4 层较为适宜。数据库分表的目的也是为了控制树的高度。那么如何获取树的高度呢？下面使用一个示例来说明如何获取树的高度。示例数据准备建表语句如下：CREATETABLE`user` ( `id` int(11) NOTNULLAUTO_INCREMENT, `name` varchar(100) CHARACTERSETlatin1 DEFAULTNULL, `age` int(11) DEFAULTNULL, PRIMARYKEY(`id`), KEY`name` (`name`), KEY`age` (`age`) ) ENGINE=InnoDB DEFAULTCHARSET=utf8表中插入100万条数据。数据如下：mysql> select* fromuserlimit 2\G *************************** 1. row *************************** id: 110000 name: ab age: 100 *************************** 2. row *************************** ...继续阅读 (7)

0、导读 用mysqldump备份数据时，加上 -w 条件选项过滤部分数据，发现导出结果比实际少了40万，什么情况？ 本文约1500字，阅读时间约5分钟。1、问题 我的朋友小文前几天遇到一个怪事，他用mysqldump备份数据时，加上了 -w 选项过滤部分数据，发现导出的数据比实际上少了40万。 要进行备份表DDL见下： CREATE TABLE `oldbiao` ( `aaaid` int(11) NOT NULL, `bbbid` int(11) NOT NULL, `cccid` int(11) NOT NULL, `time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, `dddid` int(11) DEFAULT NULL, KEY `index01` (`ccccid`), KEY `index02` (`dddid`,`time`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 顺便吐槽下，这个表DDL设计的真是low啊。没主键，允许NULL。 mysqldump备份指令增加的 -w/-where 选项是： -w “time>‘2016-08-01 00:00:00′” 加上这个参数的作用是：只备份 2016-8-1 之 ...继续阅读 (8)

0、导读《炉石传说》游戏数据库回档事件反思今天引爆各大技术群的事情就是网易游戏《炉石传说》游戏数据库发生宕机并引发数据丢失事故，最终决定回档并后续补偿玩家损失。详情可见官网公告：http://hs.blizzard.cn/articles/16/8565我以前也在搜狐畅游（http://www.changyou.com，NASDAQ:CYOU）负责游戏数据库维护，也遇到过因为服务器故障最终导致回档的事故，不过都没像这次炉石搞这么大动作。在这里我并不想借机调侃消费他们或搞营销，只想和大家一起聊聊作为DBA，应该注意哪些事。我们从公告的内容中，我们看到了几个问题：公告发布时间是2017.1.18 18点，决定回档到2017.1.14 15:20，中间这段时间难道一直都在尝试恢复数据库，就不能快速做出决策尽快直接回档吗，这是在考验游戏玩家的耐心，很容易引发玩家的“群体事件”；因为供电意外导致故障，并造成数据库损坏，如果也用MySQL数据库的话，看起来应该是没开启双1设置，并且有可能还在使用老式的锂电池BBU。所以断电后很容易导致阵列卡cache中的数据丢失，数据库也跟着损坏，以前没少才踩这个坑；连备份数据库也发生故障，有点不可思议，这样就容易让人产生是人为事故的联想了。不过，我多年前也发生过类似的情况，不过那次是因为用mysqldump备份时指定了错误的字符集，并且在做备份恢复测试时没严 ...继续阅读 (14)

1、前言相信您应该遇到过因为误操作破坏数据库的问题，比如忘了带WHERE条件的UPDATE、DELETE操作，然后就需要进行传统方式的全量 & 增量恢复。现在，给您介绍一下MySQL中的flashback玩法，也可以做到像Oracle的flashback那样。目前MySQL的 flashback(又称闪回)一般是利用binlog完成的，能快速完成恢复且无需停机维护。第一个实现该功能的是阿里云的彭立勋，他在MySQL 5.5版本上就已实现，并将其开源及提交给MariaDB，为社区提供了非常优秀的参考模型。2、闪回原理本节我们先来介绍一下MySQL binlog flashback的基本工作原理。MySQL的binlog以event的形式，记录了MySQL中所有的变更情况，利用binlog我们就能够重现所记录的所有操作。MySQL引入binlog主要有两个用途/目的：一是为了主从复制；二是用于备份恢复后需要重新应用部分binlog，从而达到全备+增备的效果。MySQL的binlog共有三种可选格式(binlog_format)，其各有优缺点：statement，基于SQL语句的模式，一般来说生成的binlog尺寸较小，但是某些不确定性SQL语句或函数在复制过程可能导致数据不一致甚至出错；row，基于数据行的模式，记录的是数据行的完整变化。相对更安全，推荐使用(但通常生成的binlog会 ...继续阅读 (13)

MySQL执行statement使用一个连接一个thread的方式,当连接数增加到某一个点,那么性能将会开始下降.这个特性的作用就是无论有多少连接,thread pool都讲保证性能处于最好水平.thread pool的原理主要是减少线程,减少上下文交换和锁资源争抢,针对OLTP环境特别有效.为可以开启thread pool功能,请将thread_handling=pool-of-threads.percona server实现的thread pool是在server级别,和oracle mysql的不一样(插件形式),另外一个不同点在于,percona的thread pool不尝试最小化并发事物数量.优先连接调度:在percona server 5.5.30,thread pool的优先连接调度已经实现,虽然线程池会限制并发执行的queries的数量,但是open的transactions依然可能很多.因为新开启的transaction会跟在queue后面,高并发的transaction意味着很多当前运行的查询.为了增强性能,引入了thread_pool_high_prio_tickets参数.这个参数控制进入高优先级队列的策略,对每个新连接分配可以进入高优先级队列的ticket,如果当一个query因为没有可用的线程导致执行延时,如果这个连接满足下面的条件可以直接进入高优先级的 ...继续阅读 (33)

   很多公司都禁止程序员在 SQL 中使用 JOIN，至于原因则出奇的一致：用 JOIN 慢。不过我从没见过谁来论证为什么用 JOIN 慢，结果这个人云亦云的结论越传越广，让我觉得是时候来讨论一下这个看似正确的结论了。   举个例子：查询最新的十篇帖子和对应的用户信息，用 JOIN 是这样的：SELECT posts.id, posts.content, users.name, ... FROM posts JOIN users on posts.user_id = users.id ORDER BY posts.created_at DESC LIMIT 10   如果不使用 JOIN 的话，那么大概会改写成如下两条 SQL：SELECT id, content, ... FROM posts ORDER BY created_at DESC LIMIT 10 SELECT name, ... FROM users WHERE id in (...)   第一次查询得到帖子数据，然后在程序代码里收集好想要的 user_id，第二次查询通过 user_id 得到用户数据，接着在程序代码里把两份数据组合起来。   哪个快？我就不用跑个 bench 了吧，正常人都能看出来是用 JOI ...继续阅读 (4)

Mysql基础笔记环境配置基本概念mysql命令行进入useshow查询selectorder bywherelike数据过滤regexpconcat文本函数日期函数数值函数聚集函数group子查询联结表高级联结表组合查询全文本搜索插入数据更新删除表操作视图操作存储过程游标触发器事务导入导出性能研究实时监控update: 2013-08-11, 笔记录了一半不到，还没码完….>< update: 2013-11-23, DONEmysql速查参考： Mysql必知必会,网络blog, stackoverflow注； 基础部分sql参考 《mysql必知必会》, 还不错的一本书，菜鸟入门级，需要的话可以入手在浏览器中使用查找寻找一个好的mysql开源gui工具环境配置ubuntu安装mysqlsudo apt-get install mysql-server mysql-client netstat -nltp | grep mysql 配置文件 /etc/mysql/my.conf基本概念数据库基础：InnoDB是一个可靠地事务处理引擎，不支持全文本搜索 MyISAM是一个性能极高的引擎，支持全文本搜索，不支持事务处理数据库-database保存有组织的数据的容器（通常是一个文件或一组文件）表-table某种特定类型数据的结构化清单模式-schema关于数据 ...继续阅读 (17)

0、导读用LOAD DATA导入数据却一直提示主键冲突问题解决案例。1、问题描述有位学生遇到数据导入时一直提示1022主键冲突问题，而导入的数据明明完全没有任何冲突，百思不得其解，请我帮忙协查。下面是关于该问题现象描述：1、表结构DDLCREATE TABLE `wcp` (`id` int(10) unsigned NOT NULL AUTO_INCREMENT,`txcode` char(4) NOT NULL,`notice_from` enum(‘page’,’server’) ,`message` varchar(600) NOT NULL ,`signature` varchar(260) NOT NULL ,`payment_no` char(30) NOT NULL ,`notice_time` int(10) unsigned NOT NULL COMMENT ,`dealt_ok` tinyint(1) NOT NULL DEFAULT ‘0’ COMMENT, PRIMARY KEY (`id`)) ENGINE=ARCHIVE AUTO_INCREMENT=117 DEFAULT CHARSET=utf8;欲导入的数据有116条，可以非常肯定的是，主键值都是顺序增长的，完全没有冲突，所以感觉非常奇怪。2、原因分析细心的同学，从上面我贴的表DDL或许 ...继续阅读 (25)

0、导读   在slave上，发现SQL thread长时间处于Opening tables状态1、问题描述   朋友的数据库，做了主从replication复制。在slave实例上，SQL thread的长时间处于Opening tables状态，复制进程异常。   mysql> show processlist;   +—-+————-+———-+——+———+——-+—————————————-+——————+   | Id | User        | Host      | db   | Command | Time  | State                                  | Info             |   +—-+————-+———-+——+———+——-+—————————————-+——— ...继续阅读 (35)

apt-get install -y percona-toolkit# 检查重复索引pt-duplicate-key-checker -host=’sohu.dev.chenpeng.info’ -port=’43307′ -databases=’grape’# 运行状态监控pt-mysql-summary -host=’sohu.dev.chenpeng.info’ -port=’43307′ -databases=’grape’# 在线修改表结构pt-online-schema-change -host=’sohu.dev.chenpeng.info’ -port=’3306′ -alter “ADD COLUMN c1 INT” D=chenpeng_litchi,t=lc_operate_log -execute -printpt-online-schema-change -host=’sohu.dev.chenpeng.info’ -port=’3306′ -alter “ENGINE=InnoDB” D=chenpeng_litchi,t=lc_operate_log -execute -print# 格式化explain结果mysql -hsohu.dev.chenpeng.info -P43307 grape -e”explain SELECT a.line_id, ...继续阅读 (8)

   最近一段时间处理了较多锁的问题，包括锁等待导致业务连接堆积或超时，死锁导致业务失败等，这类问题对业务可能会造成严重的影响，没有处理经验的用户往往无从下手。下面将从整个数据库设计，开发，运维阶段介绍如何避免锁问题的发生，提供一些最佳实践供RDS的用户参考。   一．设计阶段：在数据库设计阶段，引擎选择和索引设计不当可能导致后期业务上线后出现较为严重的锁或者死锁问题。   (1).表引擎选择使用myisam，引发table level lock wait。   从5.5版本开始，MySQL官方就把默认引擎由myisam转为innodb，这两种引擎的主要区别：      由于myisam引擎只支持table lock，在使用myisam引擎表过程中，当数据库中出现执行时间较长的查询后就会堵塞该表上的更新动作，所以经常会碰到线程会话处于表级锁等待（Waiting for table level lock）的情况，严重的情况下会出现由于实例连接数被占满而应用无法正常连接的情况   CREATE TABLE `t_myisam` (   `id` int(11) DEFAULT NULL   ) ENGINE= ...继续阅读 (44)

0、导读   在MySQL里，如何识别并且避免发生SQL注入风险1、关于SQL注入   互联网很危险，信息及数据安全很重要，SQL注入是最常见的入侵手段之一，其技术门槛低、成本低、收益大，颇受各层次的黑客们所青睐。   一般来说，SQL注入的手法是利用各种机会将恶意SQL代码添加到程序参数中，并最终被服务器端执行，造成不良后果。   例如，我们访问接口 http://imysql.com/user.php?userid=123 来根据userid获取用户信息，假设程序中是这么处理的：   $sql = “SELECT * FROM user WHERE userid =$_GET[userid]“;   上面这段代码看起来既low有很xx对吧，尤其是在双引号里面还可以直接引用数据类型变量，所以说php是世界上最好的语言一点不为过，哈哈（其实我早期也写过几年php的）。   这时候，如果我们传递进去的参数改成这样：http://imysql.com/user.php?userid=123 or 1=1，这就会导致SQL条件永远成立，所有的数据都会被读取出来。又或者可以传递这样的参数：http://imysql.com/user.php?useri ...继续阅读 (22)

   有时候，我们希望将 MySQL 的 relay log 多保留一段时间，比如用于高可用切换后的数据补齐，于是就会设置 relay_log_purge=0，禁止 SQL 线程在执行完一个 relay log 后自动将其删除。但是在官方文档关于这个设置有这么一句话：Disabling purging of relay logs when using the --relay-log-recovery option risks data consistency and is therefore not crash-safe.   究竟是什么样的风险呢？查找了一番后，基本上明白了原因。   首先，为了让从库是 crash safe 的，必须设置 relay_log_recovery=1，这个选项的作用是，在 MySQL 崩溃或人工重启后，由于 IO 线程无法保证记录的从主库读取的 binlog 位置的正确性，因此，就不管 master_info 中记录的位置，而是根据  relay_log_info 中记录的已执行的 binlog 位置从主库下载，并让 SQL 线程也从这个位置开始执行。MySQL 启动时，相当于执行了 flush logs ，会新开一个 relay log 文件，新的 relay log 会记录在新 ...继续阅读 (28)

0、导读   MySQL被运用于越来越多的业务中，在关键业务中对数据安全性的要求也更高，如何保证MySQL的数据安全？   MySQL被运用于越来越多的业务中，在关键业务中对数据安全性的要求也更高，如何保证MySQL的数据安全。   数据安全如果只靠MySQL应用层面显然是不够的，是需要在多个层面来保护的，包括网络、系统、逻辑应用层、数据库层等。   下面是我们可借鉴的一些安全策略。1、网络、系统层面   在这个层面可以做很多的事情，我们可以把这些安全要求作为新系统安装时的标准要求，放到自动化装机方案中。把运行MySQL的服务器放在内网中，不要启用公网；迫不得已启用公网的话，修改sshd端口到10000以上；设置防火墙策略，只允许信任的服务器连接sshd和MySQL端口；修改idrac/imm密码，设置GRUB密码；设置密码安全策略，比如要求 PASS_MIN_LEN 不低于8位，其实最好是直接用一个复杂密码做MD5之后再作为正式密码，32位长度的安全程度够高吧；将操作日志记入syslog并且发送到远程log server上，坚决不能只存储在本地；除了必须的账号，其他的都设为无登入权限；尽量把运行MySQL的服务器独立出来，不要和web server、app server放一起。必须 ...继续阅读 (15)

   在mysql中limit可以实现快速分页，但是如果数据到了几百万时我们的limit必须优化才能有效的合理的实现分页了，否则可能卡死你的服务器哦。   当一个表数据有几百万的数据的时候成了问题！   如 * from table limit 0,10 这个没有问题 当 limit 200000,10 的时候数据读取就很慢，可以按照一下方法解决    第一页会很快   PERCONA PERFORMANCE CONFERENCE 2009上，来自雅虎的几位工程师带来了一篇”EfficientPagination Using MySQL”的报告   limit10000,20的意思扫描满足条件的10020行，扔掉前面的10000行，返回最后的20行，问题就在这里。   LIMIT 451350 , 30 扫描了45万多行，怪不得慢的都堵死了。   但是   limit 30 这样的语句仅仅扫描30行。   那么如果我们之前记录了最大ID，就可以在这里做文章   举个例子   日常分页SQL语句   select id,name ...继续阅读 (25)

   对于一般进程，要让进程崩溃时能生成 core file 用于调试，只需要设置 rlimit 的 core file size > 0 即可。比如，用在 ulimit -c unlimited 时启动程序。   对 MySQL 来说，由于 core file 中会包含表空间的数据，所以默认情况下为了安全，mysqld 捕获了 SEGV 等信号，崩溃时并不会生成 core file，需要在 my.cnf 或启动参数中加上 core-file。   但是即使做到了以上两点，在 mysqld crash 时还是可能无法 core dump。还有一些系统参数会影响 core dump。以下脚本可供参考：echo 2 >/proc/sys/fs/suid_dumpable chmod 0777 /var/crash echo /var/crash/core> /proc/sys/kernel/core_pattern echo 1 >/proc/sys/kernel/core_uses_pid   由于 mysql 通常会以 suid 方式启动，所以需要打开 suid_dumpable 。对于 core_pattern，最好指定一个保证可写的绝对路径。   之后，就 ...继续阅读 (13)

问题:有位同学问我，在类似pt-osc场景下，需要将两个表名对调，怎么才能确保万无一失呢？分析:估计其他同学就笑了，表名对掉还不简单吗，相互RENAME一下嘛。但是，我们想要的是同时完成表名对调，如果是先后的对掉，可能会导致有些数据写入失败，那怎么办？其实也不难，从MySQL手册里就能找到方法，那就是：同时锁定2个表，不允许写入，然后对调表名。我们通常只锁一个表，那么同时锁两个表应该怎么做呢，可以用下面的方法：LOCK TABLES t1 WRITE, t2 WRITE; ALTER TABLE t1 RENAME TO t3; ALTER TABLE t2 RENAME TO t1; ALTER TABLE t3 RENAME TO t2; UNLOCK TABLES;看到了吧，其实很简单，两个表同时加表级写锁，然后用ALTER语法改名就可以了。废话挺多的，谢谢各位客官耐心看完 ：)抱歉猜想失败，您看看下面的文章有用吗？2012 年 2 月 16 日 --MySQL下读取表中字段的说明和备注信息2013 年 2 月 19 日 --MySQL下实现闪回的设计思路 (MySQL Flashback Feature)2009 年 9 月 3 日 --MySQL InnoDB性能调整的一点实践2008 年 12 月 12 日 --MySQL DISTINCT 的基本实现原理2011 年 ...继续阅读 (18)

问题修改了 my.cnf 配置文件后，却不生效，这是怎么回事？原因我们注意到，这里只说了修改 my.cnf，并没有说清楚其绝对路径是哪个文件。也就是说，有可能修改的不是正确路径下的my.cnf文件。      在MySQL中，是允许存在多个 my.cnf 配置文件的，有的能对整个系统环境产生影响，例如：/etc/my.cnf。有的则只能影响个别用户，例如：~/.my.cnf。MySQL读取各个my.cnf配置文件的先后顺序是：/etc/my.cnf/etc/mysql/my.cnf/usr/local/mysql/etc/my.cnf~/.my.cnf其他自定义路径下的my.cnf，例如：/data/mysql/yejr_3306/my.cnf   不管是mysqld服务器端程序，还是mysql客户端程序，都可以采用下面两个参数来自行指定要读取的配置文件路径：-defaults-file=#， 只读取指定的文件（不再读取其他配置文件）-defaults-extra-file=#， 从其他优先级更高的配置文件中读取全局配置后，再读取指定的配置文件（有些选项可以覆盖掉全局配置从的设定值）   因此，可以看到，如果你修改的是非“著名”目录下的 my.cnf，有可能看起来是不生效的，需要自行指定，或者统一放在 ...继续阅读 (13)

      备注：插图来自网络搜索，如果觉得不当还请及时告知 ：)   一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式(以InnoDB引擎为主)完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的apply，所以难怪slave在高并发时会远落后master。   ORACLE MySQL 5.6版本开始支持多线程复制，配置选项 slave_parallel_workers 即可实现在slave上多线程并发复制。不过，它只能支持一个实例下多个 database 间的并发复制，并不能真正做到多表并发复制。因此在较大并发负载时，slave还是没有办法及时追上master，需要想办法进行优化。   另一个重要原因是，传统的MySQL复制是异步(asynchronous)的，也就是说在master提交完后，才在slave上再应用一遍，并不是真正意义上的同步。哪怕是后来的Semi-sync Repication(半同步复制)，也不是真同步，因为它只保证事务传送到slave，但没要求等到确认事务提交成功。既然是异步，那肯定多少会有延迟。因此，严格意义上讲，MySQL复制不能 ...继续阅读 (54)

0、导读想往一个表里添加一个自增列做主键，居然失败报告无法读取，这是怎么回事？1、问题描述有位朋友在升级discuz论坛数据库时遇到问题了，想给一个表添加自增列做主键，结果发生下面的报错：mysql> ALTER TABLE pre_common_credit_log ADD `logid` mediumint(8) unsigned NOT NULL AUTO_INCREMENT FIRST, ADD PRIMARY KEY (logid) ;ERROR 1467 (HY000): Failed to read auto-increment value from storage engine2、原因分析从报错信息来看，第一反应是：数据表损坏了。不过，再仔细想想，肯定不是啊，否则报错也不是这个了，而是像下面这样的了：1030 Got error -1 from storage engine再仔细一想，更大的可能性是：该表里的总数据量，超过了mediumint最大值所致。让朋友把自增列数据类型改成int或者bigint，果真就好了。3、其他建议建议使用discuz的同学们可以考虑这么做：如果启用了抢楼功能，那么就把post相关的表继续保留使用MyISAM引擎。或者自己动手改造代码，把抢楼功能中的楼梯值用redis来存储；如果没有启用抢楼功能，那么就可以放心的把所有表引擎改成In ...继续阅读 (15)

问题解读我觉得，这个问题每年带来的成本可以高达数十亿美元了。本文就来谈谈，假定我们有如下 SQL 模板语句：select * from T where f1 = ‘{value1}’ and f2 = {value2}现在我们需要根据用户输入值填充该语句：value1=hello value2=5我们得到了下面的 SQL 语句，我们再提交给数据库：select * from T where f1=’hello’ and f2=5问题在于，攻击者可以构造如下的用户输入值：value1=anything’ or 1=1 or f1=’whatever value2=5拼接好的最终语句就变成了：select * from T where f1=’anything’ or 1=1 or f1=’whatever’ and f2=5攻击者成功地改变了模板语句的语义。这种问题不单单发生在 SQL 上，还出现在通常使用模板的任何语言上，比如 HTML 和 shell 脚本。常规解决方案的说明SQL 是具备任意性和一致性的公理，token 和派生规则构成其公理化基础。要注意的一个词语是「任意性」。与 SQL 等价的公理化数不胜数。对于这种任意等价的表示，每一条合法的语句都能被准确地映射到 SQL 里的合法语句，其它语言亦然。在这种任意等价表示中，如果某语句是不合法的，那么它在 SQL 里也是不合法 ...继续阅读 (11)

   一般而言，我们在processlist结果中如果经常能看到某些SQL的话，至少可以说明这些SQL的频率很高，通常需要对这些SQL进行进一步优化。   今天我们要说的是，在processlist中，看到哪些运行状态时要引起关注，主要有下面几个：状态建议copy to tmp table执行ALTER TABLE修改表结构时建议：放在凌晨执行或者采用类似pt-osc工具Copying to tmp table拷贝数据到内存中的临时表，常见于GROUP BY操作时建议：创建适当的索引Copying to tmp table on disk临时结果集太大，内存中放不下，需要将内存中的临时表拷贝到磁盘上，形成 #sql***.MYD、#sql***.MYI(在5.6及更高的版本，临时表可以改成InnoDB引擎了，可以参考选项default_tmp_storage_engine)建议：创建适当的索引，并且适当加大sort_buffer_size/tmp_table_size/max_heap_table_sizeCreating sort index当前的SELECT中需要用到临时表在进行ORDER BY排序建议：创建适当的索引Creating tmp table创建基于内存或磁盘的临时表，当从内存转成磁盘的临时表时，状态会变成：Copying t ...继续阅读 (40)

   利用MySQL的PROFILE功能，我们可以很方便的查看一个SQL具体的执行代价是怎样的，尤其是可以分析它的最大瓶颈在哪里。目前PROFILE功能可提供除了内存以外的其他资源消耗统计，例如CPU、I/O、CONTEXT、SWAP等。   PROFILE功能只能在SESSION级别使用，还做不到像SQL Server那样可以全局开启，收集一段时间后再关闭，这点有待改进。关于PROFILE的具体用法大家可以查看手册13.7.5.31 SHOW PROFILE Syntax，这里不细说。   大部分情况下，PROFILE的结果我们主要关注两列：Status、Duration，前者表示的是PROFILE里的状态，它和PROCESSLIST的状态基本是一致的，后者是该状态的耗时。因此，我们最主要的是关注处于哪个状态耗时最久，这些状态中，哪些可以进一步优化。   和我们之前的一个分享[MySQL FAQ]系列 — processlist中哪些状态要引起关注类似，PROFILE中，下面几种状态是要尤其关注的，而且大多数通过创建合适的索引就可以完成优化。Status建议System lock确认是由于哪个锁引起的，通常是因为MySQL或InnoDB内核级的锁引起的建议：如果耗时较大再关注即可，一般情况下都还好Se ...继续阅读 (18)

MySQL Binlog Server:是利用某个工具，把线上活跃的库的日志拉取到本地进行备份。在MySQL 5.6以后，可以利用mysqlbinlog这个命令去把远程机器的日志备份到本地目录，从而达到增量或是日志安全方面的备份。做好MySQL日志的备份，是数据安全的一个重要保证。以前通过写程序来实现，从MySQL 5.6出现以后，DBA同步有福了，不用写程序了。下面说一下binlog Server怎么构建。利用mysql 5.6的mysqlbinlog命令，可以把远程的binlog完全镜象一份放到本地，方法如下：Shell1/usr/local/mysql/bin/mysqlbinlog-R–raw–host=192.168.11.100–user='repl'–password='repl4slave'–stop-nevermysql-bin.000001&amp;解释一下：-R -read-from-remote-server 表示从远程机器上读取binlog,要确保远程mysql存储，需要提供-host, -user, -password参数-raw 以binlog格式存储日志，方便后期使用-stop-never 一直连接到远程的server上读取日志，直接到远程的server关闭后才会退出。或是被pkil ...继续阅读 (47)

0、导读   我们知道，MySQL里可以动态修改事务隔离级别(TRANSACTIOIN ISOLATION LEVEL)，既可以加GLOBAL关键字直接修改全局的设置，也可以加SESSION关键字只修改当前会话的设置。那么，如果两个关键字都不加，会出现什么情况呢？1、调整事务隔离级别   MySQL里，可以直接用 SET 指令调整事务隔离级别，既可以对全局调整，也可以只调整当前会话，其用法见下：   SET [GLOBAL | SESSION] TRANSACTION   [ REPEATABLE READ   | READ COMMITTED   | READ UNCOMMITTED   | SERIALIZABLE ]   我们都知道指定 GLOBAL 关键字是可以修改全局的设置，用这个方式修改完后，已经存在的连接还不会生效，只有对新建立的连接才会起作用。   而指定 SESSION 关键字则是只修改当前连接会话的设置，修改完后立即生效，再次连接后会恢复成全局的设置，对其他连接/会话也不起作用。   另外，如果都不指定 GLOBAL、SESSION 关键字，会发生什么情况呢？官方文 ...继续阅读 (7)

   一般而言，我们在processlist结果中如果经常能看到某些SQL的话，至少可以说明这些SQL的频率很高，通常需要对这些SQL进行进一步优化。   今天我们要说的是，在processlist中，看到哪些运行状态时要引起关注，主要有下面几个：状态建议copy to tmp table执行ALTER TABLE修改表结构时建议：放在凌晨执行或者采用类似pt-osc工具Copying to tmp table拷贝数据到内存中的临时表，常见于GROUP BY操作时建议：创建适当的索引Copying to tmp table on disk临时结果集太大，内存中放不下，需要将内存中的临时表拷贝到磁盘上，形成 #sql***.MYD、#sql***.MYI(在5.6及更高的版本，临时表可以改成InnoDB引擎了，可以参考选项default_tmp_storage_engine)建议：创建适当的索引，并且适当加大sort_buffer_size/tmp_table_size/max_heap_table_sizeCreating sort index当前的SELECT中需要用到临时表在进行ORDER BY排序建议：创建适当的索引Creating tmp table创建基于内存或磁盘的临时表，当从内存转成磁盘的临时表时，状态会变成：Copying t ...继续阅读 (17)

0、导读本文主要写给那些立志成为MySQL DBA，以及正在学习MySQL的同行们，结合个人及业内其他同行的职业发展经历给大家一些参考，如何成为合格的MySQL DBA。1、什么是MySQL DBA首先，DBA是database administrator(数据库管理员)的简称，在一些招聘网站上，也可能会把职位写成数据库[管理]工程师，MySQL DBA是目前互联网企业中最为炙手可热的岗位需求之一，前(钱)景大好，快到碗里来吧。2、MySQL DBA的职责传统意义上的DBA基本上只要管好database system就可以，一般无需关注操作系统、硬件、网络、安全、NOSQL等相关技术细节，在一些传统企业或者操作集成商里的ORACLE DBA就是这样的，最多关注到主机(小机为主)及相应的存储设备。而MySQL一般在互联网业务中使用，MySQL DBA需要关注的方面也相应更多了，主要就是上面提到的主机硬件、OS、网络、安全、NOSQL，以及一些MySQL运维自动化开发(这不奇怪，一个好平台，通常都要自己亲自开发才顺手)的工作。此外，随着企业规模的变化，可能在公司初期是由一些比较资深的开发工程师负责所有服务器大小事宜，当然也包括MySQL的管理及优化。随着规模的扩大，可能改由运维工程师来负责这些事了。更进一步的话，就开始需要专职的MySQL DBA了，随着业务发展，形成DBA team， ...继续阅读 (26)