今天有个研发发现一个如下慢查询，他们通过information_schema.`TABLES`来获取刚插入的自增id，这样的方法很不靠谱：访问information_schema.tables表如果在参数innodb_stats_on_metadata没有设置为off的情况下，会触发innodb的索引统计信息（参照这篇文章）；通过这样的方式并发访问是不安全的，有可能获取的是不是当前插入行的；需要向mysql server发送两次请求； SELECTt.`AUTO_INCREMENT`FROMinformation_schema.`TABLES` tWHEREt.`TABLE_SCHEMA` ='ykct'ANDt.`TABLE_NAME` ='tb_queue_apply'而正确的方式如下（Python版本），其他语言也都有类似的方法；#!/usr/bin/python# import MySQL moduleimportMySQLdb# get user inputname=raw_input("Please enter a name: ")# connectconn=MySQLdb.connect(host="localhost", user="nobody", passwd="nobody", conn="qestar", unix_socket="/tmp/mysql.so ...继续阅读 (18)

top中显示的ni值表示进程当前的nice值，nice值会影响到进程的pr（调度优先级），pr越小越优先调度，当nice值为负数的时候，优先级会变高。写python程序做下面测试可以看到当nice值会正时，ni显示nice值为正的process所消耗的cpu。可以通过renice命令进行调整nice值，调整nice值为0或者负数，ni转化成us进程测试while True: passrenice 5 -p 9144Cpu(s): 0.0%us, 0.3%sy, 99.7%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%strenice 0 -p 9144Cpu(s): 99.3%us, 0.3%sy, 0.3%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%strenice -5 -p 9144Cpu(s): 94.7%us, 5.3%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st线程测试主线程的nice值改变，老的线程是不变的，ni值依旧。#/usr/bin/python import threading class myThread(threading.Thread): def __init__( ...继续阅读 (14)

简介pt-kill是一个优秀的kill MySQL连接的一个工具，是percona toolkit的一部分，在因为空闲连接较多导致超过最大连接数、某个有问题的sql导致mysql负载很高时，都需要将一些连接kill掉，这个工具主要就是这个用途。参数–busy-time运行时间–idle-time空闲时间–victims所有匹配的连接，对应有最久的连接–interval间隔时间，默认30s，有点长，可以根据实际情况来调节–print打印出来kill掉的连接–match-command匹配当前连接的命令Query Sleep Binlog Dump Connect Delayed insert Execute Fetch Init DB Kill Prepare Processlist Quit Reset stmt Table Dump–match-state匹配当前连接的状态Locked login copy to tmp table Copying to tmp table Copying to tmp table on disk Creating tmp table executing Reading from net Sending data Sorting for order Sorting ...继续阅读 (12)

书籍书籍是系统化获取知识最好的一个途径，推荐按照下面的顺序来阅读，循序渐进：《MySQL必知必会》，很薄，可以很快读完。《MySQL性能调优和架构设计》，很薄，可以很快读完。《高性能MySQL（第三版）》，阿里的几个DBA翻译的，非常经典，值得耐心阅读；开发人员可以阅读这一本即可应对大部分问题。《MySQL技术内幕：InnoDB存储引擎（第2版）》，通过这个可以了解到很多Innodb运行的内部原理。《MySQL技术内幕：SQL编程》。《O’Reilly：高可用MySQL：构建健壮的数据中心》，通过这个可以了解到很多replication的细节。《Understanding MySQL Internals》，可以为进一步的阅读源码打下基础。MySQL官方文档，官方文档历来是杀人越货居家必备，解决问题可以第一时间查阅官方文档，得到很权威的解释。博客下面列出的博客主要是一些非常经典的博客，片片经典，可以通过阅读历史文章来扎实自己的知识。MySQL Performance Blog，《High Performance MySQL》的作者也是Percona的团队在维护的一个博客，包含大量的实战经验和原理分析以及Percona的最新软件以及评测。何登成的博客，以及作者的一些PPT，分享了大量对与MySQL的内部运行原理分析，深入浅出，非常值得去学习。YOSHINORI MATSUN ...继续阅读 (21)

使用systemtap统计mysql使用频次最高的系统调用cat process_syscall.stp global calls probe syscall.* { if(pid()==target()) calls[name] <<< 1 } probe timer.s(60){ foreach(n in calls- limit 5) printf("%s : %d\n", n, @count(calls[n])) delete calls }io_getevents : 2639 setsockopt : 759 futex : 528 fcntl : 425 read : 308参照资料官方文档SystemTap Tapset Reference ManualSystemTap: Instrumenting the Linux Kernel for Analyzing Performance and Functional Problems量化InnoDB group commit的效果Linux 自检和 SystemTap淘宝储霸的systemtap系列Linux 下的一个全新的性能测量和调式诊断工具 Systemtap, 第 2 部分: DTraceSystemTap/DTrace with MySQL & Drizzle ...继续阅读 (28)

linux/etc/my.cnf/etc/mysql/my.cnf/usr/etc/my.cnf~/.my.cnfWindows:C:\Windows\my.iniC:\Windows\my.cnfC:\my.iniC:\my.cnfC:\Program Files\MySQL\MySQL Server 5.5\my.iniC:\Program Files\MySQL\MySQL Server 5.5\my.cnf一个rd执行sql时报错：[mysql#3> delete from checklog where createtime < '2014-08-13';ERROR 1175 (HY000): You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column检查/etc/my.cnf、命令行参数之后，结果最后发现在该用户的~/.my.cnf文件中定义了mysql的参数[mysql]safe-updates ...继续阅读 (30)

官方文档的说明官方文档说的很清楚（估计是更新过），建议仔细阅读This field is an indication of how “late” the slave is:When the slave is actively processing updates, this field shows the difference between the current timestamp on the slave and the original timestamp logged on the master for the most event currently being processed on the slave.When no event is currently being processed on the slave, this value is 0.In essence, this field measures the time difference in seconds between the slave SQL thread and the slave I/O thread. If the network connection between master and slave is fast, the slave I/O thread is very close ...继续阅读 (42)

redis支持使用aof来进行持久化，防止数据丢失，aof的刷新策略通过参数appendfsync控制，有三个值：always、everysec、no，默认是everysec。下面从源码的角度剖析一下aof的刷新策略。每次redis进入event循环准备执行这个event时，会调用beforeSleep方法void aeMain(aeEventLoop *eventLoop) { eventLoop->stop = 0; while (!eventLoop->stop) { if (eventLoop->beforesleep != NULL) eventLoop->beforesleep(eventLoop); aeProcessEvents(eventLoop, AE_ALL_EVENTS); } } /* This function gets called every time Redis is entering the * main loop of the event driven library, that is, before to sleep * for ready file descriptors. */ void beforeSleep(struct aeEventLoop *e ...继续阅读 (56)

MySQL中包含了decimal类型用于对精度要求较高的场景，比如说账户余额相关的，关于decimal的基础知识推荐阅读官方文档；本文主要讨论一下对decimal进行运算时的默认类型转化。admin@test03:57:24>createtabletest(`deci`decimal(25,2)DEFAULTNULL); Query OK,0rows affected(0.06sec)admin@test03:57:37>insertintotestvalues(591646.44); Query OK,1row affected(0.00sec)执行如下查询admin@test03:58:00>select deci-"1.111"fromtest;+-------------------+|deci-"1.111"|+-------------------+|591645.3289999999|+-------------------+1rowinset(0.13sec)在mysql的decimal2double设置断点，执行select deci-”1.111″ from test会调用decimal2double将decimal和string都转化成doubl ...继续阅读 (14)

乱码推荐大家看深入MySQL字符集设置，区分检查client端、server端的编码；最简单暴力的方式，是在所有的环节都显式明确的指定相同的编码。比如使用python的MySQLdb连接MySQL时默认的charset是latin1，需要自己指定charset=’utf8′，即使是在服务器端的init-connect=’SET NAMES utf8′，MySQLdb也会使用latin1覆盖该选项；可以参照这篇文章；emoji表情与utf8mb4关于emoji表情的话mysql的utf8是不支持，需要修改设置为utf8mb4，才能支持，详细emoji表情与utf8mb4的关系。MYSQL 5.5 之前， UTF8 编码只支持1-3个字节，只支持BMP这部分的unicode编码区， BMP是从哪到哪，到http://en.wikipedia.org/wiki/Mapping_of_Unicode_characters这里看，基本就是0000～FFFF这一区。 从MYSQL5.5开始，可支持4个字节UTF编码utf8mb4，一个字符最多能有4字节，所以能支持更多的字符集。utf8mb4 is a superset of utf8utf8mb4兼容utf8，且比utf8能表示更多的字符。修改方法服务器端修改数据库配置文件/etc/my.cnfcharacter-se ...继续阅读 (17)

测试目的对比myisam和innodb的性能差异，批量插入的效果。测试过程环境sync_binlog=0innodb_flush_method=O_DIRECTinnodb_flush_log_at_trx_commit=2单次插入总数：10w条表结构注：ip varchar(255)来源于业务，这里暂不做修改。CREATE TABLE `wm_buz_consume_time_log` (`id` int(10) NOT NULL AUTO_INCREMENT COMMENT ‘主键’,`wm_poi_id` int(11) NOT NULL COMMENT,`app_type` tinyint(2) DEFAULT ’0′ ,`url` varchar(1024) DEFAULT NULL COMMENT ‘访问url’,`consume_time` int(11) DEFAULT ’0′ COMMENT ‘响应时间’,`ip` varchar(255) DEFAULT NULL,`ctime` int(11) DEFAULT NULL COMMENT ‘创建时间’,PRIMARY KEY (`id`))单条INSERTinnodbmy ...继续阅读 (19)