在 Oracle Cloud Service 体验系列文章中，之前已经介绍了三篇文章，分别对应Oracle Cloud Service的 概览，Create Instance以及网络配置。本文将介绍在 Oracle Cloud Service 中的 DBAAS控制台中提供的 Oracle Instance 基本管理功能，比如 Apply Patch。首先，从我们的 Instance 列表中选择一个需要维护的 Instance，如下图：上图是 Instance 列表，在截图之前点开了右侧操作选项列表页。我们从图中可以看到，可以进入 EM 管理页面，也可以进入Express 控制台和 DBAAS 监控台。此外，还有 SSH 访问信息展示页（用于增删ssh key），同时还有到网络配置的快捷入口。下面我们看看通过点击左侧实例名称后的界面：这就是点击实例名称之后进入的页面，可以看到主要分为2个部分：概览信息包括概要信息（无力配置信息以及资源暂用情况）节点信息（RAC会有多个节点）其他基础信息（实例在云服务中的各项信息）管理信息补丁信息通过补丁列表，我们可以非常直观的了解到当前Instance 有哪些重要补丁，同时每个补丁都有具体介绍，以及应用补丁是否需要重启等信息。每个补丁列表右侧有一个操作按钮，可以打开进行 Precheck 操作 和 Patch 操作，用以确保补丁应用过程的顺利实施。从 ...继续阅读 (3)

上一篇体验中（Oracle Cloud Service 体验二）已经介绍了如何在 Oracle 云服务中如何创建一个 Oracle Instance，这次将介绍如何通过 Oracle 云服务的网络配置来让创建好的 Instance可以对外提供服务。同样登录到 Oracle 云服务控制面板，打开服务控制台，然后选择“Network”，会出现如下图我这样的界面。如绿色圆圈所示，我的云平台中总共有16条网络安全规则，启用的有7条。但下面列表中我只截取了上一篇文章中所示例创建的 j-test1 这个实例相关的安全规则。红色方框中标示出了禁用的6条网络安全规则，只有绿色方框中的2条规则已经启用开放。简要来说，就是 Oracle 云平台通过网络层面的配置搭建了一套相对完整的防火墙策略，已达到云服务的安全控制。这套网络防火墙就是通过一个一个的 Security List 锁构建，每一个 Security List 又由多个 Security Rule 组成。如下图所示：对于新建好的 Instance，基本上是没办法直接对外提供服务的，因为 Oracle 默认的网络规则是将所有想进入的流量（InBound）全部拒绝（DENY），仅放开（PERMIT）想出去的流量（OutBound）。Oracle 针对每一种 InBound/OutBound提供了三种处理方式：DENY，REJECT以及PERMIT ...继续阅读 (1)

杭州聚积宝广招各路英雄好汉加盟，具体职位信息如下描述。项目靠谱的创业公司，发展潜力巨大，技术氛围很好，欢迎各路英雄前来！简历请发送至： jianzhaoyang at 51jujibao.com（希望进一步了解公司也可以通过此邮件沟通）Java 研发工程师岗位描述负责公司应用系统的PC端/H5/安卓/苹果应用的服务端架构设计及开发；针对新项目参与项目需求分析/评审，设计文档编写等；针对现有应用进行系统架构及性能优化；针对业务数据进行分析挖掘。技能需求良好的沟通技能和团队合作能力至少1年以上移动互联网相关开发工作经验，2年Java进行Web开发经验扎实的Java基础，熟悉IO、多线程、集合等基础框架，熟悉AOP、MVC框架；熟悉Linux下常用命令，熟悉 MySQL数据库，对SQL语句的性能优化有一定了解；具备高度的抽象设计能力，善于沟通交流，有较好的团队合作能力；责任心强，有自己的想法，思路清晰，善于思考，有较好的独立解决问题的能力。前端开发工程师岗位描述公司现有产品前端H5/PC端页面的完善及维护协助产品经理，通过前端技术实现产品UI设计的效果利用服务端接口，实现前后端交互配合运营计划，开发业务活动功能技能需求至少2年以上Web前端开发经验熟练掌握前端开发技术(HTML5、CSS3、Javascript、Ajax、JQuery)，了解各项技术的相关标准，并严格按照标准进行开发；能 ...继续阅读 (16)

很久没有直接看 Oracle 相关的内容了，前段时间收到 Oracle 赠送给 Oracle ACED 关于 Oracle Cloud Service 为期1年的的体验邀请，于是决定看看 Oracle 官方提供的数据库云到底如何。初步体验之后发现与自己预想还是有很大不同，所以还是决定写出来分享一下。由于 Oracle Cloud Service 提供的云环境相对比较复杂，所以可能会以一个系列的方式来展现，这里就以一个使用者的角度，先看看 Oracle Cloud Service 的概貌。从Oracle Cloud Service 首页能看出，Oracle 云服务主要分为3部分：软件即服务（SAAS/DAAS: Software as a Service），主要是 Oracle 旗下各种管理软件的云服务，包含以下多种服务：平台即服务（PAAS: Platform as a Service），主要包 Oracle 旗下数据库、开发环境及应用容器等服务，主要有以下云服务:基础设施服务方面，以计算资源为主（IAAS: Infrastructure As a Service）由于我这里主要关注的是数据库相关云服务，所以下面我主要体验了 Oracle 数据库相关云服务（注：目前 Oracle 云服务上还没有 MySQL 数据库相关服务）。在 Oracle 云服务中，数据库服务是以 PAAS 来 ...继续阅读 (13)

在上月底的文章中初探 Oracle Cloude Service 概貌之后，这次准备介绍一下在 Oracle 云服务中如何创建一个 Oracle Instance。第一个会遇到的问题是 Oracle云服务的登录问题，对于不熟悉的用户包括我之前也经常会搞不清楚到底怎么登录进云服务平台。首先，进入 Oracle 云服务主页： https://cloud.oracle.com/zh_CN/home,点击顶部“登录”： 然后会看到一个很让人无语的设计：选择数据中心？名字还那么特别，流汗啊！然后就是填写 “身份域”，再填写 “登录名” 和 “密码”。好吧，确实继承了 Oracle 数据库复杂的特性，登录过程就不能稍微简单点么？登录成功后的界是开通的云服务列表，我们选择今天将要试用的 “Oracle Database Cloud Service”： 直接到数据库服务控制台，里面有我之前创建好的一个 Instance，今天我们就在这里创建一个新的 Instance，体验整个创建过程：从图中中可以看出， 新建一个 Oracle Instance 需要经历“订阅” -> “发行版” -> “版本” -> “详细信息” -> “确认” 共5步（这里看着有点别扭，是 ...继续阅读 (14)

下面是在Oracle 嘉年华2015 上面关于通过 Oracle 与 MySQL共同打造和谐架构体系的 PPT 内容，具体演讲文字内容就没办法提供了： 虽然这里仅仅只是 PPT 图片内容，但多少应该还是能对有心的同学有一点启发，多一点思考就多一点可能嘛 ...继续阅读 (17)

接前面一篇，这里再将之前在“中国系统架构师大会”5周年的时候发布的纪念册“IT架构实录”上的一篇文章发出来，也算是前面博文中PPT的一个文字版解读吧。——————————————————————————————-Oracle，MySQL 还是 NoSQL？前言随着阿里系的“去IOE”运动在社区的宣传声越来越大，国内正在掀起一股“去xxx”的技术潮。不仅仅是互联网企业，包括运营商以及金融机构都已经开始加入到这个潮流之中。作为运动中的这个“O”的Oracle数据库，自然就成为了众矢之的，众多CIO及CTO们都展示出一副欲除之而后快的表情。那在实际的应用场景中，我们到底该如何去选择数据的存取软件呢？大概在09到10年左右，突然一夜之间满世界都在谈论 NoSQL，到处是关系型数据库要被 NoSQL 替代的声音，几乎所有人都在鼓吹NoSQL的各种好，但到目前为止也没有看到哪个数据库软件的市场受到了NoSQL的大冲击，当初红极一时的Cass ...继续阅读 (22)

作为阿里引入 MySQL 数据库的第一批践行者之一，我经历了从Oracle的“一统天下”到被 MySQL 从周边应用逐步“蚕食”，直至核心系统都被替换成 MySQL的多个阶段。最初这是一个令人振奋的过程，虽然也伴随着DBA团队的不安，但总体都非常顺利。但随着这个过程的不断推进，痛苦慢慢袭来，尤其是对开发团队的影响越来越大。再后来…（再后来的事情就不便细说了）现在回过头来仔细思考，方向决策没有任何问题，但实际执行过程及执行策略还是存在不少可以商榷的地方。比如成本比较的核算方式，执行范围的一刀切等等。正是因为有这些“前因”，所以在2013年 OTN嘉年华上做了下面这样一个颇具争议的分享，针对目前吵得比较火热的“去IOE”中的“O”所涉及到的数据库领域的产品选择问题聊了下自己的看法。Oracle my sql-or-nosqlfromSky Jian分享之后很多人都说还少了最后的一个收尾，那就是：到底什么系统该用 Oracle？什么系统该用 MySQL？什么系统该用 NoSQL？首先这个选择确实和业务场景有非常大的关系，其次有些背景让我不能把话说得太清楚了，最后就是还有想法我们可以线下随时沟通。 ...继续阅读 (17)

从 OOW2013@旧金山回来半个月了，简单记录一下这次会议中 Oracle 的几个大事。In-Memory Option：可以设置某些表的数据在内存中以列的方式再存放一份，用来解决OLTP与OLAP混用的场景下性能互扰的问题。列式数据存储的需求趋势越来越明显，SAP的HANA已经做的风生水起，Oracle也来凑热闹了，呵呵。实际的效果暂时还不得而知，期待正式场景下的效果反馈。M6：Big Memory Machine又一个大家伙，32TB 内存。虽然没有实际体验，但想想就觉得“可怕”Oracle正在软硬一体机的路线上坚定不移的向前迈进，M6的发布又是一次大跨步前进M6 样机现场演示中：Database As ServiceAmazon 早在几年前就已经对外提供商业的在线关系型数据库服务了，国内的阿里云同样也提供了多种关系型数据库服务，现在这一阵营又将多出更为重量级的选手，Oracle正式宣布将进入这样一个市场，提供 Oracle 数据库在线服务。最后，还有这次OOW期间的另外一件大事就是美洲杯（America CUP）帆船赛， Oracle 代表的美国队来了次大逆转，在 1:8 落后的前提下居然连扳回8场最终9:8获胜，不知道是奇迹还是之前故意放水，哈哈。下面是借用eygle的一张图片，美洲杯颁奖礼上 Larry 手举奖杯额度镜头： ...继续阅读 (13)

上周在北京参加了 OTN China Tour 2012（Oracle技术嘉年华）的活动，在会上有个简单的分享，主要是当 CPU 成为瓶颈的时候，我们改如何来优化数据库，分享的文档如下：MySQL Tuning For CPU BottleneckfromSky Jian ...继续阅读 (27)

接着上一篇MySQL 数据库性能优化之SQL优化，这是MySQL数据库性能优化专题系列的第五篇文章：MySQL数据库性能优化之存储引擎选择离上一篇文章已经有很长时间没有更新这个MySQL数据库性能优化专题了，时间太紧加上人之惰性，今天这里将之前就规划好的关于存储引擎选择方面的内容更新出来，希望对大家有所帮助吧MySQL 的存储引擎可能是所有关系型数据库产品中最具有特色的了，不仅可以同时使用多种存储引擎，而且每种存储引擎和MySQL之间使用插件方式这种非常松的耦合关系。由于各存储引擎功能特性差异较大，这篇文章主要是介绍如何来选择合适的存储引擎来应对不同的业务场景。MyISAM特性不支持事务：MyISAM存储引擎不支持事务，所以对事务有要求的业务场景不能使用表级锁定：其锁定机制是表级索引，这虽然可以让锁定的实现成本很小但是也同时大大降低了其并发性能读写互相阻塞：不仅会在写入的时候阻塞读取，MyISAM还会在读取的时候阻塞写入，但读本身并不会阻塞另外的读只会缓存索引：MyISAM可以通过key_buffer缓存以大大提高访问性能减少磁盘IO，但是这个缓存区只会缓存索引，而不会缓存数据适用场景不需要事务支持（不支持）并发相对较低（锁定机制问题）数据修改相对较少（阻塞问题）以读为主数据一致性要求不是非常高最佳实践尽量索引（缓存机制）调整读写优先级，根据实际需求确保重要操作更优先启用延迟插入改 ...继续阅读 (11)

接着上一篇MySQL 数据库性能优化之索引优化，这是MySQL数据库性能优化专题系列的第四篇文章：MySQL 数据库性能优化之SQL优化有人反馈之前几篇文章过于理论缺少实际操作细节，这篇文章就多一些可操作性的内容吧。注：这篇文章是以 MySQL 为背景，很多内容同时适用于其他关系型数据库，需要有一些索引知识为基础优化目标减少 IO 次数IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段。降低 CPU 计算除了 IO 瓶颈之外，SQL优化中需要考虑的就是 CPU 运算量的优化了。order by, group by,distinct … 都是消耗 CPU 的大户（这些操作基本上都是 CPU 处理内存中的数据比较运算）。当我们的 IO 优化做到一定阶段之后，降低 CPU 计算也就成为了我们 SQL 优化的重要目标优化方法改变 SQL 执行计划明确了优化目标之后，我们需要确定达到我们目标的方法。对于 SQL 语句来说，达到上述2个目标的方法其实只有一个，那就是改变 SQL 的执行计划，让他尽量“少走弯路”，尽量通过各种“捷径”来找到我们需要的数据，以达到 “减少 IO 次数” 和 “降低 CPU 计算” 的目标常见误区cou ...继续阅读 (6)

接着上一篇MySQL 数据库性能优化之表结构，这是MySQL数据库性能优化专题系列的第三篇文章：MySQL 数据库性能优化之索引优化大家都知道索引对于数据访问的性能有非常关键的作用，都知道索引可以提高数据访问效率。为什么索引能提高数据访问性能？他会不会有“副作用”？是不是索引创建越多，性能就越好？到底该如何设计索引，才能最大限度的发挥其效能？这篇文章主要是带着上面这几个问题来做一个简要的分析，同时排除了业务场景所带来的特殊性，请不要纠结业务场景的影响。索引为什么能提高数据访问性能？很多人只知道索引能够提高数据库的性能，但并不是特别了解其原理，其实我们可以用一个生活中的示例来理解。我们让一位不太懂计算机的朋友去图书馆确认一本叫做《MySQL性能调优与架构设计》的书是否在藏，这样对他说：“请帮我借一本计算机类的数据库书籍，是属于 MySQL 数据库范畴的，叫做《MySQL性能调优与架构设计》”。朋友会根据所属类别，前往存放“计算机”书籍区域的书架，然后再寻找“数据库”类存放位置，再找到一堆讲述“MySQL”的书籍，最后可能发现目标在藏（也可能已经借出不在书架上）。在这个过程中： “计算机”->“数据库”->“MySQL”->“在藏”->《MySQL性能调优与架构设计》其实就是一个“根据索引查找数据”的典型案例，“计算机”->“数据库”->“MySQL”->“在藏” 就是朋友查找书籍的索 ...继续阅读 (16)

接着上一篇MySQL数据库性能优化之存储引擎选择，这是 MySQL数据库性能优化专题 系列的第六篇文章：MySQL数据库性能优化之硬件优化在过往与很多人的交流过程中发现，在谈到基于硬件来进行数据库性能瓶颈分析的时候，常被大家误解为简单的使用更为强劲的主机或者存储来替换现有的设备。个人觉得这其中可能存在一个非常大的误区。我们在谈论基于硬件进行优化的时候，不能仅仅将数据库使用的硬件划分为主机和存储两部分，而是需要进一步对硬件进行更细的分解，至少也应该分解到如下范畴：主机CPU：仅仅只能决定运算速度，及时是运算速度都还取决于与内存之间的总线带宽以及内存本身的速度内存：大小决定了所能缓存的数据量，主要决定了热点数据的访问速度磁盘：大小：决定了你最终能存放多少数据量转速：决定了你每一次IO请求的延时时间，也就是决定了我们常说的IOPS和MBPS数目：磁盘数目决定了类型机械：SAS or SATA or FC ？SSD：磁盘 or PCI卡？Raid卡：缓存：缓存大小对数据写入速度有较大影响，使用策略也会直接影响IO效率电池：电池充放电策略会影响到瞬时IO的波动其他：如总线带宽等，决定了CPU与内存间数据传输效率，这一点很多时候关注较少，但也可能会出现瓶颈存储内存：存储设备同样也有内存，用来存储前端主机访问的热点数据。存储的内存大小同样决定了热点数据的访问速度磁盘：和主机磁盘类似线路/环路带宽 ...继续阅读 (8)

接着上一篇MySQL 数据库性能优化之缓存参数优化，这是MySQL数据库性能优化专题系列的第二篇文章：MySQL 数据库性能优化之表结构很多人都将数据库设计范式作为数据库表结构设计“圣经”，认为只要按照这个范式需求设计，就能让设计出来的表结构足够优化，既能保证性能优异同时还能满足扩展性要求。殊不知，在N年前被奉为“圣经”的数据库设计3范式早就已经不完全适用了。这里我整理了一些比较常见的数据库表结构设计方面的优化技巧，希望对大家有用。由于MySQL数据库是基于行（Row）存储的数据库，而数据库操作 IO 的时候是以 page（block）的方式，也就是说，如果我们每条记录所占用的空间量减小，就会使每个page中可存放的数据行数增大，那么每次 IO 可访问的行数也就增多了。反过来说，处理相同行数的数据，需要访问的 page 就会减少，也就是 IO 操作次数降低，直接提升性能。此外，由于我们的内存是有限的，增加每个page中存放的数据行数，就等于增加每个内存块的缓存数据量，同时还会提升内存换中数据命中的几率，也就是缓存命中率。数据类型选择数据库操作中最为耗时的操作就是 IO 处理，大部分数据库操作 90% 以上的时间都花在了 IO 读写上面。所以尽可能减少 IO 读写量，可以在很大程度上提高数据库操作的性能。我们无法改变数据库中需要存储的数据，但是我们可以在这些数据的存储方式方面花一些心 ...继续阅读 (8)

在平时被问及最多的问题就是关于 MySQL 数据库性能优化方面的问题，所以最近打算写一个MySQL数据库性能优化方面的系列文章，希望对初中级 MySQL DBA 以及其他对 MySQL 性能优化感兴趣的朋友们有所帮助。这是MySQL数据库性能优化专题系列的第一篇文章：MySQL 数据库性能优化之缓存参数优化数据库属于 IO 密集型的应用程序，其主要职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是 IO，尽可能将磁盘IO转化为内存IO。本文先从 MySQL 数据库IO相关参数（缓存参数）的角度来看看可以通过哪些参数进行IO优化：query_cache_size/query_cache_type （global）Query cache 作用于整个 MySQL Instance，主要用来缓存 MySQL 中的 ResultSet，也就是一条SQL语句执行的结果集，所以仅仅只能针对select语句。当我们打开了 Query Cache 功能，MySQL在接受到一条select语句的请求后，如果该语句满足Query Cache的要求（未显式说明不允许使用Query Cache，或者已经显式申明需要使用Query Cache），MySQL 会直接根据预先 ...继续阅读 (9)

上周受邀于 IT168，在 2012年度的 DTCC 大会上做了一个小的主题分享，内容主要是最近几年在 MySQL 数据库的性能调优过程中积累的一点点经验总结，希望能对大家有用。其中部分内容在之前的第二届华东地区数据库大会上已经有过分享，这次是在当时分享内容的基础上增加了硬件和系统层面的内容，同时根据听众反馈对原有内容进行了部分优化改进。以下就是这次分享的 PPT 内容（有更新）：MySQL性能调优最佳实践View morepresentationsfromSky Jian ...继续阅读 (20)

这个月11号应蝎子同学和ThinkInLamp的邀请，在上海光大会展中心参加了由 ThinkInLamp 社区组织的第二届华东地区数据库大会，并做了一个题为“浅谈MySQL数据库优化”的主题分享交流。考虑到参会人员大多是一线的技术工程师，而且还有很多是开发人员，所以内容更偏重于一些指导性的原则，会后将 PPT 格式稍作了调整，这里再发出来希望对感兴趣的朋友有所帮助。浅谈 MySQL 性能调优View morepresentationsfromSky Jian ...继续阅读 (10)

这是之前发布于《程序员》杂志2011年08期的一篇文章，这里再在Blog上发布一下。在当前这个信息量飞速增长的时代，一个企业，尤其是电子商务企业的成功已经越来越多地与其海量数据处理能力相关联。高效、迅速地从海量数据中挖掘出潜在价值并转化为决策依据的能力，将成为企业的核心竞争力。数据的重要性毋庸置疑，但随着数据的产生速度越来越快，数据量越来越大，数据处理技术的挑战自然也越来越大。如何从海量数据中挖掘出价值所在，分析出深层含义，进而转化为可操作的信息，已经成为各互联网企业尤其是电子商务公司不得不研究的课题。本文将介绍国内箱包行业电子商务领军者麦包包如何利用海量数据的分析处理（个性化推荐引擎）来协助用户更好地完成购买体验。图1 数据层基础架构数据层基础架构如图1所示，麦包包的数据层基础架构与其他很多互联网公司相比，可能会有一点儿差异，那就是有一个用于实时分析处理的在线分析数据层，用来处理一些对实时性要求较高的分析任务。总的来说，麦包包的数据层分为下面三个部分。在线交易数据层用于存放网站对外访问数据，如交易相关、产品相关、用户相关等数据。离线分析数据层用于分析各种报表、数据挖掘，如购买行为、销售分析、浏览跟踪等。在线分析数据层用于处理一些对实时性要求较高的分析，如在线交易分析、用户浏览推荐等。在线交易数据层和离线分析数据层对于大家来说都已经比较熟悉了，二者的数据特点和访问特点都很清晰明确， ...继续阅读 (22)

最近看到一个比较全面的MySQL优化的PPT，不敢独享，特放上来与大家分享。注：版权所有:Yoshinori MatsunobuLinux and H/W optimizations for MySQLView morepresentationsfromYoshinori Matsunobu ...继续阅读 (14)

自上次对 myperf 作了一个基本的介绍之后，反响不错，就准备再针对 myperf 的 3 个模式分别说明一下。之前已经说明，myperf 有三个mode（功能模式），分别为： top, snap, report。第一个mode比较独立，后2个mode相辅相成。今天这里就先介绍一下 myperf 的第一个mode：“top” 。简单来说，“top” mode其实就是一个类似于我们 Linux/Unix 下最常使用的基本的性能查看程序 top 一样，实时刷新展示数据库当前的一些比较重要的性能指标。myperf 默认就是 “top” mode，我们可以通过执行 “myperf -h” 来看看程序的帮助内容：myperf 几乎每一项参数都可以记录在配置文件中，唯一的例外就是当使用配置文件的时候，我们还需要一个参数告知配置文件的位置。“top” mode 执行过程必须要能够连接到数据库，才能获取到数据库中的一些实时性能数据。可以通过命令行参数或者是配置文件的方式指定数据库连接参数：命令行参数方式：myperf -u username -p password -H host -i interval -m mode如果连接端口不是3306，还需要通过 -P 参数指定数据库监听端口注：默认情况下是不会显示当前正在执行的SQL内容的，可以通过 -s 参数开启该功能。如果是 ...继续阅读 (8)

最近很多朋友反馈之前开发的 myperf 工具自从增加了 snap 和 report 两个功能升级之后使用起来比以前复杂了，不仅参数选项增加了，还多了一个配置文件，而且还要创建数据库，不是很明白如何使用了。为了让大家使用起来更方便容易，这里做一个简单的介绍。文件组成myperfmyperf工具主程序，可执行python文件myperf.cnfmyperf工具的配置文件，用来存放各种配置项以减少命令行输入myperf.sqlmyperf工具用来存放性能数据的Schema结构创建文件，如果需要使用snap和report功能，就必须要通过此文件创建好Schema用来存放性能数据。当然，如果一直只是使用top模式，那就不需要使用了功能组成top类似于Linux/Unix 下最常用最基本的性能查看工具top类似，实时刷新展示数据库中的各项核心性能指标信息snap收集数据库当前各项性能状态数据并存储在数据库中，用于性能分析调优，类似于 Oracle 的 Statspack 的 snapshot功能，目前收集的信息主要是 global status，如果是 MySQL5.5，还会手机Performance Schema 中的部分信息report和上面的snap是相辅相成的，主要是对snap存储的性能数据进行分析，获得性能报告，类似于 Oracle 的 Statspack 的 report 功能。 ...继续阅读 (16)

myperf 继 0.1-beta 版发布，可以实时在线显示 MySQL 性能数据并定期刷新之后，最近又增加了计划中的另外两个小功能：定期收集MySQL数据库的性能数据并存储（snapshot） 由于初衷主要是考虑到多台 MySQL 服务器，所以数据会集中存储到一台集中的 MySQL Server中，并没有保存到自身。当然，以后有可能增加这样的功能。根据性能数据的snapshot进行分析并生成report记录到文本文件 目前生成的报表还只能生成纯文本方式，不支持保存在数据库中。且只支持生成相邻两个snapshot的报表，暂不支持人工选择某两个snapshot之间的报表。除了增加这2个功能外，还在原来的基础上增加了一个可选配置文件。主要是为了减少在命令行输入的内容，毕竟很多时候都在重复输入一些参数。当然，不喜欢配置文件方式的同学，选择不使用配置文件，直接将参数全部在命令行中输入。 由于现在 MySQL 5.5 增加了 Performance Schema，所以新版本中也增加了针对 Performance Schema 数据的收集，比如Event wait，File IO 等，只是目前针对这写数据的分析还比较弱，希望后续能加强一些。 源代码、配置文件以及存储snapshot数据所使用的Schema结构文件都放在Google Code上了，可以通过SVN工具匿名方式co出来，也欢迎猛 ...继续阅读 (14)

一直苦恼于 MySQL 没有像 Oracle Statspack 这样的性能分析工具，调优手段太少。很久以前自己学习 C 的时候，写了个简单的收集分析 MySQL 性能状态数据的小工具，之所以选择用 C 去写，一来是为了熟悉 MySQL 的 C API，熟悉 MySQL 代码，另一方面想捡回早就丢掉的 C 语言知识（后被证明很难实现，哈哈）。随着 MySQL 5.5的出现，MySQL 新增了 Performance Schema，用于展示一些系统等待事件和性能信息。虽然仍然没有 DBA 最需要的 SQL 执行的信息，但至少比以前仅仅只有一些简单的 status 有了很大的进步。所以最近又想完善一下这个被我自己称为 MySQL Performance Tool 的工具“myperf”。这次选择用较轻量级的脚本来实现，简单快速嘛（其实对我也是刚开始学习的，哈哈）暂时计划包含以下3个功能：显示实时性能状态 (top mode)对性能状态做snapshot  (snap mode)分析性能状态，输出报告 (report mode)目前暂时先做了第一个功能点，连接到需要查看的数据库后以类似于linux 上 top 命令的方式实时刷新，包括active session 也会输出。实现比较简陋，当前目标是基本能用就行。下面是输出截图：欢迎有兴趣和我一起完善这个工具的同学加 ...继续阅读 (22)

时常遇到一些希望从多个 MySQL 实例将数据复制到单个MySQL 实例上的需求场景，又苦于原生的 MySQL 并不支持这样的实现方案，开源社区中也没有哪位大拿提供解决这方面需求的插件。 有时候就想，要不公司里面组织力量修改一下 MySQL 代码来搞定这个问题得了。可转念一想，后面如果需要升级版本的时候怎么办呢？再修改一次代码？这样的成本有多大呢？如此的问题让人很是纠结。 最近突然想明白了：为啥非要在现在代码中来实现这个需求呢？为啥不能通过在外部想办法呢？我们需要的不是看上去的美，而是最终的结果。看上去漂亮完美的架构方案并不一定就是最好的。 如是就有了下面这样的想法：通过在 Master 和 Slave 之间增加一层复制代理服务多个线程连接上多个 Master 上请求 Binlog（完全模拟 Slave 上的IO线程）多个线程连接上单个 Slave 实例，直接以类似于应用程序的方式并行应用 Binlog中的Event（部分模拟Slave 上的SQL线程）由于很清楚业务场景，在应用线程方面可以在一些特定规则约束下实现并行应用以改善 Slave 端延时由于 MySQL 开源的特性，实现上述功能其实很简单，还可以保持原生 MySQL 不会被动任何手术即可完成我们的需求，看来是该动手的时候了。BTW： 我的需求中，各个 Master 中的数据是不会有任何重叠的。 ...继续阅读 (15)

上个周日，参加上海这边thinking in lamp的一个技术交流活动，分享了一下我再 MySQL 数据同步方面的一些想法。主要就是基于 MySQL Replication 做一些开发，来解决我们实际的业务需求与目前原生 MySQL Replication 的功能方面的冲突。分享 PPT 如下：基于MySQL开放复制协议的同步扩展View morepresentationsfromSky Jian ...继续阅读 (22)

帮现在的东家发布个招聘信息，主要是运维相关职位，职位信息如下描述。发展潜力巨大，技术氛围很好，欢迎各路英雄前来！简历发送至： sky000 at gmail系统管理工程师岗位描述负责公司网站的主机硬件维护，部署以及系统级软件的维护部署升级工作负责公司网站的存储设备的维护及部署工作负责公司内部开发测试主机的硬件维护，部署及系统级软件的维护部署升级工作负责制定系统运维规范，并推进实施配合应用运维工程师处理线上应用的运维需求24*7 standby技能需求良好的沟通技能和团队合作能力精通 Linux/Unix 系统的维护管理熟悉 Linux 下 Mail/Web/DNS/LVS/CDN 等服务器的搭建及维护熟练使用 Shell/Perl/Python 中的一种2年以上系统管理工作经验，1年全职系统管理经验熟悉Apache，Tomcat等Web服务器的部署及维护网络工程师岗位描述负责公司网站所在 IDC 的网络硬件设备的部署及维护工作负责公司网站所在 IDC 的网络架构的设计和优化负责公司网站所在 IDC 的网络环境的日维护支持系统管理和应用运维工程师进行日常网络变更需求的处理负责和各运营商的协调工作24*7 standby技能需求良好的沟通技能和团队合作能力精通 交换/路由 原理熟悉 TCP/IP 协议熟悉主流厂商（思科/华为）网络设备的管理维护熟悉 VPN 和网络防火墙的部署，配置及维 ...继续阅读 (18)

上周北京出差，参加了 CSDN 主办的 TUP 技术沙龙 和 CTO 俱乐部 的活动，有幸受邀分享了一下 B2C电子商务系统的数据层构建相关的内容。在参加 TUP技术沙龙和 CTO 俱乐部活动的时候，同时还听了凡客项目管理与架构总监栾义来的凡客历程分享，以及百度基础架构部高级工程师马如悦的hadoop相关的分享。栾义来的凡客历程分享中比较突出的几个观点：业务绝对优先，不要过度强调技术架构不理解生意，无法做系统解决了数据库问题，就解决了80%的问题马如悦关于Hadoop的分享比较技术，了解到的最让我印象深刻的信息就是百度的Hadoop集群大小已经超过了Yahoo的集群，成为目前全球最大的Hadoop集群。下面是我的PPT，主要介绍了3个方面的内容：常见高可用可扩展方案（这部分内容以前在 OOW 的 OTN Lounge分享过）利用日志解析针对 B2C 电商系统特点扩展系统利用MySQL Infobright搭建电商系统的分析推荐引擎基于 MySQL 的B2C电商系统前端数据层架构View morepresentationsfromSky Jian ...继续阅读 (16)

数据库 Sharding 目前已经是数据层架构的家常便饭了，随着越来越多的人不断的通过 Sharding 技术来提升数据层的扩展能力，Sharding 本身所带来的各种弊端也开始不断的显露出来了。最近和朋友聊天的时候针对 Sharding 带来的问题做了一些交流，记录之：急于 Sharding，分区键考虑不充分，影响业务发展Sharding 本身是一个需要慎重对待的事情，尤其是分区键的选择。好的分区键会让整个系统基本上对应用没有影响，但是如果选择了一个不合适的分区键，就可能给应用程序带来巨大的麻烦，甚至让有些功能变得几乎不可实现。因为不合适的分区键可能会让本来需要 分组/排序/连接 的数据被拆分分到不同的物理节点，迫使很多原本在一个 Instance 内部的简单处理都无法完成，不得不让应用程序进行大批量IO运算，反而增大的处理成本。应用程序的开发成本上升了，开发效率下降了，业务发展可能就受阻了。过于 Sharding，单机性能过低，造成节点数量过大，维护成本倍增从与一些 DBA 朋友们的交流中了解到，过度 Sharding 也是现在非常常见的一个问题。由于 MySQL 的免费，大家就觉得节点的增加成本较低，扩充节点的性价比非常高，因为不用像 Oracle 那样需要按照 CPU 个数来付 Licence 费用嘛。但事实真的如此吗？可能并不是这么简单。首先，在很多人的意识中，扩展成本只 ...继续阅读 (17)

随着数据存储技术的迅猛发展，随着各种 NoSQL 技术的产生，无论是我们同事之间还是整个互联网行业，都出现关于“分布式 数据 存储/处理 解决方案”方面的选择分歧。就我目前所了解到的主流意见主要有以下三种：去关系型，NoSQL是王道NoSQL靠边站，关系型才是王道以关系型为核心，NoSQL为补充三种意见中前面两种观点较为极端，都是“非对即错”的选择，当然也有更为理性的第三种方案。如果作为开发人员，从我目前所了解的信息来看，主要还是倾向于第一种思路。因为在他们看来，分布式的 NoSQL 系统是一个非常美的架构，不仅仅解决了扩展性的问题，同时也解决了可靠性问题，同时还可以让程序开发免去关系型模型的约束，不选择他才是傻子呢！从我个人的角度来看，我目前更倾向于第三种思路，至少在现阶段是如此。Why？但是如果是从运维的角度出发，所考虑的风险点可能完全不一样。作为一个存储数据的核心组件，在需要对其数据进行人工订正维护的时候是否方便操作？在需要抽取其中某部分数据到线下给开发/测试部门使用的时候是否方便？最重要的是，当他整个 Crash 之后我们可以怎么恢复？当我们面对这些问题的时候，我们是否有合适便利的手段来避免或者解决？确实，理念很完美，架构很完美，但目前的NoSQL产品的实现是不是真的也如此完美呢？我想没有哪个产品敢拍着自己的胸脯说他们的产品不会Crash，就像没有厂商向我们保证他们的硬件在 ...继续阅读 (16)