【导读】徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作，负责过日请求量过亿的Web系统升级与重构，目前在小满科技创业，从事SaaS服务技术建设。 大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧的解决方案之上。希望这篇文章能够为技术人员提供一定的参考和帮助。 以下为原文当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。Web负载均衡 Web负载均衡（Load Balancing），简单地说就是给我们的服务器集群分配“工作任务”，而采用恰当的分配方式，对于保护处于后端的Web服务器来说，非常重要。 负载均衡的策略有很多，我们从简单的讲起哈。1. HTTP重定向当用户发来请求的时候，Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url，然后浏览器再继续请求这个新url，实际上就是页面重定向。通过重定向，来达到“负载均衡”的目标。例如，我们在下载PHP源码包的时候 ...继续阅读 (14)

在要求严格顺序消息的场景下，消息的发送者，BROKER端（BROKER端和消息存储放在一起），消息的消费者都要求按照顺序进行，三者任何一个环节的乱序都会导致消息最终的消费顺序被打乱。如果为每一个消息维护一个有序的ID，发送和存储消息无序，消费逻辑会变得非常复杂，消费端要对消息进行重新编排，会影响消费的性能。为了保证消息发送、保存、消费三个环节都有顺序，就要求在同一个时刻只能有一个同步发送消息的线程，消息必须按照接收到的顺序进行保存，消息的消费也只能由一个线程处理。发送端，消费端为了高可用需要部署多个实例，然后再通过一个协调者，比如ZOOKEEPER等，控制单个实例工作，其他实例处于待命状态。当工作实例发生了故障，协调者就会唤醒待命的实例进行工作。由于发送端、消费端实例是无状态的，切换工作实例不会产生乱序的问题。消息保存的BROKER端是一个有状态的应用，如果部署多个实例，当发生故障时，由于故障实例上可能还有未消费的消息就不能进行切换。在一些要求数据不丢失、必须有序、BROKER高可用的场景下（比如跨数据中心数据库表的同步，需要按照数据库LOG顺序回放到另一个数据中心，数据乱序或者丢失信息都可能导致两个数据中心的数据不一致），BROKER往往采用MASTER-SLAVE同步双写，或者同一个消息被同步写到多台机器上，为了保证服务宕机等情况下消息不丢失，有的业务要求每条消息都落到磁盘上。 ...继续阅读 (53)

Apache Ignite——新一代数据库缓存系统【编者按】飞速增长的数据需要大量存储，对这些数据的管理也不是一件容易的事。但相比于存储和管理，如何处理数据才是开发人员真正的挑战。对于TB级别数据的存储和处理通常会让开发人员陷入速度、可扩展性和开销的矛盾困境中。近日，Dmitriy Setrakyan在Dzone上撰文，为大家介绍了新一代数据库缓存系统Apache Ignite，由OneAPM工程师编译。以下为译文将数据存储在缓存中能够显著地提高应用的速度，因为缓存能够降低数据在应用和数据库中的传输频率。Apache Ignite允许用户将常用的热数据储存在内存中，它支持分片和复制两种方式，让开发者可以均匀地将数据分布式到整个集群的主机上。同时，Ignite还支撑任何底层存储平台，不管是RDBMS、NoSQL，又或是HDFS。在集群配置好之后，数据集增加只需在Ignite集群中增加节点而不需要重启整个集群。节点数目可以无限增加，所以Ignite的扩展性是无穷的。在Ignite的配置上有下面这几个选项可供选择：Write-Through和 Read-Through 在Write-Through模式中，缓存中的数据更新会被同步更新到数据库中。 Read-Through则是指请求的数据在缓存中不可用时，会自动从数据库中拉取。Write-Behind  ...继续阅读 (34)

（编注：本文写于 2011 年）MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。MySQL监控MySQL服务器硬件和OS（操作系统）调优：1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存里，而不是在磁盘上，InnoDB会快很多。2、全力避免 Swap 操作 — 交换（swapping）是从磁盘读取数据，所以会很慢。3、使用电池供电的RAM（Battery-Backed RAM）。4、使用一个高级磁盘阵列 — 最好是 RAID10 或者更高。5、避免使用RAID5 — 和校验需要确保完整性，开销很高。6、将你的操作系统和数据分开，不仅仅是逻辑上要分开，物理上也要分开 — 操作系统的读写开销会影响数据库的性能。7、将临时文件和复制日志与数据文件分开 — 后台的写操作影响数据库从磁盘文件的读写操作。8、更多的磁盘空间等于更高的速度。9、磁盘速度越快越好。10、SAS优于SATA。11、小磁盘的速度比大磁盘的更快，尤其是在 RAID 中。12、使用电池供电的缓存 RAID（Battery-Backed Cache RAID）控制器。13、避免使用软磁盘阵列。14. 考虑使用固态IO卡 ...继续阅读 (15)

有幸参与2015年的PHP技术峰会（PHPCON），听了鸟哥（惠新宸）的关于PHP7的新特性和性能优化的分享，一切都令人感到激动。鸟哥是国内最权威的PHP专家，他的分享有很多非常有价值的东西，我通过整理分享的PPT和收集相关资料，整理为这篇解读性质的技术文章，希望能给做PHP开发的同学一些帮助。PHP已经走过了20年的历史，直到今天，PHP7都发布了RC版，据说，PHP7正式版应该会在2015年11月份左右发布。PHP7对于上一个系列的PHP5.*，可以说是一个大规模的革新，尤其是在性能方面实现跨越式的大幅提升。PHP是一种在全球范围内被广泛使用的Web开发语言，PHP7的革新也当然会给这些Web服务带来更深刻的变化。这里引用鸟哥PPT中的一个图表（82%的Web站点有使用PHP作为开发语言）：（注：一个web站点可以会使用多种语言作为它的开发语言）（注：本文含有不少从鸟哥PPT里的截图，图片版权归鸟哥所有）我们先看看两张激动人心的性能测试结果图：Benchmark对比（图片来自于PPT）：PHP7的性能测试结果，性能压测结果，耗时从2.991下降到1.186，大幅度下降60%。WordPress的QPS压测（图片来自于PPT）：而在WordPress项目中，PHP7对比PHP5.6，QPS提升2.77倍。看完令人激动的性能测试结果对比，我们就进入正题哈。PHP7的新增特性很多，不 ...继续阅读 (40)

MySQL是一个功能强大的开源数据库。随着越来越多的数据库驱动的应用程序，人们一直在推动MySQL发展到它的极限。这里是101条调节和优化MySQL安装的技巧。一些技巧是针对特定的安装环境的，但这些思路是通用的。我已经把他们分成几类，来帮助你掌握更多MySQL的调节和优化技巧。MySQL服务器硬件和操作系统调节:1. 拥有足够的物理内存来把整个InnoDB文件加载到内存中——在内存中访问文件时的速度要比在硬盘中访问时快的多。2. 不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读取的，它的速度很慢。3. 使用电池供电的RAM（注：RAM即随机存储器）。4. 使用高级的RAID（注：Redundant Arrays of Inexpensive Disks，即磁盘阵列） – 最好是RAID10或更高。5. 避免RAID5（注：一种存储性能、数据安全和存储成本兼顾的存储解决方案） – 确保数据库完整性的校验是要付出代价的。6. 将操作系统和数据分区分开，不仅仅是逻辑上，还包括物理上 – 操作系统的读写操作会影响数据库的性能。7. 把MySQL临时空间和复制日志与数据放到不同的分区 – 当数据库后台从磁盘进行读写操作时会影响数据库的性能。8. 更多的磁盘空间等于更快的速度。9. 更好更快的磁盘。10. 使用SAS（注： Serial Attached SCSI ...继续阅读 (17)

原创文章，转载请注明： 转载自http://www.cnblogs.com/Creator/ 本文链接地址: Mysql在大型网站的应用架构演变写在最前:本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变可扩展性架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种 Scale-up :   纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力 Scale-out : 横向扩展,  通过加节点（机器）来实现伸缩，提升服务能力 对于互联网的高并发应用来说，无疑 Scale out才是出路 ，通过纵向的买更高端的机器一直是我们所避讳的问题，也不是长久之计，在scale out的理论下，可扩展性的理想状态是什么？可扩展性的理想状态一个服务，当面临更高的并发的时候， 能够通过简单增加机器来提升服务支撑的并发度，且增加机器过程中对线上服务无影响(no down time)，这就是可扩展性的理想状态！架构的演变V1.0  简单网站架构一个简单的小型网站或者应用背后的架构可以非常简单,  数据存储只需要一个mysql instance就能满足数据读取和写 ...继续阅读 (19)

前言：         相对于传统行业的相对服务时间9x9x6或者9x12x5，因为互联网电子商务以及互联网游戏的实时性，所以服务要求7*24小时，业务架构不管是应用还是数据库，都需要容灾互备，在mysql的体系中，最好通过在最开始阶段的数据库架构阶段来实现容灾系统。所以这里从业务宏观角度阐述下mysql架构的方方面面。一，MySQL架构设计—业务分析（1）读多写少虚线表示跨机房部署，比如电子商务系统，一个Master既有读也有些写，对读数据一致性需要比较重要的，读要放在Master上面。M(R)仅仅是一个备库，只有M(WR)挂了之后，才会切换到M(R)上，这个时候M(R)就变成了读写库。比如游戏系统，有很多Salve会挂载后面一个M(R)上面。 （2）读多写少MMS-电商如果是电子商务类型的，这种读多写少的，一般是1个master拖上4到6个slave，所有slave挂载在一个master也足够了。切换的时候，把M1的读写业务切换到M2上面，然后把所有M1上的slave挂到M2上面去，如下所示： （3）读多写少MMSS-游戏如果是游戏行业的话，读非常多蛮明显的，会出现一般1个Master都会挂上10个以上的Slave的情况，所以这个时候，可以把一部分Slave挂载新的M(R)上面。至少会减少一些压力， ...继续阅读 (15)

本文作者：杨尚刚 ，美图公司数据库高级DBA，负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师，负责新浪微博核心数据库架构改造优化，以及数据库相关的服务器存储选型设计。前言MySQL数据库大家应该都很熟悉，而且随着前几年的阿里的去IOE，MySQL逐渐引起更多人的重视。MySQL历史1979年，Monty Widenius写了最初的版本，96年发布1.01995-2000年，MySQL AB成立，引入BDB2000年4月，集成MyISAM和replication2001年，Heikki Tuuri向MySQL建议集成InnoDB2003发布5.0，提供了视图、存储过程等功能2008年，MySQL AB被Sun收购，09年推出5.12009年4月，Oracle收购Sun，2010年12月推出5.52013年2月推出5.6 GA，5.7开发中MySQL的优点使用简单开源免费扩展性“好”，在一定阶段扩展性好社区活跃性能可以满足互联网存储和性能需求，离不开硬件支持上面这几个因素也是大多数公司选择考虑MySQL的原因。不过MySQL本身存在的问题和限制也很多，有些问题点也经常被其他数据库吐槽或鄙视.MySQL存在的问题优化器对复杂SQL支持不好对SQL标准支持不好大规模集群方案不成熟，主要指中间件ID生成器，全局自增ID异步逻辑复制，数据安全性问题Online DDL ...继续阅读 (30)

摘要：腾讯计费平台部为了解决基于内存的NoSQL解决方案HOLD平台在应对多种业务接入时的不足，结合团队在MySQL领域多年应用和优化经验，最终在MySQL存储引擎基础上，打造一套分布式SQL系统TDSQL。本文是对该系统架构分析。腾讯计费平台部托管着公司90%以上的虚拟账户，如QB、Q点、包月服务、游戏的二级账户等，为了保证能顺畅支撑公司各大业务的实时在线交易，并且在各种灾难场景下数据是一致并且可用的，对系统的可用性、一致性切换要求非常高，因此计费团队历来都非常重视高一致性存储系统的建设。到目前为止，计费高一致性存储层的解决方案大致经过了3个阶段，本文将分享最新的基于MySQL的分布式解决方案。随着业务的发展，基于内存的NoSQL解决方案HOLD平台在高峰期一天支撑3000亿读写，证明了分布式Cache的巨大价值；但随着各种业务的接入，NoSQL方案的不足也逐步显现出来了，如下所示。适用的业务场景比较有限，仅提供get/set操作，有不少业务场景希望能通过记录中的其他字段做索引来查询，比如流水类业务。不是所有的数据都是热点，一台64GB内存机器提供的有效内存空间大概在50GB左右，而采用Fusion卡的机型容量一般在1TB以上，对比起来，如果所有数据放入分布式Cache明显是一种极大的浪费，最合理的当然是热点在HOLD，冷数据采用基于磁盘的存储。计费平台部多年来在支付领域有了相当 ...继续阅读 (34)

TDDL淘宝根据自己的业务特点开发了TDDL（Taobao Distributed Data Layer 外号:头都大了 ©_Ob）框架，主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制，它是一个基于集中式配置的 jdbc datasource实现，具有主备，读写分离，动态数据库配置等功能。TDDL所处的位置（tddl通用数据访问层，部署在客户端的jar包，用于将用户的SQL路由到指定的数据库中）：淘宝很早就对数据进行过分库的处理， 上层系统连接多个数据库，中间有一个叫做DBRoute的路由来对数据进行统一访问。DBRoute对数据进行多库的操作、数据的整合，让上层系统像操作一个数据库一样操作多个库。但是随着数据量的增长，对于库表的分法有了更高的要求，例如，你的商品数据到了百亿级别的时候，任何一个库都无法存放了，于是分成2个、4个、8个、16个、32个……直到1024个、2048个。好，分成这么多，数据能够存放了，那怎么查询它？这时候，数据查询的中间件就要能够承担这个重任了，它对上层来说，必须像查询一个数据库一样来查询数据，还要像查询一个数据库一样快（每条查询在几毫秒内完成），TDDL就承担了这样一个工作。在外面有些系统也用DAL（数据访问层） 这个概念来命名这个中间件。下图展示了一个简单的分库分表数据查询策略：主要优点：1.数据库主备和动态切换2.带权重的读 ...继续阅读 (26)

机器学习算法之：决策树作者：jmz (360电商技术)1 概览决策树学习是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵决策树：1) 学习析取表达式，能再被表示为多个if-then的规则，以提高可读性。2) 对噪声数据有很好的适应性。--统计特性3) 决策树学习方法搜索完整表示的假设空间(一个有效的观点是机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索、已确定最佳拟合到观察到的数据)，从而避免了受限假设空间的不足。决策树学习的归纳偏置(有兴趣参考“归纳偏置”，“奥坎姆剃刀问题”相关问题更详细的描述)是优先选择较小的树。2 决策树表示决策树通过把实例从根结点排列(如何选择排列次序是决策树算法的核心)到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每一个结点指定了对实例的某个属性的测试，并且该结点的每一个后继分支对应于该属性的一个可能值。如，一颗根据天气情况判断是否参加打网球的决策树如下：例如,下面的实例:将被沿着这棵决策树的最左分支向下排列,因而被评定为反例(也就是这棵树预测PlayTennis=No) 。通常决策树代表实例属性值约束的合取(conjunction)的析取式(disjunction)。从树根到树叶的每一条路径对应一组属性测试的合取,树本身对应这些合取的析取，该决策树对应于以下表达式：(Outlook=Sunny ٨Humid ...继续阅读 (33)

准备工作首先需要搭建ftpserver?123yum install vsftpd service vsftpd start这样ftp服务就起来了，这里只是简单的使用，所以没有使用配置文件。这样我们只要将需要的文件置于/var/ftp/pub/文件夹下，匿名用户就可以copy文件到本机了。安装rpm-buildbuild需要用到rpm-build，这里简单安装即可?1yum install rpm-build下面开始rpm打包?1234mgethttp://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.21.tar.gzcd /u01/mysql-5.6.21mkdir rpmcd rpm修改mysql.spec?1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495Name: mysql-rpmVersion:5.6.21Release: renfengjunLicense: GPLURL:http://dev.mysql.c ...继续阅读 (29)

TCP超时重传机制探索作者：tll （360电商技术）1）通信模型TCP（Transmission Control Protocol）是一种可靠传输协议，在传输过程中当发送方（sender）向接收方（receiver）发送的数据丢失时，将引起发送方向接收方重传丢失的数据包。其通信模型如下：图12）超时重传重传机制在实现数据可靠传输功能的同时，也引起了相应的性能问题：何时进行数据重传？如何保证较高的传输效率？重传时间过短：在网络因为拥塞引起丢包时，频繁的重传会进一步加剧网络拥塞，引起丢包，恶化网络传输性能。重传时间过长：接收方长时间无法完成数据接收，引起长时间占用连接线路造成资源损耗、传输效率较低等问题。针对上述问题，TCP中设计了超时重传机制。该机制规定当发送方A向B发送数据包P1时，开启一个时长为RTO（Retransmission Timeout）的重传定时器，如果A在RTO内未收到B对P1的确认报文，则认为P1在网络中丢失，此时重新发送P1。由此，引出RTO大小的设定问题。对RTO大小的设定，由于的传输特性不同将导致发送与接收方完成一次数据传输（发送与应答）的时间不同（例：通常有线网络的传输速率远高于无线网络），因此固定大小的RTO无法满足不同环境下的传输需求，由此TCP采用针对具体传输环境动态测量的方式来确定当前时刻的RTO.针对上述问题TCP中引入RTT（Round Tr ...继续阅读 (42)

​Redis内核之数据结构实现作者：cf (360电商技术)redis基础数据结构简单动态字符串（SDS）Redis 没有直接使用 C 语言传统的字符串表示，而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的抽象类型， 并将 SDS 用作 Redis 的默认字符串表示。定义：SDS与C字符串的区别1、常数复杂度获取字符串长度（C字符串不记录自身的长度信息，要获取其长度需遍历整个字符串，复杂度O(N)；SDS的len属性记录了长度，故复杂度为O(1)）。2、杜绝缓冲区溢出（C字符串不记录自身长度容易造成缓冲区溢出；SDS API对SDS修改时，会先检查空间是否满足需求，不满足，先进行扩展，再执行实际修改，避免了缓冲区溢出问题）。3、减少修改字符串长度时所需的内存重分配次数（C字符串长度变化时每次需要重新分配内存；SDS通过空间预分配和惰性空间释放两种策略，减少了内存重新分配的次数）。4、二进制安全（SDS不像C字符串局限于保持文本数据，也可以保持二进制数据，是二进制安全的）。5、兼容部分C字符串函数（SDS可以直接重用一部分C字符串函数库里面的函数）。链表作为一种常用数据结构，链表内置在很多高级的编程语言里面，因为Redis使用的C语言并没有内置这种数据结构，所以Redis构建了自己的链表实现。链表节点(adlist.h/listNode)结 ...继续阅读 (16)

【原创】Linux 大规模请求服务器连接数相关设置作者：heiyeluren一般一个大规模Linux服务器请求数可能是几十万上百万的情况，需要足够的连接数来使用，所以务必进行相应的设置。默认的Linux服务器文件描述符等打开最大是1024，用ulimit -a 查看：[viewuser@~]$ ulimit -acore file size (blocks, -c) 0 #coredump 文件大小data seg size (kbytes, -d) unlimitedscheduling priority (-e) 0file size (blocks, -f) unlimitedpending signals (-i) 255622max locked memory (kbytes, -l) 64max memory size (kbytes, -m) unlimitedopen files (-n) 1024 #打开文件数量，root账户无限制pipe size (512 bytes, -p) 8POSIX message queues (bytes ...继续阅读 (43)

缓存那些事，一是内存爆了要用LRU(最近最少使用)、LFU(最少访问次数)、FIFO的算法清理一些；二是设置了超时时间的键过期便要删除，用主动或惰性的方法。1. LRU简单粗暴的Redis今天看Redis3.0的发行通告里说，LRU算法大幅提升了，就翻开源码来八卦一下，结果哭笑不得，这旧版的"近似LRU"算法，实在太简单，太偷懒，太Redis了。在Github的Redis项目里搜索lru，找到代码在redis.c的freeMemoryIfNeeded()函数里。先看2.6版的代码： 竟然就是随机找三条记录出来，比较哪条空闲时间最长就删哪条，然后再随机三条出来，一直删到内存足够放下新记录为止.......可怜我看配置文档后的想象，一直以为它会帮我在整个Redis里找空闲时间最长的，哪想到我有一百万条记录的时候，它随便找三条就开始删了。好，收拾心情再看3.0版的改进：现在每次随机五条记录出来，插入到一个长度为十六的按空闲时间排序的队列里，然后把排头的那条删掉，然后再找五条出来，继续尝试插入队列.........嗯，好了一点点吧，起码每次随机多了两条，起码不只在一次随机的五条里面找最久那条，会连同之前的一起做比较......中规中矩的Memcached相比之下，Memcached实现的是再标准不过的LRU算法，专门使用了一个教科书式的双向链表来存储slab内的LRU关系，代码在item. ...继续阅读 (23)

版本：V3.1 2014-3-36 (@江南白衣版权所有，转载请保留出处)，针对Redis 2.8版。1. Overview1.1 资料，最好的入门小册子，可以先于一切文档之前看，免费。作者Antirez的博客，Antirez维护的Redis推特。Redis weeklyredis周报。Redis 命令中文版，huangz同学的翻译，同时还有Redis官网几篇重要文档的翻译。Redis设计与实现，又是huangz同学的巨作，深入了解内部实现机制。Redis 2.6源码中文注释版，继续是huangz同学的大功德。NoSQL Fan里的Redis分类《Redis in Action》(Manning, 2013) 挺实战的一本书。1.2 优缺点非常非常的快，有测评说比Memcached还快(当大家都是单CPU的时候)，而且是无短板的快，读写都一般的快，所有API都差不多快，也没有MySQL Cluster、MongoDB那样更新同一条记录如Counter时慢下去的毛病。丰富的数据结构，超越了一般的Key-Value数据库而被认为是一个数据结构服务器。组合各种结构，限制Redis用途的是你自己的想象力，作者自己捉刀写的用途入门。因为是个人作品，Redis2.6版只有2.3万行代码，Keep it simple的死硬做法，使得普通公司而不需淘宝那个级别的文艺公司也可以吃透它。Redis宣言 ...继续阅读 (48)

OpenTSDB监控系统的研究和介绍一、背景介绍此次航天局为了让天宫一号与神舟九号载人交会顺利对接成功，采用了新一代数值天气预报系统为神九保驾护航。新一代数值天气预报系统是中国国内技术最先进、分辨率最高、预报时效最长的数值天气预报系统。新系统在火箭燃料加注、飞船发射和返回、载人交会对接等关键节点发挥重要作用。 同样，作为后台系统或网站的运维，我们同样需要类似的监控或预报系统快速发现各种不稳定现象和解决性能问题以达到SLA（服务等级协议）的标准。你有没有厌倦那个拥有10年以上寿命的监控系统？它常常会出现这样的问题：1）中心化数据存储进而导致单点故障。2）有限的存储空间。3）数据会因为时间问题而变得不准确。4）不易于定制图形。5）不能扩展采集数据点到100亿级别。6）不能扩展metrics到K级别。7）不支持秒级别的数据。这里介绍一淘使用的一个开源监控系统OpenTSDB，它可以解决上面的问题，它用hbase存储所有的时序（无须采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。对于运维工程师而言，OpenT ...继续阅读 (16)

PHP扩展开发进阶​作者：wf （360电商技术）在第一期PHP扩展开发入门中,简单的介绍了PHP的整体架构和运行机制,并详细说明了如何开发和编译一个基本的PHP扩展,最后在PHP 5.3的环境下结合zend api快速编写了一个静态的PHP扩展.然而仅仅编译一个PHP扩展是没有实际用途的,它只是一个华丽的外壳,为了使扩展实现更强大的功能,需要在扩展中开发一些实用的功能函数.在这一章中,将会着重介绍PHP内核中变量的实现.在此基础上,才能将需要的功能,使用zend api在PHP扩展中实现.1 PHP变量的实现1.1变量的类型PHP内核中通过zval结构体来存储变量,定义在Zend/zend.h文件里,只有四个成员：struct _zval_struct {zvalue_value value;/* 变量的值 */zend_uint refcount__gc;zend_uchar type;/* 变量当前的数据类型 */zend_uchar is_ref__gc;};typedef struct _zval_struct zval;//在Zend/zend_types.h里定义的：typedef unsigned int zend_uint;typedef unsigned char zend_uchar;zval里的refcout__gc是zend_uint类型,也就是unsig ...继续阅读 (23)

Cobar 是阿里巴巴开源的一个数据库中间件，为了解决类似proxy这类的问题。目前同类型的有奇虎360开源的Atlas。类似的有基本在线上用起来很不爽，问题多多的比如MySQL Proxy和SQL Relay，基本可以忽略。Cobar 下载：https://github.com/alibaba/cobarAtlas 下载：https://github.com/Qihoo360/Atlas===============================================================MyCat：取代Cobar数据库中间件什么是MyCAT?简单的说，MyCAT就是： 一个彻底开源的，面向企业应用开发的“大数据库集群” 支持事务、ACID、可以替代Mysql的加强版数据库 ? 一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群 ? 一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server ? 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 ? 一个新颖的数据库中间件产品。目标低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。关键特性支持 SQL 92标准 支持Mysql集群，可以作为Proxy使用 支持JDBC连接ORACLE、DB2、SQL ...继续阅读 (47)

PHP7内核之HashTable实现作者：wj （360电商技术）PHP开发的主干已经切换到大版本7了，这个版本Zend引擎改变很大，可以说是一个全新的版本，因此新的Zend引擎被命名为NG。在这个大版本中变量以及hash表变动也很大。所以在这里把自己的学习过程和成果记录下来，毕竟好记性不如烂笔头啊。数据结构HashTable的结构定义在Zend/zend_types.h，之前的php版本中被定义在Zend/Zend_hash.h文件中。HashTable中的每一个元素都被保存在一个Bucket结构中，新的结构定义如下：typedef struct _Bucket {zval val;zend_ulong h; /* hash value (or numeric index) */zend_string *key; /* string key or NULL for numerics */} Bucket;新的Bucket的结构已经相当简洁了，不像原来的里面还有链表指针什么的。HashTable的结构定义如下：typedef struct _HashTable {union {struct {ZEND_ENDIAN_LOHI_3(zend_uchar flags,ze ...继续阅读 (29)

背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析基于日志增量订阅&消费支持的业务：数据库镜像数据库实时备份多级索引 (卖家和买家各自分库索引)search build业务cache刷新价格变化等重要业务消息项目介绍名称：canal [kə'næl]译意： 水道/管道/沟渠语言： 纯java开发定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql关键词： mysql binlog parser / real-time / queue&topic;工作原理mysql主备复制实现从上层来看，复制分成三步：master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；slave将master的binary log events拷贝到它的中继日志(relay log)；slave重做中继日志中的事件，将改变反映它自己 ...继续阅读 (37)

开源机器学习工具scikit-learn入门Scikit-Learn是基于python的机器学习模块，基于BSD开源许可证。这个项目最早由DavidCournapeau 在2007 年发起的，目前也是由社区自愿者进行维护。Scikit-Learn的官方网站是http://scikit-learn.org/stable/，在上面可以找到相关的Scikit-Learn的资源，模块下载，文档，例程等等。Scikit-Learn的安装需要numpy，scipy，matplotlib等模块，windows用户可以到http://www.lfd.uci.edu/~gohlke/pythonlibs直接下载编译好的安装包以及依赖，也可以到这个网站下载http://sourceforge.jp/projects/sfnet_scikit-learn/。scikit-learn的基本功能主要被分为六个部分，分类，回归，聚类，数据降维，模型选择，数据预处理，具体可以参考官方网站上的文档。对于具体的机器学习问题，通常可以分为三个步骤，数据准备与预处理，模型选择与训练，模型验证与参数调优，这里以逻辑回归模型为例说明。scikit-learn支持多种格式的数据，包括经典的iris数据，LibSVM格式数据等等。为了方便起见，推荐使用LibSVM格式的数据，详细见LibSVM的官网。from sklearn. ...继续阅读 (36)

SVM原理简介：最大间隔分类器SVM是一种二类分类模型，其求解目标在于确定一个分类的超平面，以最大化特征空间上的间隔。分类超平面的确定只取决于少数的样本信息，这些关键的样本被称之为支持向量Support Vector，这也是SVM—支持向量机名称的由来。首先我们举一个二维空间的小例子，并假设样本是线性可分的，这样我们就可以在二维空间里划一条直线（高维空间的超平面在二维空间表现为直线），完全分开所有的正负样本。那么引出一个问题，显然存在多条区分正负样本的直线（例如下图的实线和虚线），哪条是更好的选择？线性分类超平面从直观上我们希望正负样本分得越开越好，也就是正负样本之间的几何间隔越大越好。这是因为距离分类超平面越近的样本，分类的置信度越低（实际上几何间隔代表了分类器的误差上界）。SVM的优化目标，正是最大化最接近分类超平面的点到分类超平面的距离。我们把这个二维的分类超平面设为f(x)=wTx+b=0。把样本x代入f(x)中，如果得到的结果小于0，我们对该样本标一个-1的类别标签yi，大于0则标一个+1的yi。（约定为+1或-1只是为了下面的推导便利而已）。首先定义函数间隔（function margin）：γˆ=|wTx+b|=yi(wTx+b)注意前面乘上yi可以保证这个margin的非负性（因为f(x)<0对应yi=−1的那些样本）。如下图所示，对任意不在分类超平面上的点xi，我 ...继续阅读 (28)

【技术人员对Go语言思考和选择】《许世伟：云计算时代，我与Go语言难解的缘分》http://www.programmer.com.cn/13730/《许式伟：从关注 Erlang 转向 Go 的原因是什么？》http://www.zhihu.com/question/21729007《许式伟：为什么我们需要一门新的语言，互联网时代的C语言-Go》http://www.docin.com/p-465492390.html《为什么要使用 Go 语言，Go 语言的优势在哪里？》http://www.zhihu.com/question/21409296《使用 Go 语言开发大型 MMORPG 游戏服务器怎么样？》http://www.zhihu.com/question/21098952《我为什么喜欢Go语言》http://www.cnblogs.com/AllenDang/archive/2012/03/03/2378534.html《互联网时代的C语言——Go（1）》http://www.cnblogs.com/andrew-wang/p/3741105.html《互联网时代的C语言——Go（2）》http://www.cnblogs.com/andrew-wang/p/3741725.html《使用Go语言一段时间的感受》http://www.cnblogs.com/sevenyu ...继续阅读 (24)

对微信、陌陌等进行了分析，发出来分享一下（时间有些久了）有兴趣的同学可以加入群：369511307。电量：对于移动设备最大的瓶颈就是电量了。因为用户不可能随时携带电源，充电宝。所以必须考虑到电量问题。那就要检查我们工程是不是有后台运行，心跳包发送时间是不是合理。流量：对于好多国内大部分屌丝用户来说可能还是包月30M，那么我们必须站在广大用户角度来考虑问题了。一个包可以解决的就一个包。网络：这个也是IM最核心的内容了，我们要做到在任何网络下等顺畅聊天那就不容易了，好多公司都用的xmpp框架，如果在强网络环境下，xmpp完全没有问题。但是那种弱网络环境下xmpp就束手无策啦，用户体验就很垃圾了。个人觉得xmpp 可以玩玩， 但是用来真正的产品就差远了。如果遇到一个做IM 的朋友张口闭口都说xmpp 的话，那么不用沟通了，肯定不是什么好产品。微信、QQ以前也曾用过xmpp，但是最后也放弃了xmpp，就知道xmpp有很多弊端了，还有就是报文太大，好臃肿，浪费流量。为了保证稳定，微信用了长链接和短链接相结合，例如：1 、两个域名微信划分了http模式（short链接）和tcp模式（long链接），分别应对状态协议和数据传输协议long.weixin.qq.comdns check（112.64.237.188 112.64.200.218）short.weixin.qq.comdns che ...继续阅读 (32)

dm-cache 与 bcache在 LSFMM 2013 峰会上，Mike Snitzer, Kent Overstreet, Alasdair Kergon, 和 Darrick Wong 共同主持了一个讨论，内容是关于两个彼此独立的块设备层缓存方案 ——dm-cache和bcache。Snitzer 首先介绍了 3.9 kernel 引入的 dm-cache。这个方案使用率内核中的 device mapper 框架，实现了快速设备对慢速的“原始”设备的 writeback 或 writethrough 缓存。Snitzer 介绍到，dm-cache 的原理是使用 device mapper 核心，并在上面增加一个策略层。这个策略层“非常类似”一个插件接口，可以实现不同的策略。这些策略（以及缓存的内容）决定了缓存是否可以命中，是否需要进行数据迁移（在原始设备与缓存设备之间进行某个方向的数据移动）。目前已经实现了包括最近最少用（LRU）、最常使用（MFU）等策略，但目前只有缺省的“mq”策略合并到内核中了，以便减少起初需要测试到的策略数量。文件系统可以为策略提供 hints，比如某些块脏了，或是某些块已经被放弃了。这些信息有助于策略更好地决定块要存储到的位置。之后，Overstreet 介绍了 bcache 的状态更新，后者已经在排队进入 3.10 了。他介绍到，bcache 已 ...继续阅读 (31)

支持向量机简介支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空间表达原始模式。通过适当的到一个足够高维的非线性映射，分别属于两类的原始数据就能够被一个超平面来分隔。如下图所示：空心点和实心点分别代表两个不同的类，H为将两类没有错误的区分开的分类面，同时，它也是一个最优的分类面。原因正如前面所述，当以H为分类面时，分类间隔最大，误差最小。而这里的之间的距离margin就是两类之间的分类间隔。支持向量机将数据从原始空间映射到高维空间的目的就是找到一个最优的分类面从而使得分类间隔margin最大。而那些定义最优分类超平面的训练样本，也就是上图中过的空心点和实心点，就是支持向量机理论中所说的支持向量。显然，所谓支持向量其实就是最难被分类的那些向量，然而，从另一个角度来看，它们同时也是对求解分类任务最有价值的模式。支持向量机的基本思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数来 ...继续阅读 (14)

简介：ansible是新出现的运维工具是基于Python研发的糅合了众多老牌运维工具的优点实现了批量操作系统配置、批量程序的部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。自动化运维工具Ansible详细部署==========================================================================================一、基础介绍==========================================================================================1、简介ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。主要包括：(1)、连接插件connection plugins：负责和被监控端实现通信；(2)、host inventory：指定操作的主机，是一个配置 ...继续阅读 (29)