一、搜索类型：Elasticsearch允许用户选择其所希望的处理查询的方式。因为存在一些不同的情形，对其使用不同的搜索类型才是合适的。为了控制查询的执行方式，我们可以在请求中使用search_type参数，以有下类型可以选择。1、query_and_fetch：通常是最快也是最简单的搜索类型。查询语句在所有需检查的分片上并行执行，并且所有分片返回结果的规划为size参数的取值。因此，该类型返回的 ...继续阅读 (19)

一、自动映射：ES通过查看定义某文档的json格式就能猜测到文档结构，我们称之为自动映射，在开发过程中需要注意这些特性。字段自动检测在某个字段第一次出现时，如果之前没有定义过映射，ES会自动检测它可能满足的类型，然后创建对应的映射。JSON数据ES中的数据类型null不会添加字段true or falsebooleanfloating point numberdoubleintegerlongobjectobjectarray依赖于第一个非null得值string如果通过了date检测，则为date如果通过了numeric检测，则为Number上面就是类型自动检测的结果，除了上面列出的基本类型，其他的高级的类型比如geo,ip就需要手动指定了。日期自动检测日期自动检测，即date_detection是默认开启的，因此只要符合默认的日期格式，就可以自动创建成date类型日期的格式为：["strict_date_optional_time","yyyy/MM/dd HH:mm:ss || yyyy/MM/dd"]例如：$ curl -XPUT localhost:9200/test/test/1-d'{"create":"2015/11/11"}'{"_in ...继续阅读 (152)

一、自动映射：ES通过查看定义某文档的json格式就能猜测到文档结构，我们称之为自动映射，在开发过程中需要注意这些特性。字段自动检测在某个字段第一次出现时，如果之前没有定义过映射，ES会自动检测它可能满足的类型，然后创建对应的映射。JSON数据ES中的数据类型null不会添加字段true or falsebooleanfloating point numberdoubleintegerlongob ...继续阅读 (15)

模式映射用于定义索引结构。在建立mapping映射时需要指定字段的类型，以下详细介绍mapping属性常见字段类型。每个字段类型可以指定为ElasticSearch中某个特定的核心类型。ElasticSearch的核心类型如下：1）字符串类型2）数值类型3）日期型4）布尔型5）二进制型首先介绍一下通用属性。index_name：该属性是存储在索引中的字段名称。如果未指定，则默认为字段定义的对象的名称。通常忽略该属性。index：该属性的取值可为analyzed或no，如果为analyzed，则该字段将被索引，因而是可以搜索的；如果为no，则该字段不可被搜索。默认值是analyzed。字符串型的字段有一个额外的选项－－not_analyzed，意思是该字段会被索引但不需要分析。因此，该字段按原样写入索引，只有完全匹配的搜索才能查到该字段。store：该属性的取值可以为yes或no，用于指定字段的原始值是否存入索引。默认值是no，意味着不能在结果中返回字段的原始值（没有原始值也可以通过_source字段返回原始值）boost：该属性默认为1。用于定义该字段在文档中的重要性，值越高表示该字段的取值越重要。null_value：该属性指定如果某字段在被索引的文档中不存在时应写入何值。默认行为是忽略该字段。include_in_all：该属性指定某字段是否应被包含到_all字段中。默认情况下 ...继续阅读 (164)

模式映射用于定义索引结构。在建立mapping映射时需要指定字段的类型，以下详细介绍mapping属性常见字段类型。每个字段类型可以指定为ElasticSearch中某个特定的核心类型。ElasticSearch的核心类型如下：1）字符串类型2）数值类型3）日期型4）布尔型5）二进制型首先介绍一下通用属性。index_name：该属性是存储在索引中的字段名称。如果未指定，则默认为字段定义的对象的名 ...继续阅读 (18)

日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异常时进行报警，并且开发人员能够查看相关日志。logstash+elasticsearch+kibana3就是实现这样功能的一套系统，并且功能更强大。logstash：是一个管理日志和事件的工具，你可以收集它们，解析它们，并存储它们以供以后使用(例如日志搜索)，logstash有一个内置的web界面，用来搜索你的所有日志。logstash在部署时有两种运行模式：standalone和centralized：   * standalone：standalone的意思是所有的事情都在一台服务器上运行，包括日志收集、日志索引、前端WEB界面都部署在一台机器上。   * centralized：就是多服务器模式，从很多服务器运输(ship)日志到一台总的日志(collector)服务器上用来索引和查找。    需要注意的是logstash本身并没有什么shipper和indexer这种说法，因为不论是运输日志的进程还是汇集总的日志的进程运行的都是同一个程序，只是使用的配置文件不同而已。elasticsearch:    ...继续阅读 (83)

ES中使用自动检测对索引字段进行索引，例如IP、日期自动检测（默认开启）、数字自动检测（默认关闭）进行动态映射自动为文档设定索引，当需要为字段指定特定的类型时，可能使用Mapping在索引生成定义映射，Logstash中默认索引的设置是基于模板的。首先我们需要指定一个默认的映射文件，文件的内容大致如下：{"template":"logstash-*","mappings": {"_default_": {"properties": {"ip":{"type":"ip"} } } } }其中template定义了匹配的索引模式，如果针对于特定的某个索引，则直接写成索引的名字即可。下面定义了映射的相关信息，与API的内容相同。有了上面的配置文件，就可以在Logstash中配置output插件了：output { elasticsearch { host=>"localhost"#ES的服务器地址 protocol=>"http"#使用的协议，默认可能会使用Node，具体还要看机器的环境 ...继续阅读 (207)

Elasticsearch支持很多查询方式，除了通过9300（默认）端口通过TCP协议进行查询，另一种就是DSL，它是把请求写在JSON里面，然后进行相关查询。一个DSL例子GET _search{  "query": {     "bool": {       "must": [        { "match": { "name":   "Jim" }},         { "match": { "city": "Guangzhou" }}        ],      "filter": [         { "term":  { "weight": "60" }},     &nb ...继续阅读 (135)

Built-in AnalyzersHowever, Elasticsearch also ships with prepackaged analyzers that you can use directly. We list the most important ones next and, to demonstrate the difference in behavior, we show what terms each would produce from this string:"Set the shape to semi-transparent by calling set_trans(5)"Standard analyzerThe standard analyzer is the default analyzer that Elasticsearch uses. It is the best general choice for analyzing text that may be in any language. It splits the text on word boundaries, as defined by theUnicode Consortium, and removes most punctu ...继续阅读 (21)

关于String类型——分词与不分词在Elasticsearch中String是最基本的数据类型，如果不是数字或者标准格式的日期等这种很明显的类型，其他的一般都会优先默认存储成String。同样的数据类型，Elasticsearch也提供了多种存储与分词的模式，不同的模式应用于不同的场景。很多人在初次使用Elasticsearch时，都会很纳闷...为什么我存储的一句话，却查询不到？为什么我输入了汉语单词，只能一个字一个字的匹配？为什么我的url查询不到？等等，这些都与是否分词、使用什么分词器有关。首先说说什么是分词器吧! 比如我爱你中国！如果是标准分词器，会把它拆分成，“我”，“爱”，“你”，“中”，“国”。如果使用一些汉语的分词器，则会分析成，“我”，“爱”，“你”，“中国”。由于倒排索引都是以词Term为索引的，因此如果分解成了一个一个的词，查询“中国”的时候，中国也会被分解成“中”，“国”，这样就可能误查到”发展中国家“这样的词。再说说Elasticsearch中的分词器吧！不光是在索引文档（把数据导入到Elasticsearch中），在查询的时候也需要分词器。只有索引和查询的时候使用相同的分词器，才能查询出正确的结果。但是有时候，我们并不想把一串String给分析，想把它当做一个完整的词。比如www.baidu.com吉林省 长春市 卫星路 6543号此时，只要设置字段为 ...继续阅读 (40)

我们简单的讲解一下什么是全文检索。比如，我们一个文件夹中，或者一个磁盘中有很多的文件，记事本、world、Excel、pdf，我们想根据其中的关键词搜索包含的文件。例如，我们输入Lucene，所有内容含有Lucene的文件就会被检查出来。这就是所谓的全文检索。因此，很容易的我们想到，应该建立一个关键字与文件的相关映射，下图很明白的解释了这种映射如何实现。在Lucene中，就是使用这种“倒排索引”的技术，来实现相关映射。 有了这种映射关系，我们就来看看Lucene的架构设计。下面是Lucene的资料必出现的一张图，但也是其精髓的概括。 我们可以看到，Lucene的使用主要体现在两个步骤：1 创建索引，通过IndexWriter对不同的文件进行索引的创建，并将其保存在索引相关文件存储的位置中。2 通过索引查寻关键字相关文档。 下面针对官网上面给出的一个例子，进行分析：1Analyzer analyzer =newStandardAnalyzer(Version.LUCENE_CURRENT);23//Store the index in memory:4Directory directory =newRAMDirectory();5//To store an index on disk, use this instead:6//Directory dire ...继续阅读 (21)

1.1. Scaling Lucene怎样在Lucene之上构建一个分布式、高度伸缩、接近实时的搜索引擎呢？让我们回顾一下在搜索引擎（基于lucene）伸缩性这条路上都做了那些尝试，并且elasticsearch是如何尝试并去解决这些挑战的。首先我们了解下最基础的理论知识 building blocks （这些理论基础是构建分布式近实时搜索引擎的基础）。 接着我们研究一下到底哪种才是最佳的分区策略 partitioning （将lucene索引文档分割到多个分布式的分片中去）。 然后我们同样需要决定使用哪种分区复制方式 replication （复制能够保证系统的高可用以及提高搜索的吞吐）。 最后，我们再看一下事务日志 transaction log （事务日志在elasticsearch里面是一个保证数据一致性的非常酷的功能）。1.1.1. Building Blocks当我们要构建一个分布式接近实时的搜索引擎，并且要让lucene可伸缩可扩展，必须首先知道lucene的关键概念以及它们与我们要达成目标的一些局限性.DirectoryLucene Directory 是一个抽象的文件系统的接口 ...继续阅读 (58)

1.1. 与集群交互可以通过两种方式来连接到elasticsearch（简称es）集群，第一种是通过在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。1.1.1. Node方式创建嵌入节点的方式如下：    import static org.elasticsearch.node.NodeBuilder.*;        //启动节点       Node node = nodeBuilder().node();       Client client = node.client();        //关闭节点      node.close(); &nb ...继续阅读 (72)

elasticsearch-headelasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es。或直接下载源码，在本地打开index.html运行它。该工具的git地址是： https://github.com/Aconex/elasticsearch-head 插件安装方法：1.elasticsearch/bin/plugin -install Aconex/elasticsearch-head2.运行es3.打开http://localhost:9200/_plugin/head/不想通过插件集成到es的话就可以直接在git上下载源码到本地运行。在地址栏输入es服务器的ip地址和端口点connect就可以连接到集群。下面是连接后的视图。这是主界面，在这里可以看到es集群的基本信息（如：节点情况，索引情况）。界面的右边有些按钮，如：node stats， cluster nodes，这些是直接请求es的相关状态的api，返回结果为json，如下图：在索引下面有info和action两个按钮。info是可以查看索引的状态和mapping的定义。action是对索引进行操作，如：添加别名、刷新、关闭索引，删除索引等。bro ...继续阅读 (42)

1.1. 基本配置elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: "Franz Kafka"节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。node.master: true指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。node.data: true指定该节点是否存储索引数据，默认为true。index.number_of_shards: 5设置默认索引分片个数，默认为5 ...继续阅读 (254)

当你使用 索引 API来更新一个文档时，我们先看到了原始文档，然后修改它，最后一次性地将整个新文档进行再次索引处理。Elasticsearch会根据请求发出的顺序来选择出最新的一个文档进行保存。但是，如果在你修改文档的同时其他人也发出了指令，那么他们的修改将会丢失。但是有些时候如果我们丢失了数据就会出大问题。想象一下，如果我们使用Elasticsearch来存储一个网店的商品数量。每当我们卖出一件，我们就会将这个数量减少一个。突然有一天，老板决定来个大促销。瞬间，每秒就产生了多笔交易。并行处理，多个进程来处理交易：web_1 中 库存量 的变化丢失的原因是 web_2 并不知道它所得到的 库存量 数据是是过期的。这样就会导致我们误认为还有很多货存，最终顾客就会对我们的行为感到失望。当我们对数据修改得越频繁，或者在读取和更新数据间有越长的空闲时间，我们就越容易丢失掉我们的数据。有两种能避免在并发更新时丢失数据的方法：悲观并发控制（PCC）这一点在关系数据库中被广泛使用。假设这种情况很容易发生，我们就可以组织对这一资源的访问。典型的例子就是当我们在读取一个数据前先锁定这一行，然后确保只有读取到数据的这个线程可以修改这一行数据。乐观并发控制（OCC）Elasticsearch所使用的。假设这种情况并不会经常发生，也不会去组织某一数据的访问。然而，如果基础数据在我们读取和写入的间隔中发生了 ...继续阅读 (70)

Elasticsearch是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据，而往往大家并没有在某个项目一开始就预料到需要这些功能。Elasticsearch之所以出现就是为了重新赋予硬盘中看似无用的原始数据新的活力。Elasticsearch每一个独立的部分都不是新创的。比如全文搜索早就已经被实现，统计系统和分布式数据库也早已存在。但是革命之处在于能将这些独立的功能结合成一个连贯、实时处理的整体。对于新用户，它的门槛也很低，当然他也会因为你的强大而变得更强大。很不幸的是，目前的大部分数据库在提取数据方面都是非常的薄弱的。虽然它们可以通过精准的时间戳或者确切的数值来进行内容的筛选，但是它们可以在全文搜索时做到同义词或者相关性搜索吗？他们可以汇总相同内容数据吗？最重要的是，每对如此巨大的数据量，它们能做到实时处理吗？在Elasticsearch中，每一个字段都会默认被建立索引。也就是说，每一个字段都会有一个反向索引以便快速搜索。而且，与大多数其他数据库不同的是ES可以在同一个查询中使用所有的反向索引，以惊人的速度返回查询结果。这便是Elasticsearch如此突出的理由：Elasticsearch可以帮助你浏览并利用已经快要烂在数据库里的那些极难查询的数据。了解搜索Elasticsearch是一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引 ...继续阅读 (32)

网上找来别人翻译的文章，对于学习Elasticsearch，掌握以下基本概念非常重要，你可以试着将以下概念和mysql（库、表、数据行、字段）进行对位。基本概念Elasticsearch 有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。接近实时（NRT）Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1 秒）。集群（cluster）一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。节点（node）一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch 集群中的哪些节点。一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下， ...继续阅读 (67)

这里有一篇模拟chorme UA的文章：http://stackoverflow.com/questions/21155750/how-do-i-modify-google-chrome-user-agent-string-with-robot-framework那么，如果模拟firefox的UA呢？一段简单的脚本代码：脚本运行后，打开firefox，从firebug中可以看到UA与脚本中使用的UA相同。 ...继续阅读 (70)

TCP的错误恢复我是我们定位、诊断、并最终修复网络高延迟的最好工具。1.TCP重传      重传数据包是TCP最基本的错误恢复特性之一，它被设计用来对付数据包丢失。     数据包丢失可能有很多原因，包括出故障的应用程序、流量负载沉重的路由器，或者临时性的服务中断。数据包层次上的移动速度非常快，而且数据包丢失通常是暂时的，因此TCP能否检测到数据包丢失并从中恢复显得至关重要。     决定是否有必要重传数据包的主要机制叫做重传计时器。这个计时器负责维护一个叫重传超时（Retransmission timeout RTO）的值。每当使用TCP传输一个数据包时，就启动重传计时器。当收到这个数据包的ACK时，计时器停止。从发送数据包到接收ACK确认之间的时间被称为往返时间（Round-trip time RTT），将若干个这样的时间平均下来，可算出最终的RTO值。      在最终算出RTO之前，传输操作系统将一直依赖于默认配置的RTT值。此项设定于主机间的初始通信，并基于接收到的数据包RTT进行调整，以形成真正的RTO。一旦RTO确定下来，重传定时器就被用于每个传输的数据包，以确定数据包 ...继续阅读 (223)

1.1、数据包嗅探器工作原理1、收集，数据包嗅探器从网络线缆上收集原始二进制数据。通过情况下，通过将选定的网卡设置成混杂模式来完成抓包。该模式下网卡将抓取一个网段上所有的网络通信流量，而不仅是发往它的数据包。2、转换，将捕获的二进制数据转换成可读形式。3、分析，对捕获和转换后的数据进行真正的深入分析。1.2 网络通信原理1.2.1协议现代网络是由多种运行在不同平台上的异构系统组成。为了使它们之间能够相互通信，我们使用了一套共同的网络语言，并称之为协议。常见的网络协议包括传输控制协议（TCP）、互联网协议（IP）、地址解析协议（ARP）和动态主机配置协议（DHCP）。一个网络协议可以非常简单，也可能非常复杂，这取决于它的功能。尽管各种协议往往有着巨大的差异，但它们通常用来解决以下问题：1）发起连接：由客户端还是服务器端发起连接？在真正通信之前必须要交换哪些信息？2）协商连接参数：通信需要进行协议加密码？加密密钥如何在通信双言之间进行传输？3）数据格式：通信数据在数据包中如何排列？数据到达接收设备时以什么样的顺序进行处理？4）错误检测与校正：当数据包花了太长的时间才到达目的地时如何处理？当客户端暂时无法和服务器建立通信 时，该如何恢复连接？5）连接终止：一台主机如何告知另一台主机通信已经结束了？如何礼貌地终止通信？1.2.2 七层OSI参考模型OSI参考模型只是一个行业建议标准，协议开 ...继续阅读 (96)

在Linux下安装PHP过程中，编译时出现configure: error: libjpeg.(a|so) not found 错误的解决办法:检查之后发现已经安装libjpeg，但是/usr/lib目录下没有libjpeg.so这个文件，在/usr/lib64下是有的，使用–with-jpeg-dir=/usr/lib64 依然无效，最后用ln -s /usr/lib64/libjpeg.so /usr/lib/libjpeg.so问题解决libpng报错解决方法一样 ...继续阅读 (45)

1. 临时修改：使用export，例如#export PATH=$PATH:/etc/apache/bin2. 针对用户的修改：vi ~/.bash_profile加入：export PATH=$PATH:/etc/apache/bin然后source ~/.bash_profile3. 全局修改(root权限)：vi /etc/profile文件，加入：export PATH=$PATH:/etc/apache/bin然后source /etc/profile ...继续阅读 (42)

一、概述memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached 不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。最常见的分布算法有余数分布算法（结构简单，增减服务节点时对命中率影响相对较大）与一致哈希算法（算法相对复杂，使用虚拟节点，使缓存分布更加均匀，增减服务器节点对缓存命中率影响相对较小），各有利弊。hash取模的方式。比如集群中可用机器适量为N，那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。这种结构是简单的，也是实用的。但是在一些高速发展的web系统中，这样的解决方案仍有些缺陷。随着系统访问压力的增长，缓存系统不得不通过增加机器节点的方式提高集群的相应速度和数据承载量。增加机器意味着按照hash取模的方式，在增加机器节点的这一时刻，大量的缓存命不中，缓存数据需要重新建立，甚至是进行整体的缓存数据迁移，瞬间会给DB带来极高的系统负载，甚至导致DB服务器宕机。二、一致性哈希（此下内容为转载，基本原理与算法介绍在http://blog.csdn.net/xifeijian/article/details/21994941中也有描述）1、 hash机器节点首先求出机器节点的hash值（怎么算机器节点的hash？ip可以作为hash的参数吧。。当然还有其他的方法了），然后将其分布到 ...继续阅读 (36)

Memcached stats命令，对于查看Memcache运行状态来说，是非常有用的。telnet到memcached服务器后有很多的命令可以使用，除了大家熟知的add、get、set、incr、decr、replace、delete等赋值命令外，还有一系列的获取服务器信息的命令，这部分命令都是以stats开头的。常用的命令：stats显示服务器信息、统计数据等stats reset清空统计数据stats cachedump slab_id limit_num显示某个slab中的前limit_num个key列表，显示格式如下ITEM key_name [ value_length b; expire_time|access_time s]，其中，memcached 1.2.2及以前版本显示的是 访问时间(timestamp)，1.2.4以上版本，包括1.2.4显示过期时间(timestamp)，如果是永不过期的key，expire_time会显示为服务器启动的时间stats cachedump 7 2ITEM copy_test1 [250 b; 1207795754 s]ITEM copy_test [248 b; 1207793649 s]注意：不要试图通过此命令导出Memcache服务中某个slab的所有Key列表，该命令默认只返回1M的内存数据。stats slabs ...继续阅读 (52)

一、Memcache内存分配机制首先了解以下几个概念：Page分配给Slab 的内存空间，默认是1MB。分配给Slab 之后根据slab 的大小切分成chunk。Chunk用于缓存记录的内存空间。Slab Class特定大小的chunk 的组Page为内存分配的最小单位。Memcached的内存分配以page为单位，默认情况下一个page是1M，可以通过-I参数在启动时指定。如果需要申请内存时，memcached会划分出一个新的page并分配给需要的slab区域。page一旦被分配在重启前不会被回收或者重新分配（page ressign已经从1.2.8版移除了）Slabs划分数据空间。Memcached并不是将所有大小的数据都放在一起的，而是预先将数据空间划分为一系列slabs，每个slab只负责一定范围内的数据存储。如下图，每个slab只存储大于其上一个slab的size并小于或者等于自己最大size的数据。例如：slab 3只存储大小介于137 到 224 bytes的数据。如果一个数据大小为230byte将被分配到slab 4中。从下图可以看出，每个slab负责的空间其实是不等的，memcached默认情况下下一个slab的最大值为前一个的1.25倍，这个可以通过修改-f参数来修改增长因子。Chunk才是存放缓存数据的单位。Chunk是一系列固定的内存空间，这个大小就是管理它 ...继续阅读 (39)

是不是想要一个类似top的命令来显示memcache的状态，以便对memcache进行直观的分析，相信memcahce top可以满足你的要求。memcache-top的project地址如下：http://code.google.com/p/memcache-top/下载后只有一个文件，可以vi打开它并进行memcached集群配置，多个节点之间以逗号分隔，这样就可以一次性看到所有集群的memcache状态了。# List of servers/ ports to query.@default_instances = ('127.0.0.1:11211',);运行前要确保memcache-top脚本具有可执行权限，然后使用./执行即可。其中，memcache-top比较重要的几个参数包括：–commands: 显示GETS/SETS命令的调用次数–sleep: 刷新间隔，默认为3秒–lifetime: 显示自memcached启动以来的累计统计值，默认关闭，即仅显示瞬时速率。 ...继续阅读 (40)

检测命中率是一个最基本的、最宏观的方式，使用telnet连接到memcached服务器，然后执行stats命令就可以看到宏观的一些信息。这个命令中比较关键的属性是get_hits和get_misses，get_hits表示读取cache命中的次数，get_misses是读取失败的次数，即尝试读取不存在的缓存数据。命中率=get_hits / (get_hits + get_misses)：命中率越高说明cache起到的缓存作用越大。但是在实际使用中，这个命中率不是有效数据的命中率，有些时候get操作可能只是检查一个key存在不存在，这个时候miss也是正确的，这就像用memcached作为一种定时器，将一些临时数据在memcache中存放特定时间长度，业务逻辑会根据cache是否存在而作不同的逻辑，这种数据其实已经不是单纯的缓存了，也不应该统计到命中率中。再者，这个命中率是从memcached启动开始所有的请求的综合值，不能反映一个时间段内的情况，所以要排查memcached的性能问题，还需要更详细的数值。但是高的命中率还是能够反映出memcached良好的使用情况，突然下跌的命中率能够反映大量cache丢失的发生。Stats items：Stats items命令可以查看每个slab中存储的item的一些详细信息。关键属性有：最后被剔除的数据在cache中存放的时间，以秒为单位s ...继续阅读 (86)

HashMap的值是没有顺序的，它是按照key的HashCode来实现的。对于这个无序的HashMap我们要怎么来实现排序呢？（TreeMap类似）import java.util.ArrayList; import java.util.Arrays; import java.util.Collections; import java.util.Comparator; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry;Mapmap = new HashMap();map.put("c", 33333L);map.put("a", 11111L);map.put("d", 44444L);map.put("e", 55555L);map.put("b", 22222L);//将map.entrySet()转换成listList> list = new ArrayList>(map.entrySet());Collections.sort(list, new Comparator>() {//降序排序@Overridepublic int compare(Entryo1, Entryo2) {//return o1.getValue().co ...继续阅读 (33)

HTTP没有为用户提供一种手段来区分响应是缓存命中的，还是访问原始服务器得到的。客户端有一种方法能判断响应是否来自缓存，就是使用Date首部。将响应中Date首部的值与当前时间进行比较，如果响应中的日期值比较早，客户端通常就可以认为是来自缓存的；客户端也可以通过Age首部来检测缓存的响应，通过这个首部可以分辨出这条响应的使用期。否则，则认为是来自原始服务器中的。Date：Date头域表示消息发送的时间，时间的描述格式由RFC822定义。例如，Date: Thu, 11 Jul 2015 15:33:24 GMT。Age：当代理服务器用自己缓存的实体去响应请求时，用该头部表明该实体从产生到现在经过多长时间了。以下以请求百度为例，get http://www.baidu.com/，返回200，响应Date从下图可以看到。再看另一个静态资源请求，get http://s1.bdstatic.com/r/www/cache/static/jquery/jquery-1.10.2.min_f2fb5194.js，HTTP响应码为304，Date和Age在下图中可以看到，Date与主请求http://www.baidu.com/一致，未命中代理缓存服务器，该资源从原始服务器中获得。假设该请求Date比当前时间要早，并且如果Date+Age(秒）与主请求http://www.baidu.com/ ...继续阅读 (100)