Redis监控工具,命令和调优1.图形化监控因为要对Redis做性能测试，发现了GitHub上有个python写的RedisLive监控工具评价不错。结果鼓捣了半天，最后发现其主页中引用了Google的jsapi脚本，必须在线连接谷歌的服务，Stackoverflow上说把js脚本下载到本地也没法解决问题，坑爹！正要放弃时发现了一个从RedisLive fork出去的项目redis-monitor，应该是国人改的吧，去掉了对谷歌jsapi的依赖，并完善了多Redis实例的管理，最终终于看到了久违的曲线图。首先要保证安装了python。之后下载下列python包安装。可以手动下载tar.gz解压后执行python setup.py install逐一安装，或直接用pip下载：tornado：一个python的web框架redis.py：python的redis客户端python-dateutilbackports.ssl_match_hostnameargparsesetuptoolssix之后从GitHub上下载解压redis-monitor-master，修改src/redis_live.conf。必须配置一个单独的Redis实例存储监控数据，同时可以配置多个要监控的Redis实例。之后启动redis-monitor有些麻烦，需要启动两个前台进程和两个后台进程：#in src/s ...继续阅读 (503)

不觉间已经工作六年，回想第一天实习的场景历历在目、恍若昨日。六年已足以令许多人转管理、转产品、转测试、转行，也一定有人还在坚守着编码，只因热爱。遇到过形形色色的经理、架构师、运维、性能工程师等等，还是觉得写代码的才是最厉害的！在这里分享一些这些年来修习到的个人心得。也许并不适用于其他人，但对于我却都是最珍贵的“宝藏”。也谨以此文纪念在代码堆里度过的青春~ 看到这些点点滴滴的收获，就会感到所有逝去的光阴和挥洒的汗水都是值得的。1.启动：得心应手的工具1.1 全能IDE关于IDE，目前我使用Intellj IDEA和Sublime Text来应对各种语言的开发。在大学期间初学Java时曾使用过MyEclipse，后来职业生涯的前期很自然的过渡到了更加灵活的Eclipse。但两年前经过不断的试用丢弃再试用，最终我成功从Eclipse转投到了Intellij IDEA阵营。在那之后就一发不可收拾，不仅重度使用Intellij，而且还短暂试用过JetBrains旗下的各种产品，Phpstorm，Pycharm，RubyMine包括最新的Clion。Google也选择Intellij作为其Android Studio的基础。作为Java开发者，当然最钟爱的还是Intellij，其智能程度实在是太震撼了！强烈建议还在观望的同学们去官网上看一下介绍它的各种操作的小动图。好像很容易地，Intellj ...继续阅读 (88)

豆瓣Redis解决方案Codis源码剖析：Dashboard1.不只是Dashboard虽然名字叫Dashboard，但它在Codis中的作用却不可小觑。它不仅仅是Dashboard管理页面，更重要的是，它负责监控和指挥各个Proxy的负载均衡(数据分布和迁移)。并且，所有API都以RESTFul接口的形式对外提供，供Proxy和codis-config(Codis的命令行工具)调用。下面就来看一下数据分布和迁移的代码执行流程。Dashboard涉及到的知识点比较多，包括Martini框架、Model模型层、数据的负载均衡分配、Redis中Slot的实现、ZooKeeper的Sequential结点实现消息队列、迁移过程中的数据访问等等。与此同时，本篇还记录了在研究过程中的发散思考，例如Java中的AR模型层。虽然内容稍有些庞杂，但都是真实的记录，相信于人于己都会有很大帮助。2.Dashboard2.1 codis-config命令行codis-config是cmd/cconfig下编译出的命令行工具，它以命令行的形式提供对Codis常用命令的支持，例如启动Dashboard、初始化slot以及migrate，后两者会被封装成REST请求发送到Dashboard执行。下面简单看一下main.go的源码：funcmain() { ... args, err := do ...继续阅读 (305)

1.编译安装ipvsadm首先从LVS官网下载tarball，解压后make && make install即可。要注意的是LVS的依赖有：popt-static、libnl、kernel。如果yum源里有就直接安装，如果没有就自行下载，但一定要对应上已有软件如popt或Linux内核的版本。$ tar -xzvf ipvsadm-1.26.tar.gz $ cd ipvsadm-1.26$ make make -C libipvs make[1]: Entering directory`/root/lvs/ipvsadm-1.26/libipvs' gcc -Wall -Wunused -Wstrict-prototypes -g -fPIC -DLIBIPVS_USE_NL -DHAVE_NET_IP_VS_H -c -o libipvs.o libipvs.c gcc -Wall -Wunused -Wstrict-prototypes -g -fPIC -DLIBIPVS_USE_NL -DHAVE_NET_IP_VS_H -c -o ip_vs_nl_policy.o ip_vs_nl_policy.c ar rv libipvs.a libipvs.o ip_vs_nl_policy.o ar: creating libipvs.a a - libipvs.o a ...继续阅读 (120)

豆瓣Redis解决方案Codis安装使用1.安装1.1 Golang环境Golang的安装非常简单，因为官网被墙，可以从国内镜像如studygolang.com下载。[root@vmroot]$ tar -C /usr/local -zxf go1.4.2.linux-amd64.tar.gz [root@vmroot]$ vim /etc/profileexportGOROOT=/usr/local/goexportPATH=$GOROOT/bin:$PATHexportGOPATH=/home/user/go [root@vmroot]$ source /etc/profile [root@vmroot]$ goversion注意：操作系统的软件仓库如apt-get或yum安装的Golang版本可能比较老，要卸载后重新手动安装。以我的Linux Mint为例，安装时apt-get install golang指定的其实是个meta，卸载时要指定apt-get remove golang-go才能卸载干净。1.2 Codis源码包GitHub上的官方安装指导是这样写的：[root@vmroot]$go get -d github.com/wandoulabs/codis [root@vmroot]$cd$GOPATH/src/github.com/wandoulabs/codi ...继续阅读 (170)

六星经典CSAPP-笔记(12)并发编程(上)1.并发(Concurrency)我们经常在不知不觉间就说到或使用并发，但从未深入思考并发。我们经常能“遇见”并发，因为并发不仅仅是操作系统内核的“绝招”，它也是应用开发中必不可少的技巧：访问慢I/O设备：就像当应用程序等待I/O中的数据时内核会切换运行其他进程一样，我们的应用也可以用类似的方式，将I/O请求与其他工作重叠从而挖掘并发的潜能。推迟工作而减少延迟：我们可以推迟一些耗时工作稍后执行，例如内存分配器不在free时整理碎片，而是将这些琐屑的工作推迟到一个稍后执行的独立“逻辑流”(logical flow)中。服务多个网络客户端：如果没有并发，一个慢客户端将会阻塞整个Web服务器，这是不现实的！所以我们需要为每个客户端都创建独立的逻辑流，避免某个客户端独占整个服务器。多核上并行计算：将程序切分成多个逻辑流并发执行，在多核环境中可能被分配到不同的核心上执行，从而实现了并行。现代操作系统提供三种基本方法构建上述这些并发程序：进程(Process)：进程由操作系统维护和调度，每个进程都有独立的虚拟地址空间，进程间交互要靠IPC机制。I/O多路复用(I/O multiplexing)：在进程的上下文中，应用程序“显式地”调度自己的逻辑流。逻辑流被构建为状态机，当文件描述符上有数据到达时，main程序显式地将它从一种状态转移到另一种状态。线 ...继续阅读 (114)

豆瓣Redis解决方案Codis源码剖析：Proxy代理1.预备知识1.1 CodisCodis就不详细说了，摘抄一下GitHub上的一些项目描述：Codis is a proxy based high performance Redis cluster solution written in Go/C, an alternative to Twemproxy. It supports multiple stateless proxy with multiple redis instances and is engineered to elastically scale, Easily add or remove redis or proxy instances on-demand/dynamicly.Auto rebalanceSupport both redis or rocksdb transparentlyGUI dashboard & admin toolsSupports most of Redis commands, Fully compatible with twemproxyNative Redis clients are supportedSafe and transparent data migration, Easily add or remove node ...继续阅读 (469)

序列化战争：主流序列化框架BenchmarkGitHub上有这样一个关于序列化的Benchmark，被好多文章引用。但这个项目考虑到完整性，代码有些复杂。为了个人学习，自己实现了个简单的Benchmark测试类，也算是总结一下当今主流序列化框架的用法。1.序列化的战争按照序列化后的数据格式，主流的序列化框架主要可以分为四大类：JSON、二进制、XML、RPC。从更高层次来说，JSON和XML都可以算作是文本类的，而RPC类因为不只是序列化，框架往往还提供了底层RPC以及跨语言代码生成等基础设施，所以单列作一类。具体说来，本次测试涵盖了以下这些：JSON类非常流行的JacksonGoogle的Gson类JSON的MessagePack阿里的FastJSON二进制类老牌劲旅Hessian(以前很喜欢用的)功能全面而强大的FST后起之秀KryoXML类StAX(Streaming API for XML)Thoughwork的XStreamRPC类Protobuf：这里“偷了点懒”，因为Protobuf和Thrift都要安装、编译，所以这里使用了Protostuff，可以在运行时自动获取对象的Schema信息，省去了额外安装和手动编写协议格式文件的过程(Protostuff真是太好了！)。Thrift、Apache Avro：同上，都需要预编译。Why does Jackson-JSON ...继续阅读 (396)

Java程序员的Golang入门指南(下)4.高级特性上面介绍的只是Golang的基本语法和特性，尽管像控制语句的条件不用圆括号、函数多返回值、switch-case默认break、函数闭包、集合切片等特性相比Java的确提高了开发效率，但这些在其他语言中也都有，并不是Golang能真正吸引人的地方。不仅是Golang，我们学习任何语言当然都是从基本语法特性着手，但学习时要不断地问自己：使这门语言区别于其他语言的”独到之处“在哪？这种独到之处往往反映了语言的设计思想、出发点、要解决的”痛点“，这才是一门语言或任何技术的立足之本。4.1 goroutinegoroutine使用go关键字来调用函数，也可以使用匿名函数。可以简单的把go关键字调用的函数想像成pthread_create。如果一个goroutine没有被阻塞，那么别的goroutine就不会得到执行。也就是说goroutine阻塞时，Golang会切换到其他goroutine执行，这是非常好的特性！Java对类似goroutine这种的协程没有原生支持，像Akka最害怕的就是阻塞。因为协程不等同于线程，操作系统不会帮我们完成“现场”保存和恢复，所以要实现goroutine这种特性，就要模拟操作系统的行为，保存方法或函数在协程“上下文切换”时的Context，当阻塞结束时才能正确地切换回来。像Kilim等协程库利用字节码生 ...继续阅读 (108)

用Netty解析Redis网络协议根据Redis官方文档的介绍，学习了一下Redis网络通信协议。然后偶然在GitHub上发现了个用Netty实现的Redis服务器，很有趣，于是就动手实现了一下！1.RESP协议Redis的客户端与服务端采用一种叫做RESP(REdis Serialization Protocol)的网络通信协议交换数据。RESP的设计权衡了实现简单、解析快速、人类可读这三个因素。Redis客户端通过RESP序列化整数、字符串、数据等数据类型，发送字符串数组表示参数的命令到服务端。服务端根据不同的请求命令响应不同的数据类型。除了管道和订阅外，Redis客户端和服务端都是以这种简单的请求-响应模型通信的。具体来看，RESP支持五种数据类型。以”*”消息头标识总长度，消息内部还可能有”$”标识字符串长度，每行以\r\n结束：简单字符串(Simple String)：以”+”开头，表示正确的状态信息，”+”后就是具体信息。许多Redis命令使用简单字符串作为成功的响应，例如”+OK\r\n”。但简单字符串因为不像Bulk String那样有长度信息，而只能靠\r\n确定是否结束，所以Simple String不是二进制安全的，即字符串里不能包含\r\n。错误(Error)：以”-“开头，表示错误的状态信息，”-“后就是具体信息。整数(Integer)：以”:”开头，像S ...继续阅读 (103)

Java程序员的Golang入门指南1.序言Golang作为一门出身名门望族的编程语言新星，像豆瓣的Redis平台Codis、类Evernote的云笔记leanote等。1.1 为什么要学习如果有人说X语言比Y语言好，两方的支持者经常会激烈地争吵。如果你是某种语言老手，你就是那门语言的“传道者”，下意识地会保护它。无论承认与否，你都已被困在一个隧道里，你看到的完全是局限的。《肖申克的救赎》对此有很好的注脚：[Red] These walls are funny. First you hate ‘em, then you get used to ‘em. Enough time passes, you get so you depend on them. That’s institutionalized.这些墙很有趣。起初你恨它们，之后你习惯了它们。随着时间流逝，你开始以来它们。这就是体制。在你还没有被完全“体制化”时，为何不多学些语言，哪怕只是浅尝辄止，潜移默化中也许你的思维壁垒就松动了。不管是Golang还是Ruby还是其他语言，当看到一些语法习惯与之前熟悉的C和Java不同时，的确潜意识里就会产生抵触情绪，觉得这不好，还是自己习惯的那套好。长此以往，如果不能冲破自己的心理，“坐以待毙”，被时间淘汰恐怕只是早晚的事儿。所以这里的关键也不是非要学习Golang，而是要不断地学！1. ...继续阅读 (98)

Apache Curator入门实战Curator是Netflix公司开源的一个Zookeeper客户端，与Zookeeper提供的原生客户端相比，Curator的抽象层次更高，简化了Zookeeper客户端的开发量。1.Zookeeper安装部署Zookeeper的部署很简单，如果已经有Java运行环境的话，下载tarball解压后即可运行。[root@vmTemp]$wgethttp://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz [root@vmTemp]$tar zxvf zookeeper-3.4.6.tar.gz [root@vmTemp]$cd zookeeper-3.4.6[root@vmzookeeper-3.4.6]$cp conf/zoo_sample.cfg conf/zoo.cfg [root@vmzookeeper-3.4.6]$exportZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.5[root@vmzookeeper-3.4.6]$exportPATH=$ZOOKEEPER_HOME/bin:$PATH[root@vmzookeeper-3.4.6]$bin/zkServer.sh start [root ...继续阅读 (284)

C实战：强大的程序调试工具GDB1.基本调试这里只列举最最常用的GDB命令。1.1 启动GDBgdbprogram：准备调试程序。也可以直接进入gdb，再通过file命令加载。1.2 添加断点bfunction：为函数设置断点。b是break的缩写，除了函数名，还可以是地址、当前执行处的+/-偏移等。1.3 运行程序runargs：开始运行程序，run后面可以加程序需要的参数，就像在命令行正常运行时那样。1.4 单步调试s/n/si/c/kill：s即step in，进入下一行代码执行；n即step next，执行下一行代码但不进入；si即step instruction，执行下一条汇编/CPU指令；c即continue，继续执行直到下一个断点处；kill终止调试；quit退出GDB。1.5 打印调试信息bt：bt是backtrace的缩写，打印当前所在函数的堆栈路径。info frameid：打印选中的栈帧的信息。info args：打印选中栈帧的参数。printvariable：打印指定变量的值。list：列出相应的源代码。info registers：查看所有寄存器的值。还有个更灵活强大的是直接打印%esp开始的前N个元素，例如打印栈上前10个元素就是：x/10x $sp。2.GDB实战下面是一个使用了上述命令的实战例子：[root@BC-VM-edce4ac67d30407 ...继续阅读 (157)

CSAPP缓冲区溢出攻击实验(下)3.3 Level 2: 爆竹实验要求这一个Level的难度陡然提升，我们要让getbuf()返回到bang()而非test()，并且在执行bang()之前将global_value的值修改为cookie。因为全局变量与代码不在一个段中，所以我们不能让缓冲区一直溢出到.bss段（因为global_value初始化为0，所以它会被放在.bss而非.data段以节省空间）覆盖global_value的值。若修改了.bss和.text之间某些只读的段会引起操作系统的“警觉”而报错。所以在进入bang()之前我们需要执行一小段我们自己的代码去修改global_value，这一段代码就叫做exploit code。intglobal_value =0;voidbang(intval) {if(global_value == cookie) {printf("Bang!: You set global_value to 0x%x\n", global_value); validate(2); }elseprintf("Misfire: global_value = 0x%x\n", global_value);exit(0); }第一步：bang()和global_value地址我们驾轻就熟地得到bang()的入口地址0x08048e1 ...继续阅读 (135)

程序员的自我修养：(1)目标文件1.目标文件1.1 编译与链接在使用像Visual Studio或Qt Creator等IDE时，通常有一个叫做“构建”的按钮。当编辑完成要运行和测试时点一下它，程序就能跑起来了，所以我们很少关心编译和链接。其实，编译和链接合并在一起就称为构建(Build)。简单的一次按键，实际背后却是异常复杂的过程：预编译(Preprocessing)编译(Compilation)扫描：算法类似有限状态机(FSM)，将字符转换成Token。语法分析：分析Token生成语法树(Syntax Tree)。语义分析：静态语义(类型转换)或动态语义分析。源代码优化：直接在语法树做优化比较困难，优化器将语法树转换成中间代码。中间代码使得编译器分为前端和后端，前端负责产生机器无关的中间代码，后端将中间代码转换成目标机器代码。代码生成：完全依赖目标机器(字长、寄存器、数据类型等)，生成目标代码。目标代码优化：优化寻址方式、用位移代替乘法运算、删除多余的指令等。汇编(Assembly)链接(Linking)地址和空间分配(Address/Space Allocation)符号解析(Symbol Resolution)重定位(Relocation)1.2 目标文件简介Object File没有一个很合适的中文名称，书中翻译为目标文件。这一小节介绍有关目标文件的最重要的几个知识：文件 ...继续阅读 (103)

CSAPP缓冲区溢出攻击实验(上)下载实验工具，最新的讲义在这。网上能找到的实验材料有些旧了，有的地方跟最新的handout对不上。不过没有关系，大体上只是程序名(sendstring)或者参数名(bufbomb -t)的差异，不影响我们的实验。1.实验工具1.1 makecookie后面实验中，五次“攻击”中有四次都是使你的cookie出现在它原本不存在的位置，所以我们首先要为自己产生一个cookie。实验工具中的makecookie就是生成cookie用的，参数是你的名字：[root@vm bufbomb]$ file makecookie makecookie: ELF32-bit LSB executable, Intel80386, version1(SYSV), dynamically linked (uses shared libs), \forGNU/Linux2.6.9, not stripped [root@vm bufbomb]$ chmod +x makecookie [root@vm bufbomb]$ ./makecookie cdai0x5e5ee04e1.2 bufbombbufbomb就是我们要“攻击”的程序，我下载的实验工具的这个版本在执行时必须有-t这个参数，表示本人的名字：[root@vm bufbomb]$ ./bufbomb You ...继续阅读 (290)

Redis源码学习：字符串1.初识SDS1.1 SDS定义Redis定义了一个叫做sdshdr(SDS or simple dynamic string)的数据结构。SDS不仅用于保存字符串，还用来当做缓冲区，例如AOF缓冲区或输入缓冲区等。如下所示，整数len和free分别表示buf数组中已使用的长度和剩余可用的长度，buf是一个原生C字符串，以\0结尾。sds就是sdshdr中char buf[]的别名，后面能看到，各种操作函数的入参和返回值都是sds而非sdshdr。那sdshdr中的len和free如何访问到？不然不就白定义了吗？答案就是灵活的指针，各种SDS的函数都是：struct sdshdr *sh = (void *)(s - (sizeof(struct sdshdr)))，通过指针偏移计算出sdshdr的首地址。关于字符串末尾的“\0”始终要注意：len和free中都没把“\0”算进去，例如为字符串”hello”创建sds，最终buf总长度是6，len为5，free为0。/* 类型别名，用于指向 sdshdr 的 buf 属性 */typedefchar*sds;/* 保存字符串对象的结构 */structsdshdr {// buf 中已占用空间的长度intlen;// buf 中剩余可用空间的长度intfree;// 数据空间charbuf[]; };1.2 ...继续阅读 (96)

六星经典CSAPP-笔记(7)加载与链接1.对象文件(Object File)1.1 文件类型对象文件有三种形式：可重定位对象文件(Relocatable object file)：包含二进制代码和数据，能与其他可重定位对象文件在编译时合并创建出一个可执行文件。可执行对象文件(Executable object file)：包含可以直接拷贝进行内存执行的二进制代码和数据。共享对象文件(Shared object file)：一种特殊的可重定位对象文件，能在加载时或运行时，装载进内存进行动态链接。1.2 文件格式本质上，对象文件只是保存在磁盘文件中的一串字节，每个系统的文件格式都不尽相同：Bell实验室的第一个Unix系统使用a.out格式。System V Unix的早期版本使用Common Object File Format(COFF)。Windows NT使用COFF的变种，叫做Portable Executable(PE)。现代Unix系统，包括Linux、新版System V、BSD变种、Solaris都使用Executable and Linkable Format(ELF)。CSAPP中以ELF作为讲解的范例，但其实各种文件格式都是类似的。一个ELF文件包含下列Section：SectionDescriptionheaderBegins with a 16-by ...继续阅读 (92)

Redis源码学习：Lua脚本1.Sublime Text配置我是在Win7下，用Sublime Text + Cygwin开发的，配置方法请参考《Sublime Text 3下C/C++开发环境搭建》。要注意的是：在Cygwin中安装Lua解析器后，SublimeClang插件就能识别出可饮用的Lua头文件了，因为Build System中我们已经配置过"-I", "D:\\cygwin64\\usr\\include"，而新安装的Lua头文件会添加到这里。但是，编译时却无法链接到头文件对应的动态链接库。此时，还需要添加一个链接选项lua5.1，修改后的完整Build System配置文件如下：{ "path":"D:\\cygwin64\\bin", "cmd":["gcc","-I","D:\\cygwin64\\usr\\include","${file}","-o","${file_path}/${file_base_name}","-lm","-llua5.1","-Wall","&","start","${file_path}/${file_base_name}.exe"], "file_regex":"^(..[^:]*):([0-9]+):?([0-9]+)?:? (.*)$", "working_dir":"${file_path ...继续阅读 (83)

六星经典CSAPP-笔记(10)系统I/O1.Unix I/O所有语言的运行时系统都提供了高抽象层次的I/O操作函数。例如，ANSI C在标准I/O库中提供了诸如printf和scanf等I/O缓冲功能的函数；C++中则重载了<<和>>用来支持读写。在Unix系统中，这些高层次的函数基于Unix的系统I/O函数来实现，多数时候我们都无需直接使用底层的Unix I/O。但学习Unix系统I/O能更好地理解一些系统概念，而且当高层次的函数不适用时我们也能轻松地实现想要的功能，例如访问文件的元数据。Unix/Linux将各种I/O设备统一而优雅地抽象为文件，在此基础上提供了一套非常简洁的低层次的API接口，也就是Unix I/O。这套API主要由以下五个函数组成：open()：请求内核打开一个file，从而应用代码能够访问file对应的I/O设备。内核会返回一个非负整数，叫做描述符descriptor。内核会为打开的file维护一组数据结构（学习Linux内核时了解了一些），可以把描述符想成file在内核中的id，后续各种操作都需要它。lseek()：修改当前file的操作位置k，即从file开端的字节偏移量。读写文件时会自动移动k，也可以显式调用lseek()移动k。read()：从位置k开始，从file拷贝大于0个字节到内存中。当k超过文件的总字节大小时，会触发一个条件end-of- ...继续阅读 (99)

六星经典CSAPP-笔记(11)网络编程参照《深入理解计算机系统》简单学习了下Unix/Linux的网络编程基础知识，进一步深入学习Linux网络编程和TCP/IP协议还得参考Stevens的书。1.网络基础（略过，待补充）2.IP地址2.1 IP地址的表示IP地址是一个无符号的32位整数。Linux网络程序使用下面这种IP地址结构存储IP地址：/* Internet address structure */structin_addr {unsignedints_addr;/* Network byte order (big-endian) */};2.2 IP地址转换因为网络中的主机有可能有不同的字节序，所以TCP/IP协议定义了一种统一的网络字节序Network Byte Order，即大尾端字节序（基础知识请参考六星经典CSAPP笔记(2)信息的操作和表示）。这样不论主机是大尾端还是小尾端，网络传输时在数据包的header中保存的IP地址都是网络字节序（大尾端）的，实现了程序的可移植性。为了方便这种操作，Unix提供了一些库函数供我们调用。System CallFunctionunsigned long int htonl(unsigned long int hostlong)Convert a 32-bit integer from host byte order to n ...继续阅读 (92)

Markdown语法及SublimeText下使用技巧0.缘起最近因为一直在学习Sublime Text，所以也就顺便试用了一下ST对Markdown的支持。正好CSDN正在大力宣传新上线的Markdown编辑器，所以方便了日后的博客发布。首先说一下与Office Word相比，最深刻的几点体会吧：专注写作内容：不再纠结字体、标题大小、行间距等等版式问题，专注于文章内容本身的编写。一边看电子书，一边在Sublime Text里敲代码练习，还能一边在Sublime Text里敲文档，写作过程不仅变得很高效，而且变得很愉快！代码语法高亮：Word最大的问题就是嵌入源代码很麻烦，写技术博客怎么可能不嵌入源代码？！之前也装过一些Word的扩展插件，但最终效果都不理想。插入数学公式：这一功能Word中倒是有，但是Markdown借助MathJax实现起来更加简单。文件占用空间小：.md因为是纯文本文件，所以很小巧。相比之下，一个只包含很少内容的.docx动辄就几十、上百k。发布博客的确快了不少，CSDN的Markdown样式也挺漂亮的。现在感觉唯一不太方便的就是：因为Markdown是纯文本标记语言，没法嵌入本地文件，所以如果文章中引用了图片的话，还需要用老办法，先手动上传到CSDN的图片服务器。1.基本语法这里仅简单列一下最常用的语法，完整的语法介绍请参考网上的各种手册。1.1 标题从#到 ...继续阅读 (322)

Sublime Text 3下C/C++开发环境搭建之前在Linux Mint 17一周使用体验中简单介绍过Sublime Text。1.Sublime Text 3安装Ubuntu、Linux Mint的软件管理器中已经能够找到Sublime Text 3，直接安装即可。或者去官网下载.deb或tarball安装包，手动安装。2.Package Control管理器ST最吸引我的第一点就是这个非常棒的扩展管理器！安装方法也很简单，在ST中按Ctrl+`进入ST的控制台，然后去官网上将ST3的安装命令拷贝到其中执行就可以完成安装了。有了它，在ST中按Ctrl+Shift+P，输入Install或Remove后，就可以随便安装、卸载各种扩展了，包括各种ST的插件、主题等等。3.推荐必装扩展插件根据Package Control上的流行度统计，推荐安装以下扩展插件：Package NameDescriptionEmmetEmmet (ex-Zen Coding) for Sublime TextSublimeLinterInteractive code linting framework for Sublime Text 3SideBarEnhancementsEnhancements to Sublime Text sidebar. Files and foldersBracketH ...继续阅读 (673)

Leetcode难度表及解题汇总参考网上一份题目难度表，以及本人的解题。IdQuestionDifficultyFrequencyData StructuresAlgorithmsBlogComment1Two Sum25array+setsort+2ptr2Add Two Numbers34linkedlistmath+2ptrLeetcode解题-链表(2.2.1)AddTwoNumbers3Longest Substring Without Repeating Characters32string+hashtable2ptr4Median of Two Sorted Arrays53arraybinary search5Longest Palindromic Substring42string6ZigZag Conversion31string7Reverse Integer23math8String to Integer (atoi)25stringmath9Palindrome Number22math10Regular Expression Matching53stringrecursion+dp11Container With Most Water32array2ptr12Integer to Roman34math13Roman to Integer24math14 ...继续阅读 (95)

ANTLR和StringTemplate实例：自动生成单元测试类1. ANTLR语法要想自动生成单元测试，首先第一步就是分析被测试类。这里以Java代码为例，用ANTLR对Java代码进行分析。要想靠自己完全手写出一门语言的ANTLR语法文件的复杂程度难以想象，很贴心的是在ANTLR的GitHub网站上列出了很多常见语言的语法文件，例如Java，Sqlite和MySQL的SQL语法等。有了.g4语法文件，按照Antlr v4入门教程和实例中的步骤，就能自动生成出解析器的代码，这里就不再详述了。2. StringTemplate基础StringTemplate（简称ST）也是ANTLR提供的一个非常好用的工具。它的功能类似于Velocity、FreeMaker等模板引擎，可以根据事先定义好的模板，在运行时根据不同的传值渲染出不同的网页、邮件、代码等。但从名称中的String就能看出，它是比较轻量级的。试用了一下的确如此，支持在Java中硬编码简单的模板。但试用过程中还是碰到了有不少问题，总感觉它的模板语法有些复杂啊！而且最新的ST4的API与之前版本发生了很大变化，网上找的很多例子都不好用了。具体还是参考官网的教程吧，以及这个CheatSheet表格。当然，还有花了不少时间调试好的本文的代码示例！3. 单元测试生成器首先来看Main方法。输入文本就是code变量表示的一个Java类， ...继续阅读 (318)

1 Win7下安装Mint双系统Linux Mint支持直接从Win7硬盘引导安装，非常方便，不用制作U盘引导，更不用刻盘安装了。Mint有Cinnamon和Mate两种桌面，听说Mate更加简洁节省资源，所以就选择了Linux Mint 17 Mate版。安装过程主要参考百度经验。1.1清理磁盘空间为Mint清理出空间。例如我的机器之前有C、D、E、F四个盘符，备份好E和F盘中的重要数据后，右键“我的电脑”=>“管理”=>“磁盘管理”中，将E和F删除。右键选择“删除卷”，有时还要继续点“删除分区”，这样E和F的空间才会自动合并为“未分配”，后面安装Mint时才会自动找到这块区域。如果不想删除分区，也可以点击“压缩”，从现有分区中分离出一个新的盘符。1.2制作引导菜单下载一个小工具EasyBCD。点击“Add New Entry”后进入NeoGrub标签，点击“Install”安装后，选择“Configure”在里面配置如下，保存后EasyBCD就会自动生成出引导文件：title Install Linux mintroot (hd0,0)kernel (hd0,0)/vmlinuzboot=casper iso-scan/filename=/mint.isolocale=zh_CN.UTF-8initrd (hd0,0)/initrd.lz标记红色的数字0和iso文件名是要根据自 ...继续阅读 (212)

1重逢ANTLR最早知道ANTLR是当年学习Apache Derby数据库源码时，在看到SQL解析那一层时，第一次看到编译原理在实际项目中的应用，惊叹之余也只能望而却步。之前也根据网上一些资料尝试了一下，看介绍说ANTLR v4更加易用了，于是又好奇地试用一下。以下入门介绍主要参考ANTLR作者写的《The Definitive ANTLR 4 Reference》。1.1 ANTLR全景当我们实现一种语言时，我们需要构建读取句子（sentence）的应用，并对输入中的元素做出反应。如果应用计算或执行句子，我们就叫它解释器（interpreter），包括计算器、配置文件读取器、Python解释器都属于解释器。如果我们将句子转换成另一种语言，我们就叫它翻译器（translator），像Java到C#的翻译器和编译器都属于翻译器。不管是解释器还是翻译器，应用首先都要识别出所有有效的句子、词组、字词组等，识别语言的程序就叫解析器（parser）或语法分析器（syntax analyzer）。我们学习的重点就是如何实现自己的解析器，去解析我们的目标语言，像DSL语言、配置文件、自定义SQL等等。1.2元编程手动编写解析器是非常繁琐的，所以我们有了ANTLR。只需编写ANTLR的语法文件，描述我们要解析的语言的语法，之后ANTLR就会自动生成能解析这种语言的解析器。也就是说，ANTLR是一种 ...继续阅读 (1125)

2查找：鱼与熊掌前面已经介绍了线程查找和二分查找的符号表（symbol table）实现，但现代应用的特点是查找与插入或删除操作交叉在一起，无法预测，并且表非常巨大。因此问题的关键就是我们能否设计出具有对数性能的search和insert/delete操作的数据结构和算法？为了实现高效的插入，我们需要链表结构。但是单链表却又阻止了二分查找的使用，因为二分查找依赖数组的快速访问才能快速定位到每次迭代的中间元素。”为了结合二分查找的高效和链表结构的灵活性，我们需要更加复杂的数据结构，这就是接下来要介绍的二叉查找树和哈希表。这种能够快速search和insert/delete的符号表是算法最重要的贡献之一！”《算法》中的这一段描述打通了我关于二分查找、链表以及二叉树的理解，三种广泛使用的数据结构和算法之间的关系一下子变得豁然开朗，二分查找的思想无处不在！经典就是经典，简短一段话就已值回整本书钱。也许这也是为什么《编程珠玑》中花了大量篇幅讲解二分查找。下面就是查找功能各种实现的优缺点（pros & cons）：2.1二叉查找树(BST)：二者兼得2.1.1查找和插入二叉查找树的查找和插入过程非常相似，因为插入过程其实就是先进行查找，然后在无法找到时停止查找的那个位置执行插入。2.1.2代码实现下面是树结点TreeNode和BST的定义，使用C++模板泛化Key和Value的类型，核心方法就 ...继续阅读 (99)

2基础数据结构数组和链表是实现各种数据结构的基石，本节中的三种最基本的数据结构都可以用数组或者链表来实现。2.1栈用数组实现“栈”非常简单。下面以C++为例，实现一个简单的固定大小的“栈”。首先，接口API定义如下，核心函数就是push()和pop()：2.1.1数组实现下面用数组方式的实现“栈”，当然也可以用链表实现数组，但是一般尽管栈会处理很多操作，但任意时刻保存在栈中的元素不会很多，所以使用数组实现比链表会更加高效：Loitering问题要特别注意的是：当我们实现数据结构，自己管理一块内存区域（如一直持有数组或链表做成员变量）时，一定要注意内存泄漏，或称Loitering问题。如上面的栈实现，push()和pop()只是移动变量N，但当数组中保存的是对象时，pop()就会造成数组依然持有无用对象的引用或指针。因此，《算法》中的pop()实现考虑到了这一点，并加入了resize()功能。动态调整大小上面的代码同时也实现了resize()功能，当栈的大小等于总容量（push时检测），或者栈的大小等于总容量的1/4时，栈底层的数组就会扩张或者收缩一倍，这样总能保持数组有一半的空闲空间。方法很简单，就是新建一个数组，将旧元素拷贝过去。当然，实际上JDK的ArrayList设计要比这复杂，JDK 6的实现是oldCapacity*3/2+1。值得注意的是remove()时并不会收缩数组 ...继续阅读 (92)

1两块基石数组与链表构成各种数据结构的基石，是实现所有数据结构必不可少的元素。1.1数组数组一般内置于编程语言中，直接通过索引(index)读写。索引一般为数字，有的语言甚至直接支持如字符串等其他类型的索引。在很多数据结构中都能看到数组的身影，例如字符串、动态数组、堆、栈和队列（用链表也可以，但用数组实现很高效）等。1.2链表概念上都能理解，但实现起来还真有很多容易出错的地方。实现细节Ø表头（header）：为什么要添加一个表头？因为有了表头，在第一个结点前添加结点或删除第一结点时会很方便。否则就需要修改客户端持有的链表指针的值，这就要求insert()和delete都要传入二级指针，才能修改客户端持有指针的值。Ø插入设计：删除结点时一般是指定要删除结点的value，插入则有三种设计：1）追加(append)到链表末尾；2）插入（insert）到指定位置，通过索引或结点的值来指定位置；3）插入（insert）到指定位置，但位置是通过指针来指定。其实，后两种方式差不多，区别就在于是insert()自己调用find()还是客户端先调用一下find()查找，再调用insert()。Ø删除结点：双向链表就不说了，对于单向链表，删除结点时要遍历至要删除结点的前一个，将这个结点的next域跨过要删除的结点，直接指向要删除结点的next，再释放掉要删除结点占用的内存空间就算完成了。Ø查找结点：结 ...继续阅读 (90)