1、知识百科在大型服务器网关中，一台机器配置了几百个IP（每个IP对应一个域名，HTTPS中需要支持不带SNI的请求），每个域名有着不同的后端，但是如果按照默认路由，则可能存在只有一个物理IP与所有的后端建立连接，从而导致四元组地址耗尽。因此期望的是用户访问IP1，则IP1与后端建立连接，用户访问IP2，则IP2与后端建立连接，nginx中的指令proxy_bind则可以解决这个场景。基本原理是通过bind()和setsocket()来实现。2、指令分析Syntax: proxy_bind address [transparent] | off;Default: —Context: http, server, location指令说明：该指令第一次出现在0.8.22版本，设置到代理服务器的连接地址，参数可以包含变量。The transparent parameter (1.11.0) allows outgoing connections to a proxied server originate from a non-local IP address, for example, from a real IP address of a client:示例：proxy_bind $remote_addr transparent;proxy_bind 127.0.0.1; ...继续阅读 (107)

1、知识百科当后端是缓存服务器时，经常使用一致性hash算法来进行负载均衡，使用一致性hash的好处在于，增减集群的缓存服务器时，只有少量的缓存会失效，回源量较小。假设后端集群包含三台缓存服务器，A、B、C。请求r1、r2落在A上。请求r3、r4落在B上。请求r5、r6落在C上。使用一致性哈希时，当缓存服务器B宕机时，r1/r2会仍然落在A上，r5/r6会仍然落在C上，也就是说这两台服务器上的缓存都不会失效，r3/r4会被重新分配给A或者C，并产生回源。2、数据结构ngx_http_upstream_chash_point_ttypedef struct { uint32_t hash; //虚拟节点的hash值 ngx_str_t *server; //虚拟节点归属的真实节点} ngx_http_upstream_chash_point_t; ngx_http_upstream_chash_points_ttypedef struct { ngx_uint_t number; // ...继续阅读 (110)

1、具体指令resolverSyntax:    resolver address ... [valid=time] [ipv6=on|off];Default:  -Context: http, server, locationExample：resolve 119.29.29.29 8.8.8.8;指令功能：配置name servers，nginx默认会域名解析IPV4和IPV6地址，如果不想解析ipv6，则可以添加ipv6=off来屏蔽。备注：nginx默认是使用TTL来作为有效的时间，可以通过valid来修改。resolver_timeoutSyntax：resolver_timeout time;Default：resolver_timeout 30s;Context：http, server, locationExample：resolver_timeout 10s;指令功能：设置域名解析的超时时间，默认是30s。2、测试验证2.1 编译export LUAJIT_LIB=/usr/local/libexport LUAJIT_INC=/usr/local/include/luajit-2.1CFLAGS="-g -O0" ./configure --prefix=/root/cj ...继续阅读 (112)

1、知识百科nginx将请求的处理过程划分为11个phase（阶段），相对于是对请求处理的一种抽象，便于定制处理过程。ngx_lua针对常用的阶段也实现了自己的阶段控制，总共有12个阶段，和nginx有相似（如rewrite、access、content、log阶段等）也有不同（如balancer、cert阶段等）。目前项目组有个需求，需要在SSL握手前添加一个session阶段（分布式session cache），用于优化如安卓终端访问https的速度（详见cloudflare的公开资料），具体实现可以参考ssl_certificate_by_lua 。session cache 的原理是使用 client hello 中的 session id 查询服务端的 session cache，如果服务端有对应的缓存，则直接使用已有的 session 信息提前完成握手，称为简化握手。session cache 的优点：（1）session id 是 TLS 协议的标准字段，市面上的浏览器全部都支持 session cache； session cache 的缺点：（1）需要消耗服务端内存来存储 session  ...继续阅读 (232)

1、知识百科nginx将请求的处理过程划分为11个phase（阶段），相对于是对请求处理的一种抽象，便于定制处理过程。ngx_lua针对常用的阶段也实现了自己的阶段控制，总共有12个阶段，和nginx有相似（如rewrite、access、content、log阶段等）也有不同（如balancer、cert阶段等）。目前项目有个需求，需要在SSL握手前添加一个阶段，用于分布式共享ssl session数据，可以参考ssl。 ...继续阅读 (143)

方法1CFLAGS="-g -O0"./configure --prefix=/root/marco \                            --with-debug \                            --with-http_stub_status_module \                            --with-pcre=/ ...继续阅读 (191)

4、源码分析（nginx部分）ssl_session_cache使用相关main()->ngx_ssl_init()函数功能：初始化openssl相关配置，并对每种功能建立索引。ngx_http_ssl_merge_srv_conf(ngx_conf_t *cf, void *parent, void *child)函数功能：创建server级别的ctx、检验证书、密码（cipher）和对ssl->ctx挂共享内存的钩子函数等。    核心函数：ssl->ctx = SSL_CTX_new(SSLv23_method());SSL_CTX_set_ex_data(ssl->ctx, ngx_ssl_server_conf_index, conf);SSL_CTX_set_options(ssl->ctx, SSL_OP_NO_TLSv1);ngx_ssl_session_cache(ngx_ssl_t *ssl, ngx_str_t *sess_ctx, ssize_t builtin_session_cache, ngx_shm_zone_t *shm_zone, time_t timeout)函数功能：在merge server的时候调用该函数。ngx_int_t ngx_ssl_session_c ...继续阅读 (260)

1、知识百科互联网的通信安全，建立在SSL/TLS协议之上，SSL/TLS协议的基本思路是采用公钥加密法（非对称加密如RSA2048），即客户端先向服务器端索要公钥，然后用公钥加密信息，服务器收到密文后，用自己的私钥解密。由于SSL每次握手都会涉及RSA加解密，因此对服务器的CPU消耗极大，在SSLv3及更早版本就实现了基于session cache的方案来解决该问题。Session cache方案的基本原理就是每次会话有个session id，每个session id对应一个session（ngx_ssl_session_t），得到该session就不用传证书和RSA解密了。SSL newSSL reuse 2、数据结构ngx_http_ssl_srv_conf_ttypedef struct { ngx_flag_t enable; ngx_ssl_t ssl; ngx_flag_t prefer_server_ciphers; ngx_uint_t protocols; ngx_uint_t verify; ...继续阅读 (224)

1、知识百科What it isIntel? DPDK is a set of libraries and drivers for fast packet processing on x86 platforms. It runs mostly in Linux userland.This project tracks the Intel? DPDK and includes all major public contributions. The most recent patches and enhancements, provided by the community, are available in master branch.dpdk是intel开发的X86芯片上用于高性能网络处理的基础库，业内比较常用的模式是linux-app模式，即利用该基础库，在用户层空间做数据包处理，有了这个基础库，可以方便地写应用层的网络包处理高性能程序，目前该库已经开源。Main libraries（1）multicore framework：多核框架，dpdk库面向intel i3/i5/i7/ep等多核架构芯片，内置了对多核的支持。（2）huge page memory：内存管理，dpdk库基于linux hugepage实现了一套内存管理基础库，为应用层包处理做了很多优化。（3） ...继续阅读 (514)

1、知识百科 视频点播（目前主要指MP4和FLV视频点播），是一个曾经很热，现如今依然很热的一项视频服务技术，MP4点播目前已经通过nginx+lua+mp4模块+slice模块实现，因此本节主要以FLV点播实现为主。   FLV在H.264的视频规格或是AAC的音源规格都达到功能极限，为了克服这个格式上的限制，F4V于是诞生，F4V是基于ISO base media file format制定出来的容器格式（Container format），与MP4格式相同，至少于Flash Player 12.0 update 3以上版本才能播放，F4V支持的视频类型为H.264、GIF、PNG以及JPEG，音频类型为AAC以及MP3。在国内许多的视频网站，均把存放H.264编码视频的FLV文件标注为.f4v格式，而这种文件的点播实现方式和普通的FLV是有所不同的，所以，为了避免更加混淆，继续沿用了它们的命名方式，因此，“FLV”将仅指不包含H.264/AAC编码的一般FLV视频。  FLV视频拖拉的主要工作原理是：根据用户传入的offset，找到关键帧最接近的offset，并修改metadata，最后将组装的metadata和视频数据发送给用户，需要注意的是如果是H.264格式，需要将第一个video tag和audio tag加到meta ...继续阅读 (409)

1、知识百科HTTP 2XX范围内的状态码表明了“客户端发送的请求已经被服务器接受并且被成功处理了”。HTTP/1.1 200 OK是HTTP请求成功后的标准响应，当你在浏览器中打开www.cyberciti.biz后，你通常会得到一个200状态码；HTTP/1.1 206状态码表示的是“客户端通过发送范围请求头Range（如”range: bytes=100-500”或”range: bytes=100-500,500-700”）抓取到了资源的部分数据”，适用于大文件下载和断点续传；single part formatde style="margin: 0px; padding: 0px; font-size: 12px; font-family: Consolas, 'Liberation Mono', Courier, monospace; border: none; border-image-source: initial; border-image-slice: initial; border-image-width: initial; border-image-outset: initial; border-image-repeat: initial; border-radius: 3px; background-image: initial; background-a ...继续阅读 (237)

1、ngx.get_phaseSyntax：str=ngx.get_phase()Context：init_by_lua*, init_worker_by_lua*, ssl_certificate_by_lua*, set_by_lua*, rewrite_by_lua*, access_by_lua*, content_by_lua*, header_filter_by_lua*, body_filter_by_lua*, log_by_lua*, ngx.timer.*, balancer_by_lua*；指令功能：返回当前运行的阶段名字。init：上下文为init_by_lua或init_by_lua_file；init_worker：上下文为init_worker_by_lua或init_worker_by_lua_file；ssl_cert：上下文为ssl_certificate_by_lua_block 或 ssl_certificate_by_lua_file；set：上下文为 set_by_lua或 set_by_lua_file；rewrite：上下文为rewrite_by_lua 或 rewrite_by_lua_file；balancer：上下文为balancer_by_lua_block或&nbs ...继续阅读 (347)

1、安装luajit# wget http://luajit.org/download/LuaJIT-2.1.0-beta2.tar.gz#tar -zxvf LuaJIT-2.1-beta2.tar.gz#make#make install备注：lua解释器默认安装到/usr/local中。2、安装lua-nginx-module# wget https://codeload.github.com/openresty/lua-nginx-module/zip/master# tar -zxvf lua-nginx-module.tar.gzexport LUAJIT_LIB=/usr/local/libexport LUAJIT_INC=/usr/local/include/luajit-2.1# ./configure --prefix=/root/marco --with-pcre=/root/src/pcre-8.38  --add-module=/root/src/public/lua-nginx-module 备注：lua-nginx-module强依赖openssl，因此需要静态编译加上ssl。 #wget  http://www.openssl.org/source/openssl-1.0.2g.tar.gz#tar -zxv ...继续阅读 (146)

http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316399.htmlhttp://www.cnblogs.com/me115/p/3842081.html ...继续阅读 (186)

        正如nginx官方http://nginx.org/en/docs/http/ngx_http_slice_module.html所说，如果你要下载一个大文件，slice设置很小比如16K，会导致内存急剧增长和fd的急剧消耗。       产生的主要原因是：下载一个大文件比如1G，会产生65536个子请求，每个子请求产生一块内存，即使子请求已经把数据传输完给client，这块内存也不会被释放，而是会等到主请求服务完才会一起释放。       可能的解决方案：        （1）子请求传输完自己的数据块，就释放掉“数据”内存；        （2）主、子请求传输数据时，都采用主请求的buffer，一边传输，一边回收； ...继续阅读 (193)

slice模块是nginx的一个filter module，根据用户请求分割成多个子请求，该filter提供了非常有效的大请求cache，在CDN公司中广泛应用。下面我就以CDN的场景来介绍该工作原理，网络架构是client->CDN proxy-> CDN store ->mongotv源站，很多用户想访问mongotv的一个热门视频hot.mp4，这个文件是1G。如果不使用CDN，大量用户都去访问mongotv源站，那么mongotv很快就会被打垮；如果使用CDN，CDN不支持slice，那么当CDN存储集群去向mongotv源站取1G文件过程中失败时，整个文件会全部重传；如果使用CDN，CDN不支持slice，那么当CDN proxy通过url一致性hash到存储集群时，存储集群的其中一台服务器肯定会成为一个热点，带宽、IO都会成为瓶颈，严重时会导致存储集群雪崩；       如果走CDN，CDN支持slice，则用户的请求都会被分散成多个子请求，每个url也不一样，因此当有个文件是热点时，压力会分散到store集群的每台机器，store集群和mongotv源出现网络错误，也只是重传该分片，不会传输整个文件。总体来说，slice的好处是：（1）资源分散：解决了热点视频带来的问题；（2）异常处理：解决了因网络问题带来的重 ...继续阅读 (779)

MP4（MPEG-4 Part 14）是一种常见的多媒体容器格式，它是在“ISO/IEC 14496-14”标准文件中定义的，属于MPEG-4的一部分，是“ISO/IEC 14496-12(MPEG-4 Part 12 ISO base media file format)”标准中所定义的媒体格式的一种实现，后者定义了一种通用的媒体文件结构标准。MP4是一种描述较为全面的容器格式，被认为可以在其中嵌入任何形式的数据，各种编码的视频、音频等都不在话下，不过我们常见的大部分的MP4文件存放的AVC（H.264）或MPEG-4（Part 2）编码的视频和AAC编码的音频。MP4格式的官方文件后缀名是“.mp4”，还有其他的以mp4为基础进行的扩展或者是缩水版本的格式，包括：M4V、 3GP、F4V等。        MP4是由一个个“box”组成的，大box中存放小box，一级嵌套一级来存放媒体信息，box的基本结构是： 其中，size指明了整个box所占用的大小，包括header部分。如果box很大（例如存放具体视频数据的mdat box），超过了uint32的最大数值，size就被设置为1，并用接下来的8位uint64来存放大小。一个mp4文件有可能包含非常多的box，在很大程度上增加了解析的复杂性，这个网页上http:// ...继续阅读 (137)

2、示例配置#./configure –prefix=/root/macro --with-http_mp4_module#make#make installserver{location ~ \.mp4${ mp4;mp4_buffer_size 1m;mp4_max_buffer_size 5m;}}mp4syntax:   mp4;default:   —context:  location指令功能：打开MP4处理功能。mp4_buffer_sizesyntax:   mp4_buffer_size size;default:  mp4_buffer_size 512K;context:  http, server, location指令功能：设置MP4 buffer的初始大小。mp4_max_buffer_sizesyntax:   mp4_max_buffer_size size;default:  mp4_max_buffer_size 10M;context:  http, server, location指令功能：设置MP4 buffer的 ...继续阅读 (178)

1、知识百科Linux中I/O设备分为两类：块设备和字符设备。两种设备本身没有严格限制，但是基于不同的功能进行了分类。（1）字符设备：提供连续的数据流，应用程序可以顺序读取，通常不支持随机存取。相反，此类设备支持按字节/字符来读写数据。举例来说，调制解调器是典型的字符设备。（2）块设备：应用程序可以随机访问设备数据，程序可自行确定读取数据的位置。硬盘是典型的块设备，应用程序可以寻址磁盘上的任何位置，并由此读取数据。此外，数据的读写只能以块（通常是512B）的倍数进行。与字符设备不同，块设备并不支持基于字符的寻址。两种设备本身并没用严格的区分，主要是字符设备和块设备驱动程序提供的访问接口是不一样的。2、用户需求今天一同事说他弟弟的考试作业是写一个字符驱动程序，有以下要求：（1）模块加载成功后，使用cat /proc/devices可以看到设备test，并可以看到它的主设备号；（2）mknod创建设备文件：mknod /dev/testdev c major minor，可以通过ls –hl /dev/testdev查看；（3）测试程序可以对设备进行读写；3、模块编写driver.c#include <linux/module.h>  #include <linux/init.h>  #include <linux/ ...继续阅读 (289)

1、知识百科FLV是FLASH VIDEO的简称，FLV流媒体格式是随着Flash MX的推出发展而来的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等问题。    FLV是被众多新一代视频分享网站所采用，是目前增长最快、最为广泛的视频传播格式。是在sorenson公司的压缩算法的基础上开发出来的，FLV格式不仅可以轻松的导入Flash中，速度极快，并且能起到保护版权的作用，并且可以不通过本地的微软或者REAL播放器播放视频。nginx的FLV模块支持对FLV（flash）文件的拖动播放，nginx处理文件的过程为：（1）为请求的文件增加FLV头"FLV\x1\x5\0\0\0\x9\0\0\0\0"；（2）根据请求参数中的start=XXX转发文件；FLV格式（1）Signature：    UI8 Signature byte always 'F' (0x46) （2）Signature：   UI8 Signature byte always 'L' (0x4C) （3）Signature：    UI8 Signature ...继续阅读 (189)

1、流控if/elseif a< 5 {return 0} else {return 1}需要主要以下几点：（1）条件语句不需要使用括号将条件包含起来；（2）无论语句体内有几条语句，花括号{}都是必须存在的；（3）在if之后，条件语句之前，可以添加变量初始化语句，使用;间隔；（4）在有返回值的函数中，不允许将最终的return语句包含在if…else…结构中；switch/case/selectswitch i { case 0:  fmt.Printf(“0”)case 1:fallthroughcase 2, 3, 4:fmt.Printf(“4, 5, 6”)case 5<=i && i<=9:fmt.Printf(“7-9”)default:fmt.Printf("Default")}需要主要以下几点：（1）在单个case中，可以出现多个结果选项；（2）go语言不需要break来明确退出一个case；（3）只有在case中明确添加fallthrough关键字，才会继续执行紧跟的下一个case；for/rangesum := 0for i=0; i<10; i++ {sum += iif sum > 10 {break JLoop}if sum > 5 {goto End}}JLoop:...End:.. ...继续阅读 (136)

1、变量var v1 intvar v2 stringvar v3 [10]int                          //数组var v4 []int                               //数组切片var v5 struct {    f int}var v6 *int                                //指针var v7 map[string] int             //map，key为string类型，value为int类型var v8 func(a int) intvar {           ...继续阅读 (145)

（1）多重返回和匿名变量；（2）自动垃圾回收；（3）更丰富的内置类型；（4）错误处理；（5）匿名函数和闭包；（6）类型和接口；（7）并发编程；（8）反射；（9）语言交互性；ing。。。。 ...继续阅读 (151)

package mainimport (    "fmt") func main() {    fmt.Println("Hello World!")} ...继续阅读 (112)

（1）选择“其他日志服务”；（2）添加日志账户：填上博客地址、用户名、密码；（3）日志类型：选择“Metaweblog API”，网址是“http://os.blog.163.com/word/”；（4）填写日志昵称； ...继续阅读 (145)

1、知识百科高可用性HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性，HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。实现HA的方式，一般采用两台机器同时完成一项功能，比如数据库服务器，平常只有一台机器对外提供服务，另一台机器作为热备，当这台机器出现故障时，自动动态切换到另一台热备的机器。VRRP实质上就是实现HA的一种方式。VRRPd is an implementation of VRRPv2 as specified in rfc2338. It run in userspace for linux. In short, VRRP is a protocol which elects a master serveron a LAN. If the master fails, a backup server takes over.VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议），VRRPD是VRRPv2协议的一种实现，运行在linux用户态，VRRP协议是一种选择协议，它可以把一个虚拟路由器的责任动态分配到局域网上的VRRP路由器中的一台。 在建立一个网络时，为了保证网络稳定不间断的运行，经常采用一些动态的路由协议 ...继续阅读 (152)

1、知识百科 一台服务器的日志对系统工程师来说是至关重要的，一旦服务器出现故障或被入侵，我们需要查看日志来定位问题的关键所在，因此对于线上跑的服务器而言，日志应该得到合理的处理及管理。 在unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器，接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理，常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 完整的syslog日志中包含产生日志的程序模块（Facility）、严重性（Severity或Level）、时间、主机名或IP、进程名、进程ID和正文，在Unix类操作系统上，能够按Facility和Severity的组合来决定什么样的日志消息是否需要记录，记录到什么地方，是否需要发送到一个接收syslog的服务器等，由于syslog简单而灵活的特性，syslog不再仅限于Unix类主机的日志记录，任何需要记录和发送日志的场景，都可能会使用syslog。 长期以来，没有一个标准来规范syslog的格式，导致syslog的格式是非常随意的，最坏的情况下，根本就没有任何格式，导致程序不能对syslog消息进行解析，只能将它看作是一个字符串，在2001年定义的RFC3164中 ...继续阅读 (133)

1、知识百科rte_mbuf的结构与linux内核协议栈的skb_buf相似，在保存报文的内存块前后分别保留headroom和tailroom，以方便应用解封报文，headroom默认128字节，可以通过宏RTE_PKTMBUF_HEADROOM调整。返回值操作函数函数功能宏rte_pktmbuf_mtod(m, t)将指针指到数据部分的首部宏rte_pktmbuf_pkt_len(m) 获取所有mbuf的数据长度宏rte_pktmbuf_data_len(m)获取本mbuf的数据长度char *rte_get_rx_ol_flag_name char *rte_get_tx_ol_flag_name uint16_trte_mbuf_refcnt_update uint16_trte_mbuf_refcnt_read void rte_mbuf_refcnt_set void rte_mbuf_sanity_check void rte_ctrlmbuf_init intrte_is_ctrlmbuf voidrte_pktmbuf_init voidrte_pktmbuf_pool_init void rte_pktmbuf_reset struct rte_mbuf *rte_pktmbuf_alloc从rte_mempool获取一个mbufvoid rte_pktmb ...继续阅读 (1277)

1、知识百科 根据RFC1035，对于DNS服务器，递归解析时用53/UDP，区传输因需要可靠传输，必须使用53/TCP，DNS服务器的标准实现必须同时支持53/TCP和53/UDP。 RFC 1035中还指出，53/UDP上的UDP数据区（不包括UDP首部）不得超过512字节，发送时如果超过512字节，将被截断成512字节，同时DNS协议Flags字段Truncated位置位，53/TCP上的数据区最前面是big-endian序的2字节长度域，不包括自身这2字节，指明了后续数据长度。 当DNS响应数据大于512字节的时候，数据只返回512字节，剩余的数据将被丢弃，这个时候名字解析器通常使用TCP重发原来的查询请求，它将允许返回的响应超过512个字节。 EDNS0（Extension Mechanisms for DNS Version 0）是DNS在RFC1035基础上对DNS协议的扩展。DNS的扩展机制（在RFC2671中定义为EDNS0）允许DNS请求者公布其UDP数据包的大小，并且更便于传输大于512字节（对于UDP数据包大小的原始DNS限制RFC 1035）的数据包。DNS服务器通过UDP传输层接收请求时，它对来自OPT资源记录（RR）的请求者的UDP数据包大小进行标识，测量其响应，以包含请求者指定的最大UDP数据包大小中允许的多个资源记录。 简单来说，EDNS就是在 ...继续阅读 (245)

1、测试结论场景1—域名不同$TTL 60b IN A 192.1.1.1$TTL 100a IN A 192.2.2.2备注：域名不同，则返回的是各自的TTL。场景2—域名相同，类型不同$TTL 60b IN A 192.1.1.1$TTL 100b IN MX 5 mx.taobao.com备注：域名相同，类型不同，则返回的是各自的TTL。场景3—域名相同，类型相同$TTL 60b IN A 192.1.1.1$TTL 100b IN A 192.2.2.2与$TTL 100b IN A 192.1.1.1$TTL 60b IN A 192.2.2.2备注：域名相同，类型相同，TTL的值为第一条rdata添加时TTL（与添加顺序有关），即上述配置dig A的TTL是不同的。场景4—bind作为forwarder前提：dig@server某域名某类型，返回的TTL不同；备注：bind将此zone的类型作为forward，@server作为forwarders，client dig时返回的TTL是最小值，与顺序无关；2、测试案例named.conf（公共配置）key ...继续阅读 (128)