前些天遇到一个「打包下载」的需求，在调研过程中走了一些弯路，本文记录一下。比如说某网站有一个文件列表，用户点哪个就可以下载哪个，如果用户想下载多个，无非就是多点几次而已。于是需求来了：当用户想下载多个文件的时候，可以通过一次点击完成打包下载操作。听起来似乎并不复杂，服务端可以把用户想要下载的文件打包成一个新文件，然后用户点一次就可以下载了，但是这样做有以下几个缺点：浪费了时间，多了创建新文件的流程。浪费了空间，同样的文件被多次存储。用户体验差，下载必须要等到新文件创建好才能开始。不难得出结论：动态流式下载才是正解，同事提到 tar 可以搞定，于是研究一下：shell> cat test_0.txt xxx xxx shell> cat test_1.txt yyy yyy shell> tar cf test.tar test_0.txt test_1.txt shell> cat test.tar test_0.txt00006440...01014257504126011510 0ustar rootrootxxx xxx test_1.txt00006440...01014257504241011507 0ustar rootrootyyy yyy如上可见，tar 文件的格式非常简单，多个文件的内容从上到下依次排列，只不过每个文件内容的前面附加了一个头，其中保存了诸如文 ...继续阅读 (29)

当医生遇到疑难杂症时，那么可以上 X 光机，有没有病？病在哪里？一照便知！当程序员遇到疑难杂症时，那么多半会查日志，不过日志的位置都是预埋的，可故障的位置却总是随机的，很多时候当我们查到关键的地方时却总是发现没有日志，此时就无能为力了，如果改代码加日志重新发布的话，那么故障往往就不能稳定复现了。回想医生的例子，他们可没有给病人加日志，可为什么他们能找到问题的，因为他们有 X 光机，所以对程序员来说，我们也需要有我们的 X 光机，它就是eBPF。为了降低使用 eBPF 的门槛，社区开发了bcc，bpftrace等工具，因为 bpftrace 在语法上贴近 awk，所以我一眼就爱上了，本文将通过它来讲解如何用 eBPF 分析 Golang 应用。通过 bpftrace 分析 golang 方法的参数和返回值下面是演示代码 main.go，我们的目标是通过 bpftrace 分析 sum 方法的输入输出：package main func main() { println(sum(11, 22)) } func sum(a, b int) int { return a + b }在编译的时候，记得关闭内联，否则一旦 sum 被内联了，eBPF 就没法加探针了：shell> go build -gcflags="-l" ./main.go shell> objdump -t ./m ...继续阅读 (21)

最近学习某个 Golang 单元测试的课程，发现其中推荐使用gomonkey这种黑科技，让人略感意外，毕竟在软件开发领域，诸如依赖注入之类的概念已经流传了几十年了，本文希望通过一个例子的演化过程，来总结出 Golang 单元测试的最佳实战。既然是白话，那么我们得想一个通俗易懂的例子，就拿普通人来说吧：活着是为了什么，好好学习，买房，结婚，任意一个环节出现意外，整个人生就会偏离轨道。下面我用 Golang 代码来描述活着的过程，其中好好学习，买房，结婚都可能受到不可控外界因素的影响，比如好好学习遇上教培跑路，买房遇上银行限贷，结婚遇上彩礼涨价。下面问题来了：请为「Live」编写单元测试，要求覆盖率达到 100%。package main import ( "errors" "math/rand" ) // Live 活着 func Live(money1, money2, money3 int64) error { if err := GoodGoodStudy(money1); err != nil { return err } if err := BuyHouse(money2); err != nil { return err } if err := Marry(money3); err != nil { return err } return ...继续阅读 (31)

最近我用命令行工具来测试 rpc 服务，因为此命令行工具要求输入数据是 json 格式，所以免不了要在 shell 环境构造一些 json 字符串：shell> echo '{"content": "$(base64 foo.docx)", "type": "docx"}'如上，我想把文件 foo.docx 的内容通过 base64 编码，然后放到 json 字符串里，但是它并不能正常工作，因为它是一个单引号字符串，命令在单引号里的是不能展开的，那换成双引号可不可以？当然可以，但是因为 json 本身包含很多双引号，所以免不了转义：shell> echo "{\"content\": \"$(base64 foo.docx)\", \"type\": \"docx\"}"不瞒大家说，我最开始写出如上代码的时候，脑瓜子嗡嗡的，好在最后我想到了一个绝妙的解决方法：既然用双引号字符串不可避免会带来转义问题，那么就放弃双引号字符串，而是使用单引号字符串，然后把里面的命令用单引号包起来：shell> echo '{"content": "'$(base64 foo.docx)'", "type": "docx"}'为什么这样可以？其实如上单引号字符串实际上是三个字符串，分别是：「'{“content”: “‘」「$(base64 foo.doc ...继续阅读 (38)

前几天闲聊的时候，景埕说网上很多 string 和 []byte 的转换都是有问题的，当时并没有在意，转过身没几天我偶然看到字节跳动的一篇文章，其中提到了他们是如何优化 string 和 []byte 转换的，我便问景埕有没有问题，讨论过程中学到了很多，于是便有了这篇总结。让我们看看问题代码，类似的 string 和 []byte 转换代码在网上非常常见：func StringToSliceByte(s string) []byte { l := len(s) return *(*[]byte)(unsafe.Pointer(&reflect.SliceHeader;{ Data: (*(*reflect.StringHeader)(unsafe.Pointer(&s;))).Data, Len: l, Cap: l, })) }大家之所以不愿意直接通过 []byte(string) 把 string 转换为 []byte，是因为那样会牵扯内存拷贝，而通过unsafe.Pointer来做类型转换，没有内存拷贝，从而达到提升性能的目的。问题代码到底有没有问题？其实当我把代码拷贝到 vscode 之后就有提示了：SliceHeader is the runtime representation of a slice. It cannot be used safel ...继续阅读 (21)

前几天我在学习内存屏障的时候搜到一篇文章「Golang Memory Model」，其中在介绍 CPU 缓存一致性的时候提到一个例子，带给我一些困惑，本文记录下解惑过程。既然是在介绍 CPU 缓存一致性的时候举的例子，那么理所应当与此有关，看代码：package main import "time" func main() { running := true go func() { println("start thread1") count := 1 for running { count++ } println("end thread1: count =", count) }() go func() { println("start thread2") for { running = false } }() time.Sleep(time.Hour) }当我们通过「go run main.go」运行代码的时候，会发现第一个 goroutine 永远不会结束，就好像 running = false 没有生效一样。对此，文章把原因归结为 CPU 缓存一致性中的线程可见性问题，可是我前后看了几遍也没有看出个所以然来。细心的小伙伴不难发现代码存在 data race 问题：多个 goroutine 并发读写 running 变 ...继续阅读 (37)

前些天我们聊了Golang 内存对齐的话题，后来我突然想到另一个问题：为什么会有atomic.LoadInt32？可能你觉得思维太跳跃了，容我慢慢道来：首先，有atomic.LoadInt64很正常，因为对一个 int64 来说，它的大小是 8 个字节，如果是 32 位平台的话（字长 4 字节），CPU 一次最多操作 4 个字节，需要两次才能拿到全部数据，所以封装一个 atomic.LoadInt64 来实现原子操作；但是，对一个 int32 数据来说，它的大小是 4 字节，不管是 32 位平台（字长 4 字节），还是 64 位平台（字长 8 字节），CPU 应该都可以保证一次操作拿到数据，换句话说，如果读取一个 int32 数据，那么本身就应该是原子的，可是为什么会有 atomic.LoadInt32，这不是脱了裤子放屁么？有病没病走两步，让我们写一段代码来验证一下：package main import "sync/atomic" var v = int32(0) func main() { var x int32 x = v // main.go:9 _ = x x = atomic.LoadInt32(&v;) // main.go:11 _ = x }通过「go tool compile」运行代码，拿到对应的汇编结果：shell> go tool comp ...继续阅读 (45)

关于 Golang 内存对齐，昨天已经写了一篇「浅谈Golang内存对齐」，可惜对一些细节问题的讨论语焉不详，于是便有了今天这篇「再谈Golang内存对齐」。让我们回想一下groupcache和sync.WaitGroup中的做法，为了规避在 32 位环境下 atomic 操作 64 位数的 BUG，它们采取了截然不同的做法：// groupcache type Group struct { name string getter Getter peersOnce sync.Once peers PeerPicker cacheBytes int64 mainCache cache hotCache cache loadGroup flightGroup _ int32 // force Stats to be 8-byte aligned on 32-bit platforms Stats Stats } // sync.WaitGroup type WaitGroup struct { noCopy noCopy // 64-bit value: high 32 bits are counter, low 32 bits are waiter count. // 64-bit atomic operations require 64-bit alig ...继续阅读 (22)

如果你在golang spec里以「alignment」为关键字搜索的话，那么会发现与此相关的内容并不多，只是在结尾介绍 unsafe 包的时候提了一下，不过别忘了字儿越少事儿越大：Computer architectures may require memory addresses to be aligned; that is, for addresses of a variable to be a multiple of a factor, the variable’s type’s alignment. The function Alignof takes an expression denoting a variable of any type and returns the alignment of the (type of the) variable in bytes. For a variable x:uintptr(unsafe.Pointer(&x;)) % unsafe.Alignof(x) == 0The following minimal alignment properties are guaranteed:For a variable x of any type: unsafe.Alignof(x) is at least 1.F ...继续阅读 (27)

在中国，有一个简单的方法可以用来判断一个互联网公司够不够大，那就是看其是否开源过 rpc 框架！比如阿里巴巴的dubbo，或者腾讯的tars，小公司往往会对这些大公司的产品趋之若鹜，不过一个可悲的现实是大公司自己往往并不用他们开源的版本，这就好比皇帝总是把自己看不上眼的女人赏赐给臣民，不过能得到皇帝的赏赐总是好事，下面让我手把手教你用 tars，更具体的说是tarsgo，也就是 tars 的 golang 实现。实际动手前，最好熟读官方文档，特别是基础概念和基础通讯协议部分，假设你已经了解了这些内容，那么不妨让我们虚拟一个例子：给商城里的用户加积分！然后我们要构建一个 Shop（App），其中有一个 User（Server），其中有一个 Credit（Servant），可以简单的把 App、Server、Servant 这些概念理解成命名空间的几个层级，下面让我们用 tarsgo 内置的 create_tars_server_gomod.sh 脚本来生成项目！shell> export GOPATH=$(go env GOPATH) shell> go env -w GO111MODULE=auto shell> go get -u github.com/TarsCloud/TarsGo/tars shell> $GOPATH/src/github.com/TarsCloud/Ta ...继续阅读 (26)

话说前几天我遇到了一个死锁问题，当时想了一些办法糊弄过去了，不过并没有搞明白问题的细节，周末想起来便继续研究了一下，最终便有了这篇文章。让我们搞一段简单的代码来重现一下当时我遇到的问题：package main import "sync" func main() { var wg sync.WaitGroup foo := make(chan int) bar := make(chan int) closing := make(chan struct{}) wg.Add(1) go func() { defer wg.Done() select { case foo <- <-bar: case <-closing: println("closing") } }() // bar <- 123 close(closing) wg.Wait() }运行后报错，提示死锁：fatal error: all goroutines are asleep – deadlock!因为「foo <- <-bar」的写法不太常见，所以第一感觉是不是 select 的 case 语句只能操作一个 chan，不能同时操作多个 chan，于是我改了一下，每个 case 只读写一个 chan：package main import "sync" ...继续阅读 (37)

最近我遇到了一个在 docker 环境导入私有仓库的问题：一个 Golang 项目，使用gitlab ci来发布，通过gitlab runner调用docker-compose来打包，但是在构建时失败了。让我们重回案发现场，看看问题是怎么产生的：首先是 .gitlab-ci.yml 文件，其相关代码片段内容如下：build_job: stage: build script: - make docker-build然后是 Makefile 文件，其相关代码片段内容如下：.PHONY: docker-build docker-build: @docker-compose build接着是 docker-compose.yml 文件，其相关代码片段内容如下：build: context: . dockerfile: Dockerfile最后是 Dockfile 文件，其相关代码片段内容一下：FROM golang:1.17 AS builder WORKDIR /go/src/app COPY . . RUN go build结果在 build 的时候报错了：fatal: could not read Username for ‘https://git.domain.com’: terminal prompts disabled因为 gi ...继续阅读 (29)

我平常有一个习惯，就是不断看以前写的代码，想着有没有哪些方面可以改进，如果每天能把代码可读性量变​ 1%，那么日积月累就是质变：前些天我们写过一次对 Makefile 的重构，去掉了一处重复代码的坏味道，没过多久我便又发现了一处重复代码的坏味道，本文就让我们看看如何消灭它！让我们先把问题的来龙去脉搞清楚，在 Golang 项目里，一般推荐在根目录创建一个名为 tools.go 的文件，里面记录本项目依赖的相关工具，比如我的某个项目的 tools.go 如下：// +build tools package tools import ( // _ "github.com/cosmtrek/air" // _ "github.com/goreleaser/goreleaser" _ "github.com/bufbuild/buf/cmd/buf" _ "github.com/grpc-ecosystem/grpc-gateway/v2/protoc-gen-grpc-gateway" _ "github.com/grpc-ecosystem/grpc-gateway/v2/protoc-gen-openapiv2" _ "github.com/securego/gosec/v2/cmd/gosec" _ "github.com/tomwright/dasel/cmd/ ...继续阅读 (24)

如果你不了解 Makefile 的话，那么推荐看看阮一峰的文章「Make 命令教程」。本文通过一个重构的例子带你写出味道更好的 Makefile，让我们开始吧！假设有一个名为 foo 的项目，用 golang 开发，在 docker 上部署，其 Makefile 如下：APP = $(shell basename ${CURDIR}) TAG = $(shell git log --pretty=format:"%cd.%h" --date=short -1) .PHONY: build build: go build -ldflags "-X 'main.version=${TAG}'" -o ./tmp/${APP} . .PHONY: docker-config docker-config: env TAG=${TAG} docker-compose config .PHONY: docker-build docker-build: env TAG=${TAG} docker-compose build .PHONY: docker-push docker-push: env TAG=${TAG} docker-compose push .PHONY: docker-up docker-up: env TAG=${TAG} docker-compose u ...继续阅读 (27)

最近一直在开发某个 OCR 项目：底层用的是 ABBYY 提供的 FineReader 引擎，应用层把 FineReader 包装成 gRPC 对外提供服务，因为 FineReader 项目是 C++ 实现的，而我们团队使用的编程语言是 Golang，所以二者间通过 CGO 来完成交互。整个项目没有什么特殊的需求，只是鉴于 OCR 耗时较长，为了提升产品体验，要求在处理过程中：客户端可以主动退出；服务端能够实时返回已处理百分比。下面是根据需求画出来的流程图：流程图看上去很简单，不过我还是遇到不少问题，虽然这些问题主要都是一些细枝末节，基本上和 OCR 没什么关系，但是对别的项目还是会有所帮助的，下面让我一一道来。代码冗长编程里最常见的坏味道就是代码冗长，比如我的 main.go 就是如此，它足足有几百行代码之多，里面充斥着各种初始化配置，日志之类的操作。为了规避此类问题，我引入了一个 initializer 的概念，用来统一初始化操作，比如 viper：package initializer import ( "strings" "github.com/fsnotify/fsnotify" log "github.com/sirupsen/logrus" "github.com/spf13/viper" ) func Viper(env string) error { ...继续阅读 (26)

一般来说，在 K8S 下部署服务是很简单的事儿，但是如果部署的是一个 gRPC 服务的话，那么稍不留神就可能掉坑里，个中缘由，且听我慢慢道来。在 K8S 下部署服务，缺省情况下会被分配一个地址（也就是ClusterIP），客户端的请求会发送给它，然后再通过负载均衡转发给后端某个 pod：ClusterIP如果是 HTTP/1.1 之类的服务，那么 ClusterIP 完全没有问题；但是如果是 gRPC 服务，那么 ClusterIP 会导致负载失衡，究其原因，是因为 gRPC 是基于 HTTP/2 的，多个请求在一个 TCP 连接上多路复用，一旦 ClusterIP 和某个 pod 建立了 gRPC 连接后，因为多路复用的缘故，所以后续其它请求也都会被转发给此 pod，结果其它 pod 则完全被忽略了。看到这里，有的读者可能会有疑问：HTTP/1.1 不是实现了基于 KeepAlive 的连接复用么？为什么 HTTP/1.1 的复用没问题，而 HTTP/2 的复用就有问题？答案是 HTTP/1.1 的 复用是串行的，当请求到达的时候，如果没有空闲连接那么就新创建一个连接，如果有空闲连接那么就可以复用，同一个时间点，连接里最多只能承载一个请求，结果是 HTTP/1.1 可以连接多个 pod；而 HTTP/2 的复用是并行的，当请求到达的时候，如果没有连接那么就创建连接，如果有连接，那 ...继续阅读 (38)

某项目要集成 PDF 文件的 OCR 功能，不过由于此功能技术难度太大，网络上找不到靠谱的开源实现，最终不得不选择ABBYY FineReader Engine的付费服务。可惜 ABBYY 只提供了 C++ 和 Java 两种编程语言的 SDK，而我们的项目采用的编程语言是 Golang，此时通常的集成方法是使用 C++ 或 Java 实现一个服务，然后在 Golang 项目里通过 RPC 调用服务，不过如此一来明显增加了系统的复杂度，好在 Golang 支持CGO，让我们可以很方便的在 Golang 中使用 C 模块，本文总结了我在学习 CGO 过程中的心得体会。Hello World让我们看看一个 CGO 版本的 Hello, world 大概长什么样：package main /* #includevoid say(const char *s) { puts(s); } */ import "C" func main() { hello() } func hello() { s := C.CString("Hello, World\n") C.say(s) }如上所示，通过「import “C”」来激活 CGO，并且所有 C 语言相关的代码都以注释的形式放在此行之上，中间不允许有空行，这样我们就可以在 Golang ...继续阅读 (20)

对于大多数 Gopher 而言，一般平时最主要的工作内容除了实现各种无聊的业务逻辑之外，剩下的就是解决各种琐碎的问题。比如：查询性能瓶颈在哪里？查询内存泄漏在哪里？好在 pprof 是处理此类问题的利器，共有两套标准库，分别适用于不同的场景：runtime/pprof：采集工具型应用运行数据进行分析net/http/pprof：采集服务型应用运行时数据进行分析命令行工具「go test」就包含了 runtime/pprof，相关参数请参考「go help testflag」：shell> go test -cpuprofile cpu.out -memprofile mem.out -bench .不过和 runtime/pprof 相比，更常用的是 net/http/pprof，接下来我们主要通过它来解决一些常见问题，想要激活 net/http/pprof 的话很简单，只要导入对应的包并启动服务即可：import _ "net/http/pprof" func main() { _ = http.ListenAndServe("localhost:6060", nil) }需要注意的是，千万别让外网访问到 pprof，否则可能会导致出现安全问题。有兴趣的读者可以尝试通过 google 搜索「intitle:/debug/pprof/ inurl:/debug/pprof/」看 ...继续阅读 (23)

我用过很多消息系统，比如：简单的Redis Streams；高效的Kafaka等等，不过自从我把编程语言切换到 Golang 以后，总觉得必须找个用 Golang 开发的消息系统才配得上门当户对，原本我已经和小家碧玉的NSQ厮守终生，不过当我认识了上流社会CNCF钦定的大家闺秀NATS后，刹那间就仿佛徐志摩遇到了林徽因，扭头就给结发妻子写了休书。INSTALLATION服务端nats-server，客户端nats，监控工具nats-top，性能测试工具nats-bench：shell> go get github.com/nats-io/nats-server/v2 shell> git clone https://github.com/nats-io/natscli.git shell> cd natscli/nats shell> go get . shell> go get github.com/nats-io/nats-top shell> git clone https://github.com/nats-io/nats.go.git shell> cd nats.go/examples/nats-bench shell> go get .需要说明的是，关于 stream 有新旧两种架构的服务端实现，其中旧的 NATS Streaming Server 架构已经过时 ...继续阅读 (32)

虽说微服务早已是一个老生常谈的话题了，在infoq或者thoughtworks上可以找到很多案例，不过可惜的是其中相当比例的案例是失败的案例，究其原因，除了技术门槛之外，主要是因为很多人脱离了实际情况，只是为了微服务而微服务。本文通过一个例子带领大家从头到尾体验一下微服务的演化过程，不仅要做到知其然，更要做到知其所以然。假设我们正在开发一个在线购物项目，其主要功能包括商城、推荐、评论、用户等，它是一个典型的单体架构：不同团队的技术人员工作在同一个版本库上，系统功能按模块划分，不同模块之间通过本地函数调用，通常操作同一个数据库。微服务在项目早期，单体架构往往能很好的适应快速迭代的需求，不过随着项目的发展，项目本身会变得复杂，其弊端不可避免的出现，比如下面列举的一些情况：因为大家都工作在同一个版本库上，所以可能会遇到：商城模块完成了新功能，准备上线，结果推荐模块刚提交了还没来得及测试的代码，于是不得不推迟上线。不同的需求采用不同的技术栈：负责评论模块的同事想用 PHP + MySQL 来构建系统，负责用户模块的同事却想用 Golang + PostgreSQL 来构建系统。有的模块需要高性能 CPU，有的模块需要大内存，因为不同的模块是耦合在一起的，所以我们的服务器不得不同时具备高性能 CPU，大内存，从而增加了成本。如何解决此类问题？康威定律给出了很好的建议：「设计系统的架构受制于产 ...继续阅读 (25)

之所以要实现 Schemaless，主要是因为在线 DDL 有很多痛点，关于这一点，我在以前已经写过文章，没看过的不妨看看「史上最LOW的在线DDL解决方案」，不过那篇文章主要以介绍为主，并没有涉及具体的实现，所以我写了一个 Laravel 的例子。首先创建测试用的 users 表，并且添加虚拟字段 name、address、level：mysql> CREATE TABLE users ( id INT UNSIGNED NOT NULL AUTO_INCREMENT, created_at timestamp null, updated_at timestamp null, data JSON NOT NULL, PRIMARY KEY(id) ); mysql> ALTER TABLE users add name VARCHAR(100) AS (JSON_UNQUOTE(JSON_EXTRACT(data, '$.name'))) AFTER id; mysql> ALTER TABLE users add address VARCHAR(100) AS (JSON_UNQUOTE(JSON_EXTR ...继续阅读 (23)

给一段文字标记 Tag 是一个很常见的需求，比如我每篇博客下面都有对应的 Tag，不过一般说来，Tag 是数据录入者人为手动添加的，但是对大量用户产生的数据而言，我们不能指望他们能够主动添加合适的 Tag，于是乎就产生了这样的需求：自动打 Tag。实际上这已经属于 NLP 高大上的范畴了，不是我这种非科班出身的人所能掌控的。好消息是百度和腾讯都有 NLP 平台可供选择，坏消息是免费版的 API 配额极其有限。如果不差钱的话，直接选择 NLP 平台无疑是最方便的，不过对我来说还是基于开源软件自己搭建一套吧，常见选择有THUTag和Jieba，因为 THUTag 是 Java 写的，Jieba 是 Python 写的，而我搞不定 Java，所以就选择了 Jieba。如果要实现自动打 Tag，那么首先要实现分词，然后选择权重最大的词即可。Jieba 是如何实现分词的呢？简单点说就是通过 trie 树扫描词典（dict.txt），然后基于词频找到最大切分组合，作者在issues里举例说明了实现过程，有兴趣可以看看。更神奇的是，在这个过程中，如果存在词典中没有的词，那么 Jieba 还可以根据 HMM 模型推断出可能的新词，不过这不是我们的重点，就不多说了。在这里，一个重要的概念是词频（P），其在 Jieba 里的计算方法如下：python> jieba.get_FREQ(...) / ...继续阅读 (34)

很多公司都禁止程序员在 SQL 中使用 JOIN，至于原因则出奇的一致：用 JOIN 慢。不过我从没见过谁来论证为什么 JOIN 慢，反倒是这个人云亦云的结论越传越广，让我觉得是时候来讨论一下这个看似正确的结论了。举个例子：查询最新的十篇帖子和对应的用户信息，用 JOIN 是这样的：SELECT posts.id, posts.content, users.name, ... FROM posts JOIN users on posts.user_id = users.id ORDER BY posts.created_at DESC LIMIT 10如果不使用 JOIN 的话，那么大概会改写成如下两条 SQL：SELECT id, content, ... FROM posts ORDER BY created_at DESC LIMIT 10 SELECT name, ... FROM users WHERE id in (...)第一次查询得到帖子数据，然后在程序代码里收集好想要的 user_id，第二次查询通过 user_id 得到用户数据，接着在程序代码里把两份数据组合起来。哪个快？我就不用跑个 bench 了吧，肯定是用 JOIN 的快！JOIN在我看来，JOIN 的问题不是性能，而是当你执行 posts JOIN users 的时候，实际上相当于做出了一个假设：po ...继续阅读 (21)

老实说，Dropwatch并不是什么新鲜玩意，很多年前霸爷就专门撰文介绍过它，通过它可以大概找出系统为什么会丢包，其原理就是跟踪 kfree_skb 的调用行为。不过虽然很多人知道它的存在，但是却并不知道如何具体使用它，所以我写下了这篇文字。以 CentOS 为例，动手前需要了解系统的版本，并确保已经安装了对应的包：shell> uname -r 2.6.32-431.23.3.el6.x86_64 shell> rpm -qa | grep kernel kernel-2.6.32-431.23.3.el6.x86_64 kernel-debuginfo-common-x86_64-2.6.32-431.23.3.el6.x86_64Dropwatch 本身有一个交互命令行，命令中的 kas 指的是加载对应的符号表：shell> dropwatch -l kas Initalizing kallsyms db dropwatch> start Enabling monitoring... Kernel monitoring activated. Issue Ctrl-C to stop monitoring 298 drops at init_dummy_netdev+50 (0xffffffff81459d10) 1 drops at init_du ...继续阅读 (19)

相信很多人看了标题后都会纳闷：设置 CRON 定时任务有什么难的？不过请相信我，正确设置 CRON 真的不是一件简单的事情！各位看官不妨听我慢慢道来。关于 CRON，出镜率最高的一个问题莫过于：为什么手动执行一切正常，放到 CRON 里就不执行呢？实际上此类问题多半是因为环境变量导致的，答案就在配置文件里：shell> cat /etc/crontab SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .------------- hour (0 - 23) # | | .---------- day of month (1 - 31) # | | | .------- month (1 - 12) OR jan, ... # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun, ... # | | | | | # * * * * * user-name command to be ex ...继续阅读 (21)

通常修改了 PHP 的配置后，为了让修改生效会执行 reload，而不是 restart，因为有很多前辈告诫过我们，reload 能保证整个过程的平滑性，所谓平滑性指的是在 reload 的过程中，旧的进程在处理完当前请求前不会提前终止。很多年来，我从来没有质疑过这种说法，直到有一天，当我 reload 的时候，出现了 502 错误，让我不得不重新思考。如何重现问题呢？让我们写一个简单的脚本来模拟：<?php sleep(11); echo "foo"; ?>此时用浏览器浏览这个网址，接着立刻执行 reload 操作，就能看到 502 错误了。难道 PHP 这么弱？连 reload 基本的平滑性都无法保证？答案当然是否定的，实际上通过 process_control_timeout 参数可以实现我们的目标。可惜这个参数缺省是 0，也就是不生效，本文把它设置成 10s。重新执行之前的实验步骤，这一次正常输出了结果。不过如果你多做几次实验的话，可能会发现当我们 reload 的时候，sleep 立刻就结束了，这是因为 sleep 收到 reload 发出的信号后直接返回了，下面让我们再改写一下脚本：<?php sleep(11); echo "foo"; sleep(11); echo "bar"; ?>重新执行之前的实验步骤，你会发现 502 错误又出 ...继续阅读 (18)

我对ElasticStack可以说是既熟悉又陌生，说熟悉是因为很久以前就已经开始使用 ELK 来分析日志了，说陌生是因为以前的 ELK 环境都是同事搭建的，我主要是看看 Kibana 面板而已。随着V5的发布，ELK 全面进化为 ElasticStack，是时候动手了。实际操作前最好大致浏览一下官方文档，以便对 ElasticStack 各个组件的作用有一个基本概念，如果看完文档还没搞清楚，那么至少要看明白下面这张图：ElasticStack整个流程相当简单，首先服务器通过 Filebeat 把数据上报给 Logstash，然后 Logstash 分析后把数据保存到 ElasticSearch 里，最后用户通过 Kibana 浏览数据。废话少说，接下来让我们按顺序安装ElasticStack 的各个组件，不过安装前我们需要确保系统已有Java且版本足够新，一般这种运行环境我习惯用包管理工具：shell> yum install java-1.8.0-openjdk同时记得创建一个系统账号（比如叫 elastic）以便后续运行服务使用。第一步：安装 ElasticSearchshell> tar zxvf elasticsearch-<VERSION>.tar.gz shell> mv elasticsearch-<VERSION> /usr ...继续阅读 (29)

如今各种高大上的监控工具早已经让人目不暇接了，但是熟悉基础的 Linux 监控命令依然是必要的，就好比 IDE 再好用，我们也得学会 vi 或者 emacs 才行。如果让我选一个必须学会的 Linux 监控命令的话，那么我想我一定会选 sar，没有之一。监控命令 sar 隶属于 sysstat 包，监控的内容可以说是无所不包，常见的有：sar -q：查看 Loadsar -u：查看 CPUsar -r：查看 Memorysar -b：查看 IO除了这些常用的基础用法，还有一些更高级的用法：sar -n DEV -f /var/log/sa/sa01：查看本月 1 号的网卡流量情况sar -n SOCK -f /var/log/sa/sa01：查看本月 1 号的网络连接情况缺省情况下，sar 会每 10mins 搜集一次数据，然后保存到「/var/log/sa」里，如果我们想查看历史数据，可以在执行 sar 时通过「-f」参数指定具体的日志文件。不过需要说明的是，每 10mins 一次的采样周期实在有点久，我强烈建议大家改成每 1min 采样一次：shell> cat /etc/cron.d/sysstat # Run system activity accounting tool every 1 minute * * * * * root /usr/lib64/sa/sa1 ...继续阅读 (33)

说起在线 DDL，最常见的操作莫过于在线加一个字段或者索引，不过如果数据量比较大的话，伴随而来的往往是长时间的等待，更要命的是系统在操作期间很可能会出现不可用的情况，所以一般只能等到凌晨操作，简直就是梦魇一般的存在。在 PostgreSQL 中，如果注意使用方法，那么在线 DDL 并不是一个太难的事情。这里面说注意使用方法，指的是 PostgreSQL 跟其它一些数据库一样，在加字段或者索引的时候会锁住表，不过有一些技巧可以绕开此限制：加字段：使用 ALTER TABLE ADD COLUMN，注意允许 NULL，并且没有缺省值。加索引：使用 CREATE INDEX CONCURRENTLY，注意 CONCURRENTLY。说完了 PostgreSQL 再看看 MySQL，从 5.5 开始，MySQL 就具备了Fast Index Creation的能力，并且从 5.6 开始，InnoDB 具备了相对比较完善的在线 DDL能力：InnoDB DDL如上表所示，新版 MySQL 的在线 DDL 能力确实有提升，比如加索引等操作不用锁表拷表，但是加字段等操作还是需要拷表，如果数据量比较大的话，巨大的 IO 压力无疑还是会影响系统可用性。开源社区也有一些处理在线 DDL 的工具，比如pt-online-schema-change和gh-ost。其中 pt-online-schema-c ...继续阅读 (18)

通常来说，不管使用什么数据库，表里都有一个名为 id 的主键，既然是主键，那么必然要满足唯一性，对于 MySQL 用户来说，它多半是一个 auto_increment 自增字段，也有一些别的用户喜欢使用 UUID 做主键，不过对 MySQL（特别是 InnoDB）来说，UUID 通常不是一个好选择，因为聚簇索引要求物理数据按照主键排序，而 UUID 本身是无序的，所以会带来很多不必要的 IO 消耗。于是乎我们得到一个结论：ID 最好是顺序的唯一值。如此说来，就用 MySQL 的 auto_increment 自增字段不就好了？问题是这样无法满足高可用性，虽然可以通过多台服务器设置不同的 auto_increment 步长来提升可用性，但数据库本身始终就是那块最短的木板。至于解决方案，网上已经有很多类似的讨论：细聊分布式ID生成方法业务系统需要什么样的ID生成器分布式Unique ID的生成方法一览最流行的解决方案，当然是 twitter 的snowflake，其大致含义是说：为了避免单点故障，在多个节点上运行 ID 生成器服务，每个节点都有自己独立的标识，ID 以时间因子为前缀，虽然不同的服务器时间可能存在差异，不能保证绝对的顺序，但是整体的趋势还是可以认为是顺序的，IO 负担可以忽略，同时以一个计数器为后缀，从而保证唯一性。网上现有的开源 ID 生成器，比如Chronos，都是运 ...继续阅读 (20)