Go 1.22 就要在龙年春节期间发布了。Go 1.22的新特性包括了新的math/rand包。这个包的目标是提供一个更好的伪随机数生成器，它的 API 也更加简单易用。本文将介绍这个新的包的特性。Go 1.22 release notes正在编写之中，大家可以关注这个网页以便全面了解Go 1.22的变化，前几天有Gopher制作了一个交互式运行新特性代码的网页，也非常好，在reddit上关注度很高。今天这篇文章只关注于于math/rand/v2这个新的包。为什么要新的math/rand包其实大家对math/rand不是那么满意。2017年，#20661中提到math/rand.Read和crypto/rand.Read相近，导致本来应该使用crypto/rand.Read的地方使用了math/rand.Read，导致了安全问题。2017年，#21835中 Rob Pike 提议在Go 2中使用PCG Source。2018年，#26263中 Josh Bleecher Snyder 提议对math/rand进行彻底的重构。2023年6月， Russ Cox基于先前的对math/rand的吐槽，以及和Rob Pike的讨论，建立了一个讨论(#60751),准备新建一个包math/rand/v2,重新设计和实现一个新的伪随机数的库讨论也很热烈，最后实现了一个提案#61716，这个提案 ...继续阅读 (70)

有时候批量积攒一批数据集中处理，是一个高效的提高程序性能的方法，比如我们可以批量写入数据库，批量发送消息到kafka，批量写入网络数据等等。批量把数据收集出来，我们常用channel类型，此时channel的功能就是一个buffer,多个生产者把数据写入到channel中，消费者从channel中读取数据，但是Go的channel并没有提供批量读取的方法，我们需要自己实现一个。ithub.com/smallnest/exp/chanx 库当然我已经实现了一个batch库，你可以直接拿来用，本文主要介绍它的功能、使用方法以及设计原理和考量：github.com/smallnest/exp/chanx。我们可以使用这个库的Batch方法来批量读取数据，它的定义如下：1funcBatch[T any](ctx context.Context, ch <-chanT, batchSizeint, fnfunc([]T))第一个参数是Context,可以让调用者主动取消或者超时控制第二个参数是channel，我们从这个channel中读取数据。channel可以在外部被关闭第三个参数是批处理的大小，也就是我们从channel中读取一批数据的最大量第四个参数是一个函数，我们把从channel中读取的一批数据传递给这个函数，由这个函数来处理这批数据举一个例子：123456789101112131 ...继续阅读 (73)

Java中的Phaser是一个同步原语，它可以让多个线程在某个时刻同步执行。它和Barrier有点类似，但是它比Barrier更加灵活。举一个例子哈，比如足球迷特别喜欢的欧洲冠军联赛，它的赛制就分为多个阶段：欧洲冠军联赛由欧冠资格赛、欧冠附加赛和欧冠正赛三部分组成。欧冠资格赛，分为预赛轮（preliminary round）、第一轮资格赛（first qualifying round）、第二轮资格赛（second qualifying round）和第三轮资格赛（third qualifying round）。第三轮资格赛的优胜的10支球队进入欧冠附加赛，附加赛优胜的6支球队（冠军之路4队、联赛之路2队）将和26支自动晋级的队伍一起，参加欧冠小组赛。欧冠正赛分为小组赛、1/8决赛、1/4决赛、半决赛和决赛。所以欧冠联赛分成了多个阶段，每一个阶段，会有一些球队参加，等到下一阶段，淘汰了一部分球队，又会有新的球队加入，每个阶段的球队都会有变化。这种情况非常适合使用Phaser来模拟。Phaser和CyclicBarrier的功能非常的相似，都是应用于多个参与者多阶段处理问题的场景，每个阶段都有障碍点，在障碍点需要等待所有的参与者到齐后才能进入下一个阶段。但是Phaser比CyclicBarrier更加灵活，CyclicBarrier的参与者数量是固定的，所以初始化CyclicBarri ...继续阅读 (85)

说起每个程序员必犯的错误，那还得是"循环变量"这个错误了，就连Go的开发者都犯过这个错误，这个错误在Go的FAQ中也有提到What happens with closures running as goroutines?:1234567891011121314funcmain() {varwg sync.WaitGroupvalues := []string{"a","b","c"}for_, v :=rangevalues {wg.Add(1)gofunc() {fmt.Println(v)wg.Done()}()}wg.Wait()}你可能期望能输出a、b、c这三个字符(可能顺序不同)，但是实际可能输出的是c、c、c。这是因为循环变量的作用域是整个循环，而不是单次迭代，所以在循环体中使用的变量是同一个变量，而不是每次迭代都是一个新的变量。这个错误有时候隐藏很深，即使没有goroutine，也有可能，比如下面的代码，并没有使用额外的goroutine和闭包，也是有问题的:1234567891011121314151617181920212223packagemainimport("fmt")typeCharstruct{Char *string}funcmain() {varchars []Charvalues := []string{"a","b","c"}for_, v := ...继续阅读 (79)

疫情结束后，很多的Gopher大会在全世界举行，本文整理了今年在地球上举行的Gopher大会，并列出了大会中一些有趣的议题和油管链接。GopherCon Israel 2023, 时间：2023-02-07, 地点: 以色列 特拉维夫https://www.gophercon.org.il/特拉维夫是以色列第二大城市，事实上的首都，也是以色列的经济、文化和科技中心。以色列的高科技产业在特拉维夫和其周边地区集中，被称为“以色列硅谷”。一个小规模的GopherCon，是以色列国内Gopher的盛会。但是分享的内容还是很不错的，比如下面的分享：Bottlenecks in Golang memory managementHot path optimizations for latency-critical applications in GO总体上来说分享的内容还是比较基础。分享视频:https://www.youtube.com/playlist?list=PLRM-8sTy13Xvr1ZaZarF5t_PBPxJdZHxtGopherCon Brasil 2023, 时间：2023-05-09 ~ 2023-05-10, 地点: 巴西 弗洛里亚诺波利斯https://gopherconbr.org/en/葡萄牙语，看不懂。分析视频：https://www.youtube.com/pl ...继续阅读 (81)

Go 1.13 中errors包有了一些变化，这些变化是为了更好地支持Go的错误处理提案。Go 1.20中也增加了一个新方法，这个新方法可以代替第三方的库处理多个error，这篇文章将介绍这些变化。因为原来的Go的errors中的内容非常的简单，可能会导致大家轻视这个包，对于新的变化不是那么的关注。让我们一一介绍这些新的方法。Unwrap如果一个err实现了Unwrap函数，那么errors.Unwrap会返回这个err的unwrap方法的结果，否则返回nil。一般标准的error都没有实现Unwrap方法，比如io.EOF, 但是也有一小部分的error实现了Unwrap方法，比如os.PathError，os.LinkError、os.SyscallError、net.OpError、net.DNSConfigError等等。比如下面的代码:123fmt.Println(errors.Unwrap(io.EOF))// nil_, err := net.Dial("tcp","invalid.address:80")fmt.Println(errors.Unwrap(err))第一行因为io.EOF没有Unwrap方法，所以输出nil。net.Dial失败返回的err是*net.OpError,它实现了Unwrap方法，返回更底层的*net.DNSError,所以第二行输出为l ...继续阅读 (81)

一个Go大佬群中严肃的讨论了一个问题：Go程序单线程多goroutine访问一个map会遇到并发读写panic么？答案是肯定的，因为出现了这个问题所以大家才在群中讨论。为什么呢？因为单线程意味着并行单元只有一个(多线程也可能并行单元只有一个)，但是多goroutine意味着并发单元有多个，如果并发单元同时执行，即使是单线程，可能就会产生数据竞争的问题，除非这些goroutine是顺序执行的。举一个例子哈：12345678910111213141516171819202122funcTestCounter() {runtime.GOMAXPROCS(1)varcounterintvarwg sync.WaitGroupwg.Add(10)fori :=0; i <10; i++ {i := igofunc() {fmt.Printf("start task#%d, counter: %d\n", i, counter)forj :=0; j <10_0000; j++ {counter++}fmt.Printf("end task#%d, counter: %d\n", i, counter)wg.Done()}()}wg.Wait()fmt.Println(counter)}这段测试代码是启动10个goroutine对计数器加一，每个goroutine负责加10万次。在我的MBP ...继续阅读 (83)

Classical BPF(cBPF, 伯克利包过滤器)是一种用来过滤网络数据包的技术。它像一个钩子一样挂载在网络栈的关键路径上,可以在数据包进入协议栈之前,根据预设规则来过滤或处理网络数据包。相比于一般的软件包过滤方案,Classical BPF有以下优点:效率高:因为它运行在内核空间,可以避免不必要的内核态和用户态切换,也省去多次数据复制的开销。安全:它不能随意访问系统内存或修改数据包,只能根据规则过滤,不会引起安全隐患。灵活:过滤规则可以动态更新,使包过滤功能更加灵活。Classical BPF通常应用于网络监控、防火墙、流量控制等场景。它为包过滤提供了一个高效、安全、灵活的解决方案。但功能较为受限,只能过滤包不能修改。我在百度做了三年多的网络监控了，我们会使用各种各样的方式来监控整个百度的物理网络，这些监控方式不同于普通的TCP Server/Client或者 UDP程序，一般我们会采用raw socket的方式来做包的探测和网络监控，为了高效的使用raw socket,避免把内核协议层的所有包都复制到应用层，我们会使用cBPF对收到的包进行过滤，我们只从内核层复制特定类型的包到应用层， 比如只复制UDP协议目的端口在20000 ~ 21000的数据包。怎么做到呢？就是使用cBPF。我在先前的文章使用BPF, 将Go网络程序的吞吐提升8倍举了一个使用cBPF的例子：1234 ...继续阅读 (82)

书接上回。昨天我写了一篇《这个限流库两个大bug存在了半年之久，没人发现？》，提到了Go语言中的time.Sleep函数的问题。有网友也私下和我探讨，提到这个可能属于系统的问题，因为现代的操作系统都是分时操作系统，每个线程可能会分配一个或者多个时间片，Windows默认线程时间精度在15毫秒，Linux在1毫秒，所以time.Sleep的精度不可能那么高。嗯，理论上这可以解释time.Sleep的行为，但是没有办法解释网友提出的在go 1.16之前的版本中，time.Sleep的精度更高，而go 1.16之后的版本中，time.Sleep的精度更低的问题。这个问题在Go的bug系统中有很多，不只是单单上篇文章介绍的#44343, 比如#29485、#61456、#44476、#44608、#61042。这些bug中Ian Lance Taylor的有些评论很有价值，对于了解Go运行时的Sleep很有帮助。但是阅览了这么多的bug,没有人给出为啥go 1.16之后的版本中，time.Sleep的精度更低的解释，到底发生了啥？或许和Timer调度的变化有关。Linux和Windows提供了更高精度的Sleep, Go开发者也在尝试解决Windows中过长的问题。为了把这个问题说明白，我们举一个典型的例子，这里我使用了loov/hrtime,它能提供更高精度的时间和benchmark方法 ...继续阅读 (78)

最近我的同事在使用uber-go/ratelimit这个限流库的时候，遇到了两个大bug。这两个bug都是在这个库的最新版本(v0.3.0)中存在的,而这个版本从7月初发布都已经过半年了，都没人提bug，难道大家都没遇到过么？我先前都是使用juju/ratelimit这个限流库的，不过我不太喜欢这个库的复杂的“构造函数”，后来尝试了uber-go/ratelimit这个库后，感觉SDK设计比较简单，而且使用起来也不错，就一直使用了。当时的版本是v0.2.0,而且我也不会设置它的slack参数，所以也相安无事。最近我同事在做项目的时候，把这个库更新到最新的v0.3.0,发现在发包一段时间后，突然限流不起作用了，发包频率狂飙导致程序panic。很容易通过下面一个单元测试复现这个问题：12345678910111213funcTestLimiter(t *testing.T) {limiter := ratelimit.New(1, ratelimit.Per(time.Second), ratelimit.WithSlack(1))fori :=0; i <25; i++ {ifi ==1{time.Sleep(2* time.Second)}limiter.Take()fmt.Println(time.Now().Unix(), i)// burst}}这个单元测试尝试在第二个周期中 ...继续阅读 (86)

2023年来， Go的并发库又有了一些变化，这篇文章是对这些变换的综述。小细节的变化，比如typo、文档变化等无关大局的变化就不介绍了。sync.MapGo 1.21.0 中增加了和Once相关的三个函数，便于Once的使用。123funcOnceFunc(ffunc())func()funcOnceValue[T any](ffunc() T)func() TfuncOnceValues[T1, T2 any](ffunc() (T1, T2))func() (T1, T2)这三个函数的功能分别是：OnceFunc：返回一个函数g，多次调用这个函数g，只会执行一次f。 如果f执行时panic, 则后续调用这个函数g不会再执行f,但是每次调用都会panic。OnceValue：返回一个函数g，多次调用这个函数g，只会执行一次f，函数g返回值类型是T。比上一个g多了一个返回值。panic原理同上。OnceValues：返回一个函数g，多次调用这个函数g，只会执行一次f，函数g返回值类型是(T1, T2)。比上一个g又多了一个返回值。panic原理同上。当然理论上你还可以增加更多的函数，返回更多的返回值，因为Go没有Tuple类型，所以这里还不能简化函数g的返回值为Tuple类型。反正Go 1.21.0就只增加了这三个函数。这个有什么好处呢？先前我们使用sync.Once的时候，比如初 ...继续阅读 (73)

原文:Golang Best Practices (Top 20)简介在本教程中，我们将探讨Golang中的前20个最佳编码实践。这将帮助你编写有效的Go代码。#20: 使用适当的缩进良好的缩进使你的代码易读。一致地使用制表符或空格（最好是制表符），并遵循Go的缩进标准。123456789packagemainimport"fmt"funcmain() {fori :=0; i <5; i++ {fmt.Println("Hello, World!")}}运行gofmt以根据Go标准自动格式化（缩进）你的代码。1$ gofmt -w your_file.go#19: 正确导入包仅导入你需要的包，并格式化导入部分以将标准库包、第三方包和你自己的包分组。1234567packagemainimport("fmt""math/rand""time")#18: 使用描述性的变量和函数名有意义的名称：使用传达变量目的的名称。驼峰命名法：以小写字母开头，并在名称中的每个后续单词的首字母大写。短名称：对于生命周期短、范围小的变量，可以使用简洁的名称。不要使用缩写：避免使用难以理解的缩写和首字母缩写，而使用描述性名称。一致性：在整个代码库中保持命名一致性。1234567891011121314151617181920212223packagemainimport"fmt"funcmain() {/ ...继续阅读 (91)

Mutex是最常用的一种同步原语，它提供了互斥锁的功能,多线程可以互斥访问共享数据以及通过锁保护临界区。Rust标准库提供了Mutex的实现，接下来我们看看它是怎么实现的。Mutex的定义Mutex包含三个字段。一个是内部实现的锁(sys::Mutex)，根据不同的操作系统，可能选择不同的实现。一个是poison，用来标记锁是否被破坏，是否中毒了。最后一个是data，用来存储被保护的数据。1234567891011pubstructMutex{inner: sys::Mutex,poison: poison::Flag,data: UnsafeCell,}implMutex{pubconstfnnew(t: T) -> Mutex{Mutex { inner: sys::Mutex::new(), poison: poison::Flag::new(), data: UnsafeCell::new(t) }}}另外一个关联的数据结构是MutexGuard, 它是Mutex的一个智能指针，用来管理锁的生命周期。它实现了Deref和Drop，所以可以通过*来访问被保护的数据，当MutexGuard离开作用域时，会自动释放锁。12345```rustpubstructMutexGuard<'a, T: ?Sized + 'a> {lock: &'a Mutex,poison: poiso ...继续阅读 (76)

iptables是 Linux 系统中的一个非常强大的防火墙工具，它可以用于过滤、修改、重定向和处理网络数据包。iptables 是基于 Netfilter 框架的，Netfilter 是 Linux 内核的一部分，它提供了在内核级别处理网络数据包的能力。iptables 的主要功能包括：数据包过滤：iptables 可以根据各种条件（如源 IP 地址、目的 IP 地址、协议类型、端口号等）来决定是否允许数据包通过。这是实现防火墙的基本功能。网络地址转换（NAT）：iptables 可以修改数据包的源 IP 地址或目的 IP 地址，这是实现网络地址转换（NAT）的基本功能。数据包重定向和修改：iptables 可以将数据包重定向到其a他的 IP 地址或端口，或者修改数据包的其他属性。iptables 的规则是基于表和链的。表是规则的集合，链是表中的一个部分，它代表了数据包处理的一个阶段。iptables 有五个预定义的表：filter（用于数据包过滤）、nat（用于网络地址转换）、mangle（用于数据包修改）、raw（用于配置不进行连接跟踪的数据包）和security（用于强制访问控制）。iptables 是一个非常复杂和强大的工具，它需要深入的网络知识和 Linux 系统知识才能有效地使用。然而，对于网络管理员和系统管理员来说，学习和掌握 iptables 是非常有价值的，因为 ...继续阅读 (78)

今天看到包云岗老师的一条微博：这个一小时就在Unix中实现了管道的系统调用的出处来自于《Unix传奇》一书，这本书是我读过的最好的一本关于Unix历史的书籍，里面介绍了很多大神的光辉事迹，Ken Thompson是Unix的创始人之一，他还是Go语言的三巨头之一。那么，在Go语言中，如何实现进程的管道呢？在Go语言中，你可以使用exec包来启动一个进程。主要的函数是Command函数，它返回一个Cmd类型，该类型代表一个正在准备运行的命令。以下是一个简单的例子，演示如何启动一个进程并执行命令：1234567891011121314151617181920212223242526272829packagemainimport("fmt""os/exec")funcmain() {// 创建一个 Cmd 结构体，代表要执行的命令cmd := exec.Command("ls","-l")// 执行命令并等待完成err := cmd.Run()iferr !=nil{fmt.Println("Error executing command:", err)return}// 获取命令的标准输出output, err := cmd.Output()iferr !=nil{fmt.Println("Error getting command output:", err)return}// 打印 ...继续阅读 (83)

昨天Redis的作者 antirez (Salvatore Sanfilippo) 昨天创建一个新的演示项目：smallchat，用了200行C语言代码实现了一个聊天室。我看了一下，觉得很有意思，于是就用Go语言实现了一下，代码不到100行，功能和antirez的实现一样。antirez 三年前停止写代码，专心写他的科幻小说《Wohpe》，今天看起来他有回到编程的状态了。关于这个小项目的背景是：昨天我正在与几个前端开发者朋友闲聊,他们距离系统编程有些远。我们回忆起了过去的IRC时光。不可避免地,我说:编写一个非常简单的IRC服务器每个人都应该做一次。这样程序中有非常有趣的部分。一个进程进行多路复用,维护客户端状态,可以用不同的方式实现等等。然后讨论继续,我想,我会给你们展示一个极简的C语言例子。但是你能编写出啥样的最小聊天服务器呢?要真正做到极简,我们不应该需要任何特殊的客户端，即使不是很完美,它应该可以用telnet或nc(netcat)作为客户端连接。服务器的主要功能只是接收一些聊天信息并发送给所有其他客户端,这有时称为扇出操作。这还需要一个合适的readline()函数,然后是缓冲等等。我们想要更简单的:利用内核缓冲区,假装我们每次都从客户端收到一个完整的行(这个假设在实际中通常是正确的,所以这个假设没啥问题)。好吧,有了这些技巧,我们可以用只有200行代码实现一个聊天室,用 ...继续阅读 (80)

同步是多线程程序中的一个重要概念。在多线程环境下,多个线程可能同时访问某个共享资源,这就可能导致数据竞争或者数据不一致的问题。为了保证数据安全,需要进行同步操作。常见的同步需求包括:互斥:线程在使用共享资源时,同一时刻只允许一个线程访问共享资源,在一个线程使用时,其他线程需要等待,不能同时访问,需要互斥访问。限制同时访问线程数:对某些共享资源,可能需要限制同一时刻访问的线程数。线程间通信:一个线程需要基于另一个线程的处理结果才能继续执行,需要线程间通信。有序访问:对共享资源的访问需要按某种顺序进行。为了实现这些同步需求,就需要使用同步原语。常见的同步原语有互斥锁、信号量、条件变量等。互斥锁可以保证同一时刻只有一个线程可以访问共享资源。信号量可以限制同时访问的线程数。条件变量可以实现线程间的通信和协调。这些同步原语的使用可以避免同步问题,帮助我们正确有效地处理多线程之间的同步需求。ArcArc已改放在前一章的，这一章补上。我这里介绍的时候分类不一定精确，只是方便给大家介绍各种库和并发原语，不用追求分类的准确性。Rust的Arc代表原子引用计数（Atomic Reference Counting），是一种用于多线程环境的智能指针。它允许在多个地方共享数据，同时确保线程安全性。Arc的全称是std::sync::Arc，属于标准库的一部分。在Rust中，通常情况下，变量是被所有权管理的， ...继续阅读 (79)

Rust 在并发编程方面有一些强大的原语，让你能够写出安全且高效的并发代码。最显著的原语之一是 ownership system，它允许你在没有锁的情况下管理内存访问。此外，Rust 还提供了一些并发编程的工具和标准库,比如线程、线程池、消息通讯(mpsc等)、原子操作等，不过这一章我们不介绍这些工具和库，它们会专门的分章节去讲。这一章我们专门讲一些保证在线程间共享的一些方式和库。并发原语内容较多，分成两章，这一章介绍Cow、beef::Cow、Box、Cell、RefCell、OnceCell、LazyCell、LazyLock和Rc。 我把它们称之为容器类并发原语，主要基于它们的行为，它们主要是对普通数据进行包装，以便提供其他更丰富的功能。CowCow不是🐄，而是clone-on-write或者copy-on-write的缩写。Cow(Copy-on-write) 是一种优化内存和提高性能的技术,通常应用在资源共享的场景。其基本思想是,当有多个调用者(callers)同时请求相同的资源时,都会共享同一份资源,直到有调用者试图修改资源内容时,系统才会真正复制一份副本出来给该调用者,而其他调用者仍然使用原来的资源。Rust中的String和Vec等类型就利用了Cow。例如:1234lets1 = String::from("hello");lets2 = s1;// s1和s2共享 ...继续阅读 (82)

很多人为了使用Go web中更好的路由，会使用第三方的库httprouter、gorilla/mux等。在明年的春节左右发布的Go 1.22中，Go官方终于对标准库中的http.ServeMux下手了，对它的功能进行了优化，终于可以抛弃第三方库了。一个令人兴奋的提案预计将在Go 1.22中实现—— 增强标准库net/http包中默认HTTP服务多路复用器的模式匹配能力。现有的多路复用器（http.ServeMux）提供了基本的路径匹配，但除此之外没有太多。这导致了一堆的第三方库实现了更强大的功能。Go 1.22中的新多路复用器将通过提供高级匹配能力来显著弥合与第三方库的差距。在这篇短文中，我将快速介绍新的多路复用器（mux）。我还将给出REST服务器的示例，并比较新的标准库mux与gorilla/mux的性能。使用新的mux如果你曾经在Go中使用过第三方 mux/router（比如gorilla/mux），那么使用新的标准mux将是简单而熟悉的。从阅读它的文档开始——它简短丝滑。让我们来看几个基本用法示例。我们的第一个示例演示了mux的一些新模式匹配功能：1234567891011121314151617181920packagemainimport("fmt""net/http")funcmain() {mux := http.NewServeMux()mux.HandleFun ...继续阅读 (69)

上个月我使用go实现了一个探测多目标的高频探测程序mping, 并且在后续的开发中支持了硬件时间戳和软件时间戳，提供更精准的时延。好吧，公众号的文章忘记贴仓库地址了：smallnest/mping-rs“用Rust 重写”正在以传销般的方式席卷整个开发领域，这一次，我也准备使用rust重写它，当然我也不是为了重写而写，重新的目的有四：评估使用rust开发工具的难度评估rust生态圈尤其是底层socket的编程的成熟度评估rust程序的性能积累一些rust底层网络编程的经验Go版本的mping功能如下：支持对多目标IP的探测支持对网段的探测支持对域名的探测支持高频探测，支持限流支持设置TOS、payload长度等选项支持最大探测数量支持每秒打印统计数据支持时延支持比特跳变检查支持软硬件时间戳我先前对mping这个工具的实现进行了拆解介绍mping: 使用新的icmp库实现探测和压测工具, 我把实现分成了四个模块：主程序入口： 处理各种参数，比如网段信息转换成IP列表等，限流等发送 goroutine: 负责发送ICMP探测包接收 goroutine: 负责接收ICMP echo reply包统计打印 goroutine: 负责统计打印每一秒的丢包率和时延，这里创新性的实现了bucket数据结构进行统计分析这个代码架构还是很清晰的，结合Go成熟的raw socket的库，实现了一个高效 ...继续阅读 (69)

前几天，我们百度的同学分享了Go标准库中一段好玩的好玩的代码，net/http/response.go中一段检查HTTP的headser中Content-Length未设置的情况下，对http.Body的有趣的处理。我们知道io.Reader提供了Read方法，并没有将读取的数据再塞回去的方法，而且对于流式的Reader,也绝无可能将数据塞回去。就像覆水难收一样，泼出去的水，没办法收回来了。如果我们想从Reader读取一部分字节，做一些处理(一般是做一些检查)，然后想再让调用者从头开始读取咋办？net/http/response.go中就有这么一段代码12345678910111213141516171819202122232425// Clone it, so we can modify r1 as needed.r1 :=new(Response)*r1 = *rifr1.ContentLength ==0&& r1.Body !=nil{// Is it actually 0 length? Or just unknown?varbuf[1]byten, err := r1.Body.Read(buf[:])iferr !=nil&& err != io.EOF {returnerr}ifn ==0{// Reset it to a known zero reader, in ...继续阅读 (79)

在我上一篇文章mping: 使用新的icmp库实现探测和压测工具文章中，介绍了使用新的第三方库icmpx使用ping的功能,实现了mping这样一个高性能的探测和压测工具，并且还计算了往返时延指标(RTT, Round Trip Time)。有时候，我们在做应用开发的时候，比如微服务调用的时候，也常常会计算程序的延时(latency)。网络时延一般情况下，我们通过在应用层读取时间戳，计算两个时间戳的延时($t1 - t0$)，就可以得到时延，就足够了。通过观察这个数据，我们可以看到网络的时延情况(latency)和抖动(jitter)。但是有时候,我们想知道物理网络传输网络的时延是多少，比如北京A机房到B机房的时延，如果通过应用层的时间戳来计算，误差就太大了。为什么呢？我们知道，当你的服务器和另外一个服务器通讯的时候，包(packet)其实经过了很漫长的链路，从你的应用程序写入本机的buffer,到本机协议栈的处理，网卡处理、网线、机房的各种网络设备、骨干网、再到对端机房、网卡、协议栈、应用程序，经过了很多很多的环节，如果还经过了云网络的话，会更复杂。其中应用层到网卡处理这一段时间，可能会因为CPU的处理能力、服务器负载、网络处理的能力，导致有比较大的耗时，如果在应用层计算网络两点之间的网络时延的话，不能正确得到两点之间的时延或者RTT。一般来说，光信号在光纤中的传输速度大约为20 ...继续阅读 (74)

PGO （基于profile指导的优化） 在Go 1.20 中还属于预览状态， 在Go 1.21中已经生产可用了， 未来 PGO 还有很宏伟的目标，但是现在已经可以很好的帮助我们提高程序的性能呢，根据程序的不同，可能会带来2% ~ 7%的提升，不要小看这个提升，如果你是在大厂做优化的专家，可以这样计算: “我厂大概有 10万Go实例，每个实例平均占用16个核，通过我们的优化，程序性能平均提升5%, 大约节省9万个核，每年为公司节省数亿元的成本”。最近看到两篇关于PGO的文章：Profile Guided Optimizations in Go和 Go官方的博客Profile-guided optimization in Go 1.21。相比较而言， Go官方这篇文章简单明了，而且把·细节也交代的明明白白，所以我就把这篇文章翻译过来，我感觉我自己写也没有官方这篇写的明白，翻译过来就好了。以下是译文：2023年初,Go 1.20发布了基于profile指导的优化(PGO)的预览版本,供用户进行测试。在解决了预览版本中已知的限制,并借助社区反馈和贡献进行了进一步锤炼后,Go 1.21中的PGO功能已准备好用于广泛的生产环境!有关完整文档,请参阅用户指南。下面我们将通过一个示例来演示如何使用PGO提高应用程序的性能。在深入示例之前,什么是“基于profile指导的优化”?当你构建一个Go二 ...继续阅读 (71)

原文:Tracing a packet journey using Linux tracepoints, perf and eBPF很久以来我一直在寻找一个底层的Linux网络调试工具。我一直在寻找一个低级的Linux网络调试工具已经有一段时间了。Linux 允许使用虚拟接口(virtual interface)和网络命名空间(network namespace)的组合来构建直接在主机上运行的复杂网络。当出现问题时，故障排除相当乏味。如果这是 L3 路由问题，mtr则很有可能会有所帮助。但是，如果这是一个较低层的问题，我通常会手动检查每个接口/网桥/网络命名空间/iptables并启动几个tcpdump，以尝试了解正在发生的事情。如果您事先不了解网络设置，这可能感觉像走迷宫。我需要的是一个工具，可以告诉我 “嘿，哥们，我已经看到了你的数据包：它已经这样消失了，在这个接口上，在这个网络命名空间中”。基本上，我需要的是在L2上的mtr。没有这样的工具？让我们白手起家建一个！在这篇文章的最后，我们将有一个简单易用的底层数据包跟踪器。如果您 ping 本地 Docker 容器，它将显示如下内容：1234567# ping -4 172.17.0.2[4026531957] docker0 request#17146.001 172.17.0.1 -> 172.17.0.2 ...继续阅读 (65)

项目地址：mping最近在网络探测的分析中，需要做一个使用ICMP协议进行压测的工具， ping或者fping多多少少都不满足需求，所以需要自己写一个。使用golang.org/x/net/icmp很容易的实现基于ICMP的工具，go-ping就算了，既缺乏维护性能也不佳。所以我最初使用Go官方扩展库实现了这个工具，不过这几天我看到Matt Layher刚推出一个新的ICMP库：mdlayher/icmpx， 我决定尝试一下。Matt Layher 是Go网络编程的专家，写了好几个网络相关的库，所以我对他的库还是蛮有信心的。而且我在使用这个库的过程中，给他提了一个需求，希望能增加设置TOS的功能，他当天就给加上了，少有的活跃和友善的开源作者。这个库的使用也非常简单，ReadFrom用来读，WriteTo用来发，Close用来关闭，SetTOS是我提的一个需求，可以设置TOS值。123456typeIPv4ConnfuncListenIPv4(ifi *net.Interface, cfg IPv4Config) (*IPv4Conn, error)func(c *IPv4Conn) Close() errorfunc(c *IPv4Conn) ReadFrom(ctx context.Context) (*icmp.Message, netip.Addr, error)func(c ...继续阅读 (68)