Golang Tips 是翻译的 Phuong Le@func25陆陆续续的发表的推文，目前已经发表 70+了。我征得Phuong Le 的同意后，会逐步把这些推翻翻译过来，发布到公众号上。因为是推文，可能原作者的内容比较简单，比如第一个 tip 就一张图片，我会相应的进行扩充，丰富其内容。后续也会在 github 建立一个项目，大家都可以参与进行翻译。我们可以通过defer，实现一行代码来测量某个函数的执行时间：1234567891011121314funcmain() {deferTrackTime(time.Now())// 一行代码time.Sleep(time.Second)}funcTrackTime(start time.Time) time.Duration {elapsed := time.Since(start)fmt.Println("elapsed:", elapsed)returnelapsed}// elapsed: 1.000704416s这个defer的函数TraceTime放在函数内需要测量的起始点，它的参数(start)在此时就会计算出来，在函数返回的时候，它的函数体就会被调用，这是end时间也知道了，这样就可以巧妙的计算出来函数执行的时间了。以下是补充材料我们还可以使用下面的写法，但是更好更通用些：1234567891011121314func ...继续阅读 (67)

池（sync.Pool）是一组可单独保存(Set)和检索(Get)的临时对象集合。存储在池中的任何项都可能在任何时候自动移除而无需通知。如果池在移除项时持有该对象的唯一引用，那么这个对象可能会被释放掉。池能够确保在多个goroutine同时访问时的安全性。池的目的在于缓存已分配但未使用的对象以便后续复用，减轻垃圾收集器的压力。也就是说池的功能是为了重用对象，目的是减轻GC的压力。类型不安全？你看sync.Pool提供的方法:123456typePoolstruct{Newfunc() any}func(p *Pool) Get() anyfunc(p *Pool) Put(x any)它存储的对象类型是any，这样的话，我们在使用的时候就需要进行类型转换，这样就会导致类型不安全，或者说使用起来很麻烦。比就以官方的例子为例：123456789101112131415161718192021222324252627282930313233343536packagemainimport("bytes""io""os""sync""time")varbufPool = sync.Pool{New:func() any {returnnew(bytes.Buffer)},}functimeNow() time.Time {returntime.Unix(1136214245,0)}funcL ...继续阅读 (49)

我翻译了Goroutine Scheduler Revealed: Never See Goroutines the Same Way Again, 这篇文章发表于1月2号，作者在文章最后说：在接下来的部分,我们将更深入地探讨抢占式调度,并分析调度程序在运行期间所采取的每一步骤。接下来快三个月了，也没有下文了，貌似鸽了。为了不让读者等待，我接下来把相关的内容补上。当然，Go的调度器也在演化之中，你看几年前的代码，或者几年后的代码，可能就没有办法一一对应了，我们以1.21.1版本讲解。schedule 函数函数schedule执行一次调度器循环，找到一个可运行的goroutine并执行它。这个函数永不返回。当一个goroutine执行完毕，它会再次调用schedule函数来选择下一个要执行的goroutine。这就是为什么schedule函数看起来像是永不返回：它总是在选择和执行goroutine，除非没有更多的goroutine可以执行。schedule函数并不是通过常规的函数调用栈来调度goroutine的。当一个goroutine结束执行，它并不是通过返回到schedule函数来调度下一个goroutine，而是通过一种称为 "栈切换" 的技术。在具体实现上，每个goroutine都有自己的栈，当它开始执行时，运行时系统会将当前的栈指针切换到这个goroutine的栈，当它结束 ...继续阅读 (48)

你以前可能听说过 Goroutine 调度器，但你对它的工作原理了解多少？它如何将 goroutine 与线程配对？原文:Goroutine Scheduler Revealed: Never See Goroutines the Same Way Again不用着急理解上面的图像,因为我们要从最基本的开始。goroutine 被分配到线程中运行,这由 goroutine 调度器在后台处理。根据我们之前的讨论,我们了解到以下关于 goroutine 的几点:就原始执行速度而言,goroutine 并不一定比线程更快,因为它们需要在实际线程上运行。goroutine 真正的优势在于上下文切换、内存占用、创建和销毁的成本等方面。你可能以前听说过 goroutine 调度器,但我们真正了解它的工作原理吗?它是如何将 goroutine 与线程配对的?现在让我们一步一步地分解调度器的工作原理。goroutine M:N 调度器模型Go 团队真的为我们简化了并发编程,想想看:创建一个 goroutine 只需要在函数前加上 go 关键字就可以了。1godoWork()但在这个简单的步骤背后,有一个更深层次的系统在运作。一开始,Go 就没有简单地为我们提供线程。相反,中间有一个助手,即 goroutine 调度器,它是 Go 运行时的关键部分。那么M:N这个标签是什么意思呢?它体现了Go调度器 ...继续阅读 (62)

Go官方博客:More powerful Go execution tracesby Michael Knyszek.runtime/trace包包含了一个强大的工具,可用于理解和调试Go程序。该功能允许我们在一段时间内对每个goroutine的执行进行跟踪。使用go tool trace命令(或优秀的开源工具gotraceui),我们就可以可视化和探索这些跟踪数据。跟踪的魔力在于,它可以轻松揭示程序中一些通过其他方式很难发现的问题。例如,大量goroutine在同一个channel上阻塞导致的并发瓶颈,在CPU分析中可能很难发现,因为没有执行(execution)需要采样。但在执行跟踪中,执行的缺失将被清晰地呈现,而阻塞goroutine的堆栈跟踪会快速指出问题所在。Go开发者甚至可以在自己的程序中使用Task、Region和Log进行检测,从而将他们关注的高级问题与低级执行细节联系起来。问题不幸的是,执行跟踪中丰富的信息往往难以获取。历史上,以下四个主要问题一直阻碍着跟踪的使用:跟踪开销很高。跟踪的扩展性差,分析时可能会变得太大。通常难以确定何时开始跟踪以捕获特定的错误行为。由于缺乏解析和解释执行跟踪的公共包,只有最勇敢的gopher才能以编程方式分析跟踪。如果你在过去几年使用过跟踪,可能会因上述一个或多个问题而感到沮丧。但我们很高兴地分享,在最近两个Go版本中,我们在这四个领 ...继续阅读 (72)

原文：High-Speed Packet Processing in Go: From net.Dial to AF_XDPby Andree Toonk.推进Go的极限:从net.Dial到系统调用、AF_PACKET和极速AF_XDP。数据包发送性能的基准测试。最近,我编写了一个Go程序,向数百万个IP地址发送ICMP ping消息。显然,我希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到,仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。使用场景让我们先简单介绍一下问题背景。我希望能够从Linux机器上每秒发送尽可能多的数据包。有一些使用场景,例如我之前提到的Ping示例,但也可能是更通用的东西,如dpdk-pktgen或者类似iperf的工具。我想你可以将其总结为一种数据包生成器。我使用Go编程语言来探索各种选项。一般来说,所探索的方法可以应用于任何编程语言,因为这些大多是围绕Linux内核提供的功能而构建的Go特定接口。但是,您可能会受到您最喜欢的编程语言中存在的库或支持的限制。让我们开始冒险,探索Go中生成网络数据包的各种方式。我将介绍各种选项,最后我们将进行基准测试, ...继续阅读 (53)

原文:Logging in Go with Slog: The Ultimate Guideby Ayooluwa Isaiah.在本文中，我们将探讨 Go 中的结构化日志记录，并特别关注这最近推出的log/slog软件包, 这个软件包旨在为 Go 带来高性能、结构化和分级的日志记录标准库。该软件包起源于由 Jonathan Amsterdam 发起的GitHub 讨论, 后来专门建立了一个提案细化设计。一旦定稿，它在Go v1.21版本中发布。在以下各节中，我将全面呈现slog的功能， 提供相应的例子。至于它和其它日志框架的性能比较，请参阅此GitHub 日志框架 benchmark.开始使用 Slog让我们从探讨该包的设计和架构开始。它提供了三种您应该熟悉的主要类型:log/slogLogger：日志"前端"，提供了诸如Info()和Error()等级别方法来记录感兴趣的事件。Record：由Logger创建的每个独立日志对象的表示形式。Handler：一旦实现了这个接口，就可以决定每个Record的格式化和目的地。该包中包含两个内置处理程序：TextHandler用于key=value输出，JSONHandler用于JSON输出。与大多数Go 日志库一样，slog包公开了一个可通过包级别函数访问的默认Logger。该logger产生的输出与旧的log.Printf()方法几乎 ...继续阅读 (84)

在上一篇文章中，我吐槽了Go标准库的堆实现，基于“you can you up, no can no BB”的理论，这篇文章我来实现一个友好的堆。我们使用堆的时候，一般希望有Heap这样一个对象，并且能指定它是“小根堆”或者"大根堆"。我们希望这个类型有Push和Pop方法，可以加入一个元素或者弹出(最小的)元素。我们期望这个Heap支持泛型的，任何可以比较的类型都可以使用。处于简化的考虑，我们实现的Heap不考虑线程安全。如果要保证线程安全，可以使用sync.Mutex来保护Heap的操作。我们实现的Heap类型的操作基于标准库的操作，只不过我们封装了一下，让它更加友好。我们能够基于既有的一个slice创建Heap，也可以基于一个空的Heap创建一个新的Heap。最终我们实现了一个友好的堆，你可以在github上查看它的代码binheap。首先定义一个binHeap,这是一个泛型的slice,用来保存堆的元素，这样用户就不用定义这样一个类型了，简化了用户的使用。默认是小根堆。所有元素类型需要满足cmp.Ordered接口，可以进行大小比较。这个接口是标准库中的接口，如果你还不知道cmp包，那么需要刷新刷新Go新的变化了：1234567891011121314151617181920212223packageheapimport("cmp")typebinHeap[V cmp.Or ...继续阅读 (54)

最近在招一个Go开发工程师，面试中时候我会问一个Top K的问题，这个问题是一个经典的面试题。有时候我不会要求面试者写出答案，首先我听一下他的思想，如果写代码困难的话我都允许可以上网查标准库的文档，看看heap的用法。相对来说比Redis的作者antirez的面试要轻松些了，他的面试题是要求面试者写出一个二叉搜索树。这道题既然是经典题，很很多教科书或者算法网站上都有，比如leetcode也有，收录在Leetcode 算法题解精选一书中。快速排序我们可以采用快速排序的方法实现。而且，因为我们只关心第K个最大的元素，我们只需要找出这个元素，不需要对整个数组进行完全排序。123456789101112131415161718192021222324252627282930313233343536373839// 从乱序的nums数组中找到第k大的数funcfindKthLargest(nums []int, kint)int{n :=len(nums)// 我们排序按照小的放在左边，大的放在右边的方式，所以第k大的数就是第n-k个数returnquickselect(nums,0, n -1, n - k)}// 返回第k大的数// l: 数组的左边界// r: 数组的右边界// k: 找第k大的数funcquickselect(nums []int, l, r, kint)int{if ...继续阅读 (95)

在翻译的从慢速到SIMD一文中， SourceGraph工程师其中的一个优化就是边界检查消除(BCE,bounds check elimination)技术，同时他也抛给了读者一个问题：为啥在使用a[i:i+4:i+4]而不是a[i:i+4]?本文第一部分先回答这个问题。 第二部分介绍更好的边界检查消除方法。 第三部分再全面梳理Go的边界检查消除技术。为啥在使用a[i:i+4:i+4]而不是a[i:i+4]?这篇文章发布到几个平台之后，很多Gopher都在问这个问题的答案，包括《100个Go语言典型错误》的作者也在twitter上询问,再比如Hacker News上的讨论，reddit。当然，还每看过这篇文章的同学还不明白前因后果，这里我再简单介绍一下。SourceGraph工程师使用BCE做优化，他的代码如下，123456789101112131415161718192021funcDotBCE(a, b []float32)float32{iflen(a) !=len(b) {panic("slices must have equal lengths")}iflen(a)%4!=0{panic("slice length must be multiple of 4")}sum :=float32(0)fori :=0; i<--- 这里会做边界检查bTmp := b[i : i ...继续阅读 (42)

祝大家龙年大吉！大家可能好奇我写书的时候是用什么工具？正好最近我画架构图的时候使用Excelidraw,也试用了几款其他的工具。而且这两天搭建了一个备忘录的工具，所以正好总结一下。写书工具我在写书稿的时候曾经一度想使用Latex，因为它强大的排版功能几乎可以排版任何东西，而且拥有丰富的插件，输出的pdf效果也很好，但是考虑到交稿给编辑，扁编辑在审稿和校对的时候不方便，而且书稿出版社会使用自己的版式重新排版，虽然我一度整了一个Latex模板并尝试写电子书，但是最终也放弃了。基本上，我写的书稿是使用Markdown的格式。Markdown的格式对于写作还是很方便的，而且不需要考虑太多的版面的问题，方便组织层次，插入图片和代码也都很方便，编译也容易导出到其他格式。使用vscode 就可以编写Markdown的文本，后来我听说Typora，这是一个很好的Markdown编辑器，支持实时预览，而且支持导出PDF，网上都说使用方便，我也尝试了一下，也确实不错。不过自1.0版本后它开始收费了。当然收费也无可厚非，毕竟开发者也需要生活，不能够纯用爱发电，对吧？ 但是我还是希望找到一个免费的工具，最终我找到了MarkText，这是一个开源的Markdown编辑器，支持实时预览，而且支持导出PDF，这是我最喜欢的一个Markdown编辑器。所以我就使用MarkText平替Typora来写书稿，完成了《 ...继续阅读 (89)

runtime.Pinner是 Go 1.21.0 中引入的一个类型。Pinner是一组固定的 Go 对象。可以使用Pin方法来固定一个对象。Pinner固定的所有对象都可以使用Unpin方法解开固定。简介Pinner.Pin是 Go 语言中用于防止对象被垃圾回收器回收的函数。它接受一个指针参数，并将该指针指向的内存区域标记为不可移动。这意味着，即使该对象不再被任何变量引用，它也不会被回收，直到调用Pinner.Unpin函数将其取消固定。使用场景Pinner.Pin通常用于以下场景：在与 C 代码互操作时，需要将 Go 对象传递给 C 函数。在需要确保对象在某个时间段内保持有效的场景中，例如，在进行 I/O 操作或计算密集型操作时。示例以下示例演示了如何使用Pinner.Pin函数：12345678910111213141516171819202122232425packagemainimport("fmt""runtime")funcmain() {// 创建一个新的 `[]byte` 数组data :=make([]byte,10)// 将数组固定p := runtime.Pinner.Pin(data)// 对数组进行一些操作fori :=rangedata {data[i] =byte(i)}// 取消固定数组p.Unpin()// 打印数组内容fmt.Println(d ...继续阅读 (56)

国外的程序员休完他们的假期之后在玩什么？他们在玩十亿行的代码挑战。工程师贡纳尔·莫林在元旦发起一个挑战(1BRC),挑战从 1 月 1 日持续到 1 月 31 日。如果你决定接受它，你的任务看似简单：编写一个 Java 程序，用于从文本文件中检索温度测量值并计算每个气象站的最小、平均值和最高温度。只有一点需要注意：文件有1,000,000,000 行！（1 billion， 10亿行)。这个文本文件结构简单，每行一个测量值, 气象站和它的测量温度：123456Hamburg;12.0Bulawayo;8.9Palembang;38.8St.John's;15.2Cracow;12.6...程序应打印出每个站的最小值、平均值和最大值，按字母顺序排列，如下所示：1{Abha=5.0/18.0/27.4, Abidjan=15.7/26.0/34.1, Abéché=12.1/29.4/35.6, Accra=14.7/26.4/33.1, Addis Ababa=2.1/16.0/24.3, Adelaide=4.1/17.3/29.7,...}1BRC挑战的目标是为这项任务创建最快的实现， 在这样做的同时，探索现代 Java 的好处，并找出你可以将这个平台推向多远。 因此，使用所有的（虚拟）线程，利用 Vector API 和 SIMD，优化你的 GC，利用 AOT 编译，或者使用你 ...继续阅读 (57)

SourceGraph 的工程师 Camden Cheek 提供的一个利用SIMD进行Go性能优化的故事:From slow to SIMD: A Go optimization story。这是一个关于某函数的故事，这个函数被大量调用，而且这些调用都在关键路径上。让我们来看看如何让它变快。剧透一下，这个函数是一个点积函数。点积（Dot Product），也称为内积或数量积，是一种数学运算，通常用于计算两个向量之间的乘积。点积的结果是一个标量（即一个实数），而不是一个向量。假设有两个向量：$$\mathbf{a}=\begin{bmatrix}a_1\\a_2\\\vdots\\a_n\end{bmatrix}$$$$\mathbf{b}=\begin{bmatrix}b_1\\b_2\\\vdots\\b_n\end{bmatrix}$$那么，这两个向量的点积为：$$\mathbf{a}\cdot\mathbf{b}=\sum_{i=1}^n a_ib_i=a_1b_1+a_2b_2+\cdots+a_nb_n$$一些背景在 Sourcegraph，我们正在开发一个名为 Cody 的 Code AI 工具。为了让 Cody 能够很好地回答问题，我们需要给它足够的上下文。我们做的一种方式是利用嵌入(embedding)。为了我们的目的，嵌入是文本块的向量表示。它们用某种方式构建，以 ...继续阅读 (61)

Go 1.22中可以 range 一个整数，比如下面的代码：123fori :=range10{fmt.Println(i)}这个大家都已经知道了，其实对应的提案中还有一个隐藏的功能，就是可以 range 一个函数，比如下面的代码(摘自官方代码库internal/trace/v2/event.go)：12345678910111213141516171819// Frames is an iterator over the frames in a Stack.func(s Stack) Frames(yieldfunc(f StackFrame)bool)bool{ifs.id ==0{returntrue}stk := s.table.stacks.mustGet(s.id)for_, f :=rangestk.frames {sf := StackFrame{PC: f.pc,Func: s.table.strings.mustGet(f.funcID),File: s.table.strings.mustGet(f.fileID),Line: f.line,}if!yield(sf) {returnfalse}}returntrue}就少有介绍了。本文尝试介绍它，让读者先了解一下，它在Go 1.22 中是一个实验性的功能，还不确定未来在哪个版本中会被正式支持。官方wiki ...继续阅读 (66)

除了通常的新有线/无线网络硬件支持和大型 Linux 网络子系统中的其他例行变动之外，Linux 6.8 内核还对核心网络代码进行了一些关键改进，当遇到许多并发网络连接时，TCP 性能可以提高 ~40%。首先，对核心网络结构进行了分析和重组。这项工作一直围绕着优化缓存行的使用和添加保护措施，以确保未来的更改不会倒退。反过来，这种对核心网络结构的优化导致许多并发连接的 TCP 性能提高了 40% 或更多！Google 的 Coco Li 解释了他们对网络代码的 cachline 优化工作：当前,网络栈中的变量密集结构按时间顺序、逻辑顺序组织，有时按缓存行访问组织。这个补丁系列试图重新组织核心网络栈变量,以在数据传输阶段最小化缓存行消耗。具体来说,我们研究了TCP/IP栈和TCP中的快速路径定义。出于文档目的,我们还为我们考虑的每个核心数据结构添加了新的文件,尽管由于现有缓存行跨度的数量,并非所有在快速路径上都已被修改。在文档中,我们记录了我们在快速路径上识别的所有变量及原因。我们还希望在未来添加/修改变量时,可以参考并相应地更新文档,以反映最新变量组织。测试:我们的测试使用neper tcp_rr测试tcp流量。测试具有$cpu数量的线程和可变数量的流量(见下文)。测试在6.5-rc1上运行 效率计算为cpu秒数/吞吐量(一个tcp_rr往返行程)。下面的结果显示在应用补丁系列之前和 ...继续阅读 (65)

双缓冲(double buffering)是高效处理I/O操作的一种并发技术，它使用两个buffer,一个goroutine使用其中一个buffer进行写，而另一个goroutine使用另一个buffer进行读，然后进行交换。这样两个goroutine可能并发的执行，减少它们之间的等待和阻塞。本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语，它可以用来在两个goroutine之间交换数据，快速实现双缓冲的模式。 这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。double buffering 并发模式双缓冲(double buffering)设计方式虽然在一些领域中被广泛的应用，但是我还没有看到它在并发模式中专门列出了，或者专门列为一种模式。这里我们不妨把它称之为双缓存模式。这是一种在I/O处理领域广泛使用的用来提速的编程技术，它使用两个缓冲区来加速计算机，该计算机可以重叠I/O和处理。一个缓冲区中的数据正在处理，而下一组数据被读入另一个缓冲区。在流媒体应用程序中，一个缓冲区中的数据被发送到声音或图形卡，而另一个缓冲区则被来自源（Internet、本地服务器等）的更多数据填充。当视频显示在屏幕上时，一个缓冲区中的数据被填充，而另一个缓冲区中的数据正在显示。当在缓冲区之间移动 ...继续阅读 (61)

这篇文章我们来了解一下隐藏在Go运行时中的一些并发原语， 因为运行时是底座和包循环依赖等原因，运行时中很少使用标准库中的并发原语，它有自己的并发原语。mutex在runtime/runtime2.go定义了一个互斥锁，它的定义如下:1234typemutexstruct{lockRankStructkeyuintptr}它可是运行时中的大红人了，在很多数据结构中都被广泛的使用，凡事涉及到并发访问的地方都会用到它，你在runtime2.go文件中就能看到多处使用它的地方，因为很多地方都在使用它，我就不一一列举了在runtime这个文件夹中搜mutex这个关键子就都搜出来了。举一个大家常用来底层分析的数据结构channel为例，channel的数据结构定义如下：1234567891011121314typehchanstruct{qcountuintdataqsizuintbuf unsafe.Pointerelemsizeuint16closeduint32elemtype *_typesendxuintrecvxuintrecvq waitqsendq waitqlock mutex}最后哪个字段lock mutex就是使用的这个互斥锁。因为一个通道在发送和接收的时候都会涉及到对通道的修改，在多发送者或者接收者情况下，需要使用互斥锁来保护。这个互斥锁的使用需要 ...继续阅读 (66)

如果我们将Go语言的并发原语弄的滚瓜烂熟，那么我们使用组合的方式，创造出更高级的并发原语，针对一些特定的并发场景，可以提供更高效的并发原语。这篇文章就是就是利用atomic中的并发原语和条件变量，组合出类似C++ 20规范中atomic类型的wait/notify_one/notify_all的功能。C++20中的wait/notify_one/notify_all在C++ 20规范中，为atomic类型增加了wait/notify_one/notify_all的功能，这样就可以实现类似Java中的wait/notify/notifyAll的功能.这三个方法类似于Go中的Cond(条件变量)的Wait/Signal/Broadcast方法。wait: 阻塞当前线程，直到被通知且原子值被改变， 类似于Go中的Cond.Waitnotify_one: 通知至少一个阻塞在这个原子值上的线程， 类似于Go中的Cond.Signalnotify_all: 通知所有阻塞在这个原子值上的线程， 类似于Go中的Cond.Broadcastc++也有条件变量，但是和Go的Cond类似，条件变量需要和mutex一起使用，而atomic类型的wait/notify_one/notify_all不需要和mutex一起使用的。注意wait这个函数，1234voidwait( T old, std::memo ...继续阅读 (59)

C++ 标准库中包含了一些基本的同步原语，尤其是C++ 20标准库又补充了一些。本文简单介绍这些并发原语，并通过示例演示它们基本的功能。std::threadstd::thread是在C++11中引入的，它表示一个可执行的线程。线程允许多个函数并发执行。线程在关联的线程对象构造完成后立即开始执行（受操作系统调度延迟影响），从作为构造函数参数提供的顶级函数开始。顶级函数的返回值会被忽略，如果它通过抛出异常终止，std::terminate 会被调用。顶级函数可以通过 std::promise 或通过修改共享变量（可能需要同步，参见 std::mutex 和 std::atomic）向调用者传达其返回值或异常。std::thread 对象也可能处于不表示任何线程的状态（在默认构造、移动构造、分离或加入之后），而且执行线程可能不与任何线程对象关联（在分离之后）。没有两个 std::thread 对象可以表示同一个执行线程；std::thread 不可复制构造或复制赋值，尽管它是可移动构造和可移动赋值的。你需要手动管理线程的生命周期，包括启动和加入（或分离）线程。如果你忘记在一个std::thread对象销毁之前加入（join）或分离（detach）它的线程，程序将会终止（因为std::thread的析构函数会调用std::terminate）。12345678910111213#incl ...继续阅读 (57)

Go 1.22中一个很大的变化是http.ServeMux中的模式匹配，先前这个功能是很多第三方的web框架或者router库实现的。我们很有必要好好研究它，将来在实现HTTP API的时候可能优先使用它。http.ServeMux是一个HTTP请求多路复用器,它将每个传入请求的URL与已注册的模式列表进行匹配，并调用与最接近URL匹配的模式对应的处理程序。比如:1234567891011121314151617mux.HandleFunc("POST /items/create",func(w http.ResponseWriter, r *http.Request) {fmt.Fprint(w,"POST item created")})mux.HandleFunc("/items/create",func(w http.ResponseWriter, r *http.Request) {fmt.Fprint(w,"item created")})mux.HandleFunc("/items/{id}",func(w http.ResponseWriter, r *http.Request) {id := r.PathValue("id")fmt.Fprintf(w,"Item ID = %s", id)})mux.HandleFunc("/files/{path...}",f ...继续阅读 (57)

Go 1.22 就要在龙年春节期间发布了。Go 1.22的新特性包括了新的math/rand包。这个包的目标是提供一个更好的伪随机数生成器，它的 API 也更加简单易用。本文将介绍这个新的包的特性。Go 1.22 release notes正在编写之中，大家可以关注这个网页以便全面了解Go 1.22的变化，前几天有Gopher制作了一个交互式运行新特性代码的网页，也非常好，在reddit上关注度很高。今天这篇文章只关注于于math/rand/v2这个新的包。为什么要新的math/rand包其实大家对math/rand不是那么满意。2017年，#20661中提到math/rand.Read和crypto/rand.Read相近，导致本来应该使用crypto/rand.Read的地方使用了math/rand.Read，导致了安全问题。2017年，#21835中 Rob Pike 提议在Go 2中使用PCG Source。2018年，#26263中 Josh Bleecher Snyder 提议对math/rand进行彻底的重构。2023年6月， Russ Cox基于先前的对math/rand的吐槽，以及和Rob Pike的讨论，建立了一个讨论(#60751),准备新建一个包math/rand/v2,重新设计和实现一个新的伪随机数的库讨论也很热烈，最后实现了一个提案#61716，这个提案 ...继续阅读 (54)

有时候批量积攒一批数据集中处理，是一个高效的提高程序性能的方法，比如我们可以批量写入数据库，批量发送消息到kafka，批量写入网络数据等等。批量把数据收集出来，我们常用channel类型，此时channel的功能就是一个buffer,多个生产者把数据写入到channel中，消费者从channel中读取数据，但是Go的channel并没有提供批量读取的方法，我们需要自己实现一个。ithub.com/smallnest/exp/chanx 库当然我已经实现了一个batch库，你可以直接拿来用，本文主要介绍它的功能、使用方法以及设计原理和考量：github.com/smallnest/exp/chanx。我们可以使用这个库的Batch方法来批量读取数据，它的定义如下：1funcBatch[T any](ctx context.Context, ch <-chanT, batchSizeint, fnfunc([]T))第一个参数是Context,可以让调用者主动取消或者超时控制第二个参数是channel，我们从这个channel中读取数据。channel可以在外部被关闭第三个参数是批处理的大小，也就是我们从channel中读取一批数据的最大量第四个参数是一个函数，我们把从channel中读取的一批数据传递给这个函数，由这个函数来处理这批数据举一个例子：123456789101112131 ...继续阅读 (58)

Java中的Phaser是一个同步原语，它可以让多个线程在某个时刻同步执行。它和Barrier有点类似，但是它比Barrier更加灵活。举一个例子哈，比如足球迷特别喜欢的欧洲冠军联赛，它的赛制就分为多个阶段：欧洲冠军联赛由欧冠资格赛、欧冠附加赛和欧冠正赛三部分组成。欧冠资格赛，分为预赛轮（preliminary round）、第一轮资格赛（first qualifying round）、第二轮资格赛（second qualifying round）和第三轮资格赛（third qualifying round）。第三轮资格赛的优胜的10支球队进入欧冠附加赛，附加赛优胜的6支球队（冠军之路4队、联赛之路2队）将和26支自动晋级的队伍一起，参加欧冠小组赛。欧冠正赛分为小组赛、1/8决赛、1/4决赛、半决赛和决赛。所以欧冠联赛分成了多个阶段，每一个阶段，会有一些球队参加，等到下一阶段，淘汰了一部分球队，又会有新的球队加入，每个阶段的球队都会有变化。这种情况非常适合使用Phaser来模拟。Phaser和CyclicBarrier的功能非常的相似，都是应用于多个参与者多阶段处理问题的场景，每个阶段都有障碍点，在障碍点需要等待所有的参与者到齐后才能进入下一个阶段。但是Phaser比CyclicBarrier更加灵活，CyclicBarrier的参与者数量是固定的，所以初始化CyclicBarri ...继续阅读 (70)

说起每个程序员必犯的错误，那还得是"循环变量"这个错误了，就连Go的开发者都犯过这个错误，这个错误在Go的FAQ中也有提到What happens with closures running as goroutines?:1234567891011121314funcmain() {varwg sync.WaitGroupvalues := []string{"a","b","c"}for_, v :=rangevalues {wg.Add(1)gofunc() {fmt.Println(v)wg.Done()}()}wg.Wait()}你可能期望能输出a、b、c这三个字符(可能顺序不同)，但是实际可能输出的是c、c、c。这是因为循环变量的作用域是整个循环，而不是单次迭代，所以在循环体中使用的变量是同一个变量，而不是每次迭代都是一个新的变量。这个错误有时候隐藏很深，即使没有goroutine，也有可能，比如下面的代码，并没有使用额外的goroutine和闭包，也是有问题的:1234567891011121314151617181920212223packagemainimport("fmt")typeCharstruct{Char *string}funcmain() {varchars []Charvalues := []string{"a","b","c"}for_, v := ...继续阅读 (65)

疫情结束后，很多的Gopher大会在全世界举行，本文整理了今年在地球上举行的Gopher大会，并列出了大会中一些有趣的议题和油管链接。GopherCon Israel 2023, 时间：2023-02-07, 地点: 以色列 特拉维夫https://www.gophercon.org.il/特拉维夫是以色列第二大城市，事实上的首都，也是以色列的经济、文化和科技中心。以色列的高科技产业在特拉维夫和其周边地区集中，被称为“以色列硅谷”。一个小规模的GopherCon，是以色列国内Gopher的盛会。但是分享的内容还是很不错的，比如下面的分享：Bottlenecks in Golang memory managementHot path optimizations for latency-critical applications in GO总体上来说分享的内容还是比较基础。分享视频:https://www.youtube.com/playlist?list=PLRM-8sTy13Xvr1ZaZarF5t_PBPxJdZHxtGopherCon Brasil 2023, 时间：2023-05-09 ~ 2023-05-10, 地点: 巴西 弗洛里亚诺波利斯https://gopherconbr.org/en/葡萄牙语，看不懂。分析视频：https://www.youtube.com/pl ...继续阅读 (66)

Go 1.13 中errors包有了一些变化，这些变化是为了更好地支持Go的错误处理提案。Go 1.20中也增加了一个新方法，这个新方法可以代替第三方的库处理多个error，这篇文章将介绍这些变化。因为原来的Go的errors中的内容非常的简单，可能会导致大家轻视这个包，对于新的变化不是那么的关注。让我们一一介绍这些新的方法。Unwrap如果一个err实现了Unwrap函数，那么errors.Unwrap会返回这个err的unwrap方法的结果，否则返回nil。一般标准的error都没有实现Unwrap方法，比如io.EOF, 但是也有一小部分的error实现了Unwrap方法，比如os.PathError，os.LinkError、os.SyscallError、net.OpError、net.DNSConfigError等等。比如下面的代码:123fmt.Println(errors.Unwrap(io.EOF))// nil_, err := net.Dial("tcp","invalid.address:80")fmt.Println(errors.Unwrap(err))第一行因为io.EOF没有Unwrap方法，所以输出nil。net.Dial失败返回的err是*net.OpError,它实现了Unwrap方法，返回更底层的*net.DNSError,所以第二行输出为l ...继续阅读 (69)

一个Go大佬群中严肃的讨论了一个问题：Go程序单线程多goroutine访问一个map会遇到并发读写panic么？答案是肯定的，因为出现了这个问题所以大家才在群中讨论。为什么呢？因为单线程意味着并行单元只有一个(多线程也可能并行单元只有一个)，但是多goroutine意味着并发单元有多个，如果并发单元同时执行，即使是单线程，可能就会产生数据竞争的问题，除非这些goroutine是顺序执行的。举一个例子哈：12345678910111213141516171819202122funcTestCounter() {runtime.GOMAXPROCS(1)varcounterintvarwg sync.WaitGroupwg.Add(10)fori :=0; i <10; i++ {i := igofunc() {fmt.Printf("start task#%d, counter: %d\n", i, counter)forj :=0; j <10_0000; j++ {counter++}fmt.Printf("end task#%d, counter: %d\n", i, counter)wg.Done()}()}wg.Wait()fmt.Println(counter)}这段测试代码是启动10个goroutine对计数器加一，每个goroutine负责加10万次。在我的MBP ...继续阅读 (65)

Classical BPF(cBPF, 伯克利包过滤器)是一种用来过滤网络数据包的技术。它像一个钩子一样挂载在网络栈的关键路径上,可以在数据包进入协议栈之前,根据预设规则来过滤或处理网络数据包。相比于一般的软件包过滤方案,Classical BPF有以下优点:效率高:因为它运行在内核空间,可以避免不必要的内核态和用户态切换,也省去多次数据复制的开销。安全:它不能随意访问系统内存或修改数据包,只能根据规则过滤,不会引起安全隐患。灵活:过滤规则可以动态更新,使包过滤功能更加灵活。Classical BPF通常应用于网络监控、防火墙、流量控制等场景。它为包过滤提供了一个高效、安全、灵活的解决方案。但功能较为受限,只能过滤包不能修改。我在百度做了三年多的网络监控了，我们会使用各种各样的方式来监控整个百度的物理网络，这些监控方式不同于普通的TCP Server/Client或者 UDP程序，一般我们会采用raw socket的方式来做包的探测和网络监控，为了高效的使用raw socket,避免把内核协议层的所有包都复制到应用层，我们会使用cBPF对收到的包进行过滤，我们只从内核层复制特定类型的包到应用层， 比如只复制UDP协议目的端口在20000 ~ 21000的数据包。怎么做到呢？就是使用cBPF。我在先前的文章使用BPF, 将Go网络程序的吞吐提升8倍举了一个使用cBPF的例子：1234 ...继续阅读 (66)

书接上回。昨天我写了一篇《这个限流库两个大bug存在了半年之久，没人发现？》，提到了Go语言中的time.Sleep函数的问题。有网友也私下和我探讨，提到这个可能属于系统的问题，因为现代的操作系统都是分时操作系统，每个线程可能会分配一个或者多个时间片，Windows默认线程时间精度在15毫秒，Linux在1毫秒，所以time.Sleep的精度不可能那么高。嗯，理论上这可以解释time.Sleep的行为，但是没有办法解释网友提出的在go 1.16之前的版本中，time.Sleep的精度更高，而go 1.16之后的版本中，time.Sleep的精度更低的问题。这个问题在Go的bug系统中有很多，不只是单单上篇文章介绍的#44343, 比如#29485、#61456、#44476、#44608、#61042。这些bug中Ian Lance Taylor的有些评论很有价值，对于了解Go运行时的Sleep很有帮助。但是阅览了这么多的bug,没有人给出为啥go 1.16之后的版本中，time.Sleep的精度更低的解释，到底发生了啥？或许和Timer调度的变化有关。Linux和Windows提供了更高精度的Sleep, Go开发者也在尝试解决Windows中过长的问题。为了把这个问题说明白，我们举一个典型的例子，这里我使用了loov/hrtime,它能提供更高精度的时间和benchmark方法 ...继续阅读 (61)