本文永久链接– https://tonybai.com/2023/06/13/understand-go-gc-overhead-behind-the-convenience注：本文部分摘录自GopherChina 2023前的《Go高级工程师训练营》课程。1. 简介当今，移动互联网和人工智能的快(越)速(来)发(越)展(卷)，对编程语言的高效性和便利性提出了更高的要求。Go作为一门高效、简洁、易于学习的编程语言，受到了越来越多开发者的青睐。Go语言的垃圾回收机制（Garbage Collection，简称 GC）是其重要的运行机制之一，它可以帮助开发人员避免手动管理内存的复杂性和错误，为开发者带来开发上的便利，使开发者可以更专注于业务逻辑的实现。然而，GC的便利性背后也带来了一定的系统开销，作为成熟的Go开发者，我们需要了解GC带来的开销和优化方法，以帮助我们更好的了解和使用Go语言。了解Go GC的原理是了解GC开销的前提条件，我们首先来简要看看Go GC的原理。2. Go GC的简明原理Go语言的垃圾回收器采用了并发三色标记清除算法（Concurrent Tri-Color Mark-And-Sweep），尽可能减少STW(stop the world)时间，以降低吞吐为代价换取低延迟，实现了高效的垃圾回收。标记清除算法的基本原理是，垃圾回收器将所有的存活对象标记 ...继续阅读 (140)

本文永久链接– https://tonybai.com/2023/06/04/reflection-programming-guide-in-go反射是一种编程语言的高级特性，它允许程序在运行时检视自身的结构和行为。通过反射，程序可以动态地获取类型(type)与值(value)等信息，并对它们进行操作，诸如修改字段、调用方法等，这使得程序具有更大的灵活性和可扩展性。不过，反射虽然具有强大的功能，但也存在一些缺点。由于反射是在运行时进行的，因此它比直接调用代码的性能要差。此外，反射还可能导致代码的可读性和维护性降低，因为它使得程序行为更加难以预测和理解。因此，在使用反射时需要注意性能和可维护性。Go从诞生伊始就在运行时支持了反射，并在标准库中提供了reflect包供开发者进行反射编程时使用。在这篇文章中，我们就来系统地了解一下如何在Go中通过reflect包实现反射编程。注：我的Go语言精进之路一书有关于Go反射的进阶讲解，欢迎阅读。1. Go语言反射基础相对于C/C++等系统编程语言，Go的运行时承担的功能要更多一些，比如Goroutine调度、Go内存垃圾回收(GC)等。同时反射也为开发者与运行时之间提供了一个方便的、合法的交互窗口。通过反射，开发者可以合法的窥探关于Go类型系统的一些元信息。注：《Go语言第一课》专栏第31~34讲对Goroutine调度以及Go并发 ...继续阅读 (164)

本文永久链接– https://tonybai.com/2023/05/28/understand-time-series-of-tsdb在当今数据爆炸的时代，时序数据已经成为企业和组织中不可或缺的一部分。它们包括了从传感器、监控设备、日志记录系统和金融交易等多种来源的大量数据，这些数据按照时间顺序排列，记录了各种事件和活动的发生和变化。时序数据的分析和处理对于企业的业务决策和运营效率至关重要。为了更好地管理和利用这些数据，人们发明了时序数据库管理系统(Time Series Database System，TSDB)。在时序数据库系统中，时序数据通常被抽象和组织为时间线(time series)，时序数据库的设计与实现也是围绕着时间线进行的，因此理解时间线是深入理解时序数据库系统的前提。在本文中，我将和大家一起学习一下时序数据库中时间线的概念，并以InfluxDB(2.x)为例探讨时间线在该数据库中的组织和呈现形式。在学习时间线之前，我们先来重新认识一下时序数据。1. 什么是时序数据时序数据，亦称时间序列数据，是指按时间顺序记录的、具有时间戳的数据点。这些数据点可能是连续的(如下图上部的metrics)，例如每秒记录一次；也可能是不规律的，例如在特定事件发生时的记录(如下图下部的events)：图来自influxdb，tip: 看图中小圈圈时序数据在多个领域具有广泛的 ...继续阅读 (146)

本文永久链接– https://tonybai.com/2023/05/27/control-flow-statement-in-go在高级编程语言中，控制流语句(control-flow statement)是一类用于控制程序执行流程的语句，以下简称为控制语句。它们可以根据条件或循环执行相应的代码块，或者跳转到指定位置执行代码。常见的控制语句包括：条件语句：根据条件执行不同的代码块，如if语句、switch语句等。循环语句：根据条件重复执行相应的代码块，如for语句、while语句等。跳转语句：跳转到指定位置执行代码，如break、goto语句。异常处理语句：处理程序运行过程中出现的异常，如try-catch语句、throw语句等。控制语句是编程语言中实现程序逻辑的重要手段，它们可以帮助程序员实现复杂的算法和逻辑。不同的编程语言支持的控制语句的种类和用法可能会有所不同，但它们的基本作用都是相似的，即控制程序的执行流程。Go语言中的控制语句语法在主流编程语言中算是极少的了！掐指算来，主要的包括if、for和switch。当然goto、defer、panic/recover语句也应归类于控制语句，并且后面这些控制语句也都是Go语言实现程序逻辑的重要手段。但后面这几个并非本篇讲述的重点，在这篇文章中，我将聚焦于Go的if、for和switch语句。1. if语句首先我们先来 ...继续阅读 (151)

本文永久链接– https://tonybai.com/2023/05/21/go-and-nn-part1-tensor-operations0. 背景2023年年初，我们很可能是见证了一次新工业革命的起点，也可能是见证了AGI(Artificial general intelligence，通用人工智能)孕育的开始。ChatGPT应用以及后续GPT-4大模型的出现，其震撼程度远超当年AlphaGo战胜人类顶尖围棋选手。相对于AlphaGo在一个狭窄领域的建树，ChatGPT则是以摧枯拉朽之势横扫几乎所有脑力劳动行业。如今大家更多将ChatGPT及相关应用当做生产力工具，作为程序员，自然会首当其冲的加入到借助AI提升生产力的阵营。但对于程序员来说，如果对一个计算机科学方面的技术没有基本工作原理认知或是完全看不懂，那么就会有一种深深的危机感。什么是深度学习、什么是神经网络、什么是大模型、上千亿的参数究竟指的是什么、什么是大模型的量化等都是萦绕在头脑中的未知但又急切想知道的东西。有人会说，深度学习发展都十多年了，现在学还来得及么？其实大多数人不是从事机器学习的，普通程序员只需要了解机器学习、深度学习(神经网络)的基本运作原理即可。此外，有了ChatGPT相关工具后，获取和理解知识的效率可以大幅提升，以前需要以年来计算学习新知识技能，现在可能仅需以月来计算，甚至更短。作为程 ...继续阅读 (141)

本文永久链接– https://tonybai.com/2023/05/14/a-guide-of-using-go-error-chain0. Go错误处理简要回顾Go是一种非常强调错误处理的编程语言。在Go中，错误被表示为实现了error接口的类型的值，error接口只有一个方法：type error interface { Error() string }这个接口的引入使得Go程序可以以一致和符合惯用法的方式进行错误处理。在所有编程语言中，错误处理的挑战之一都是能提供足够的错误上下文信息，以帮助开发人员诊断问题，同时又可以避免开发人员淹没在不必要的细节中。在Go中，这一挑战目前是通过使用错误链(error chain)来解决的。注：Go官方用户调查结果表明，Go社区对Go错误处理机制改进的期望还是很高的。这对Go核心团队而言，依然是一个不小的挑战。好在Go 1.18泛型落地，随着Go泛型的逐渐成熟，更优雅的错误处理方案有可能会在不远的将来浮出水面。错误链是一种将一个错误包裹在另一个错误中的技术，以提供关于错误的额外的上下文。当错误通过多层代码传播时，这种技术特别有用，每层代码都会为错误信息添加自己的上下文。不过，最初Go的错误处理机制是不支持错误链的，Go对错误链的支持和完善是在Go 1.13版本中才开始的事情。众所周知，在Go中，错误处理通常使用if e ...继续阅读 (137)

本文永久链接– https://tonybai.com/2023/05/10/a-guide-of-managing-multiple-go-modules-in-mono-repo0. 单repo单module管理回顾众所周知，Go在1.11版本中引入了go module，随着近几年Go module机制的逐渐成熟，它已经被Go团队确定为Go标准的依赖管理与构建方案，原先的GOPATH mode已经被彻底废弃。在Go module模式下，最常见的Go项目组织方式就是一个repo(代码仓库)对应一个Go module。repo的根路径中放置go.mod文件，repo的根路径也是module root directory。该Go module下的package的导入路径则由go.mod中的module path以及该package相对于module root directory的路径共同构成。以“example.com/go”这一module path为例，如果某个package存放在foo/bar下，那么bar下的package的导入路径就是“example.com/go/foo/bar”；如果是v2版本，那么导入路径为“example.com/go/v2/foo/bar”。在一个repo对应一个Go module的策略下，Go module的版本管理和发布也相对容易， ...继续阅读 (142)

本文永久链接– https://tonybai.com/2023/05/05/go-value-and-pointer1. 计算机中的值在百万年的演化历史中，人类对事物的属性进行了抽象，有了数量、精度、信息等概念的表示，对应的我们称之为整数、小数、文本文字等。计算机出现后，我们使用计算机对真实世界的问题进行建模，通过计算机的高效计算解决这些问题并输出答案。为了建模，计算机需要建立对上述基本概念的抽象和表示，于是有了类型与值的概念。计算机中所有数据都存储在内存中并参与问题解决的计算，真实世界的概念表示与内存中的数据的转换关系如下图：图中的有界比特序列(bounded bit sequence)就是真实世界概念表示在计算机内存中的存储形式，我们可以统称它为一个值(value)。这个值的比特序列形式由类型决定。举个例子：一个公司的员工数量为1000人，这个真实世界的概念在计算机中的表示过程如下：我们用uint16类型来表示员工数量，这样它在内存存储形式为0000 0011 1110 1000。如果你用不同的类型来表示员工数量，那么在内存中表示员工数量的值的比特序列将是不同的。反之，对于内存中的一段有界比特序列，在不同类型guided的decode下，得到的结果也是不同的，如下图。我们看到：在uint64的guided下，0000 0011 1110 1000这个比特序列被解释 ...继续阅读 (136)

本文永久链接– https://tonybai.com/2023/04/26/go-1-21-foresightGo 1.21版本正在如火如荼地开发当中，按照Go核心团队的一年两次的发布节奏来算，Go 1.21版本预计将在2023年8月发布(Go 1.20版本是在2023年2月份发布的)。本文将和大家一起看看Go 1.21都会带来哪些新特性。不过由于目前为时尚早，下面列出的有些变化最终不一定能进入到Go 1.21的最终版本中，所以切记一切变更要以最终Go 1.21版本发布时为准。在细数变化之前，我们先来看看Go语言的当前状态。1. Go语言当前状态在《2022年Go语言盘点》一文中，我们提到年初Go语言的2022年终排名为12位，同时TIOBE官方编辑也提到：“在新兴编程语言中，Go是唯一一个可能在未来冲入前十的后端编程语言”。Go语言的发展似乎应验了这一预测，在今年的3月份，Go就再次进入编程语言排行榜前十：一个月后的四月初，TIOBE排行榜上，Go稳住了第10名的位次：在国内，在鹅厂前不久发布的《2022年腾讯研发大数据报告》中，在国内，继Go在2021年从C++手中躲过红旗首次登顶鹅厂最热门编程语言之后，在鹅厂前不久发布的《2022年腾讯研发大数据报告》中，Go蝉联鹅厂最热门编程语言，继续夯实在国内头部互联网公司内的优势地位：Go于2009年开源，在经历多年的宣传 ...继续阅读 (133)

本文永久链接– https://tonybai.com/2023/04/20/provide-fake-object-for-external-collaborators1. 单元测试的难点：外部协作者(external collaborators)的存在单元测试是软件开发的一个重要部分，它有助于在开发周期的早期发现错误，帮助开发人员增加对生产代码正常工作的信心，同时也有助于改善代码设计。Go语言从诞生那天起就内置Testing框架(以及测试覆盖率计算工具)，基于该框架，Gopher们可以非常方便地为自己设计实现的package编写测试代码。注：《Go语言精进之路》vol2中的第40条到第44条有关于Go包内、包外测试区别、测试代码组织、表驱动测试、管理外部测试数据等内容的系统地讲解，感兴趣的童鞋可以读读。不过即便如此，在实际开发工作中，大家发现单元测试的覆盖率依旧很低，究其原因，排除那些对测试代码不作要求的组织，剩下的无非就是代码设计不佳，使得代码不易测；或是代码有外部协作者（比如数据库、redis、其他服务等）。代码不易测可以通过重构来改善，但如果代码有外部协作者，我们该如何对代码进行测试呢，这也是各种编程语言实施单元测试的一大共同难点。为此，《xUnit Test Patterns : Refactoring Test Code》一书中提供了Test Double ...继续阅读 (140)

本文永久链接– https://tonybai.com/2023/04/16/understanding-unsafe-assume-no-moving-gc1. 背景在之前的《Go与神经网络：张量计算》一文中，不知道大家是否发现了，所有例子代码执行时，前面都加了一个环境变量ASSUME_NO_MOVING_GC_UNSAFE_RISK_IT_WITH，就像下面这样：$ASSUME_NO_MOVING_GC_UNSAFE_RISK_IT_WITH=go1.20 go run tensor.go这是怎么回事儿呢？如果不加上这个环境变量会发生什么呢？我们来试试：// https://github.com/bigwhite/experiments/blob/master/go-and-nn/tensor-operations/tensor.go $go run tensor.go panic: Something in this program imports go4.org/unsafe/assume-no-moving-gc to declare that it assumes a non-moving garbage collector, but your version of go4.org/unsafe/assume-no-moving-gc hasn't bee ...继续阅读 (142)

本文永久链接– https://tonybai.com/2023/04/08/the-reason-why-go-test-fails-when-module-path-is-main近期收到新加入“Gopher部落”知识星球的星友“凌风”的一个问题，内容如下：在一个目录下，我编写了a.go和a_test.go，在go mod init main后执行go test，会报错：could not import main( can not import "main")。我知道它的解决方法是改变包名。我的问题是： 1. 难道无法对 main 包执行包内测试了么。 2. 这里的报错的底层原因是什么。本文将针对这个问题做一个简要的分析，这将涉及到go module、go package和package import的相关概念以及go test的工作原理等内容。1. 建立试验环境，复现问题我们先搭建一个试验环境，复现一下这位星友遇到的问题：// https://github.com/bigwhite/experiments/blob/master/module-path-main $tree module-path-main module-path-main ├── go.mod ├── pkg.go └── pkg_test.go $cat go.mod module main ...继续阅读 (135)

本文永久链接– https://tonybai.com/2023/04/02/map-element-types-support-in-place-update年初，我代表团队和人民邮电出版社签订了翻译《Go Fundamentals》一书的合同，本月底便是四分之一进度的交稿时间点，近期闲时我们都在忙着做交叉review。上周末我review小伙伴翻译的有关map类型的章节时，看到了书中对map element就地更新的讲解。Mark Bates和Cory LaNou的这本书属于入门级Go语言书，只是举例说明了一些支持就地更新的map element类型以及不能就地更新的典型类型，但对不能更新的原因并未做深入说明。我觉得这个知识点不错，借这篇文章系统梳理一下。一. 什么是map element的就地更新(in-place update)我们知道Go中的map类型是一种无序的键值对集合，它的内部实现是基于哈希表的，支持高效地进行插入、查找和删除操作。map的key必须是可以进行相等比较的类型，比如整数、字符串、指针等，而element(也称为value)则可以是任意类型。并且，map是引用类型，它的零值为nil，使用前需要先使用内置函数make或map类型字面值进行空间分配。此外，在使用map时还需要注意并发安全问题，可以使用sync包提供的同步原语中来实现map的并发安 ...继续阅读 (137)

本文永久链接– https://tonybai.com/2023/03/30/automated-testing-driven-by-go-test一. 背景团队的测试人员稀缺，无奈只能“自己动手，丰衣足食”，针对我们开发的系统进行自动化测试，这样既节省的人力，又提高了效率，还增强了对系统质量保证的信心。我们的目标是让自动化测试覆盖三个环境，如下图所示：我们看到这三个环境分别是：CI/CD流水线上的自动化测试发版后在各个stage环境中的自动化冒烟/验收测试发版后在生产环境的自动化冒烟/验收测试我们会建立统一的用例库或针对不同环境建立不同用例库，但这些都不重要，重要的是我们用什么语言来编写这些用例、用什么工具来驱动这些用例。下面看看方案的诞生过程。二. 方案最初组内童鞋使用了YAML文件来描述测试用例，并用Go编写了一个独立的工具读取这些用例并执行。这个工具运作起来也很正常。但这样的方案存在一些问题：编写复杂编写一个最简单的connect连接成功的用例，我们要配置近80行yaml。一个稍微复杂的测试场景，则要150行左右的配置。难于扩展由于最初的YAML结构设计不足，缺少了扩展性，使得扩展用例时，只能重新建立一个用例文件。表达能力不足我们的系统是消息网关，有些用例会依赖一定的时序，但基于YAML编写的用例无法清晰地表达出这种用例。可维护性差如果换一个人来编写新用例或维护 ...继续阅读 (131)

注：上面篇首配图的底图由百度文心一格生成。本文永久链接– https://tonybai.com/2023/03/25/the-guide-of-developing-cli-program-in-go近期在Twitter上看到一个名为“Command Line Interface Guidelines”的站点，这个站点汇聚了帮助大家编写出更好命令行程序的哲学与指南。这份指南基于传统的Unix编程原则，又结合现代的情况进行了“与时俱进”的更新。之前我还真未就如何编写命令行交互程序做系统的梳理，在这篇文章中，我们就来结合clig这份指南，(可能不会全面覆盖)整理出一份使用Go语言编写CLI程序的指南，供大家参考。一. 命令行程序简介命令行接口（Command Line Interface, 简称CLI）程序是一种允许用户使用文本命令和参数与计算机系统互动的软件。开发人员编写CLI程序通常用在自动化脚本、数据处理、系统管理和其他需要低级控制和灵活性的任务上。命令行程序也是Linux/Unix管理员以及后端开发人员的最爱。2022年Q2 Go官方用户调查结果显示(如下图)：在使用Go开发的程序类别上，CLI类程序排行第二，得票率60%。之所以这样，得益于Go语言为CLI开发提供的诸多便利，比如：Go语法简单而富有表现力；Go拥有一个强大的标准库，并内置的并发支持；Go拥有几乎 ...继续阅读 (136)

本文永久链接– https://tonybai.com/2023/03/22/global-variable-in-go注：上面篇首配图的底图由百度文心一格生成。C语言是Go语言的先祖之一，Go继承了很多C语言的语法与表达方式，这其中就包含了全局变量，虽然Go在其语法规范中并没有直接给出全局变量的定义。但是已经入门Go的童鞋都知道，在Go中包的导出变量(exported variable)起到的就是全局变量的作用。Go包导出变量与C的全局变量在优缺点与使用方式也有相似之处。我是C程序员出身，对全局变量并不陌生，因此学习Go语言全局变量时，也没有太多Gap。不过来自其他语言(比如Java)的童鞋在学习Go全局变量时可能会觉得别扭，在全局变量的使用方式的理解方面也久久不能到位。在这一篇中，我们就来聊聊Go语言的全局变量，和大家一起系统地理解一下。一. Go中的全局变量全局变量是一个可以在整个程序中被访问和修改的变量，不管它在哪里被定义。不同的编程语言有着不同的声明和使用全局变量的方式。在Python中，你可以在module的任何地方声明一个全局变量。就像下面示例中的globvar。但是如果你想给它重新赋值，则需要在函数中使用global关键字。globvar = 0 def set_globvar_to_one(): global globvar # 要给全局变量gl ...继续阅读 (134)

本文永久链接– https://tonybai.com/2023/03/20/godoc-vs-go-doc-vs-pkgsite就像上一篇文章聊到的Go内置单元测试框架一样，既重视语言特性，又不忘对Go软件项目提供整体环境特性的Go在诞生伊始就定义了如何在源码中通过注释编写代码文档的格式，并提供了基于代码注释实时生成Go文档并支持文档查看的工具。而一些早期的语言，比如C、C++等则需要使用第三方工具(如doxygen)以及这些工具规定的特定格式编写文档，缺少语言原生的文档标准与工具，给后期开发人员之间的协作带去了麻烦。查看文档是开发人员日常必不可少的开发活动之一。Go语言从诞生那天起就十分重视项目文档的建设，为此Go为gopher们提供了多种丰富的文档查看工具，除了在Go官方网站可以在线查看到最新稳定发布版的文档之外，Go还为开发人员提供了本地离线查看文档的工具，比如：godoc、go doc以及pkgsite。在这篇短文中，我们就来分别看看这三个Go文档查看工具。一. godoc很多接触Go语言较早的gopher都知道，Go安装包中曾原生自带了一个和go、gofmt一起发布的文档查看工具：godoc。它也是Go的第一个文档查看工具！godoc实质上是一个web服务，它会在本地离线建立起一个web形式的Go文档中心，对本地安装的go包提供文档查看服务。当我们执行下面命 ...继续阅读 (139)

注：本篇首图片基于lexica AI生成的图片二次加工而成。本文永久链接– https://tonybai.com/2023/03/15/an-intro-of-go-subtest单元测试(unit testing)是软件开发中至关重要的一环，它存在的意义包括但不限于如下几个方面：提高代码质量：单元测试可以确保代码的正确性、可靠性和稳定性，从而减少代码缺陷和bug。减少回归测试成本：在修改代码时，单元测试可以快速检查是否影响了其他模块的功能，避免了整个系统的回归测试成本。促进团队合作：单元测试可以帮助团队成员更好地理解和使用彼此编写的代码，提高代码的可读性和可维护性。提高开发效率：单元测试可以自动化执行测试，减少手动测试的时间和工作量，从而提高开发效率。Go语言设计者在Go设计伊始就决定语言特性与环境特性“两手都要抓，两手都要硬”，事实证明：Go的成功正是因为其对工程软件项目整体环境的专注。而Go内置轻量级测试框架这一点也正是Go重视环境特性的体现。并且，Go团队对这一内置测试框架的投入是持续的，不断有更便捷的、更灵活的新特性加入Go测试框架中，可以帮助Gopher更好地组织测试代码，更高效地执行测试等。Go在Go 1.7版本引入的subtest就是一个典型的代表，subtest的加入使得Gopher可以更灵活地应用内置go test框架。在本文中，我将结合日常开发中 ...继续阅读 (129)

本文永久链接– https://tonybai.com/2023/03/12/is-go-object-orientedGo语言已经开源13年了，在近期TIOBE发布的2023年3月份的编程语言排行榜中，Go再次冲入前十，相较于Go在2022年底的排名提升了2个位次：《Go语言第一课》专栏中关于Go在这两年开始飞起的“预言”也正在逐步成为现实^_^，大家学习Go的热情也在快速提升，《Go语言第一课》专栏的学习的人数年后也快速增加，快突破2w了。很多专栏的订阅者都是第一次接触Go，他们中的很多是来自像Java, Ruby这样的OO(面向对象)语言阵营的，他们学习Go之后的第一个问题便是：Go是一门OO语言吗？在这篇博文中，我们就来探讨一下。一. 溯源在公认的Go语言“圣经”《Go程序设计语言》一书中，有这样一幅Go语言与其主要的先祖编程语言的亲缘关系图：从图中我们可以清晰看到Go语言的“继承脉络”：从C语言那里借鉴了表达式语法、控制语句、基本数据类型、值参数传递、指针等；从Oberon-2语言那里借鉴了package、包导入和声明的语法，而Object Oberon提供了方法声明的语法。从Alef语言以及Newsqueak语言中借鉴了基于CSP的并发语法。我们看到，从Go先祖溯源的情况来看，Go并没有从纯面向对象语言比如Simula、SmallTalk等那里取经。Go诞生 ...继续阅读 (132)

本文永久链接– https://tonybai.com/2023/03/03/the-approach-to-go-get-private-go-module-in-house-part31. 缘起我们的Go团队这两年完全是按照之前写的《小厂内部私有Go module拉取方案》和《小厂内部私有Go module拉取方案（续）》中的方案搭建的内部拉取私有仓库的基础设施，总体感觉不错，目前也没有什么大问题。唯一麻烦一点的，就像《小厂内部私有Go module拉取方案》中提到的，当新增一些用作私有依赖包的repo时，govanityurls的vanity.yml需要手动更新或通过工具自动更新。维护这样一套设施，开发人员肯定不喜欢去做。月初一位同事的主机发现无法通过内部的GOPROXY server拉取私有module，虽然事后证明这很是网络层面的问题，但也引发我的思考，在统一代理之外是否有拉取私有module的补充方案？恰好前些天，组内一童鞋分享了Rust直接用内部自建的gitlab上的一个repo作为依赖的方法，只需要在cargo.toml中做简单配置：foo-rs = {git = "http://192.168.10.10/ard/foo-rs", branch = "master"}基于go module目前的机制是否可以支持类似Rust这种相对优雅的方案呢？本着当时 ...继续阅读 (122)

本文永久链接– https://tonybai.com/2023/02/23/learn-go-in-10-min本文旨在带大家快速入门Go语言，期望小伙伴们在花费十分钟左右通读全文后能对Go语言有一个初步的认知，为后续进一步深入学习Go奠定基础。本文假设你完全没有接触过Go，你可能是一名精通其他编程语言的程序员，也可能是毫无编程经验、刚刚想转行为码农的热血青年。编程简介编程就是生产可在计算机上执行的程序的过程(如下图)。在这个过程中，程序员是“劳动力”，编程语言是工具，可执行的程序是生产结果。而Go语言就是程序员在编程生产过程中使用的一种优秀生产工具。作为“劳动力”的程序员在这个过程中要做的就是使用某种编程语言作为生产工具，将事先设计好的执行逻辑组织和表达出来，这与一个作家将其大脑中设计好的故事情节用人类语言组织和书写在纸上的过程颇为类似(如下图)。通过这个类比来看，学习一门编程语言，就好比学习一门人类语言，其词汇和语法将是我们的主要学习内容，本文就将围绕Go语言的主要“词汇”和语法形式进行快速说明。Go简介Go语言是由Google公司的三位大神级程序员Robert Griesemer、Rob Pike和Ken Thompson在2007年共同开发的一种新的后端编程语言，2009年，Go语言宣布开源。Go语言的特点是简单易学、静态类型、编译速度快，运行效率高，代码简洁 ...继续阅读 (126)

本文永久链接– https://tonybai.com/2023/02/22/rust-vs-go-in-2023本文译自《Rust vs Go in 2023》。注：从2022年下半年开始，我们研发团队的产品研发不再局限于云端，车端也是将来的一个重要方向。于是我除了继续对Go语言保持常规的高度关注之外，也逐步开始留意Rust语言的发展。Rust和Go哪个更好？Go还是Rust？在2023年，你应该为你的下一个项目选择哪种语言，为什么？两者在性能、简单性、安全性、功能、规模和并发性等方面如何比较？它们的共同点是什么，它们有哪些根本性的不同？让我们在这个友好而公平的Rust和Go的比较中找到答案。Rust和Go都很棒首先，我必须要说的是，Go和Rust都是绝对优秀的编程语言。它们都是现代的、强大的、被广泛采用的编程语言，并且都提供出色的性能。你可能读过一些说Go比Rust好的文章，或者相反。但这真的没有意义；每一种编程语言都代表了一系列的权衡和取舍。每种语言都有自己的优化重点，所以你对语言的选择应该由适合你的东西和你想用它解决的问题决定。在这篇文章中，我将尝试告诉你何时使用Go是理想选择以及何时使用Rust更佳。我也会试着介绍一下这两种语言的本质（如果你愿意的话，就是Go和Rust的道）。虽然它们在语法和风格上有很大不同，但Rust和Go都是构建软件的一流工具。接下来，让 ...继续阅读 (137)

本文永久链接– https://tonybai.com/2023/02/19/how-to-determine-if-two-interface-vars-are-equal近日一位《Go语言第一课》专栏的读者向我提出一个问题，代码如下：func main() { printNonEmptyInterface1() } type T struct { name string } func (t T) Error() string { return "bad error" } func printNonEmptyInterface1() { var err1 error // 非空接口类型 var err1ptr error // 非空接口类型 var err2 error // 非空接口类型 var err2ptr error // 非空接口类型 err1 = T{"eden"} err1ptr = &T;{"eden"} err2 = T{"eden"} err2ptr = &T;{"eden"} println("err1:", err1) println("err2:", err2) println("err1 = err2:", e ...继续阅读 (133)

本文永久链接– https://tonybai.com/2023/02/08/some-changes-in-go-1-20美国时间2023年2月1日，唯一尚未退休的Go语言之父Robert Griesemer代表Go核心开发团队在Go官博撰文正式发布了Go 1.20版本。就像Russ Cox在2022 GopherCon大会所说的那样：Go2永不会到来，Go 1.x.y将无限延续！注：似乎新兴编程语言都喜欢停留在1.x.y上无限延续，譬如已经演化到1.67版本的Rust^_^。在《Go，13周年》之后，Go 1.20新特性在开发主干冻结(2022.11)之前，我曾写过一篇《Go 1.20新特性前瞻》，对照着Go 1.20 milestone中内容，把我认为的主要特性和大家简单过了一遍，不过那时Go 1.20毕竟没有正式发布，前瞻肯定不够全面，某些具体的点与正式版本可能也有差异！现在Go 1.20版本正式发布了，其Release Notes也补充完整了，在这一篇中，我再来系统说说Go 1.20版本中值得关注的那些变化。对于在前瞻一文中详细介绍过的特性，这里不会再重复讲解了，大家参考前瞻一文中的内容即可。而对于其他一些特性，或是前瞻一文中着墨不多的特性，这里会挑重点展开说说。按照惯例，我们依旧首先来看看Go语法层面都有哪些变化，这可能也是多数Gopher们最为关注的变化点 ...继续阅读 (115)

本文永久链接– https://tonybai.com/2023/02/01/serialize-roaring-bitmap-to-json近期在实现一个数据结构时使用到了位图索引(bitmap index)，本文就来粗浅聊聊位图(bitmap)。一. 什么是bitmap位图索引使用位数组(bit array，也有叫bitset的，通常被称为位图(bitmap)，以下均使用bitmap这个名称)实现。一个bitmap是一个从某个域（通常是一个整数范围）到集合{0，1}中的值的映射：映射：f(x) -> {0, 1}， x是[0, n)的集合中的元素。以n=8的集合{1, 2, 5}为例：f(0) = 0 f(1) = 1 f(2) = 1 f(3) = 0 f(4) = 0 f(5) = 1 f(6) = 0 f(7) = 0如果用bit来表示映射后得到的值，我们将得到一个二进制数0b00100110(最右侧的bit位上的值指示集合中数值0的存在性)，这样我们就可以用一个字节大小的数值0b00100110来表示{1, 2, 5}这个集合中各个位置的数值的存在性了。我们看到相比于使用一个byte数组来表示{1, 2, 5}这个集合(即便是8个数值，也至少要8x8=64个字节)，bitmap无疑具有更高的空间利用率。同时，通过bitmap的与、或、异或等操作，我们可以很容 ...继续阅读 (111)

本文永久链接– https://tonybai.com/2023/01/13/go-and-tls13除了一些综述类文章和译文，我的文章选题多来源于实际工作和学习中遇到的问题。这次我们来聊聊近期遇到一个问题：如何加快基于TLS安全通信的海量连接的建连速度?TLS(Transport Layer Security)传输安全层的下面是TCP层，我们首先可能会想到的是优化内核有关TCP握手的相关参数来快速建立TCP连接，比如：net.ipv4.tcp_max_syn_backlognet.ipv4.tcp_syncookiesnet.ipv4.tcp_synack_retriesnet.ipv4.tcp_abort_on_overflownet.core.somaxconn… …关于Linux内核参数调优，大家可以参考一下极客时间专栏《系统性能调优必知必会》此外为了加速海量连接的建连速度，提高应用从内核accept连接队列获取连接的速度，我们还可以采用多线程/多goroutine并发Listen同一个端口并并发Accept的机制，如果你使用的是Go语言，可以看看go-reuseport这个包。说完TCP层，那么TLS层是否有可优化的、对建连速度有影响的地方呢？有的，那就是使用TLS 1.3版本来加速握手过程，从而加快建连速度。TLS 1.3是2018年 ...继续阅读 (107)

本文永久链接– https://tonybai.com/2023/01/11/2022-blog-summary2022年对我来说，也是十分忙碌和充实的一年。尽管和2021年相比，成果物没那么多^_^。伴随着二宝的长大，我发现自己的闲暇时间被进一步“压缩”，还好大宝上初中后领悟到了自驱学习的重要性和相关方法后，她的学习现在基本不需要我过问了。2022年初，《Go语言精进之路：从新手到高手的编程思想、方法和技巧》系列1、2册上市后取得了不错的口碑，纸版书售卖量也还不错，在年中的时候都进入二印了，这也让我有机会修复一些勘误表中的问题，让读者拿到内容更准确的的版本。年中，我还借助谢大组织的“GoCN社区的Go读书会”分享了《Go语言精进之路》这本书的写作历程、内容导读以及个人的一些读书方法和经验。我在极客时间的《Go语言第一课》专栏由于口碑相传，得到了很多Gopher的关注和学习，我也很积极的回答学员们的各种问题。目前该专栏大约排在极客时间周学习排行榜15名左右，不过还进不了首页推荐，和那些常驻首页的大V课程还没法比^_^。2022年应谢大之邀，原本计划在GopherChina 2022之前的培训环节做一期《Go高级工程师训练营》培训的，但GopherChina因为疫情原因两次推迟，最终线下大会被取消，没能成行。期望在2023年能把这个培训补上。2022年是我进入智能网联汽车 ...继续阅读 (99)

本文永久链接– https://tonybai.com/2023/01/10/how-prometheus-gauge-add-and-sub1. Gauge是啥？熟悉Prometheus的小伙伴们都知道Prometheus提供了四大指标类型：CounterGaugeHistogramSummaryHistogram和Summary是一类，但理解起来稍复杂一些，这里我们暂且不提。Counter顾名思义“计数器”，仅提供了Add方法，是一个一直递增的数值；而Gauge直译为“仪表盘”，它也是一个数值，但和Counter不同，它不仅提供Add方法，还提供了Sub方法。如果你的指标可增可减或是需要支持负数，那么Gauge显然是一个比Counter更适合的指标类型。近期我们在测试时发现一个Gauge值为负的问题，Gauge本身是支持负值的，但我们系统中的这个指标值从业务含义上来说是不应该为负值的，为了fix掉这个问题，我深入看了一下Prometheus Go client包中Gauge的实现方式，Gauge的实现方式代表了一类问题的典型解决方法，这里简单聊聊。2. Gauge增减操作的原理在Prometheus Go client包中，我们看到Gauge是一个接口类型：// github.com/prometheus/client_golang/prometheus/gauge ...继续阅读 (98)

本文永久链接– https://tonybai.com/2022/12/29/the-2022-review-of-go-programming-language早早就计划好在年前写一个Go语言年度盘点，就像2020年和2021年那样。但恰逢国内疫情管控放开，一波阳了之后身体十分容易疲劳，再加上工作上的事情挺多，这篇盘点也就迟迟没能下笔。今年的盘点思路将围绕三个关键字来展开：泛型、无趣(boring)和稳定。下面我们逐一来看看。1. “泛型”靴子落地2022年3月中旬，Go社区尤其是那些期盼Go加入泛型特性的Gopher终于迎来了Go 1.18版本的正式发布，这意味着Go泛型这只靴子终于落地了。其实，从Go开源那一天开始，Go核心团队就没有间断过对泛型的探索，并一直尝试寻找一个理想的泛型设计方案，但始终未能如愿。直到近几年Go团队觉得Go已经逐渐成熟，是时候下决心解决Go社区主要关注的几个问题了，包括泛型、包依赖以及错误处理等。其中泛型常年在Go官方用户调查报告的“你最想要的Go语言特性”这项调查的榜单上霸榜，下图摘自2020年度Go官方用户调查结果：之后，Go团队安排伊恩·泰勒和罗伯特·格瑞史莫花费更多精力在泛型的设计方案上，这才有了Go 1.18 版本中泛型语法特性的落地。个人觉得：Go泛型是Go核心团队对Go社区的一次迎合与妥协，因为泛型与Go的主要设计哲学“简单 ...继续阅读 (87)

本文永久链接– https://tonybai.com/2022/12/19/argentina-wins-qatar-world-cup都说球迷“迷信”，事实上呢，我就是一个“迷信”的阿根廷球迷。我发现：只要我看阿根廷队正式比赛的直播，阿根廷就会输球(或至少是个平局)，即便是面对沙特这样的世界杯弱旅也会输掉。本届卡塔尔世界杯的阿根廷比赛，我忍不住看了对阵沙特这一场:(。这“病”始于2014年巴西世界杯的那场决赛，在那场比赛中，阿根廷加时赛0:1德国，与大力神杯擦肩而过。而站在电视前120分钟看完比赛的我十分失望，十分沮丧！打那之后，凡是阿根廷生死攸关的正式比赛，我基本都是不看直播的。就这样，阿根廷居然拿下了去年的美洲杯。本届卡塔尔世界杯首战失利后，我也选择了不再直播收看阿根廷的后续比赛，就这样在进决赛前的5场比赛中，阿根廷居然全部过关，并且越踢越好！我无法解释这一切，为了支持阿根廷，今天这场决赛，我只能继续选择睡大觉！这一觉不长，但睡得很香甜！凌晨3点左右，自然苏醒。是时候刷twitter看看决赛的比赛结果了！打开twitter后，我就被右侧trending中的“Messi FC”和“GREATEST OF ALL TIME”刺目了！有了这两个词条，阿根廷赢下比赛基本没跑了！心中窃喜，但依旧平静。继续打开twitter上FIFA WorldCup直播主页，梅西高举大力 ...继续阅读 (98)