本文永久链接– https://tonybai.com/2023/11/25/grpc-handler-unit-testing-in-go在云原生时代和微服务架构背景下，HTTP和RPC协议成为服务间通信和与客户端交互的两种主要方式。对于Go语言而言，标准库提供了net/http/httptest包，为开发人员提供了便捷的方式来构建服务端HTTP Handler单元测试的测试脚手架代码，而无需真正建立HTTP服务器，让开发人员可以聚焦于对Handler业务逻辑的测试。比如下面这个示例：// grpc-test-examples/httptest/http_handler_test.go func myHandler(w http.ResponseWriter, r *http.Request) { // 设置响应头 w.Header().Set("Content-Type", "text/plain") // 根据请求方法进行不同的处理 switch r.Method { case http.MethodGet: // 处理GET请求 fmt.Fprint(w, "Hello, World!") ... ... } } func TestMyHandler(t *testin ...继续阅读 (141)

本文永久链接– https://tonybai.com/2023/11/19/understand-go-web-cross-origin-problem-by-example在开发Web应用的过程中，我们经常会遇到所谓“跨域问题(Cross Origin Problem)”。跨域问题是由于浏览器的同源策略(Same-origin policy)导致的，它限制了不同源(Origin：域名、协议或端口）之间的资源交互。在这篇文章中，我将通过一些具体的示例来把跨域问题以及主流解决方法说清楚，供大家参考。1. 什么是跨域问题跨域问题指的是当一个Web应用程序在访问另一个域(Origin)的资源时，浏览器会阻止这个跨域的请求(Cross Origin Request)。这句针对跨域问题的诠释里有一个术语“域(Origin)”，它到底是什么呢？1.1 什么是Origin在Mozilla官方术语表中，”Origin”指的是一个Web应用/网站的标识，由协议(protocol/scheme)、域名(domain，或主机名host)和端口(port)组成。如果两个应用/网站的协议、域名和端口都相同，它们就被认为是同源的(same origin)；否则，它们被视为不同源。我们看到：Origin是一个典型的三元组(protocol, domain, port)，只有三元组相同的两个应用/站 ...继续阅读 (111)

本文永久链接– https://tonybai.com/2023/11/15/relational-algebra-and-sql-with-go-examples近些年，数据库领域发展日新月异，除传统的关系型数据库外，还出现了许多新型的数据库，比如：以HBase、Cassandra、MongoDB为代表的NoSQL数据库，以InfluxDB、TDEngine为代表的时序数据库，以Neo4J、Dgraph为代表的图数据库，以Redis、Memcached等为代表的内存数据库，以Milvus为代表的向量数据库，以CockroachDB、TiDB为代表的HTAP融合数据库以及云原生数据库等。各类型数据库都有自己的优势，开发者可以根据应用场景选择最合适的数据库。不过，关系型数据库依旧是当今最流行的数据库管理系统，广泛应用于企业应用，也是大多数数应用开发人员日常接触最多的一种数据库类型。关系型数据库通过关系模型和关系代数的理论基础，实现了对关系数据的高效组织和操作。但许多开发人员在使用SQL进行数据库开发时，往往感到关系代数晦涩难懂，对SQL语句的语义理解不透彻，这给数据库应用开发带来了困难。在这篇文章中，我们就来研究一下关系模型和关系代数，探究其与SQL语句的对应关系，并用Go语言代码示例实现相关查询，期望能帮助读者增进对关系数据库的理解，减轻数据库开发痛点，提高数据库应用能 ...继续阅读 (112)

本文永久链接– https://tonybai.com/2023/11/11/go-opensource-14-years国内的双十一购物狂欢已没有了当年的那种热闹与喧嚣，但大洋彼岸的Go团队却始终保持稳中有增的开发和语言演进节奏。今晨Go核心团队的Russ Cox代表Go语言项目团队在Go官博上发表了《Fourteen Years of Go》的博文，纪念Go语言开源14周年，并对2023年以来Go语言的演进进行了归纳总结，并对Go在其第15个年头将要做的改进给予了很高的期望。这里对博文做简单翻译，供大家参考。今天，我们欢庆Go语言开源发布十四周年！Go在过去一年中取得了巨大的进步，发布了两个功能特性丰富的版本，并达成了其他一些重要的里程碑。我们在2月发布了Go 1.20，在8月发布了Go 1.21，在这两个版本中，我们更多地关注实现改进而不是新语言特性。我们在Go 1.20版本中发布了Profile-guided optimization(PGO)功能的预览版，并在Go 1.21中正式发布了该功能，它允许Go编译器读取程序的Profile，然后花更多时间对程序中运行最频繁的部分进行优化。在Go 1.21中，启用PGO后，工作负载的CPU使用率通常可以提高2%到7%。关于PGO的介绍请参阅“Go 1.21中的Profile-guided optimization”，对 ...继续阅读 (94)

本文永久链接– https://tonybai.com/2023/11/08/understand-go-web-secret-management-by-example如果你是一个Web应用系统的开发人员，你的日常大概率是“乐此不疲”地做着CRUD的活儿，很少接触到安全方面的内容。如果这时有人和你提到“机密(信息)管理(secret management)”，你大概率会说：那是啥？和我有关系吗？你只是大多应用系统开发人员中的一个典型代表。现阶段，很多开发人员，尤其是业务应用开发人员在工作中较少甚至没有接触过专门的机密管理系统，在系统设计时也较少考虑到机密管理方面的要求，精力仍主要集中在保证系统功能的正确性、性能等方面。这种对安全的重视程度不够，不了解机密管理的现象较为普遍，下面是一些常见的表现：明文存储密码、密钥等敏感数据很多项目依然直接将用户密码、数据库连接密码、第三方服务密钥等信息明文写在代码或配置文件中，存在被攻击者直接获取的风险。硬编码密钥与密码重复地在代码中多次硬编码密码、密钥等机密信息，导致不能统一变更及管理。使用弱密码、未定期更换使用常见的弱密码，或使用默认或长期不变更的密码，很容易被猜测或破解。不同环境复用同一密钥开发、测试、生产环境复用同一密钥，一旦泄露将影响所有环境。明文传输密码HTTP传输中明文传递密码，导致可被嗅探截获。日志中输出明文密码调试日 ...继续阅读 (121)

本文永久链接– https://tonybai.com/2023/11/04/understand-go-web-authz-by-example在前面的系列文章中，我们了解了Go Web应用身份认证的几种方式，也知道了该如何相对安全地存储用户的密码信息，最大程度减小在系统数据库被攻破时用户密码信息的泄露程度。一旦用户通过身份验证，他/她就可以以合法的身份进入到系统中，那么问题来了：用户进入系统后是否就可以“为所欲为”了呢？显然不是! 比如我们以普通用户身份登录github，身份验证成功后，我们只能增删改自己账号下的代码仓库数据或读取其他用户的公开仓库(public)数据，我们无法修改和删除其他用户下面的仓库数据，甚至看不到其他用户的私有仓库。Web应用系统(比如github)的这种对用户可以使用什么功能、可以访问和修改哪些数据的管理和控制，就是授权(Authorization)，简称为AuthZ。在这篇文章中，我们就结合实例一起来了解一下Web应用都有哪些种授权方式。1. 授权：基于访问控制策略的评估与决策在Go Web应用身份认证的几种方式一文中，我们简要说明了身份认证(AuthN)与授权(AuthZ)的关系与差异。授权是基于用户身份认证的基础之上的，按时间发生顺序，授权也是发生在身份认证之后的。授权的目的是限制合法用户在系统中的操作，限制未经允许的访问。这让很多人 ...继续阅读 (112)

本文永久链接– https://tonybai.com/2023/10/25/understand-password-storage-of-web-app-by-example在上一篇文章《通过实例理解Go Web身份认证的几种方式》中，我们了解了Web应用的多种身份验证方式。但无论哪种方式，用户初次访问Web应用的注册流程和登录流程是不可避免的，而基于用户名密码的注册流程依旧是当今主流。注册后，Web应用后端是如何保存用户密码的呢？历史上都有哪些存储方案？当今的主流存储方案又是什么呢？在这篇文章中，我们就来说说Web应用的各种密码存储方案的优缺点，并通过实例来理解一下当前的主流存储方案。1. Web应用用户密码存储的重要性用户密码是访问Web应用的关键，它直接关乎到用户账号和应用数据的安全。如果用户密码被泄露或破解，将导致严重后果。后果最轻的算是某个用户或某少数用户的账号被盗用了，用户将失去对账号的控制。盗用账号后，攻击者可以获取该用户的私密信息，或进行额外的攻击；如果用户在多个应用重复使用同一密码，那么后果将进一步严重，用户的一系列账号都将受到安全威胁；更为严重的是Web应用存储用户账号信息的数据库被攻破(俗称“脱库”)，攻击者会拿到存储的全部用户账号信息等，如果用户密码存储不当，攻击者可以很容易破译所有用户的密码，并基于这些密码信息做进一步的攻击。由此可见，Web ...继续阅读 (118)

本文永久链接– https://tonybai.com/2023/10/23/understand-go-web-authn-by-example在2023年Q1 Go官方用户调查报告中，API/RPC services、Websites/web services都位于使用Go开发的应用类别的头部(如下图)：我个人使用Go开发已很多年，但一直从事底层基础设施、分布式中间件等方向，Web应用开发领域涉及较少，像Web应用领域常见的CRUD更是少有涉猎，不能不说是一种“遗憾”^_^。未来一段时间，团队会接触到Web应用的开发，我打算对Go Web应用开发的重点环节做一个快速系统的梳理。而身份认证(Authentication，简称AuthN)是Web应用开发中一个关键的环节，也是首个环节，它负责验证用户身份，让用户可以以认证过的身份访问系统中的资源和信息。Go语言作为一门优秀的Web开发语言，提供了丰富的机制来实现Web应用的用户身份认证。在这篇文章中，我就通过Go示例和大家一起探讨一下当前Web应用开发中几种常见的主流身份认证方式，帮助自己和各位读者迈出Web应用开发修炼之路的第一步。1. 身份认证简介1.1 身份认证解决的问题身份认证不局限于Web应用，各种系统都会有身份认证，但本文我们聚焦Web应用领域的身份认证技术。几乎所有Web应用的安全性都是从身份认证开始的，身 ...继续阅读 (99)

本文永久链接– https://tonybai.com/2023/10/16/implementation-of-app-licensing-based-on-verifying-sign-by-pubkey随着互联网的普及以及应用的快速发展，商业软件的订阅模式变得越来越流行。软件公司开始提供基于订阅的服务，用户每月或每年支付费用以获取软件的使用权。这种模式使用户可以更灵活地选择服务期限，并且软件公司可以持续提供更新和技术支持。随着“软件定义汽车”的到来，这种模式在智能网联汽车领域也逐渐流行开来！一些需要私有化部署在客户现场的toB商业软件的公司也在探索这种订阅许可证模式，但与toC的软件不同，toB软件系统由于部署在客户数据中心中，如何有效地管理软件授权成为一个关键问题。传统的通过注册码或者登录供应商服务器进行软件授权存在诸多不便(甚至不可行)，而利用公钥基础设施实现许可证签发和验证可以很好地解决这个问题。本文就来探讨一下如何利用公钥证书验签的方式实现应用许可机制，在这套机制中，软件供应商负责设计许可证格式对许可证进行签名，并将证书分发给客户。客户只需要利用供应商提供的方法将证书导入系统或更新许可证即可，系统可自动识别许可证的有效性与并加载信息的变更。这种方式无需客户每次连接服务器就可以离线验证许可，既方便且安全，同时也可防止许可证被盗用或篡改。1. 方案原理基于公钥 ...继续阅读 (105)

本文永久链接– https://tonybai.com/2023/10/13/multiple-ways-to-bind-certificates-on-go-tls-server-side随着互联网的发展，网站提供的服务类型和规模不断扩大，同时也对Web服务的安全性提出了更高的要求。TLS(Transport Layer Security)已然成为Web服务最重要的安全基础设施之一。默认情况下，一个TLS服务器通常只绑定一个证书，但当服务复杂度增加时，单一证书已然难以满足需求。这时，服务端绑定多个TLS证书就成为一个非常实用的功能。Go语言中的net/http包和tls包对TLS提供了强大的支持，在密码学和安全专家Filippo Valsorda的精心设计下，Go提供了多种TLS服务端绑定证书的方式，本文将详细探讨服务端绑定TLS证书的几种方式，包括绑定单个证书、多个证书、自定义证书绑定逻辑等。我会配合示例代码，了解每种方式的使用场景、实现原理和优缺点。注：本文假设读者已熟悉基本的TLS使用方法，并具备Go语言编程经验。如果你不具备Go语言基础知识，可以将学习我撰写的极客时间专栏《Go语言第一课》作为你入门Go的起点。1. 热身：制作证书为了后续示例说明方便，我们先来把示例所需的私钥和证书都做出来，本文涉及的证书以及他们之间的签发关系如下图：注：示例使用的自签名根证书 ...继续阅读 (121)

本文永久链接– https://tonybai.com/2023/10/09/service-weaver-coding-in-monolithic-deploy-in-microservices分布式应用的主流架构模式演化为微服务架构已经有些年头了。微服务、DevOps、持续交付和容器技术(k8s)是构成最初云原生概念的核心要素。它们相生相拌，共同演进，并推动了云计算全面进入云原生时代。云原生应用普遍采用微服务架构，遗留的单体应用程序会逐步演进并拆分为多个微服务，新应用则会直接采用微服务架构进行设计与实现。微服务的好处是显而易见的：每个微服务都编译为一个二进制文件并独立部署和扩展，可以提高资源利用率；一个微服务的崩溃不会影响到其他微服务，限制了错误的传播半径，从而提高了容错能力；改善了抽象的边界。微服务需要清晰明确的API，降低了代码纠缠不清的可能性；灵活部署，不同微服务的二进制文件可以以不同频率发布，从而实现更敏捷的代码升级。… …不过做过微服务的朋友都知道，微服务架构带来的不仅仅是好处，还有很多挑战：单体应用内的模块间可通过内存直接交互，而在微服务架构的应用中，多个微服务需要进行跨进程跨机器的通信，对数据的序列化和反序列化操作必不可少，其开销很难避免，对应用性能是有较大损耗的；研究表明，三分之二的故障是由于不同版本的微服务之间的交互引发的， ...继续阅读 (117)

本文永久链接– https://tonybai.com/2023/10/05/the-official-guide-of-organizing-go-project长久以来，在Go语言进阶的学习和实践之路上，Go项目目录究竟如何布局一直是困扰大家的一个问题，这是因为Go官方针对这个问题迟迟没有给出说法，更没有提供标准供大家参考。仅有Go语言项目技术负责人Russ Cox在一个开源项目的issue中给出了他关于Go项目结构的最小标准布局的想法。熟悉我的博客/公众号的读者可能会知道，关于Go项目目录布局，我在以往文章中曾写过多次。在我的纸版书《Go语言精进之路》、极客时间的专栏Go语言第一课以及Go高级工程师训练营中，对Go项目目录组织与布局方式也都有过全面系统地说明。我虽然很努力为大家答疑，提供的建议也很具参考价值，但这仅是我的个人观点，权威性有限，大家依然期待Go官方的说法。近期Go官方文档集合中新增了一篇名为“Organizing a Go module”的文档，细读之后，我发现这不就是大家期待已久的Go项目目录布局的官方指南吗！在这篇文章中，我们就来看看这份官方指南，看看官方推荐的Go项目目录布局是什么样子的。1. Go项目的类型我们知道Go项目(project)一般有两类：library和executable。library是以构建库为目的的Go项目，而execu ...继续阅读 (121)

本文永久链接– https://tonybai.com/2023/09/28/dependency-injection-with-go如果你读过Robert C. Martin的《敏捷软件开发：原则、模式与实践》(书的封皮见下图)，那么你一定知道经典的SOLID设计原则中的“D”：依赖倒置原则（Dependency Inversion Principle, DIP）。依赖倒置原则是面向对象设计中的基本原则之一，它阐述了高层模块和低层模块的依赖关系应该倒置(如下图)，也就是:高层模块不应该依赖低层模块，二者都应该依赖其抽象抽象不应该依赖细节，细节应该依赖抽象依赖倒置原则实际上就是对控制反转(Inversion of Control，IoC)这一概念的阐述，而依赖注入(Dependency Injection)是实现控制反转的一种机制。所以可以说，依赖倒置原则是设计级的指导思想，它提出了正确的依赖关系；而依赖注入是实现级的具体设计模式，它将组件的依赖关系控制权移到了外部，实现了组件之间的解耦，是对依赖倒置原则的一种实现手段。依赖注入可以帮助你开发出松耦合的代码，松耦合使代码更易于维护。在《Go语言包设计指南》一文中，我们提到过：在Go中，耦合发生在包这一层次。而在Go代码层面最低的耦合是接口耦合。在Go中，接口的实现是隐式的，即a包实现b包中定义的接口时是不需要显式导入b包 ...继续阅读 (117)

本文永久链接– https://tonybai.com/2023/09/23/p2p-rtc-implementation-with-go-and-webrtc-data-channel关于实时通信(RTC，Real-Time Communication)，我和大多数人一样，是用的多(比如网络电话、音视频会议等)，但对RTC概念和其底层技术原理了解的却不多。近期，一项目恰用到了RTC技术，我就顺便翻阅了一些资料，并用Go建立了一个端到端数据通信的小demo，这里给大家分享一下。1. RTC与WebRTC1.1 实时通信(Real-Time Communication)实时通信（RTC）是实时发生的任何在线通信。生活中，最常见的采用实时通信方式的例子就是电话：一旦双方接通后，数据便直接从发送方即时发送到接收方，不会存储在前往目的地的途中。而传统的邮件以及互联网电子邮件则并非实时通信，因为在邮件/电邮的场景下，我们发送数据后，对方通常要等待一段时间才能收到数据，同时我们也需要等待一段时间才能收到回复。相信这个反例可以更好地帮助大家理解实时通信的特点。总结一下，实时通信具有以下特点(想象一下打电话的过程)：存在接通的过程点对点(通常没有中间存储或处理节点)传输低延迟1.2 WebRTC技术的诞生显然RTC技术是一种能给人们生活带来极大便捷的技术，尤其是在音视频实时传输方面，但 ...继续阅读 (150)

本文永久链接– https://tonybai.com/2023/09/10/understand-go-forward-compatibility-and-toolchain-ruleGo语言在发展演进过程中一直十分注重向后兼容性(backward compatibility)，在Go 1.0版本发布之初就发布了Go1兼容性承诺，简单来说就是保证使用新版本Go(比如Go 1.21版本)可以正常编译和运行老版本的Go代码(比如使用Go 1.18版本语法编写的go代码)，不会出现breaking change(其实也不是绝对的不会出现)。但是在Go 1.21版本之前，Go语言在向前兼容性方面却存在一定的不确定性问题。Go 1.21版本对此进行了改进，并引入了go toolchain规则。本文就和大家详细聊聊Go语言的向前兼容性以及Go 1.21中新引入的toolchain的使用规则。1. Go 1.21版本之前的向前兼容性问题在Go 1.21版本之前，Go module中的go directive用于声明建议的Go版本，但并不强制实施。例如:// go.mod module demo1 go 1.20上面go.mod文件中的go directive表示建议使用Go 1.20及以上版本编译本module代码，但并不强制禁止使用低于1.20版本的Go对module进行编译。 ...继续阅读 (119)

本文永久链接– https://tonybai.com/2023/09/04/slog-in-action-file-logging-rotation-and-kafka-integration《slog正式版来了：Go日志记录新选择！》一文发布后，收到了很多读者的反馈，意见集中在以下几点：基于slog如何将日志写入文件slog是否支持log轮转(rotation)，如果slog不支持，是否有好的log轮转插件推荐？如何与kafka集成日志输出有哪些最佳实践这篇文章就是对上述问题进行补充说明的，供大家参考，希望能给大家带去帮助。1. 输出日志到文件之所以《slog正式版来了：Go日志记录新选择！》一文中使用的例子都以os.Stdout(标准输出)为log输出目的地，主要是因为基于云原生微服务架构模式下，应用都跑在容器中(k8s的pod中)，基本都是将log输出到Stdout，而不会写入某个具体的本地文件。但如果应用是基于虚拟机或裸机部署，那么将日志写入文件仍然是第一选项。其实，使用slog内置的TextHandler和JSONHandler可以非常方便的将结构化的日志写入文件，因为slog.NewXXXHandler函数的第一个参数是一个io.Writer，这样通过将一个文件的描述符传递给NewXXXHandler，即可创建一个向文件写入日志的Logger。我们看下面示 ...继续阅读 (135)

本文永久链接– https://tonybai.com/2023/09/01/slog-a-new-choice-for-logging-in-go在大约一年前，我就写下了《slog：Go官方版结构化日志包》一文，文中介绍了Go团队正在设计并计划在下一个Go版本中落地的Go官方结构化日志包：slog。但slog并未如预期在Go 1.20版本中落地，而是在golang.org/x/exp/slog下面给出了slog的初始实现供社区体验。时光飞逝，slog在golang.org/x/exp/slog下经历了1年多时间的改善和演进，终于在最近发布的Go 1.21版本中以log/slog的包导入路径正式加入Go标准库。正式版的slog在结构上并未作较大变化，依旧是分为前端和后端，因此讲exp/slog时的那幅图依然适用：不过，正式版的slog与当初那篇文章中的exp/slog在一些类型与API上已有不同。在这篇文章中，我就来简要说明一下。我这里讲述的思路大致是将《slog：Go官方版结构化日志包》一文中的例子用log/slog改造一遍，这个过程可以让我们看到正式版log/slog与exp/slog的差异。1. slog快速入门1.1 slog的”hello, world”如果仅是想以最快速的方式开始使用slog，那么下面可以算是slog的”hello, world”版本：//s ...继续阅读 (121)

本文永久链接– https://tonybai.com/2023/08/30/how-to-build-with-only-archive-in-go上周末，一个Gopher在微信上与我交流了一个有关Go程序编译的问题。他的述求说起来也不复杂，那就是合作公司提供的API包仅包括golang archive(使用go build -buildmode=archive构建的.a文件)，没有Go包的源码。如何将这个.a链接到项目构建出的最终可执行程序中呢？对于C、C++、Java程序员来说，仅提供静态链接库或动态链接库(包括头文件)、jar包而不提供源码的API是十分寻常的。但对于Go来说，仅提供Go包的archive(.a)文件，而不提供Go包源码的情况却是极其不常见的。究其原因，简单来说就是go build或go run不支持！注：《Go语言精进之路vo1》一书的第16条“理解Go语言的包导入”对Go的编译过程和原理做了系统说明。那么真的就没有方法实现没有source、仅基于.a文件的Go应用构建了吗？也不是。的确有一些hack的方法可以实现这点，本文就来从技术角度来探讨一下这些hack方法，但并不推荐使用！1. 回顾go build不支持”no source, only .a”我们首先来回顾一下go build在”no source, only .a”下的表现。为此，我 ...继续阅读 (132)

本文永久链接– https://tonybai.com/2023/08/20/some-changes-in-go-1-21美国时间2023年8月8日，Go团队在Go官博上正式发布了1.21版本！早在今年4月末，我就撰写了文章《Go 1.21新特性前瞻》，对Go 1.21可能引入的新特性、新优化和新标准库包做了粗略梳理。在6月初举办的GopherChina 2023大会上，我又以“The State Of Go 2023”为题目给大家分享了Go 1.21版本的当前状态：那么以上分享的内容在Go 1.21的正式版中究竟真正落地了没有？Go 1.21正式版中还有哪些在之前的分享资料中未曾介绍的值得注意的变化呢？在这篇系列文章中，我们就来看一看。注：从Go 1.21版本开始，Go Release版本的起始版本号(first release of the release family)由Go 1.N改为Go 1.N.0了。Go语言版本号(language version)依旧是Go 1.N，同时Go Release Family的版本号也依然是Go 1.N。1. 语言变化和以往的系列文章一样，我们先来看看语言特性方面有哪些值得注意的变化。众所周知，Go语法特性变化甚少，在一些新版本中没有语言特性变化反倒是一种常态。在去年GopherCon 2022大会上，Russ Cox发表“ ...继续阅读 (149)

本文永久链接– https://tonybai.com/2023/08/11/introduction-to-the-gonew-tool近日，Go官博介绍了一个名为gonew的新工具。该工具支持基于go project template clone并创建一个属于你的Go项目。gonew工具的引入大幅简化了Go项目的创建，同时由于对自定义项目模板的支持，也可以提高Go项目的标准化水平。gonew工具刚刚被放入Go工具项目代码仓库，目前还处于实验阶段，后续可能会增加新特性，但当前的核心特性(core functionality)会持续保留。本文将针对gonew目前的特性做简要说明，以供大家参考。1. 起源Go team为何要引入gonew这个工具呢？按照Russ Cox的说法，Go team经常收到一些Go用户关于使用某种”go new”功能的要求，即以某种基本的项目模板来创建一个新Go module。于是Russ Cox私下里编写了一个实现了这类核心功能特性的小工具：rsc.io/tmp/gonew。该工具的逻辑非常简单，主要就是下载一个模板module，更改其module path，并将其放到本地的一个新目录中。Russ在google内部宣传该工具后，Google内部的一些团队便定制了一些模板(template)，尤其是ServiceWeaver团队的响应尤为积极。这 ...继续阅读 (157)

本文永久链接– https://tonybai.com/2023/08/06/gopherdaily-revamped已经记不得GopherDaily是何时创建的了，翻了一下GopherDaily项目的commit history，才发现我的这个个人项目是2019年9月创建的，最初内容组织很粗糙，但我的编辑制作的热情很高，基本能坚持每日一发，甚至节假日也不停刊：该项目的初衷就是为广大Gopher带来新鲜度较高的Go语言技术资料。项目创建以来得到了很多Gopher的支持，甚至经常收到催刊邮件/私信以及主动report订阅列表问题的情况。不过近一年多，订阅GopherDaily的Gopher可能会发现：GopherDaily已经做不到“Daily”了！究其原因还是个人精力有限，每刊编辑都要花费很多时间。但个人又不想暂停该项目，怎么办呢？近段时间我就在着手思考提升GopherDaily制作效率的问题。一个可行的方案就是“半自动化”！在这次从“纯人工”到“半自动化”的过程中，顺便对GopherDaily做了一次“改版”。在这篇文章中，我就来说说结合大语言模型和Go技术栈实现GopherDaily制作的“半自动化”以及GopherDaily“改版”的历程。1. “半自动化”的制作流程当前的GopherDaily每刊的制作过程十分费时费力，下面是图示的制作过程：这里面所有步骤都是人 ...继续阅读 (144)

本文永久链接– https://tonybai.com/2023/07/31/a-guide-of-using-apache-arrow-for-gopher-part6Apache Arrow是一种开放的、与语言无关的列式内存格式，在本系列文章的前几篇中，我们都聚焦于内存表示与内存操作。但对于一个数据库系统或大数据分析平台来说，数据不能也无法一直放在内存中，虽说目前内存很大也足够便宜了，但其易失性也决定了我们在特定时刻还是要将数据序列化后存储到磁盘或一些低成本的存储服务上(比如AWS的S3等)。那么将Arrow序列化成什么存储格式呢？CSV、JSON？显然这些格式都不是为最大限度提高空间效率以及数据检索能力而设计的。在数据分析领域，Apache Parquet是与Arrow相似的一种开放的、面向列的数据存储格式，它被设计用于高效的数据编码和检索并最大限度提高空间效率。和Arrow是一种内存格式不同，Parquet是一种数据文件格式。此外，Arrow和Parquet在设计上也做出了各自的一些取舍。Arrow旨在由矢量化计算内核对数据进行操作，提供对任何数组索引的 O(1) 随机访问查找能力；而Parquet为了最大限度提高空间效率，采用了可变长度编码方案和块压缩来大幅减小数据大小，这些技术都是以丧失高性能随机存取查找为代价的。Parquet也是Apache的顶级项目，大 ...继续阅读 (150)

本文永久链接– https://tonybai.com/2023/07/22/a-guide-of-using-apache-arrow-for-gopher-part5在本系列文章的第4篇《Go语言开发者的Apache Arrow使用指南：数据操作》中我们遇到了大麻烦：Go的Arrow实现居然不支持像max、min、sum这样的简单聚合计算函数:(，分组聚合(grouped aggregation)就更是“遥不可期”。要想对从CSV读取的数据进行聚合操作和分析，我们只能“自己动手，丰衣足食” –扩展Arrow Go实现中的compute包了。不过，Arrow的Go实现还是蛮复杂的，如果对其结构没有一个初步的认知，很难实现这类扩展。在这篇文章中，我们就来了解一下compute包的结构，并尝试为compute包添加几个简单的、仅能处理单一类型的聚合函数，先来完成一些从0到1的工作。为了深入了解Go Arrow实现，我又翻阅了一下Arrow官方的文档，显然Arrow C++的文档是最丰富的。我快读了一下C++的Arrow文档，对Arrow的结构有了更深刻的认知，基于这些资料，我们先来做一下Arrow结构的回顾。0. 回顾Arrow的各个layerArrow的C++文档使用layer来介绍各种Arrow的概念，我们挑几个重要的看一下：物理层(The physica ...继续阅读 (162)

本文永久链接– https://tonybai.com/2023/07/16/the-guide-of-go-testing-with-testify-package我虽然算不上Go标准库的“清教徒”，但在测试方面还多是基于标准库testing包以及go test框架的，除了需要mock的时候，基本上没有用过第三方的Go测试框架。我在《Go语言精进之路》一书中对Go测试组织的讲解也是基于Go testing包和go test框架的。最近看Apache arrow代码，发现arrow的Go实现使用了testify项目组织和辅助测试：// compute/vector_hash_test.go func TestHashKernels(t *testing.T) { suite.Run(t, &PrimitiveHashKernelSuite;[int8]{}) suite.Run(t, &PrimitiveHashKernelSuite;[uint8]{}) suite.Run(t, &PrimitiveHashKernelSuite;[int16]{}) suite.Run(t, &PrimitiveHashKernelSuite;[uint16]{}) ... ... } type PrimitiveHashKernelSu ...继续阅读 (159)

本文永久链接– https://tonybai.com/2023/07/13/a-guide-of-using-apache-arrow-for-gopher-part4在前面的Arrow系列文章中，我们介绍了Arrow的基础数据类型以及高级数据类型，这让我们具备了在内存中建立起一个immutable数据集的能力。但这并非我们的目标，我们最终是要对建立起来的数据集进行查询和分析等操作(manipulation)的。在这一篇文章中，我们就来看看如何基于Go arrow的实现对内存中的Arrow数据集进行操作。注：由于Arrow官方文档尚没有Go语言的cookbook，这里的一些例子参考了其他语言的Cookbook，比如Python。1. 从CSV文件中读取数据在操作数据之前，我们首先需要准备数据，并将数据读取到内存中以Arrow的列式存储形式组织起来。Arrow的Go实现支持从多种文件格式中将数据读取出来并在内存中构建出Arrow列式数据集：从图中我们看到：Arrow Go支持读取的文件格式包括CSV、JSON和Parquet等。CSV、JSON都是日常最常用的文件格式，那么Parquet是什么呢？这是一种面向列的文件存储格式，支持高效的数据存储和数据获取能力。influxdb iox存储引擎采用的就是Apache Arrow + Parquet的经典组合。我们在本系列的 ...继续阅读 (197)

本文永久链接– https://tonybai.com/2023/07/08/a-guide-of-using-apache-arrow-for-gopher-part3经过对前面两篇文章《Arrow数据类型》和《Arrow Go实现的内存管理》的学习，我们知道了各种Arrow array type以及它们在内存中的layout，我们了解了Go arrow实现在内存管理上的一些机制和使用原则。Arrow的array type只是一个定长的、同类型的值序列。在实际应用中，array type更多时候只是充当基础类型，我们需要具有组合基础类型能力的更高级的数据结构。在这一篇文章中，我们就来看看Arrow规范以及一些实现中提供的高级数据结构，包括Record Batch、Chunked Array以及Table。我们先来看看Record Batch。1. Record BatchRecord这个名字让我想起了Pascal编程语言中的Record。在Pascal中，Record的角色大致与Go中的Struct类似，也是一组异构字段的集合。下面是《In-Memory Analytics with Apache Arrow》书中的一个Record例子：// 以Go语言呈现 type Archer struct { archer string location str ...继续阅读 (161)

本文永久链接– https://tonybai.com/2023/07/01/arrow-columnar-analytics本文翻译自Voltron Data公司CTOWes McKinney的文章《Apache Arrow: Driving Columnar Analytics Performance and Connectivity》。这篇文章回顾了现代大数据分析遇到的问题、Arrow项目的起源、生态发展以及对未来的展望。以下是正文部分。引言自MapReduce以来，大数据已经走了很长一段路。Jeffrey Dean和Sanjay Ghemawat在2004年发表于Google的论文催生了Apache Hadoop开源项目，以及一系列其他新项目，这些项目是因大量开发人员有捕获，存储和处理非常大的数据集的需求而创建的。图：大数据演进的3V(Volume、Variety和Velocity)虽然像Hadoop这样的第一个MapReduce框架能够处理大型数据集，但它们是为了大规模弹性（通过将每个处理步骤的结果写回分布式存储）而设计的，而并未过多考虑性能。Apache Spark于2010年首次发布，因其基于容错分布式内存处理的新架构而脱颖而出。Spark的核心是用Scala实现的，Scala是Java虚拟机（JVM）的编程语言。Spark为其他编程语言提供了bindin ...继续阅读 (306)

本文永久链接– https://tonybai.com/2023/06/30/a-guide-of-using-apache-arrow-for-gopher-part2如果你看了上一篇《Go语言开发者的Apache Arrow使用指南：数据类型》中的诸多Go操作arrow的代码示例，你很可能会被代码中大量使用的Retain和Release方法搞晕。不光大家有这样的感觉，我也有同样的feeling：Go是GC语言，为什么还要借助另外一套Retain和Release来进行内存管理呢？在这一篇文章中，我们就来探索一下这个问题的答案，并看看如何使用Retain和Release，顺便再了解一下Apache Arrow的Go实现原理。注：本文的内容基于Apache Arrow Go v13版本(go.mod中go version为v13)的代码。1. Go Arrow实现中的builder模式看过第一篇文章中的代码的童鞋可能发现了，无论是Primitive array type还是嵌套类型的诸如List array type，其array的创建套路都是这样的：首先创建对应类型的Builder，比如array.Int32Builder；然后，向Builder实例中append值；最后，通过Builder的NewArray方法获得目标Array的实例，比如array.Int32。据说 ...继续阅读 (143)

本文永久链接– https://tonybai.com/2023/06/25/a-guide-of-using-apache-arrow-for-gopher-part1如果你不是做大数据分析的，提到Arrow这个词，你可能会以为我要聊聊那个箭牌卫浴或是箭牌口香糖(注：其实箭牌口香糖使用的单词并非Arrow)。其实我要聊的是Apache的一个顶级项目：Arrow。为什么要聊这个项目呢？说来话长，主要是因为前段时间接触到的几个时序数据库开源项目，包括国外大名鼎鼎的InfluxDB(尤指其iox这个新存储引擎)以及国内一个新初创公司的开源项目greptimedb。它们其实是竞争对手，但他们有一个共同的特点，那就是时序数据在内存中的组织都是基于Arrow设计与实现的。InfluxDB iox的主力开发者Andrew Lamb在他的一次技术分享中曾提到这样一个观点：如果你在编码实现一个分析型数据库系统，那么你最终将实现Arrow的功能集合。在上述公司技术人员的眼中，Arrow是构建下一代时序数据库引擎的核心技术之一。Arrow内容很多，不是一篇文章可以聊完的，因此我计划了一个系列的文章，争取能覆盖到Arrow项目的核心部分的内容，这里是第一篇。注：Arrow是语言无关的，但这里所有代码示例使用的都是Go语言^_^。1. Arrow项目简介按照Arrow项目官方的说法：“Apac ...继续阅读 (142)

本文永久链接– https://tonybai.com/2023/06/18/go-package-design-guide1. Go包的认知1.1 Go包是基本功能单元我们知道Go包是Go编程语言中的一个重要概念，它是一组相关的Go源代码文件。并且，在Go中，每个Go源文件都必须属于一个包。Go包是一个逻辑上独立的单元，是Go的基本功能单元，用来做功能边界的划分。这些基本功能单元的累加就构成了Go应用，因此Go应用的本质就是一组Go包的集合。Go包这种功能独立的单元为Go开发者提供了“封装”和复用的便利。在Go中，Go包也是代码复用的基本单元，被用来管理和组织代码，Go项目的结构布局本质上就是安排Go包的位置，使得代码更易于维护和重用。1.2 Go包是基本编译单元Go包还是编译时的最小单位。也就是说，Go编译器编译代码时会以包为单位进行编译，而不是以文件为单位。这意味着一个包中的所有源文件都将被编译成一个单独的目标文件，而不是多个目标文件。使用包而不是文件作为编译单元，有助于提高编译效率和管理依赖关系。注：编译速度快是包这种设计“先进性”的一个表现，即便每次编译都是从零开始。Go编译速度快的几个原因与以包作为编译单元是密不可分的，具体体现在Go源文件在开头处显式地列出所有依赖包，编译器不必读取整个文件就可确定依赖包列表；Go包之间不能存在循环依赖，由于无环，包可以被单 ...继续阅读 (160)