本文永久链接– https://tonybai.com/2024/04/24/go-journey-at-google2007年Go诞生于Google，2009年Google正式对外宣布了Go语言的开源！时至今日，距离Go开源已经过去了近15个年头了！Go在Google公司内部究竟是怎样的一个状态呢？前Google员工Yves Junqueira近期撰文从其个人所见所闻谈了Go在Google的历程！这里简单翻译，供大家参考！最近，Jeremy Mason和Sameer Ajmani撰写了有关使Go成为Google内部语言之一的传奇故事。Go目前是世界上第八大最受欢迎的编程语言（译者注：2024.4，Go已经攀升到第7位，见下图），并且仍在增长，因此人们有兴趣了解Go早期以及它是如何走到这一步的。Go在TIOBE排名升至第7(译者配图)我想我应该从SRE、框架开发人员和早期采用者的角度来写。我分享的所有信息都与谷歌已经公开记录的系统相关，所以我不认为我泄露了任何秘密。这个故事有一些重要的部分（例如：envelopei（译者注：不知道是什么鬼））我在其他地方没有看到提到过，所以我不会讨论它们。破冰：我在Google的Go编程简介在Go公开发布之前我就开始关注它，当它发布时，我立即成为了它的粉丝和Google内部的早期用户。我喜欢它的简单性。我在核心库上做了一些工作，并且在社 ...继续阅读 (86)

本文永久链接– https://tonybai.com/2024/04/23/playing-with-meta-llama3-8b-on-cpu-using-ollama-and-openwebui2024年4月18日，meta开源了Llama 3大模型，虽然只有8B和70B两个版本，但Llama 3表现出来的强大能力还是让AI大模型界为之震撼了一番，本人亲测Llama3-70B版本的推理能力十分接近于OpenAI的GPT-4，何况还有一个400B的超大模型还在路上，据说再过几个月能发布。Github上人气巨火的本地大模型部署和运行工具项目Ollama也在第一时间宣布了对Llama3的支持：近期除了学习Rust，还有就在研究如何将LLM应用于产品中。以前走微调的路径行不通，最近的RAG(Retrieval-Augmented Generation)和Agent路径则让我看到一丝曙光。不过实施这两个路径的前提是一个强大的LLM，而开源的meta Llama系列LLM则是不二之选。在这篇文章中，我就先来体验一下如何基于Ollama安装和运行Meta Llama3-8B大模型，并通过兼容Ollama API的OpenWebUI建立对大模型的Web图形化访问方式。1. 安装OllamaOllama是一个由Go实现的、可以在本地丝滑地安装和运行各种开源大模型的工具，支持目前国内 ...继续阅读 (90)

本文永久链接– https://tonybai.com/2024/04/22/gopher-rust-first-lesson-all-about-rust要说这两年后端编程语言谁最火，Rust说自己第二，没人敢说第一。Rust连续8年霸榜stackoverflow最受推崇的编程语言，甚至被推特之父Jack Dorsey称为“完美的编程语言”：注：最火：仅代表人气最旺，最受欢迎，但并不代表使用者最多。如果你经常读我的博客，你可能会问：“你不是Go语言布道师吗？怎么也要转Rust了？”其实不然，学习Rust不是要蹭热度，而是实际开发的需要。这些年在汽车行业这个赛道上，云端和车端都要兼顾。目前车端基础软件的开发语言主要是C/C++，但内存安全、性能不输C且高可靠的Rust日益受到车载软件开发的青睐，AUTOSAR组织在2022年成立了Rust工作组就是一个重要的信号。并且据我所知，一些国内造车新势力已经或正在将一些Rust开发的中间件或应用放到了量产车或即将量产的车上。注：AUTOSAR (Automotive Open System Architecture)是一个面向汽车电子系统的开放式软件架构标准，由汽车制造商、零部件供应商和电子供应商共同发起并持续维护的一个全球性标准化组织。不过，Rust语言在某些领域的崛起确实引发了其他编程语言社区的一些不满和争议。特别是Rust ...继续阅读 (116)

本文永久链接– https://tonybai.com/2024/04/14/either-return-error-or-log-them-do-not-do-both1. 缘起这周，一个产品团队内进行Go代码评审时，得到了一个结论：所有的if err != nil的地方都应该输出错误日志。然而，这种做法并不是最佳实践，它存在一些问题。首先，打印过多的错误日志会导致日志文件变得冗长和难以阅读。其次，重复的错误信息会增加冗余。此外，每一层都打印错误日志，一旦错误信息设计不当，可能会导致上下文信息的丢失。让我们来看一个示例，说明为什么同时输出错误日志和返回错误值会导致问题。假设我们有一个五层的Go函数调用栈，其中最底层的函数level4Function出现了一个错误：package main import ( "fmt" "log" ) func main() { if err := topFunction(); err != nil { log.Printf("Error: %v", err) } } func topFunction() error { err := level1Function() if err != nil { log.Printf("topFunction: % ...继续阅读 (79)

本文永久链接– https://tonybai.com/2024/04/09/choose-the-right-go-module-path最近我在查看项目代码时，注意到有人在go.mod文件中将module path写为com.example.foo了。根据这个写法，相信屏幕前的读者也可以推断出这位开发人员可能是从Java阵营转到Go的。实际开发中可能有很多开发者会使用类似的内容作为module path，但这显然不是Go的推荐写法或惯用法。在这篇简短的文章中，我就来介绍一下module path对Go源码构建、包导入路径以及开发协作的影响，以及符合惯例的module path应该是什么样子的。我们先来复习一下什么是Go module path。1. 什么是module path在Go语言中，module path（模块路径）是指在Go开发中用来标识和定位模块的唯一字符串，用于指定在远程仓库或本地文件系统中存储模块代码的位置。module path在go.mod文件中定义，比如下面这个示例：// go.mod module github.com/user/module go 1.21.1我们看到：一个典型的模块路径是一个URL格式字符串，可能是类似于github.com/user/module的形式，其中github.com/user/module就是module ...继续阅读 (88)

本文永久链接– https://tonybai.com/2024/03/29/the-issue-in-pkg-level-var-init-order-in-go-1-22细心的朋友可能已经注意到，从春节后，我的博客就“停更”了！实际上，这一情况部分是因为工作上的事务繁忙，另一部分则是因为我将工作之外的闲暇时间更多地投入到一本即将于今年中下旬出版的书的撰写了：在之前的积累基础上，我花了两个多月的时间完成了初稿。当然，我也深切地怀念博客写作所带来的乐趣和与读者的互动。正巧，今天一位学员在《Go语言第一课》专栏留言给了我一个恢复下笔的机会。借此，我也准备恢复一下博客写作的节奏。另外预告一下：我和我的技术团队合作翻译的一本Go语言入门书最早也将于2024年4月份上市，敬请期待！在《Go语言第一课》专栏的第8讲中，我曾系统讲解了Go包的初始化次序，以及Go包内包级变量、常量、init函数等的初始化次序。讲这些的初衷就是希望Go初学者能先了解一下Go程序的执行次序，这样在后续阅读和理解Go代码的时候，就好比拥有了“通往宝藏的地图”，可以直接沿着Go代码执行次序这张“地图”去阅读和理解Go代码，而不会在庞大的代码库中迷失了。相对于早期的Go版本，Go包的初始化次序在Go 1.21版本开始会有所变化，这个可以看我的《Go 1.21中值得关注的几个变化》一文了解详情。不过除了Go包的 ...继续阅读 (77)

本文永久链接– https://tonybai.com/2024/02/18/some-changes-in-go-1-22美国时间2024年2月6日，正当中国人民洋溢在即将迎来龙年春节的喜庆祥和的气氛中时，Eli Bendersky代表Go团队在Go官博发文“Go 1.22 is released!”，正式向世界宣告了Go 1.22版本的发布！注：大家可以从Go官网下载Go 1.22的第一个版本go 1.22.0，也可以在Go playground上选择Go 1.22版本在线体验Go 1.22的语法。记忆中，这似乎是Eli Bendersky首次代表Go团队撰写Go版本发布的文章，文章短小且言简意赅，会让大家误以为Go 1.22版本没有太多的功能点变更，其实不然。读过我之前写的“Go 1.22新特性前瞻”一文的童鞋都知道Go 1.22中有很多重要且影响深远的值得我们关注的变化。在这篇文章中，我们就再来介绍一下这些变化，供大家参考。0. 插播“旧闻”：Go再次进入Top10，并刷新有史以来的最高排名TIOBE编程语言排行榜发布2024年2月编程语言排名的时间恰逢中国人民的传统佳节春节期间，因此它的这次排名发布“淹没”在了“龙年大吉”的喜庆气氛当中了。年后开工，大家翻看这条“旧闻”时，才发现在这次排名中，Go再一次回到Top10，位列第8名，刷新了Go打榜一来的历史最好位 ...继续阅读 (72)

本文永久链接– https://tonybai.com/2024/01/08/go-unit-testing-deps-on-kafkaKafka是Apache基金会开源的一个分布式事件流处理平台，是Java阵营(最初为Scala)中的一款杀手级应用，其提供的高可靠性、高吞吐量和低延迟的数据传输能力，让其到目前为止依旧是现代企业级应用系统以及云原生应用系统中使用的重要中间件。在日常开发Go程序时，我们经常会遇到一些依赖Kafka的代码，如何对这些代码进行测试，尤其是单测是摆在Go开发者前面的一个现实问题！有人说用mock，是个路子。但看过我的《单测时尽量用fake object》一文的童鞋估计已经走在了寻找kafka fake object的路上了！Kafka虽好，但身形硕大，不那么灵巧。找到一个合适的fake object不容易。在这篇文章中，我们就来聊聊如何测试那些依赖kafka的代码，再往本质一点说，就是和大家以找找那些合适的kafka fake object。1. 寻找fake object的策略在《单测时尽量用fake object》一文中，我们提到过，如果测试的依赖提供了tiny版本或某些简化版，我们可以直接使用这些版本作为fake object的候选，就像etcd提供了用于测试的自身简化版的实现(embed)那样。但Kafka并没有提供tiny版本，我们也 ...继续阅读 (106)

本文永久链接– https://tonybai.com/2024/01/01/go-testing-by-example2023年11月初，Go语言技术负责人Russ Cox在GopherCon Australia 2023大会上进行了题为“Go Testing By Example”的演讲：12月初Russ Cox重新录制了该演讲内容的视频，并在个人网站上放了出来。这个演讲视频是关于如何编写好的Go测试的，Russ Cox介绍了20个实用建议，非常值得Go初学者甚至Go资深开发者学习并应用到实践中。这里是基于该视频整理的文字稿(可能并非逐字逐句)，供广大Gopher参考。注：在GopherCon Australia 2023，退休后暂定居澳大利亚的Go语言之父Rob Pike也做了一个名为“What We Got Right, What We Got Wrong”的主题演讲。在Go开源14年之后，有很多事情值得思考。这个演讲“事后诸葛亮般地”探讨了Go迄今为止取得的一些经验教训：不仅包括进展顺利的方面，还包括本可以做得更好的方面。可惜目前该演讲视频或文字稿并未放出，我们也只能等待。大家好！这是几周前我在GopherCon Australia 2023进行的一次演讲，演讲的内容是关于如何编写好的测试。不过首先让我们来思考一下为什么我们要编写测试。一些有关编程的书中常讲到 ...继续阅读 (95)

本文永久链接– https://tonybai.com/2023/12/31/the-2023-review-of-go-programming-language时光荏苒，转眼间已经是2023年的最后一天了。《2022年Go语言盘点：泛型落地，无趣很好，稳定为王》仿佛就写在昨天。回首这一年，全球彻底从新冠大流行中得以复苏，Go语言也不例外，最直观的表现就是全球各地的GopherCon技术大会或小型Meetup都纷纷从停办/线上的状态来到了线下，并获得Gopher们的热烈欢迎和踊跃参与，比如下图中的GopherCon、GopherCon UK、GopherCon Europe、GopherCon Australia、Golab等。尤其值得一提的是我们本土最大的Gopher技术大会GopherChina 2023，今年为了满足不同地域Gopher的需求，GoCN社区在6月和11月分别在北京和上海举办了两次GopherChina大会，这也是历史首次。Go语言团队的大神们也开始重新“乐此不疲”地参与到上述这些大会中，以推进全球Go社区与生态的建设。就连已经退居二线的Go语言之父Rob Pike也亲自“现身说法”，在年底的GopherCon Australia 2023上发表了“What We Got Right, What We Got Wrong”的主题演讲来回顾Go诞生以来 ...继续阅读 (126)

本文永久链接– https://tonybai.com/2023/12/11/simplicity已经退居二线的Go语言之父Rob Pike近日发表了一篇名为“Simplicity”的博文，记述了2009年在Google内部一次圆桌会议上发表的演讲内容。Pike老先生在这个时间点发表这篇文章究竟有何深意呢？是对Go语言演进的路线有所不满吗？我们不得而知。不过，这篇文章的内容却是非常值得我们学习，这里我简单翻译一下，供大家参考。2009年5月，Google举办了一次内部的“设计巫术（Design Wizardry）”小组讨论会，我有幸与Jeff Dean、Mike Burrows、Paul Haahr、Alfred Spector和Bill Coughran一起发表了演讲。以下是我演讲内容的文字稿(略作了修改)。尽管一些细节可能已经过时，但演讲的主题依然具有重要意义，而且如今它可能比以往任何时候都更为重要。简单胜于复杂。简单的东西更容易理解、搭建、调试和维护，而且最重要的是更易于理解，因为这会带来其他一切好处。让我们来看看google.com的网页，它只有一个搜索框，你输入查询并获取结果，这个简洁的设计是Google成功的一个关键原因。早期的搜索引擎界面要复杂得多，而现在的搜索引擎产品，要么是模仿我们的设计，要么用户体验很差。那么，Google搜索引擎（GWS）又是如何运 ...继续阅读 (115)

本文永久链接– https://tonybai.com/2023/12/10/go-changes自从Go语言之父Rob Pike从Google退休并隐居澳洲后，Russ Cox便成为了Go语言团队的“带头大哥”，虽然其资历还无法与依旧奋战在一线的另外一位Go语言之父Robert Griesemer相比。如今，Russ Cox对Go语言未来的演化发展是很有“发言权”的，Go module的引入便是Russ Cox的重要决策之一。从Go社区来看，这些年来，以Russ Cox为首的Go团队对Go演进决策总体上是良性的、受欢迎的，比如Go module、Go泛型、Go对wasm的支持等，当然也有一些变化是受到质疑的，比如：Go 1.22版本很可能从试验特性到正式特性的loopvar等。注：我的极客时间《Go语言第一课》专栏中有对Go module和Go泛型的详细讲解，欢迎感兴趣的童鞋订阅阅读。想必很多Gopher也和我一样，对Go团队就某一proposal的决策方式和依据很好奇 –到底他们是如何决定是否accept这个proposal的？Go语言后续该如何演化？向哪个方向发展演化？今年9月份举办的GopherCon 2023上，Russ Cox代表Go团队做了名为“Go Changes”的主题演讲：在这个talk中，我们能找到一些答案。近期他重新录制了该演讲视频， ...继续阅读 (105)

本文永久链接– https://tonybai.com/2023/12/06/a-minimum-set-of-diagrams-for-expressing-software-architecture无论你是专职的软件架构师，还是在团队内兼职充当软件架构师角色的开发人员，一旦你处在软件架构师这个位置上，你自然就会遇到软件架构设计的三个困惑：如何更深刻地理解业务；如何更正确地取舍(包括技术性和业务性的)；如何更有效地表达软件架构。以上每个困惑展开来写都够写一本书的。而在这篇文章中，我仅聚焦最后一个困惑，聊聊我心目中表达软件架构的有效方式 — 最小图集(Minimum Diagram Set)。1. 为什么软件架构需要有效表达众所周知，软件架构承载着系统关键的技术决策和业务约束，指导着复杂软件的构建与演进，是实现软件系统的蓝图。但并不是说有了好的软件架构就一定可以做出好的软件系统，软件系统最终还是要经由开发人员来实现。如果说架构师是软件架构的生产者，那么开发人员可以理解为是软件架构的消费者。但和一件普通商品一样，往往消费者很难Get到产品设计者的全部idea，产品越复杂，消费者Get到的比例越低，于是商品的生产者就会绞尽脑汁地制作产品说明书、功能演示视频等，目的就是想从不同角度更多、更有效的表达自己的商品的特性。对于普通商品而言，消费者Get程度低顶多是少用几 ...继续阅读 (110)

本文永久链接– https://tonybai.com/2023/12/03/understand-api-gateway-main-functional-features-by-example在当今的技术领域中，“下云”的概念正逐渐抬头，像David Heinemeier Hansson(37signals公司的联合创始人, Ruby on Rails的Creator)就直接将公司所有的业务都从公有云搬迁到了自建的数据中心中。虽说大多数企业不会这么“极端”，但随着企业对云原生架构采用的广泛与深入，不可避免地面临着对云服务的依赖。云服务在过去的几年中被广泛应用于构建灵活、可扩展的应用程序和基础设施，为企业提供了许多便利和创新机会。然而，随着业务规模的增长和数据量的增加，云服务的成本也随之上升。企业开始意识到，对云服务的依赖已经成为一个值得重新评估的议题。云服务的开销可能占据了企业可用的预算的相当大部分。为了保持竞争力并更好地控制成本，企业需要寻找方法来减少对云服务的依赖，寻找更经济的解决方案，同时确保仍能获得所需的性能、安全性和可扩展性。在这样的背景下，我们的关注点是选择一款适宜的API网关，从主流功能特性的角度来评估候选者的支持。API网关作为现代云原生应用架构中的关键组件，扮演着连接前端应用和后端服务的中间层，负责管理、控制和保护API的访问。它的功能特性对于确保A ...继续阅读 (216)

本文永久链接– https://tonybai.com/2023/11/25/grpc-handler-unit-testing-in-go在云原生时代和微服务架构背景下，HTTP和RPC协议成为服务间通信和与客户端交互的两种主要方式。对于Go语言而言，标准库提供了net/http/httptest包，为开发人员提供了便捷的方式来构建服务端HTTP Handler单元测试的测试脚手架代码，而无需真正建立HTTP服务器，让开发人员可以聚焦于对Handler业务逻辑的测试。比如下面这个示例：// grpc-test-examples/httptest/http_handler_test.go func myHandler(w http.ResponseWriter, r *http.Request) { // 设置响应头 w.Header().Set("Content-Type", "text/plain") // 根据请求方法进行不同的处理 switch r.Method { case http.MethodGet: // 处理GET请求 fmt.Fprint(w, "Hello, World!") ... ... } } func TestMyHandler(t *testin ...继续阅读 (149)

本文永久链接– https://tonybai.com/2023/11/19/understand-go-web-cross-origin-problem-by-example在开发Web应用的过程中，我们经常会遇到所谓“跨域问题(Cross Origin Problem)”。跨域问题是由于浏览器的同源策略(Same-origin policy)导致的，它限制了不同源(Origin：域名、协议或端口）之间的资源交互。在这篇文章中，我将通过一些具体的示例来把跨域问题以及主流解决方法说清楚，供大家参考。1. 什么是跨域问题跨域问题指的是当一个Web应用程序在访问另一个域(Origin)的资源时，浏览器会阻止这个跨域的请求(Cross Origin Request)。这句针对跨域问题的诠释里有一个术语“域(Origin)”，它到底是什么呢？1.1 什么是Origin在Mozilla官方术语表中，”Origin”指的是一个Web应用/网站的标识，由协议(protocol/scheme)、域名(domain，或主机名host)和端口(port)组成。如果两个应用/网站的协议、域名和端口都相同，它们就被认为是同源的(same origin)；否则，它们被视为不同源。我们看到：Origin是一个典型的三元组(protocol, domain, port)，只有三元组相同的两个应用/站 ...继续阅读 (118)

本文永久链接– https://tonybai.com/2023/11/15/relational-algebra-and-sql-with-go-examples近些年，数据库领域发展日新月异，除传统的关系型数据库外，还出现了许多新型的数据库，比如：以HBase、Cassandra、MongoDB为代表的NoSQL数据库，以InfluxDB、TDEngine为代表的时序数据库，以Neo4J、Dgraph为代表的图数据库，以Redis、Memcached等为代表的内存数据库，以Milvus为代表的向量数据库，以CockroachDB、TiDB为代表的HTAP融合数据库以及云原生数据库等。各类型数据库都有自己的优势，开发者可以根据应用场景选择最合适的数据库。不过，关系型数据库依旧是当今最流行的数据库管理系统，广泛应用于企业应用，也是大多数数应用开发人员日常接触最多的一种数据库类型。关系型数据库通过关系模型和关系代数的理论基础，实现了对关系数据的高效组织和操作。但许多开发人员在使用SQL进行数据库开发时，往往感到关系代数晦涩难懂，对SQL语句的语义理解不透彻，这给数据库应用开发带来了困难。在这篇文章中，我们就来研究一下关系模型和关系代数，探究其与SQL语句的对应关系，并用Go语言代码示例实现相关查询，期望能帮助读者增进对关系数据库的理解，减轻数据库开发痛点，提高数据库应用能 ...继续阅读 (121)

本文永久链接– https://tonybai.com/2023/11/11/go-opensource-14-years国内的双十一购物狂欢已没有了当年的那种热闹与喧嚣，但大洋彼岸的Go团队却始终保持稳中有增的开发和语言演进节奏。今晨Go核心团队的Russ Cox代表Go语言项目团队在Go官博上发表了《Fourteen Years of Go》的博文，纪念Go语言开源14周年，并对2023年以来Go语言的演进进行了归纳总结，并对Go在其第15个年头将要做的改进给予了很高的期望。这里对博文做简单翻译，供大家参考。今天，我们欢庆Go语言开源发布十四周年！Go在过去一年中取得了巨大的进步，发布了两个功能特性丰富的版本，并达成了其他一些重要的里程碑。我们在2月发布了Go 1.20，在8月发布了Go 1.21，在这两个版本中，我们更多地关注实现改进而不是新语言特性。我们在Go 1.20版本中发布了Profile-guided optimization(PGO)功能的预览版，并在Go 1.21中正式发布了该功能，它允许Go编译器读取程序的Profile，然后花更多时间对程序中运行最频繁的部分进行优化。在Go 1.21中，启用PGO后，工作负载的CPU使用率通常可以提高2%到7%。关于PGO的介绍请参阅“Go 1.21中的Profile-guided optimization”，对 ...继续阅读 (103)

本文永久链接– https://tonybai.com/2023/11/08/understand-go-web-secret-management-by-example如果你是一个Web应用系统的开发人员，你的日常大概率是“乐此不疲”地做着CRUD的活儿，很少接触到安全方面的内容。如果这时有人和你提到“机密(信息)管理(secret management)”，你大概率会说：那是啥？和我有关系吗？你只是大多应用系统开发人员中的一个典型代表。现阶段，很多开发人员，尤其是业务应用开发人员在工作中较少甚至没有接触过专门的机密管理系统，在系统设计时也较少考虑到机密管理方面的要求，精力仍主要集中在保证系统功能的正确性、性能等方面。这种对安全的重视程度不够，不了解机密管理的现象较为普遍，下面是一些常见的表现：明文存储密码、密钥等敏感数据很多项目依然直接将用户密码、数据库连接密码、第三方服务密钥等信息明文写在代码或配置文件中，存在被攻击者直接获取的风险。硬编码密钥与密码重复地在代码中多次硬编码密码、密钥等机密信息，导致不能统一变更及管理。使用弱密码、未定期更换使用常见的弱密码，或使用默认或长期不变更的密码，很容易被猜测或破解。不同环境复用同一密钥开发、测试、生产环境复用同一密钥，一旦泄露将影响所有环境。明文传输密码HTTP传输中明文传递密码，导致可被嗅探截获。日志中输出明文密码调试日 ...继续阅读 (130)

本文永久链接– https://tonybai.com/2023/11/04/understand-go-web-authz-by-example在前面的系列文章中，我们了解了Go Web应用身份认证的几种方式，也知道了该如何相对安全地存储用户的密码信息，最大程度减小在系统数据库被攻破时用户密码信息的泄露程度。一旦用户通过身份验证，他/她就可以以合法的身份进入到系统中，那么问题来了：用户进入系统后是否就可以“为所欲为”了呢？显然不是! 比如我们以普通用户身份登录github，身份验证成功后，我们只能增删改自己账号下的代码仓库数据或读取其他用户的公开仓库(public)数据，我们无法修改和删除其他用户下面的仓库数据，甚至看不到其他用户的私有仓库。Web应用系统(比如github)的这种对用户可以使用什么功能、可以访问和修改哪些数据的管理和控制，就是授权(Authorization)，简称为AuthZ。在这篇文章中，我们就结合实例一起来了解一下Web应用都有哪些种授权方式。1. 授权：基于访问控制策略的评估与决策在Go Web应用身份认证的几种方式一文中，我们简要说明了身份认证(AuthN)与授权(AuthZ)的关系与差异。授权是基于用户身份认证的基础之上的，按时间发生顺序，授权也是发生在身份认证之后的。授权的目的是限制合法用户在系统中的操作，限制未经允许的访问。这让很多人 ...继续阅读 (118)

本文永久链接– https://tonybai.com/2023/10/25/understand-password-storage-of-web-app-by-example在上一篇文章《通过实例理解Go Web身份认证的几种方式》中，我们了解了Web应用的多种身份验证方式。但无论哪种方式，用户初次访问Web应用的注册流程和登录流程是不可避免的，而基于用户名密码的注册流程依旧是当今主流。注册后，Web应用后端是如何保存用户密码的呢？历史上都有哪些存储方案？当今的主流存储方案又是什么呢？在这篇文章中，我们就来说说Web应用的各种密码存储方案的优缺点，并通过实例来理解一下当前的主流存储方案。1. Web应用用户密码存储的重要性用户密码是访问Web应用的关键，它直接关乎到用户账号和应用数据的安全。如果用户密码被泄露或破解，将导致严重后果。后果最轻的算是某个用户或某少数用户的账号被盗用了，用户将失去对账号的控制。盗用账号后，攻击者可以获取该用户的私密信息，或进行额外的攻击；如果用户在多个应用重复使用同一密码，那么后果将进一步严重，用户的一系列账号都将受到安全威胁；更为严重的是Web应用存储用户账号信息的数据库被攻破(俗称“脱库”)，攻击者会拿到存储的全部用户账号信息等，如果用户密码存储不当，攻击者可以很容易破译所有用户的密码，并基于这些密码信息做进一步的攻击。由此可见，Web ...继续阅读 (127)

本文永久链接– https://tonybai.com/2023/10/23/understand-go-web-authn-by-example在2023年Q1 Go官方用户调查报告中，API/RPC services、Websites/web services都位于使用Go开发的应用类别的头部(如下图)：我个人使用Go开发已很多年，但一直从事底层基础设施、分布式中间件等方向，Web应用开发领域涉及较少，像Web应用领域常见的CRUD更是少有涉猎，不能不说是一种“遗憾”^_^。未来一段时间，团队会接触到Web应用的开发，我打算对Go Web应用开发的重点环节做一个快速系统的梳理。而身份认证(Authentication，简称AuthN)是Web应用开发中一个关键的环节，也是首个环节，它负责验证用户身份，让用户可以以认证过的身份访问系统中的资源和信息。Go语言作为一门优秀的Web开发语言，提供了丰富的机制来实现Web应用的用户身份认证。在这篇文章中，我就通过Go示例和大家一起探讨一下当前Web应用开发中几种常见的主流身份认证方式，帮助自己和各位读者迈出Web应用开发修炼之路的第一步。1. 身份认证简介1.1 身份认证解决的问题身份认证不局限于Web应用，各种系统都会有身份认证，但本文我们聚焦Web应用领域的身份认证技术。几乎所有Web应用的安全性都是从身份认证开始的，身 ...继续阅读 (106)

本文永久链接– https://tonybai.com/2023/10/16/implementation-of-app-licensing-based-on-verifying-sign-by-pubkey随着互联网的普及以及应用的快速发展，商业软件的订阅模式变得越来越流行。软件公司开始提供基于订阅的服务，用户每月或每年支付费用以获取软件的使用权。这种模式使用户可以更灵活地选择服务期限，并且软件公司可以持续提供更新和技术支持。随着“软件定义汽车”的到来，这种模式在智能网联汽车领域也逐渐流行开来！一些需要私有化部署在客户现场的toB商业软件的公司也在探索这种订阅许可证模式，但与toC的软件不同，toB软件系统由于部署在客户数据中心中，如何有效地管理软件授权成为一个关键问题。传统的通过注册码或者登录供应商服务器进行软件授权存在诸多不便(甚至不可行)，而利用公钥基础设施实现许可证签发和验证可以很好地解决这个问题。本文就来探讨一下如何利用公钥证书验签的方式实现应用许可机制，在这套机制中，软件供应商负责设计许可证格式对许可证进行签名，并将证书分发给客户。客户只需要利用供应商提供的方法将证书导入系统或更新许可证即可，系统可自动识别许可证的有效性与并加载信息的变更。这种方式无需客户每次连接服务器就可以离线验证许可，既方便且安全，同时也可防止许可证被盗用或篡改。1. 方案原理基于公钥 ...继续阅读 (112)

本文永久链接– https://tonybai.com/2023/10/13/multiple-ways-to-bind-certificates-on-go-tls-server-side随着互联网的发展，网站提供的服务类型和规模不断扩大，同时也对Web服务的安全性提出了更高的要求。TLS(Transport Layer Security)已然成为Web服务最重要的安全基础设施之一。默认情况下，一个TLS服务器通常只绑定一个证书，但当服务复杂度增加时，单一证书已然难以满足需求。这时，服务端绑定多个TLS证书就成为一个非常实用的功能。Go语言中的net/http包和tls包对TLS提供了强大的支持，在密码学和安全专家Filippo Valsorda的精心设计下，Go提供了多种TLS服务端绑定证书的方式，本文将详细探讨服务端绑定TLS证书的几种方式，包括绑定单个证书、多个证书、自定义证书绑定逻辑等。我会配合示例代码，了解每种方式的使用场景、实现原理和优缺点。注：本文假设读者已熟悉基本的TLS使用方法，并具备Go语言编程经验。如果你不具备Go语言基础知识，可以将学习我撰写的极客时间专栏《Go语言第一课》作为你入门Go的起点。1. 热身：制作证书为了后续示例说明方便，我们先来把示例所需的私钥和证书都做出来，本文涉及的证书以及他们之间的签发关系如下图：注：示例使用的自签名根证书 ...继续阅读 (128)

本文永久链接– https://tonybai.com/2023/10/09/service-weaver-coding-in-monolithic-deploy-in-microservices分布式应用的主流架构模式演化为微服务架构已经有些年头了。微服务、DevOps、持续交付和容器技术(k8s)是构成最初云原生概念的核心要素。它们相生相拌，共同演进，并推动了云计算全面进入云原生时代。云原生应用普遍采用微服务架构，遗留的单体应用程序会逐步演进并拆分为多个微服务，新应用则会直接采用微服务架构进行设计与实现。微服务的好处是显而易见的：每个微服务都编译为一个二进制文件并独立部署和扩展，可以提高资源利用率；一个微服务的崩溃不会影响到其他微服务，限制了错误的传播半径，从而提高了容错能力；改善了抽象的边界。微服务需要清晰明确的API，降低了代码纠缠不清的可能性；灵活部署，不同微服务的二进制文件可以以不同频率发布，从而实现更敏捷的代码升级。… …不过做过微服务的朋友都知道，微服务架构带来的不仅仅是好处，还有很多挑战：单体应用内的模块间可通过内存直接交互，而在微服务架构的应用中，多个微服务需要进行跨进程跨机器的通信，对数据的序列化和反序列化操作必不可少，其开销很难避免，对应用性能是有较大损耗的；研究表明，三分之二的故障是由于不同版本的微服务之间的交互引发的， ...继续阅读 (125)

本文永久链接– https://tonybai.com/2023/10/05/the-official-guide-of-organizing-go-project长久以来，在Go语言进阶的学习和实践之路上，Go项目目录究竟如何布局一直是困扰大家的一个问题，这是因为Go官方针对这个问题迟迟没有给出说法，更没有提供标准供大家参考。仅有Go语言项目技术负责人Russ Cox在一个开源项目的issue中给出了他关于Go项目结构的最小标准布局的想法。熟悉我的博客/公众号的读者可能会知道，关于Go项目目录布局，我在以往文章中曾写过多次。在我的纸版书《Go语言精进之路》、极客时间的专栏Go语言第一课以及Go高级工程师训练营中，对Go项目目录组织与布局方式也都有过全面系统地说明。我虽然很努力为大家答疑，提供的建议也很具参考价值，但这仅是我的个人观点，权威性有限，大家依然期待Go官方的说法。近期Go官方文档集合中新增了一篇名为“Organizing a Go module”的文档，细读之后，我发现这不就是大家期待已久的Go项目目录布局的官方指南吗！在这篇文章中，我们就来看看这份官方指南，看看官方推荐的Go项目目录布局是什么样子的。1. Go项目的类型我们知道Go项目(project)一般有两类：library和executable。library是以构建库为目的的Go项目，而execu ...继续阅读 (128)

本文永久链接– https://tonybai.com/2023/09/28/dependency-injection-with-go如果你读过Robert C. Martin的《敏捷软件开发：原则、模式与实践》(书的封皮见下图)，那么你一定知道经典的SOLID设计原则中的“D”：依赖倒置原则（Dependency Inversion Principle, DIP）。依赖倒置原则是面向对象设计中的基本原则之一，它阐述了高层模块和低层模块的依赖关系应该倒置(如下图)，也就是:高层模块不应该依赖低层模块，二者都应该依赖其抽象抽象不应该依赖细节，细节应该依赖抽象依赖倒置原则实际上就是对控制反转(Inversion of Control，IoC)这一概念的阐述，而依赖注入(Dependency Injection)是实现控制反转的一种机制。所以可以说，依赖倒置原则是设计级的指导思想，它提出了正确的依赖关系；而依赖注入是实现级的具体设计模式，它将组件的依赖关系控制权移到了外部，实现了组件之间的解耦，是对依赖倒置原则的一种实现手段。依赖注入可以帮助你开发出松耦合的代码，松耦合使代码更易于维护。在《Go语言包设计指南》一文中，我们提到过：在Go中，耦合发生在包这一层次。而在Go代码层面最低的耦合是接口耦合。在Go中，接口的实现是隐式的，即a包实现b包中定义的接口时是不需要显式导入b包 ...继续阅读 (125)

本文永久链接– https://tonybai.com/2023/09/23/p2p-rtc-implementation-with-go-and-webrtc-data-channel关于实时通信(RTC，Real-Time Communication)，我和大多数人一样，是用的多(比如网络电话、音视频会议等)，但对RTC概念和其底层技术原理了解的却不多。近期，一项目恰用到了RTC技术，我就顺便翻阅了一些资料，并用Go建立了一个端到端数据通信的小demo，这里给大家分享一下。1. RTC与WebRTC1.1 实时通信(Real-Time Communication)实时通信（RTC）是实时发生的任何在线通信。生活中，最常见的采用实时通信方式的例子就是电话：一旦双方接通后，数据便直接从发送方即时发送到接收方，不会存储在前往目的地的途中。而传统的邮件以及互联网电子邮件则并非实时通信，因为在邮件/电邮的场景下，我们发送数据后，对方通常要等待一段时间才能收到数据，同时我们也需要等待一段时间才能收到回复。相信这个反例可以更好地帮助大家理解实时通信的特点。总结一下，实时通信具有以下特点(想象一下打电话的过程)：存在接通的过程点对点(通常没有中间存储或处理节点)传输低延迟1.2 WebRTC技术的诞生显然RTC技术是一种能给人们生活带来极大便捷的技术，尤其是在音视频实时传输方面，但 ...继续阅读 (159)

本文永久链接– https://tonybai.com/2023/09/10/understand-go-forward-compatibility-and-toolchain-ruleGo语言在发展演进过程中一直十分注重向后兼容性(backward compatibility)，在Go 1.0版本发布之初就发布了Go1兼容性承诺，简单来说就是保证使用新版本Go(比如Go 1.21版本)可以正常编译和运行老版本的Go代码(比如使用Go 1.18版本语法编写的go代码)，不会出现breaking change(其实也不是绝对的不会出现)。但是在Go 1.21版本之前，Go语言在向前兼容性方面却存在一定的不确定性问题。Go 1.21版本对此进行了改进，并引入了go toolchain规则。本文就和大家详细聊聊Go语言的向前兼容性以及Go 1.21中新引入的toolchain的使用规则。1. Go 1.21版本之前的向前兼容性问题在Go 1.21版本之前，Go module中的go directive用于声明建议的Go版本，但并不强制实施。例如:// go.mod module demo1 go 1.20上面go.mod文件中的go directive表示建议使用Go 1.20及以上版本编译本module代码，但并不强制禁止使用低于1.20版本的Go对module进行编译。 ...继续阅读 (126)

本文永久链接– https://tonybai.com/2023/09/04/slog-in-action-file-logging-rotation-and-kafka-integration《slog正式版来了：Go日志记录新选择！》一文发布后，收到了很多读者的反馈，意见集中在以下几点：基于slog如何将日志写入文件slog是否支持log轮转(rotation)，如果slog不支持，是否有好的log轮转插件推荐？如何与kafka集成日志输出有哪些最佳实践这篇文章就是对上述问题进行补充说明的，供大家参考，希望能给大家带去帮助。1. 输出日志到文件之所以《slog正式版来了：Go日志记录新选择！》一文中使用的例子都以os.Stdout(标准输出)为log输出目的地，主要是因为基于云原生微服务架构模式下，应用都跑在容器中(k8s的pod中)，基本都是将log输出到Stdout，而不会写入某个具体的本地文件。但如果应用是基于虚拟机或裸机部署，那么将日志写入文件仍然是第一选项。其实，使用slog内置的TextHandler和JSONHandler可以非常方便的将结构化的日志写入文件，因为slog.NewXXXHandler函数的第一个参数是一个io.Writer，这样通过将一个文件的描述符传递给NewXXXHandler，即可创建一个向文件写入日志的Logger。我们看下面示 ...继续阅读 (144)