Go语言中Timer以及相关的Ticker、time.After、time.AfterFunc 等定时器最终是以四叉堆的数据形式存放的。全局的 timer 堆也经历过三个阶段的重要升级。Go 1.9 版本之前，所有的计时器由全局唯一的四叉堆维护，goroutine间竞争激烈。Go 1.10 - 1.13，全局使用 64 个四叉堆维护全部的计时器，通过分片减少了竞争的压力，但是本质上还是没有解决 1.9 版本之前的问题Go 1.14 版本之后，每个 P 单独维护一个四叉堆，避免了goroutine的竞争。 (后面我们再介绍 per-P 的数据结构)常见的堆(heap)常常以二叉堆的形式实现。可是为什么Go timer使用四叉堆呢？以最小堆为例，下图展示了二叉堆和四叉堆的区别：二叉堆：每个节点最多有2个子节点；四叉堆：每个节点最多有4个子节点在相同节点数下，四叉堆的高度更低，约为二叉堆的一半（log₄n vs log₂n）对于最小堆来说， 父节点的值小于等于子节点的值。父节点和子节点的索引计算也略有不同。二叉堆的父子索引如下：123parent = (i -1) //2left_child =2* i +1right_child =2* i +2四叉堆的父子索引如下：123parent = (i -1) //4first_child =4* i +1last_child =4* i + ...继续阅读 (3)

今天在准备《秘而不宣》系列下一篇文章时，思绪飘散了，突然想到使用 Heap 的功能再加 HashTable (Map) 的功能，可以构造一种新的数据结构，然后把我聚合程序中的数据聚合数据结构替换掉，总之思绪翩翩。然后在网上搜了一下，这种数据结构其实早就有了，名字叫HeapMap。HeapMap(也叫做PriorityMap) 是一种结合了堆和哈希映射的数据结构，常用于需要按键排序并进行高效查找的场景。它可以在优先级队列的基础上，使用哈希映射来提供快速访问和更新。HeapMap在实现过程中利用堆的有序性和哈希表的快速查找能力，以支持按键排序和常数时间查找。Go 语言支付 Rob Pike 在他的Rob Pike's 5 Rules of Programming第 5 条就指出：Data dominates. If you've chosen the right data structures and organized things well, the algorithms will almost always be self-evident. Data structures, not algorithms, are central to programming.数据为王。如果你选择了合适的数据结构并进行了良好的组织，算法通常会变得显而易见。编程的核心在于数据结构，而非算法。所以，如 ...继续阅读 (6)

在现代多核处理器中，高效的缓存机制极大地提升了程序性能，而“伪共享”问题却常常导致缓存机制的低效。1. 背景cacheline 本文中有时又叫做 缓存行在现代多核处理器中，三级缓存通常分为三级：L1、L2 和 L3，每一级缓存的大小、速度和共享方式都不同：L1 缓存：这是速度最快的缓存，通常每个 CPU 核心都有独立的 L1 缓存。L1 缓存分为两个部分：一个用于存储指令（L1I），另一个用于存储数据（L1D）。L1 缓存的容量一般较小（通常 32KB - 64KB），但是读取速度极快，以极低的延迟为 CPU 核心提供服务。L2 缓存：L2 缓存通常比 L1 缓存大一些，容量一般在 256KB - 1MB 左右，每个 CPU 核心通常也会有独立的 L2 缓存。虽然 L2 缓存的访问速度比 L1 缓存稍慢，但它仍然显著快于主存。L3 缓存：这是三级缓存中容量最大的，通常在 8MB - 64MB 或更大。L3 缓存往往由所有 CPU 核心共享，并且主要用于减少核心之间的数据传输延迟。L3 缓存的读取速度比 L1、L2 缓存慢，但相对主存依然较快。对于多核处理器，L3 缓存是多核心之间协作的重要纽带。CPU缓存将数据划分成若干个cacheline，使得 CPU 访问特定数据时，能以 cacheline 为单位加载或存储数据。cacheline的大小通常是固定的，x86 架构中常见的cac ...继续阅读 (3)

位图(bitmap)是一种优雅而高效的数据结构,它巧妙地利用了计算机最底层的位运算能力。你可以把它想象成一个巨大的开关阵列,每个开关只有打开和关闭两种状态 —— 这就是位图的本质。每一位都可以独立控制,却又可以通过位运算实现群体操作。在实际应用中,位图的威力令人惊叹。设想你需要在海量数据中查找重复的数字,传统的哈希表或数组都会占用大量内存。而位图却能巧妙地用一个比特位标记一个数字的出现情况,极大地压缩了存储空间。在处理10亿个不重复的整数时,位图仅需要125MB内存,相比其他数据结构动辄需要几个GB,效率提升显著。位图的运用也体现在我们日常使用的数据库系统中。数据库会用位图索引来加速查询,尤其是对于性别、状态这样的枚举字段,一个位图就能快速定位满足条件的记录。比如在电商系统中,快速筛选出"在售且有库存"的商品,位图索引可以通过简单的位与运算瞬间得出结果。在大规模系统的权限控制中,位图也显示出其独特魅力。用户的各项权限可以编码到不同的位上,判断权限时只需一条位运算指令,既高效又直观。比如一个CMS系统,可以用一个32位的整数表示用户的全部权限状态,包括读、写、管理等多个维度。布隆过滤器更是位图思想的精妙应用。它用多个哈希函数在位图上标记数据,能够以极小的内存代价判断一个元素是否可能存在。这在网页爬虫、垃圾邮件过滤等场景下广泛应用。虽然可能有小概率的误判,但在实际应用中往往是可以接受的 ...继续阅读 (2)

treap是一棵二叉树，它同时维护二叉搜索树 （BST） 和堆的属性, 所以由此得名 (tree + heap   ⇒  treap)。从形式上讲，treap （tree + heap） 是一棵二叉树，其节点包含两个值，一个key和一个priority，这样key保持 BST 属性，priority是一个保持 heap 属性的随机值（至于是最大堆还是最小堆并不重要）。相对于其他的平衡二叉搜索树，treap的特点是实现简单，且能基本实现随机平衡的结构。属于弱平衡树。treap由 Raimund Siedel 和 Cecilia Aragon 于 1989 年提出。treap 通常也被称为“笛卡尔树”，因为它很容易嵌入到笛卡尔平面中：具体来说，treap是一种在二叉树中存储键值对(X,Y)的数据结构，其特点是：按X值满足二叉搜索树的性质，同时按Y值满足二叉堆的性质。如果树中某个节点包含值(X₀,Y₀)，那么：左子树中所有节点的X值都满足X ≤ X₀(BST 属性)右子树中所有节点的X值都满足X₀ ≤ X(BST 属性)左右子树中所有节点的Y值都满足 Y ≤ Y₀ （堆属性。这里以最大堆为例）在这种实现中，  X是键（同时也是存储在 Treap 中的值），并且  Y称为优先级。如果没有优先级，则 treap 将是一个常规的二叉搜索树。优先级（前提是每个节点的优先级都不相同）的特殊之处在于 ...继续阅读 (3)

Go 标准库和运行中中，有一些专门针对特定场景优化的数据结构，这些数据结构并没有暴露出来，这个系列就是逐一介绍这些数据结构。这一次给大家介绍的就是一个 lock-free、高性能的单生产者多消费者的队列：PoolDequeue和PoolChain。到底是一个还是两个呢？主要是PoolDequeue, 它是一个固定尺寸，使用 ringbuffer (环形队列) 方式实现的队列。PoolChain是在它的基础上上，实现的一个动态尺寸的队列。生产者消费者模式是常见的一种并发模式，根据生产者的数量和消费者的数量，可以分为四种情况：单生产者-单消费者模式: spsc单生产者-多消费者模式: spmc多生产者-单消费者模式: mpsc多生产者-多消费者模式: mpmcChannel 基本上可以看做是一种多生产者多消费者模式的队列。可以同时允许多个生产者发送数据，有可以允许多个消费者消费数据，它也可以应用在其他模式的场景，比如 rpc 包中的 oneshot 模式、通知情况下的的单生产者多消费者模式、rpc 和服务端单连接通讯时的消息处理，就是多生产者单消费者模式。但是 Go 标准库的 sync 包下，有一个针对单生产者多消费者的数据结构，它是一个 lock-free 的数据结构，针对这个场景做了优化，被使用在sync.Pool中。sync.Pool采用了一种类似 Go 运行时调度的机制，针对每 ...继续阅读 (8)

首先，让我们先来回顾 Go 运行时的 GPM 模型。这方面的介绍网上的资料都非常非常多了，但是我们也不妨回顾一下：GPM模型中的G代表goroutine。每个goroutine只占用几KB的内存,可以轻松创建成千上万个。G包含了goroutine的栈、指令指针和其他信息,如阻塞channel的等待队列等。P代表processor,可以理解为一个抽象的CPU核心。P的数量默认等于实际的CPU核心数,但可以通过环境变量进行调整。P维护了一个本地的goroutine队列,还负责执行goroutine并管理与之关联的上下文信息。M代表machine,是操作系统线程。一个M必须绑定一个P才能执行goroutine。当一个M阻塞时,运行时会创建一个新的M或者复用一个空闲的M来保证P的数量总是等于GOMAXPROCS的值,从而充分利用CPU资源。在这个模型中,P扮演了承上启下的角色。它连接了G和M,实现了用户层级的goroutine到操作系统线程的映射。这种设计允许Go在用户空间进行调度,避免了频繁的系统调用,大大提高了并发效率。调度过程中,当一个goroutine被创建时,它会被放到P的本地队列或全局队列中。如果P的本地队列已满,一些goroutine会被放到全局队列。当P执行完当前的goroutine后,会优先从本地队列获取新的goroutine来执行。如果本地队列为空,P会尝试从全局队列或 ...继续阅读 (10)

来，过路人，请坐到我身边来，听老衲讲一讲我对 Rust 过分要求的故事。介绍想象一下,你打算用Rust创建一个新库。这个库的唯一功能就是封装一个你需要的公共API, 比如Spotify API或者ArangoDB之类的数据库。这并不是造火箭，你也不是在发明什么新东西或者处理复杂的算法,所以你认为这应该相对简单直接。你决定用异步方式实现这个库。你的库中大部分工作都涉及执行HTTP请求,主要是I/O操作,所以使用异步是有道理的(而且,这也是Rust圈里现在的潮流)。你开始编码,几天后就准备好了v0.1.0版本。当cargo publish成功完成并将你的作品上传到crates.io时,你暗自得意地想: "不错嘛"。几天过去了,你在GitHub上收到了一个新通知。有人提了一个问题:我如何同步使用这个库？我的项目不使用异步,因为对我的需求来说太复杂了。我想尝试你的新库,但不确定怎么轻松地使用它。我不想在代码中到处使用block_on(endpoint())。。我见过像reqwest这样的 crate导出一个blocking模块，提供完全相同的功能,你能不能也这么做?从底层来看,这听起来是个很复杂的任务。为异步代码(需要像tokio这样的运行时、awaiting future、pinning等)和普通的同步代码提供一个通用接口?好吧,既然他们提出请求的态度很好,也许我们可以试试。毕竟,代码中 ...继续阅读 (16)

昨天公司群中同事提到 Go 1.22 中 string 和 bytes 的互转不需要再用 unsafe 那个包了，直接转就可以。我翻看了 Go 1.22 的 release notes 没找到相应的介绍，但是大家提到了 kubernetes 的issue中有这个说法：As of go 1.22, for string to bytes conversion, we can replace the usage ofunsafe.Slice(unsafe.StringData(s), len(s))with type casting[]bytes(str), without the worry of losing performance.As of go 1.22, string to bytes conversion[]bytes(str)is faster than using theunsafepackage. Both methods have 0 memory allocation now.自 Go 1.22 起，对于 string 到 bytes 的转换，我们可以用类型转换[]bytes(str)来替换unsafe.Slice(unsafe.StringData(s), len(s))的用法，而不用担心性能损失。自 Go 1.22 起，string 到 bytes 的转换[ ...继续阅读 (28)

在Go语言中,结构体(struct)中的字段如果是私有的,只能在定义该结构体的同一个包内访问。这是为了实现数据的封装和信息隐藏,提高代码的健壮性和安全性。但是在某些情况下,我们可能需要在外部包中访问或修改结构体的私有字段。这时,我们可以使用 Go 语言提供的反射(reflect)机制来实现这一功能。即使我们能够实现访问，这些字段你没有办法修改，如果尝试通过反射设置这些私有字段的值，会 panic。甚至有时，我们通过反射设置一些变量或者字段的值的时候，会 panic, 报错panic: reflect: reflect.Value.Set using unaddressable value。在本文中，你将了解到：如何通过 hack 的方式访问外部结构体的私有字段如何通过 hack 的方式设置外部结构体的私有字段如何通过 hack 的方式设置 unaddressable 的值首先我先介绍通过反射设置值遇到的 unaddressable 的困境。通过反射设置一个变量的值如果你使用过反射设置值的变量，你可能熟悉下面的代码，而且这个代码工作正常：12345varx =47v := reflect.ValueOf(&x;).Elem()fmt.Printf("原始值: %d, CanSet: %v\n", v.Int(), v.CanSet())// 47, falsev.Set(reflec ...继续阅读 (32)

先决条件系统调用、eBPF、C语言、底层编程基础。简介eBPF(扩展的伯克利数据包过滤器)是一项允许用户在内核中运行自定义程序的技术。BPF或cBPF(经典BPF)是eBPF的前身,它提供了一种简单高效的方法来基于预定义规则过滤数据包。与内核模块相比,eBPF程序提供了更高的安全性、可移植性和可维护性。现有多种高级方法可用于处理eBPF程序,如Cilium的Go语言库、bpftrace、libbpf等。注意: 本文要求读者对eBPF有基本了解。如果你不熟悉它,ebpf.io上的这篇文章是很好的参考资料。目标你应该已经熟悉著名的工具strace。我们将使用eBPF开发类似的工具。例如:1./beetrace /bin/ls以下是该文本的地道中文翻译：概念在开始编写我们的工具之前，我们需要熟悉一些关键概念。跟踪点（Tracepoints）：这些是放置在 Linux 内核代码各个部分的检测点。它们提供了一种方法，可以在不修改内核源代码的情况下，钩入内核中的特定事件或代码路径。可用于跟踪的事件可以在/sys/kernel/debug/tracing/events中找到。SEC宏：它在目标 ELF 文件中创建一个新的段，段名与跟踪点的名称相同。例如，SEC(tracepoint/raw_syscalls/sys_enter)创建了一个具有这个名称的新段。可以使用 readelf 命令查看这些 ...继续阅读 (30)

Go 第一代技术领导人 Rob Pike, 近两年已经隐居澳大利亚。Go 第二代技术领导人 Russ Cox 2024 年 8 月 2 日宣布卸任，转战 AI 项目，聚焦 Oscar 项目。Go 第三代技术领导人 Austin Clements, 同样和 Russ Cox 一样毕业于美国的一个计算机技术比较出名的一个学院，算是 Russ Cox 的师弟，Austin是Go语言运行时系统和垃圾收集器的主要贡献者之一，在运行时和内存管理等底层系统方面有深入的专长。Go 第一代技术领导人 Rob Pike, 近两年已经隐居澳大利亚。Go 第二代技术领导人 Russ Cox 2024 年 8 月 2 日宣布卸任，转战 AI 项目，聚焦 Oscar 项目。Go 第三代技术领导人 Austin Clements, 同样和 Russ Cox 一样毕业于美国的一个计算机技术比较出名的一个学院，算是 Russ Cox 的师弟，Austin是Go语言运行时系统和垃圾收集器的主要贡献者之一，在运行时和内存管理等底层系统方面有深入的专长。Russ Cox 他在网上的 ID 是 rsc，他是麻省理工学院 MIT 2008 届的博士毕业生，他本科和研究生都是在哈佛大学就读的，Go team 里的又一个学神。他所在的项目组是隶属于 MIT 计算机科学与人工智能实验室的并行与分布式操作系统组，据网上的资料 Aus ...继续阅读 (25)

我们已经知道，标准库中的 atomic 针对 int32/uint32、int64/uint64 提供了原子操作的方法和函数，但是如果针对 128 bit 的整数呢？当然使用128 bit 整数的原子操作的场景可能比较少，也不会有太多人有这个需求，但是如果我们需要对几个 32 bit、64 bit 变量进行原子操作吗， atomic128 可能就很有用。tmthrgd/atomic128在几年前提供了 atomic 128 的实验性功能，最后放弃了，但是他提供了一个思路，可以使用CMPXCHG16B指令为 AMD 64 架构的CPU 提供 atomic 128 功能。CAFxX/atomic128fork 了上面的项目，继续维护，还是使用CMPXCHG16B指令，只为 AMD 64 架构提供原子操作。首先我们看看它的功能然后再看一看它的实现，最后我们思路发散一下，看看使用 AVX 为 128 bit 甚至更多 bit 的整数提供原子操作是否可行。atomic128 的方法Package atomic128实现了对 128 bit值的原子操作。在可能的情况下（例如，在支持CMPXCHG16B的 amd64 处理器上），它会自动使用 CPU 的原生特性来实现这些操作；否则，它会回退到基于互斥锁（mutexes）的方法。Go 的基本整数中不包含 int128/uint128，所以这个库先 ...继续阅读 (47)

这是 Aliaksandr Valialkin 昨天刚写的一篇文章, 心有戚戚焉，所以特意翻译成中文，个人感觉，自从Rob Pike退休后，Go在大方向迷失了，正如老貘(Go101)所说，目前Go的开发就像完成KPI一样，也许, 大师不会再回来了。Aliaksandr Valialkin是fasthttp的作者，也是VictoriaMetrics开发者，一位资深的Go程序员。以下是译文。以下是对原文的地道中文翻译:Go编程语言以易于使用而闻名。得益于经过深思熟虑的语法、特性和工具,Go允许编写任意复杂度的易读易维护的程序(参见GitHub上的这个列表)。有些软件工程师称Go为"无聊"和"过时",因为它缺乏其他编程语言的高级特性,如单子、Option类型、LINQ、借用检查器、零开销抽象、面向方面编程、继承、函数和运算符重载等。虽然这些特性在特定领域可能可以简化编码,但它们除了好处之外还有非零的成本。这些特性通常对锻炼大脑有好处。但是在处理生产代码时,我们不需要额外的精神负担,因为我们已经很忙于解决业务任务了。所有这些特性的主要成本是增加了结果代码的复杂性:仅仅通过阅读代码就变得更难理解正在发生的事情;调试此类代码变得更加困难,因为您需要跳过数十个非平凡的抽象才能到达业务逻辑;由于这些特性施加的限制,为此类代码添加新功能变得更加困难。这可能会显著减慢甚至阻碍代码开发的进度。这就是Go ...继续阅读 (48)

1. 计算机领域里，没有什么问题是加一层间接寻址解决不了的。There's nothing in computing that can't be broken by another level of indirection.这是 Rob Pike 的修改版。经常level of insriection误引用为abstraction layer。原始版本出自Butler LampsonAll problems in computer science can be solved by another level of indirection但是David Wheeler完成了下半句：All problems in computer science can be solved by another level of indirection, except for the problem of too many layers of indirection.还有 Kevlin Henney 的下半句：ll problems in computer science can be solved by another level of indirection, except for the problem of too many layers of indirection."FromBeautif ...继续阅读 (54)

Tip #61前几天有人问我关于智能指针的事。这里简单介绍一下Rc智能指针的基础知识：![[Pasted image 20240609000917.png]]Tip #62这是一篇关于 Rust 中的错误处理以及如何应用anyhow库的精彩文章：https://antoinerr.github.io/blog-website/2023/01/28/rust-anyhow.htmlTip #63刚开始学习 Rust 编程时，我惊讶地发现示例中从未见过任何原始指针。常见的都是Box(),Arc()等智能指针。事实上，原始指针确实存在，但在惯用的 Rust 代码中很少使用。深入了解后，这里提供一个 C 语言与 Rust 原始指针的并排对比：![[Pasted image 20240609001320.png]]Tip #64今天我学到了关于NonZero数值类型的知识，你可以确保在编译时数值不会为零。它也是一个真正的零成本抽象，因为如果你定义了例如Option，那么 "0" 值就会映射到 "None"。非常巧妙！这里有个例子：![[Pasted image 20240609001516.png]]Tip #65这里有一篇由 @ThePrimeagen 撰写的有益论述，列举了 Rust 中枚举（Enums）的优势：RUST Enums ARE Better (youtube.com)Tip ...继续阅读 (48)

Tip #41类似于 Go 语言中的通道（Go 的channel），Rust 中的std::sync::mpsc提供了一种线程间安全地读写数据的机制:1234567891011121314usestd::sync::mpsc;usestd::thread;fnmain() {let(tx, rx) = mpsc::channel();thread::spawn(move || {letval = String::from("hi");tx.send(val).unwrap();});letreceived = rx.recv().unwrap();println!("Got: {}", received);}在这个例子中，我们创建了一个通道，然后在一个线程中发送了一个字符串。在主线程中，我们等待接收这个字符串并打印它。Tip #42希望在编码过程中，让编译器和代码检查工具实时地指出并协助解决出现的问题吗？不妨试试Bacon![[Pasted image 20240608190742.png]]Tip #43除了标准库中的std::HashMap，Rust 还为特定场景提供了其他哈希表变体：IndexMap（indexmap库）：保持键的插入顺序。BTreeMap（位于std::collections）：按照键的排序顺序维护元素。DashMap（dashmap库）：无锁并发散列映射， ...继续阅读 (49)

Tip #21在 Rust 中，我们经常使用Clone()或Copy()。这两者之间的区别是什么？Copy：支持Copy的类型可以安全地通过字节复制的方式进行复制，可以类比 C 语言中的memcpy函数。Clone：支持Clone的类型也可以被复制，但它通常需要执行一些逻辑操作来完成深拷贝。Tip #22我之前忽略的一点是，Rust 中有static变量，可以用来追踪某些状态。当然， 可变的静态变量 （mutable static）是不支持的，但对于原始类型，可以考虑使用std::sync::atomic。这些可以被实例化为静态的，并且在后续可以被修改：12345678910staticCOUNTER: AtomicUsize = AtomicUsize::new(0);// Functions to get and increment *static* counter.fnincrement_counter() {COUNTER.fetch_add(1, order: Ordering::Relaxed);}fnget_counter() -> usize {COUNTER.load(order: Ordering::Relaxed)}Tip #23对于大多数使用核心数据类型的结构体，你可以通过派生Defaulttrait自动生成一个基本的Default()实现：12[deriv ...继续阅读 (66)

图片的 base64 编码在多种上下文中都很有用。当需要通过旨在处理文本数据的媒体存储或传输图片时，它通常会被使用，比如嵌入到网页或者通过 API 上传图片。这篇文章将介绍如何使用 Go 标准库得到任何图片的 base64 编码的值。在 Go 中将图片转换为其 base64 表示很容易。所有你需要做的是将文件读取为字节 slice并使用包encoding/base64对其进行编码。处理本地图片首先，让我们处理本地文件系统中的图片文件：12345678910111213141516171819202122232425262728293031323334353637383940packagemainimport("encoding/base64""fmt""io/ioutil""log""net/http")functoBase64(b []byte)string{returnbase64.StdEncoding.EncodeToString(b)}funcmain() {// 读取文件到 byte slicebytes, err := ioutil.ReadFile("./flower.jpg")iferr !=nil{log.Fatal(err)}varbase64Encodingstring// 得到当前文件的格式mimeType := http.DetectContentTyp ...继续阅读 (42)

Tip #001Rust 不支持静态 vec(static vec),但是最接近的是静态数组。例如,如果你想存储三个字符串的数组,可以尝试这样:static STRINGS : [&str;3] = ["a", "b", "c"]Tip #002什么是可选值(optional)和unwrap()? 可以将可选值想象成一个信封,它可以包含一个值(Some(item))或者什么都没有(None)。对可选值调用unwrap()要么返回包含的值,要么如果可选值是None的话就会使程序panic。Tip #003关于可选值(optional)的安全解包方式:使用match语句明确处理不同情况unwrap_or_default: 要么解包得到值,要么返回默认值unwrap_or_else: 允许你指定一个函数来处理None/Error解包结果Tip #004如果你没有时间完成特定的一段代码,但仍然希望程序可以编译,可以考虑使用todo!()或unimplemented!()宏。你的代码会继续编译通过,但如果程序运行到包含这些宏的代码块中,它将会panic。todo!更适合临时标记,而unimplemented!则更适合长期未实现的情况。Tip #005如果你想测试一个枚举类型的实例是否符合枚举的特定变体,你可以使用matches!宏,例如:let match_res = matches!(my ...继续阅读 (50)

Redka旨在使用SQLite重新实现Redis的优秀部分,同时保持与Redis API的兼容性。有意思的特性:数据不必完全装载在内存中。支持ACID事务。使用SQL视图以便于内省和报告。同时提供进程内(Go API)和独立(RESP)服务器。兼容Redis的命令和线路协议。Redia 并不期望完全达到 Redis 那么高的性能，但是性能上也并不会落后很多。它的主要功能还是 SQL + Redis 的功能，集成了两种优秀产品 SQLite 和 Redis 的盛世美颜。支持的 Redis 命令字符串123456789101112131415Command Go API Description------- ------ -----------DECR DB.Str().Incr Decrementstheintegervalueofakeybyone.DECRBY DB.Str().Incr Decrementsanumberfromtheintegervalueofakey.GET DB.Str().Get Returnsthevalueofakey.GETSET DB.Str().Se ...继续阅读 (51)

命令分发模式 (command dispatcher pattern)不属于23种经典的设计模式。它是一种不太为人所知的设计模式,它主要用于构建可扩展、可插拔的系统架构,将请求与执行请求的操作对象解耦。它类似于命令模式(Command Pattern),但更加灵活和动态。虽然Command Dispatch Pattern不属于那23种经典模式,但它确实是一种很有价值的模式,可以应用于需要在运行时动态添加、修改或删除操作的系统中,使系统更加灵活和可扩展。这种模式通过允许方便的添加、替换或移除任何命令处理器, 非常的灵活，将命令调用和命令处理解耦。而且每个命令可以由单独的命令处理器处理，代码组织和维护也很方便。实际上，对于 Gopher 来讲，必然已经接触到这个模式了，只不过少有人指出或者梳理这种模式，但是在标准库和一些知名的项目中，其实已经自然的应用了，而且看起来整个架构也非常的清爽。让我们看一个标准库实现 web 服务的例子：12345678910111213141516171819202122232425262728packagemainimport("fmt""net/http")// 定义 HTTP 处理程序函数funchomeHandler(w http.ResponseWriter, r *http.Request) {fmt.Fprint(w,"Welcome to ...继续阅读 (41)

前两篇文章介绍了C++和Go中利用TCP Option中的时间戳实现计算网络时延。基于“用Rust重写一切”的哲学，今天我们来看看Rust中如何做这个事情。夜深人静，再肝一篇关于网络编程的文章。Rust中还没有和 gopacket一样功能强大的包，它的pcap用来捕获网络包没有问题，但是缺乏解析的能力，所以我们使用另外一个包pdu来实现网络包的解析。当然rust生态圈中还有其他的包捕获库如pnet、包解析库如etherparse等，但是我选择了pcap和pdu，因为针对这篇文章的场景，它们用起来很顺手。为了简单起见，我们不像前两篇文章那样的程序那么复杂，还要解析参数，针对参数做不同的处理，这次Rust实现的程序中，我们主要实现其最核心的功能：捕获 TCP 包解析TCP选项中的时间戳计算时延我是在Mac mini的进行开发和运行的，理论在Linux上也是可以运行的。你可能需要安装libpcap库。Mac上可能你需要临时设置权限，才有可能正常运行程序：1sudochmod666/dev/bpf*首先看看程序运行的效果：那么程序一开始，我们开始要使用pcap捕获包：123456789101112131415161718192021222324252627282930usestd::net::{Ipv4Addr,Ipv6Addr};usestd::ops::Sub;usestd::time ...继续阅读 (64)

大家好，我是鸟窝。在前一篇“pping：被动式ping,计算网络时延”一篇中，我给大家介绍了 pping 这个工具的原理和使用方法。这篇文章中，我将使用 Go 语言实现 pping 工具。通过这篇文章，你将了解到：如何使用gopacket来捕获和解析网络数据包如何设置捕获时长和过滤捕获的数据包如何在CGO下静态编译库，如libpcap了解TCP/IP协议栈的基本知识，如TCP Option如何进行数据的统计和定时输出和清理如何使用 pflag 来解析命令行参数代码在:github.com/smallnest/pping-go使用libpcap捕获数据包，并进行包过滤我们并不直接使用libpcap，而是使用封装好的gopacket。gopacket是一个用于处理数据包的库，它提供了一个高级的API，可以用来处理数据包的解析、分析和生成。它支持多种数据包格式，包括Ethernet、IPv4、IPv6、TCP、UDP、ICMP等。我们可以使用gopacket来捕获数据包，然后使用gopacket/layers包来解析数据包的各个部分。12345678910111213141516// 创建一个新的非活动 pcap 句柄, *liveInp是网卡的名称inactive, _ := pcap.NewInactiveHandle(*liveInp)// 使用 defer 关键字确保在函数结束时 ...继续阅读 (47)

红黑树（英语：Red–black tree）是一种自平衡二叉查找树，是在计算机科学中用到的一种数据结构。它在1972年由鲁道夫·贝尔发明，被称为“对称二叉B树”，它现代的名字源于利奥尼达斯·J·吉巴斯和罗伯特·塞奇威克于1978年写的一篇论文。红黑树的结构复杂，以至于有些个别公司拿它当做面试题现场实现，但它的操作有着良好的最坏情况运行时间，并且在实践中高效：它可以在O(log^n)时间内完成查找、插入和删除。红黑树是每个节点都带有颜色属性的二叉查找树，颜色为红色或黑色。在二叉查找树强制一般要求以外，对于任何有效的红黑树我们增加了如下的额外要求：性质1: 节点是红色或黑色。性质2: 根是黑色。性质3: 所有叶子都是黑色（叶子是NIL节点）。性质4: 每个红色节点必须有两个黑色的子节点。（或者说从每个叶子到根的所有路径上不能有两个连续的红色节点。）（或者说不存在两个相邻的红色节点，相邻指两个节点是父子关系。）（或者说红色节点的父节点和子节点均是黑色的。）性质5: 从任一节点到其每个叶子的所有简单路径都包含相同数目的黑色节点。下面是一个具体的红黑树的图例：因为每一个红黑树也是一个特化的二叉查找树，因此红黑树上的只读操作与普通二叉查找树上的只读操作相同。然而，在红黑树上进行插入操作和删除操作会导致不再符合红黑树的性质。恢复红黑树的性质需要少量(O(log^n))的颜色变更（实际是非常快速的 ...继续阅读 (59)

上一篇我介绍了Go生态圈的sqlx库。 Rust生态圈也有一个知名的sqlx库，今天给大家介绍一下。这两个没有什么关联啊，纯粹属于名称相同而已。概览sqlx是一个为Rust语言提供的功能齐全的数据库访问和查询构建器库。它支持多种数据库,包括PostgreSQL、MySQL、SQLite等。sqlx的设计目标是成为Rust中最直观、高效且类型安全的数据库客户端。真正的异步。从头开始使用 async/await 构建，以实现最大的并发性。编译时检查查询（如果你需要的话）。请注意，sqlx 不是 ORM。与数据库无关。支持 PostgreSQL、MySQL、MariaDB、SQLite。纯 Rust。Postgres 和 MySQL/MariaDB 驱动程序是使用零不安全的代码以纯 Rust 编写的。与运行时无关。在不同的运行时（async-std/tokio/actix）和 TLS 后端（native-tls，rustls）上运行。SQLite 驱动程序使用 libsqlite3 C 库。sqlx 除非启用了 sqlite 功能，否则会使用 #![forbid(unsafe_code)]。SQLite 驱动程序通过 libsqlite3-sys 直接调用 SQLite3 API，这需要使用不安全的代码。另外，它还有以下特性：跨平台。作为原生的 Rust 代码，sqlx 可以在任何支持 ...继续阅读 (63)

sqlx是一个用于扩展标准库database/sql的库，它提供了一些额外的功能，使得在Go中使用sql更加方便。sqlx的目标是保持database/sql的简单性，同时提供更多的功能。sqlx为 Go 的标准database/sql库提供了一组扩展。sqlx 中的sql.Conn、sql.DB、sql.TX、sql.Stmt、sql.Rows、sql.Row等版本都保留了底层接口不变，因此它们的接口是标准接口的超集。这使得将使用database/sql的现有代码库与sqlx集成相对容易。主要的额外概念有：将行映射到结构体（支持嵌入结构体）、Map和切片支持命名参数，包括预编译语句使用Get和Select快速从查询到结构体/切片sqlx的目的是无缝地封装 database/sql，并提供在开发数据库驱动的应用程序时有用的便捷方法。它不会改变任何底层的database/sql方法。相反，所有扩展行为都是通过在包装类型上定义的新方法来实现的。比如:1234567891011121314151617181920212223242526272829303132333435363738typeConnstruct{*sql.ConndriverNamestringunsafeboolMapper *reflectx.Mapper}typeDBstruct{*sql.DBdriver ...继续阅读 (55)

我们将尝试使用 Rust 来比较读取文件的各种不同方法。除了wc -l之外，我们将使用criterion对每个函数运行 10 次，然后取平均值。以下基准测试的代码存放在Benchmark code for Linux IO using Rust。在以下代码中，BUFFER_SIZE 为 8192，NUM_BUFFERS 为 32。原文:# Linux File IO using Rust](https://opdroid.org/rust-io.html)) by opdroid测试机器细节Framework 16 笔记本，带有锐龙 7840 HS 处理器和 64 G 内存的电脑。电源已接通并启用了性能模式。（这个笔记本是一个模块化的笔记本）SSD: WD_BLACK SN850X 4000GB。使用Gnome Disks进行测试显示读取速度为3.6 GB/s(样本大小为1000MB,共100个样本)。文件系统：btrfs操作系统版本 (uname 结果)：Linux fedora 6.8.8-300. Fc 40. X 86_64 #1 SMP PREEMPT_DYNAMIC Sat Apr 27 17:53:31 UTC 2024 x 86_64 GNU/Linux文件细节未压缩大小：22G行数：200,000,000使用 btrfs 压缩（zstd）后的压缩大小：5.3G对于 ...继续阅读 (58)

虽然我不做管理系统，但是在项目中和数据库打交道还是比较多的，经常会从数据库中 (比如 Mysql 、ClickHouse 等) 查询一些记录，偶尔也会写入一些数据，但是不多。每次从数据库中查询一些数据，套路几乎是一样的，无非是：定义和表相关的 struct (Entity)1234typeUserstruct{IDint`db:"id" json:"id,omitempty"`Namestring`db:"name" json:"name,omitempty"`}根据 dsn 创建 sql. DB12345db, err := sql.Open("mysql","user:password@tcp(127.0.0.1:3306)/test")iferr !=nil{log.Fatal(err)}deferdb.Close()执行查询, 获得一组Row123456789var(idintnamestring)rows, err := db.Query("select id, name from users where id = ?",1)iferr !=nil{log.Fatal(err)}deferrows.Close()遍历 rows, 读取数据,并填充struct123456789101112131415varusers []Userforrows.Next() {varuse ...继续阅读 (65)

Sqids（发音为squids, 鱿鱼）是一个开源库，允许您从数字中生成简短的唯一且看起来随机的标识符, 而且这些ID是URL安全的，你可以同时编码几个数字， 也可以剔除常见的脏话或者政治敏感的单词。你可以把它想象成一个十进制到十六进制的转换器，但它还具备一些额外的功能。比如：https://example.com/Lqj8a0先前它叫做Hashids, 但是由于商标问题，我不得不更改名称。Sqids是Short Quick Unique Identifiers的缩写。为什么需要简短的唯一ID适合场景短链接缩为日志生成唯一的事件 ID为网站上的产品/对象生成 ID（如 YouTube 为视频所做的那样）为文本消息生成短 ID电子邮件中的确认码商品优惠码起止时间戳合并缩写地理位置编码临时的token不适合场景任何敏感数据生成的 ID 不是哈希值，可以解码回数字。例如，它们可能不是用户 ID 的好选择，因为一旦解码，它们可能会泄露你的应用程序的用户数量Sqids的特性🆔 从非负数字生成短 ID✅ 易于编码和解码🫣 自动生成的 ID 不包含常见的禁用词🎲 支持通过打乱字母顺序来自定义 ID🥳 44个语言库， 比如Go、Rust、C、C++、Bash、Java、Python、JavaScript等📌 每个版本都生成相同的 ID🍻 带有宽松许可的小型库 (MIT许可)Sqids 你可以可以自 ...继续阅读 (57)