技术阅读周刊，每周更新。历史更新20231013：第一期20231022：第二期20231027：第三期20231103：第四期20231107：第五期20231117：第六期What is a JWT? Understanding JSON Web TokensURL:https://supertokens.com/blog/what-is-jwt本文主要讲了一些 JWT 的基本原理，以及优缺点JWT 的生成规则..使用证书+签名算法创建签名 Key将 header 和 body 的空格换行都去掉后进行 base64，然后使用.拼接起来。将刚才拼接的字符串使用Base64 + HMACSHA256生成签名。最终将..拼接成JWT。1234Base64URLSafe(HMACSHA256("eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VySWQiOiJhYmNkMTIzIiwiZXhwaXJ5IjoxNjQ2NjM1NjExMzAxfQ","NTNv7j0TuYARvmNMmWXo6fKvM4o6nv/aUi9ryX38ZH+L1bkrnD1ObOQ8JAUmHCBq7Iy7otZcyAagBLHVKvvYaIpmMuxmARQ97jUVG16Jkpkp1wXOPsrF9zwew6TpczyHkHgX5EuLg2MeBuiT/qJACs1J ...继续阅读 (80)

背景最近在测试将Pulsar2.11.2 升级到3.0.1的过程中碰到一个鉴权问题，正好借着这个问题充分了解下Pulsar的鉴权机制是如何运转的。Pulsar 支持Namespace/Topic级别的鉴权，在生产环境中往往会使用topic级别的鉴权，从而防止消息泄露或者其他因为权限管控不严格而导致的问题。我们会在创建topic的时候为topic绑定一个应用，这样就只能由这个应用发送消息，其他的应用尝试发送消息的时候会遇到 401 鉴权的异常。同理，对于订阅者也可以关联指定的应用，从而使得只有规定的应用可以消费消息。鉴权流程以上的两个功能本质上都是通过Pulsar的admin-API实现的。这里关键的就是role，在我们的场景下通常是一个应用的AppId，只要是一个和项目唯一绑定的ID即可。这只是授权的一步，整个鉴权流程图如下：详细步骤生成公私钥1bin/pulsar tokens create-key-pair --output-private-key my-private.key --output-public-key my-public.key将公钥分发到broker的节点上，鉴权的时候broker会使用公钥进行验证。而私钥通常是管理员单独保存起来用于在后续的步骤为客户端生成token使用私钥生成 token之后我们便可以使用这个私钥生成token了：1234bin/pulsa ...继续阅读 (93)

技术阅读周刊，每周更新。历史更新20231013：第一期20231022：第二期20231027：第三期20231103：第四期20231007：第五期5 Skills the Best Engineers I Know Have in CommonURL:https://www.developing.dev/p/5-skills-all-10x-engineers-have?utm_source=post-email-title&publication;_id=1340878&post;_id=138715343&utm;_campaign=email-post-title&isFreemail;=true&r;=4buvd&utm;_medium=email作者讲述了他身边最好的工程师都具备的五个通用技能技术的深度与广度对于最好的工程师来说，深度和广度他们都会掌握要保持好奇心，好奇心是学习任何新东西的原始动力和身边厉害的工程师一起工作，会快速从他们身上学到东西不用权威去影响他人我理解的是不是依靠资历、经验来向他人输出观点；而是就事论事，利用知识、技能来输出。锻炼写作和口语学会销售提升他人分享知识，写 WIKI、做分享团队协作：codereview、团队讨论等构建工具，解决大家遇到的一些共性问题。要有主人公意识这些工程师都有主人公意识。像老板一样思考问题Explaining 9 ...继续阅读 (83)

在上一期k8s-服务网格实战-配置 Mesh中讲解了如何配置集群内的 Mesh 请求，Istio 同样也可以处理集群外部流量，也就是我们常见的网关。其实和之前讲到的k8s入门到实战-使用IngressIngress作用类似，都是将内部服务暴露出去的方法。只是使用Istio-gateway会更加灵活。这里有一张功能对比图，可以明显的看出Istio-gateway支持的功能会更多，如果是一个中大型企业并且已经用上 Istio 后还是更推荐是有Istio-gateway，使用同一个控制面就可以管理内外网流量。创建 Gateway开始之前首先是创建一个Istio-Gateway的资源：12345678910111213141516apiVersion:networking.istio.io/v1alpha3kind:Gatewaymetadata:name:istio-ingress-gatewaynamespace:defaultspec:servers:-port:number:80name:httpprotocol:HTTPhosts:-'www.service1.io'selector:app:istio-ingressgateway#与现有的 gateway 关联istio:ingressgateway其中的selector选择器中匹配的 label 与我们安 ...继续阅读 (85)

技术阅读周刊，每周更新。历史更新20231013：第一期20231022：第二期20231027：第三期20231027：第四期How to Use OpenTelemetry in Go. OpenTelemetry is a powerful… | by Akanksha Rana | KloudMateURL:https://blog.kloudmate.com/how-to-use-opentelemetry-in-go-e416ca01c499作者一步步带你使用 golang 配置了OpenTelemetry，不过由于 Go 不支持 agent，还是没有 Java 方便，很多地方都需要硬编码。123456789tp := trace.NewTracerProvider(trace.WithBatcher(exp),trace.WithResource(newResource()),)deferfunc(){iferr := tp.Shutdown(context.Background()); err !=nil{l.Fatal(err)}}()otel.SetTracerProvider(tp)最终会输出到文件中，适配起来倒也蛮简单的。What happens when you create a pod in Kubernetes ...继续阅读 (96)

在上一篇k8s-服务网格实战-入门Istio中分享了如何安装部署Istio，同时可以利用Istio实现gRPC的负载均衡。今天我们更进一步，深入了解使用 Istio 的功能。从 Istio 的流量模型中可以看出：Istio 支持管理集群的出入口请求（gateway），同时也支持管理集群内的 mesh 流量，也就是集群内服务之间的请求。本次先讲解集群内部的请求，配合实现以下两个功能：灰度发布（对指定的请求分别路由到不同的 service 中）配置 service 的请求权重灰度发布在开始之前会部署两个deployment和一个service，同时这两个deployment所关联的Pod分别对应了两个不同的label，由于在灰度的时候进行分组。使用这个yaml会部署所需要的deployment和service。1kubectl apply -f https://raw.githubusercontent.com/crossoverJie/k8s-combat/main/deployment/istio-mesh.yaml首先设想下什么情况下我们需要灰度发布，一般是某个重大功能的测试，只对部分进入内测的用户开放入口。假设我们做的是一个App，我们可以对拿到了内测包用户的所有请求头中加入一个版本号。比如version=200表示新版本，version=100表示老版本。同时在服务端会将这个 ...继续阅读 (87)

技术阅读周刊，每周更新。历史更新20231013：第一期20231022：第二期20231027：第三期Technology trends for Spring projects : javaURL:https://www.reddit.com/r/java/comments/17ixfzf/technology_trends_for_spring_projects/这是一个Reddit帖子，讨论了Spring项目的技术趋势，以下是一些点赞较高的回复：在招聘的时候还会Spring考虑周边的技术栈：比如 Linux、Docker、kubernetes、Git 等，但如果你具备 Spring Security 和 OpenSSL 的话会更受欢迎。这点在国内感受貌似并不明显，不确定是不是国外更看重一些。Kotlin 在服务端目前还处于一个较小的规模，特别是如今 Java 发版节奏加快，对于大部分人来说没有足够的理由来摆脱 Java。Spring依然是 Java 领域最流行的服务端框架，不管你是否喜欢。不用花太多时间去追寻学习新技术，更重要的是确保你已经打好基础了，比如数据库几乎不会发生变化，Spring 底层依然是基于 Servlet 实现的，理解这些基础技术是如何运作的，从而避免一些常见问题。现在 Spring 已经没有使用 servlet，而是该用 WebFlux 替代比较认可这个观 ...继续阅读 (133)

技术阅读周刊，每周更新。历史更新20231013：第一期20231022：第二期Understanding The Linux TTY SubsystemURL:https://ishuah.com/2021/02/04/understanding-the-linux-tty-subsystem/本文讲解了 Linux TTY 的历史故事和来源。TTY 是 teletype 的简写，电传打印机；最早是在二次世界大战发挥重要作用。60 年代的计算机使用了teletype 作为输入终端。后续随着技术进步使用了软件模拟替代了物理的电传打印机。TTY 早起位于 Linux 的内核空间，导致缺乏灵活性，后续移动到了用户空间。之后又出现了 shell，用户使用 shell 登录系统时会分配一个 TTY 给 shell镜像操作。TTY 作为 shell 的硬件运行环境，搭配在一起提供了基础的 Linux 操作环境。100行代码实现一个模拟终端URL:https://ishuah.com/2021/03/10/build-a-terminal-emulator-in-100-lines-of-go/本文在之前介绍 TTY 背景知识的前提下，讲解使用 100 行代码实现一个模拟终端的 App。最终使用效果如下：第一步使用了 Go 的一个 GUI 库fyne渲染了一个普通文本框讲解了一个终端和内核 ...继续阅读 (88)

背景终于进入大家都比较感兴趣的服务网格系列了，在前面已经讲解了：如何部署应用到kubernetes服务之间如何调用如何通过域名访问我们的服务如何使用kubernetes自带的配置ConfigMap基本上已经够我们开发一般规模的 web 应用了；但在企业中往往有着复杂的应用调用关系，应用与应用之间的请求也需要进行管理。比如常见的限流、降级、trace、监控、负载均衡等功能。在我们使用kubernetes之前往往都是由微服务框架来解决这些问题，比如 Dubbo、SpringCloud 都有对应的功能。但当我们上了kubernetes之后这些事情就应该交给一个专门的云原生组件来解决，也就是本次会讲到的Istio，它是目前使用最为广泛的服务网格解决方案。官方对于 Istio 的解释比较简洁，落到具体的功能点也就是刚才提到的：限流降级路由转发、负载均衡入口网关、TLS安全认证灰度发布等再结合官方的架构图可知：Istio 分为控制面control plane和数据面data plane。控制面可以理解为 Istio 自身的管理功能：比如服务注册发现管理配置数据面所需要的网络规则等而数据面可以简单的把他理解为由Envoy代理的我们的业务应用，我们应用中所有的流量进出都会经过Envoy代理。所以它可以实现负载均衡、熔断保护、认证授权等功能。安装首先安装 Istio 命令行工具这里的前提是有一个 k ...继续阅读 (82)

技术阅读周刊，每周更新。历史更新20231013：第一期Google Software Engineer Interview Experience — Offer🌟🌟🌟谷歌软件工程师的面试经验。作者背景：2020 年毕业于 MIT Pune（印度城市），将近 3年的开发经验在这次拿到 Google offer 之前参与过3～4 次 Google 面试，上一次是2019 年。因为有之前的面试经验，所以直接跳过了电话面试，直接准备现场面试。作者花了三周时间做准备。1st Leetcode Medium Coding(45min)主题：深度优先查询广度优先查询哈希表相关。与面试官交流作者的方法，最终顺利过了第一轮。2nd Leetcode Medium Coding(45min)主题：滑动窗口哈希表字符串作者刚开始用了一个暴力解法，经过思考后得出一个最优解。其他的问题都得出了正确的时间复杂度。3rd Leetcode Hard Coding(45min)主题：广度优先查询堆排序（优先级队列）矩阵数组这轮面试比较有难度，在面试官的提醒下完成了。4th 谷歌味面试，领导轮这一轮就是一些行为面试，讨论了一些过去的经历，和假设的一些情况。作者使用了 STAR(Situation, Task, Action, Result) 进行了回答，整个过程比较顺利。评论区：希望可以分享下自己准备的资料没有系 ...继续阅读 (99)

最近在升级服务网格 Istio，升级后有个必要的流程就是需要重启数据面的所有的 Pod，也就是业务的 Pod，这样才能将这些 Pod 的 sidecar 更新为新版本。方案 1因为我们不同环境的 Pod 数不少，不可能手动一个个重启；之前也做过类似的操作：1kubectl delete --all pods --namespace=dev这样可以一键将 dev 这个命名空间下的 Pod 删掉，kubernetes 之后会自动将这些 Pod 重启，保证和应用的可用性。但这有个大问题是对kubernetes的调度压力较大，一般一个namespace下少说也是几百个 Pod，全部需要重新调度启动对kubernetes的负载会很高，稍有不慎就会有严重的后果。所以当时我的第一版方案是遍历所有的 deployment，删除一个 Pod 后休眠 5 分钟再删下一个，伪代码如下：12345678910111213141516deployments, err := clientSet.AppsV1().Deployments(ns).List(ctx, metav1.ListOptions{})iferr !=nil{returnerr}for_, deployment :=rangedeployments.Items {podList, err ...继续阅读 (79)

我自己平时有每天阅读文章的习惯，也会将这些文章保存起来并做一些记录，今天在看阮一峰的科技爱好者周刊时突然想到我也可以将这些看过的觉得不错的内容分享出来。顺便也可以让大伙参与留下自己觉得不错的内容，互相学习。以下便是第一期的内容：Istio 中的负载均衡详解及多集群路由实践🌟🌟🌟1. 介绍了客户端负载均衡和服务端负载均衡的特点和应用场景。2. 引申出 Istio 使用 Envoy 做客户端负载均衡的方案。3. 介绍 Istio 支持的一些负载均衡算法。4. 如何为具体的服务配置负载均衡，以及如何编写DestinationRule和VirtualService理解 gRPC 协议🌟🌟🌟🌟1. 首先是介绍了 JSON 编码的缺点，可读性高，但性能差。2. PB 性能好，但可读性差，同时还需要配套工具，比如 .proto 格式 IDL 文件来做额外的接口描述。3. 接口请求是底层依然是 http 协议，不过是 http/2 协议，但是请求的映射是直接使用 .proto 文件的描述。4. 消息格式描述了消息体前有五个字节，第一个字节描述了是否压缩，后续四个字节描述了消息大小。5. 因为是 stream 协议的关系，才加了这五个字节，因为每次请求都是同一个连接，为了要区分不同的请求就需要在这五个字节来区分了。Protocol Buffers 编码🌟🌟🌟🌟配合上一篇一起阅读更加详细讲解 ...继续阅读 (94)

前言前段时间写过一篇gRPC的入门文章，在最后还留了一个坑没有填：也就是gRPC的负载均衡问题，因为当时的业务请求量不算大，再加上公司没有对 Istio 这类服务网格比较熟悉的大牛，所以我们也就一直拖着没有解决，依然只是使用了 kubernetes 的 service 进行负载，好在也没有出什么问题。由于现在换了公司后也需要维护公司的服务网格服务，结合公司内部对 Istio 的使用现在终于不再停留在理论阶段了。所以也终有机会将这个坑填了。gRPC 负载均衡负载不均衡原理先来回顾下背景，为什么会有gRPC负载不均衡的问题。由于gRPC是基于 HTTP/2 协议的，所以客户端和服务端会保持长链接，一旦链接建立成功后就会一直使用这个连接处理后续的请求。除非我们每次请求之后都新建一个连接，这显然是不合理的。所以要解决gRPC的负载均衡通常有两种方案：服务端负载均衡客户端负载均衡在gRPC这个场景服务端负载均衡不是很合适，所有的请求都需要经过一个负载均衡器，这样它就成为整个系统的瓶颈，所以更推荐使用客户端负载均衡。客户端负载均衡目前也有两种方案，最常见也是传统方案。这里以 Dubbo 的调用过程为例，调用的时候需要从服务注册中心获取到提供者的节点信息，然后在客户端本地根据一定的负载均衡算法得出一个节点然后发起请求。换成gRPC也是类似的，这里以go-zero负载均衡的原理为例：gR ...继续阅读 (81)

背景Helm是一个Kubernetes的包管理工具，有点类似于Mac上的brew，Python中的PIP；可以很方便的帮我们直接在kubernetes中安装某个应用。比如我们可以直接使用以下命令方便的在 k8s 集群安装和卸载MySQL：123helm install my-sql oci://registry-1.docker.io/bitnamicharts/mysql -n mysqlhelm uninstall my-mysql -n mysql对于一些复杂的应用使用 Helm 一键安装会更简单，以 Pulsar 举例：它有着多个组件，比如 bookkeeper、zookeeper、broker、proxy 等，各个组件还有着依赖关系。如果我们手动安装流程会比较繁琐，而使用 Helm 时便非常简单：123helm repo add apache https://pulsar.apache.org/chartshelm install my-pulsar apache/pulsar --version 3.0.0 -n pulsar当然他也只是帮我们生成了部署所需要的 yaml 文件，也没有太多黑科技。升级看似简单的工具我在实际线上使用的时候也踩过一个坑，最大的一个问题就是某次升级 Pulsar 的时候生成的 yaml 文件是空的，导致整个集群被删除了😭。还好最后使用helm ...继续阅读 (73)

在上一期作者讲到了他使用 Vim 的主要原因是提高效率，不需要再去使用鼠标，今天我们继续上次未听完的内容：if you type Vi, that’s going to be alias to Vim anyway by default there’s, not really a good reason for you to use vi that I can think of. The reason I first started using Vim is kind of asillyone, and that is because my brother used it, uh, my brother, Nick, he climbs mountains for a living. Right now, he lives in Seattle and goes up and down rain near when it gets too cold to climb. Rainer? He goes to the other side of the world and leads, climbs up mountains over there, and then comes back again and starts climb a rain air over and over a ...继续阅读 (84)