前情回顾：说说我的homelabhomelab v2.0家里之前是有2台Dell的optiplex小型机，最近盘算了下，其实完全没有用到（optiplex 5080 sff 4c24G + optiplex 7080 sff 12c64G），完全可以下掉一台。比较理想的是留下来12c64G的这台，但是openwrt虚拟机在4c24G，PCI网卡也在这台机器上。如果要重新搞openwrt、重新配置clash，想想就觉得头大。前两天有一个空闲的半天，突然想到：其实我不用重新安装openwrt，把4c24G机器上的ssd和4T盘，换到12c64G机器上，不就行了？事实证明，确实可以，不过会有一些小问题，好在都能解决。其一是由于4c24G机器安装的比较早，迁移后操作系统不认识新机器的网卡（连网卡都识别不到），因此一直网络不通。解决办法是升级系统，apt update后驱动就安装上去了，重新配置下网桥就OK了。其二是由于之前闲着没事把2台proxmox组了集群，但是现在只剩下一台了，达不到qurom，集群不可用，连管控页面都进不去。解决办法是强行恢复成单节点模式。其他就都比较顺利了，新机器资源比较充裕，因此可以把之前的虚拟机都调大规格。现在是彻底的All In Boom了。只是空出来一台机器，用来做什么好呢？ ...继续阅读 (31)

ieevee.com 这个域名是2017在Godaddy上购买的，当时价格还不贵，2年109.14人民币，但后来价格就越来越高，去年续费的时候已经是170.4HKD一年了。最近看到有网友将域名迁移到了互联网活菩萨 Cloudflare 上，据说域名是成本价售卖。看了下，狗爹续费差不多要180块钱一年，而Cloudflare只要9.77刀一年，确实便宜了很多。而且Cloudflare还有很多其他的服务，比如对象存储、Zero Trust、AI workers等等，而狗爹其实只是一家新加坡的小公司，并且狗爹的管理面板一直很迷（但狗爹的广告做的确实很好，经常在英超赛场上看到），迁移势在必行。迁移过程凭记忆大概是这样的一个步骤：在GoDaddy发起域名转移到其他域名商，这个时候Godaddy会提供一个验证码到Cloudflare注册网站，并将域名转入，填写GoDaddy提供的验证码到GoDaddy确认转出。默认是要等好几天的，可以到GoDaddy上手工转出下，立即就可以生效了。确认DNS配置是否正常，实测Cloudflare迁移过去的DNS域名有错误，需要手工修正。注意，Cloudflare默认是开启域名代理的，即解析域名时，是先解析到Cloudflare的代理，然后再由Cloudflare转发给实际的Real Server IP，理论上这样会提高安全性，也能提供global wide的就 ...继续阅读 (41)

前情回顾：说说我的homelab前几年搬家，有机会重新布线，于是把家里的网络做了更新，有了homelab v2.0。跟v1版本相比，最大的不同是将网件的WNDR4300改为了Optiplex 5050的一台虚拟机，加了一块网卡直通给虚拟机（软路由），增加一台H3C的wifi6路由器作为AP，同时所有需要有线接入的设备都接到一个H3C的二层交换机上。配置软路由后，就可以配置Clash服务实现内外网分流了。外网服务器是一台香港的腾讯云轻量，带宽、时延都还不错。新增加了一台Optiplex 5080，也安装了PVE，总的资源升级到了16C86G。k8s从1.11版本逐渐升级到了1.23。由于1.24以后只能使用containerd，所以暂时就停留在1.23版本不再升级。新增了一台PS5，但是发现PS上的游戏不是很对我的口味，这个游戏机基本沦为了netflix播放器，最近网飞在打击各种合租账号，现在也用不了了。这台PS5买的实在是不划算，使用率远不如switch。新增了2台homepod mini，可以组成一对音箱，方便播放儿歌。空调也接入了家庭网络，之前配置home-assistant，可以通过siri控制空调的开关，后来可能美的升级了，已经不能用了。相比v1的homelab，v2增加了异地管理（- -!）。福州放了一个绿联云的NAS，为了方便观看电视，还用N1电视盒子装了armbian ...继续阅读 (50)

最近接到一个业务报告的故障，提到argo创建的流水线运行失败，其中Pod去访问kube API Server时，偶发出现401认证不通过的问题。API Server报错如下：E1212 18:37:53.063390 1 claims.go:126] unexpected validation error: *errors.errorString E1212 18:37:53.063583 1 authentication.go:63] "Unable to authenticate the request" err="[invalid bearer token, Token could not be validated.]"从报错上来看，的确没有通过API Server的认证。func(v*validator)Validate(ctxcontext.Context,_string,public*jwt.Claims,privateObjinterface{})(*apiserverserviceaccount.ServiceAccountInfo,error){private,ok:=privateObj.(*privateClaims)if!ok{klog.Errorf("jwt validator expected private claim of t ...继续阅读 (60)

好多年前买的Kindle 4，以为丢了，找了好久都没找到，这次搬家在一个抽屉最里面发现了，插上电居然还能用。和现在用的文石leaf相比，kindle4的实体翻页键还是非常带感，厚厚的实体也很有分量，更像一本书。不过Kindle 4的中文支持的很奇怪，有些书的中文显示会很怪，有些又很正常，于是萌生了刷机的想法。古早时期，Kindle是可以刷多看系统的，当时嗤之以鼻，嫌弃不够清真，现在多看还在，但已经不再提供Kindle系统了，只有多看阅读App了。网络上去查找Kindle的刷多看说明，基本都会贴一个多看网站的链接，然而这个链接已经失效了。物是人非呀，一晃好多年了。不过幸好还有互联网博物馆 web.archive.org ，还可以下载到刷机用的文件。你可以到这里看看之前的历史记录，从这里下载刷机包。我也把多看刷机包上传到天翼云盘上了，可以你也有这样的老古董Kindle，不妨也刷一下。如今多看商城已经不可用了，但是系统还不错，对中文的支持也蛮好的，刷机后还是双系统，默认进多看，可以重启进Kindle原生系统。https://cloud.189.cn/t/F3iaqyueya2m（访问码：9wwb）刷机很简单，包里有说明。 ...继续阅读 (57)

prometheus-pve-exporterPrometheusGrafana家里的软路由是跑在一台Dell的小机器（Optiplex 5050）上，使用Proxmox做的虚拟化，跑的Openwrt。前不久发现家里有时候网络会很卡顿，后来在Proxmox上看监控发现openwrt虚拟机在这个时间段内，CPU跑到了100%，难怪会非常卡。我还有一台Dell的小机器（Optiplex 5080），也是Proxmox的虚拟化，两台Dell加起来一共有5个虚拟机，是时候上个监控了。社区对于Proxmox的监控一般有 +Prometheus 和 +influxdb 两种方式，我这里采用的是 +Prometheus。prometheus-pve-exporter和Node exporter一样，也需要一个 Proxmox exporter，可以用prometheus-pve-exporter项目。prometheus-pve-exporter调用Proxmox的API采集指标，然后Prometheus再从 prometheus-pve-exporter 抓取metrics数据，最后通过Grafana展示。prometheus-pve-exporter的配置可以使用配置文件，也可以使用环境变量。我这里传入了 PVE_USER/PVE_PASSWORD/PVE_VERIFY_SSL，用来调用Pr ...继续阅读 (59)

home assistantHACSMidea AC LANHomeKit Bridge杭州今年热出了天际，温度稳定达到了40摄氏度以上，家里的3台美的空调也是经常开开关关（开了冷，不开热）。美的空调是可以通过App“美的美居”控制的，不需要遥控器。貌似现在新发货的美的空调已经不带遥控器了。不过，每次都要经历“找手机-解锁-找到美的美居-打开美的美居-等待启动-选中空调-打开”的一系列操作，很不友好。能不能用siri来控制呢？“hey siri，打开客厅空调”，这样体验会更好。这里我使用的是home assistant + Media AC LAN + HASS Bridge + Apple Home + HomePod mini 的方案。home assistanthome assistant简称hass，一个开源的智能家居设备，能够控制非常多的设备（homepod,plex,kodi,etc），官方宣称支持1900多种设备。我这里用hass的目的是为了控制美的空调。hass有2种安装方式，一种是使用树莓派，斐讯N1，玩客云等嵌入式设备，安装hass os，另一种是直接安装应用。我这里是使用docker 安装的，具体可以参考官方这里。官方给出了docker的安装命令，我这里部署到了家里的k8s上，config使用了一个nfs pvc，并且提供了一个svc供集群外访问。docker ...继续阅读 (51)

背景介绍准备tools installfortioclientfortioserver测试运行测试用例收集指标信息可视化总结Ref背景介绍istio在应用时，会遇到的2个典型质疑是：istio增加了单独的数据平面，从传输的角度来说增加了2跳，势必会带来latency的增加。那么latency的增加到底是多少呢？proxy容器需要实现数据面的报文劫持、转发，以及一些策略的实施，其需要的cpu、内存，是多少呢？要回答这些问题，就要对istio的数据面进行量化。 istio社区提供了一个工具来进行具体的测试：istio tools perf benchmark为什么不需要对控制面进行量化呢？主要原因是数据面是O(n)的空间复杂度，而控制面几乎是O(1)的空间复杂度。另外一个原因是目前istio的遥测、限流等策略，均为envoy实现，不再交由mixer组件处理，因此集群规模提升后对控制面来说变化不大。准备istio tools perf benchmark需要读取Pod的监控信息，因此部署istio时，需要增加Prometheus组件。具体参考Prometheus安装。tools install安装参考readme即可。注意：资源需求比较多，要求至少32 cpu、4个node。建议使用完善的生产集群，确保硬件资源充裕。测试套依赖python3/pip3/pipenv，所以最好是在有网环境进 ...继续阅读 (46)

健康监测验证开启STRICT mtls mode部署服务查看pod配置关闭app conatiner probe更改代码实现redinessProbe、startupProbe健康监测Kubernetes支持command、tcp、http三种健康监测的机制。当应用mesh化后，其中command、tcp的健康监测不受影响，但是http可能会受影响。当用户为服务开启TLS后，由于容器应用的流量被envoy劫持，所以实际对外暴漏的是https服务；但健康监测的http请求是由kubelet发给容器的，其没有istio的certificate信息，仍然是以http协议发起，因此健康监测总是失败。针对这种情况，istio 会修改 pod spec ，将app container的liveness换掉，并由istio proxy监听新的liveness端口及http path。其中：默认 istio proxy的liveness监听的端口为 15020 （pilot-agent进程），默认的http path规则为/app-health/{app container name}/livez。istio-proxy可以处理pod有多个app container的情况。kubelet会按照spec的描述，将请求发给应用的网络空间，实际是发送给pilot-agent；而pilot-agent则读 ...继续阅读 (46)

开启服务网格后，经常会遇到一个问题：如何保证sidecar容器启动并且就绪后，再启动app容器？默认app容器和sidecar容器是同时启动的。由于init container已经先启动，并且设置了iptables规则，将流量导给了sidecar，如果app容器在sidecar容器就绪之前就启动了，可能app容器发起的网络连接会全部失败，有些应用对网络比较敏感，可能会遇到需要重启多次才能正常运行的问题。社区有人提过 sidecar type container 的概念，即将sidecar明确作为一个特殊的container类型，其在普通container启动之前启动、在普通container停止之后停止。这样，sidecar可以为app容器提供比较稳定的运行环境。该提议一直没有得到允许。不过，k8s本身提供了一个机制：Pod中的container是按照出现顺序启动的，若container设置了post-start阶段，则必须等待该container执行完post-start后，才会启动下一个container。基于此，社区有人设计了一个解决启动顺序的方案。具体的Pod看上去如下。apiVersion:v1kind:Podmetadata:name:sidecar-starts-firstspec:containers:-name:sidecarimage:my-sidecarlif ...继续阅读 (45)

namespace级别开关服务网格Pod级别开关服务网格exportTonamespace级别开关服务网格kubectl label ns xxx istio-injection=enable --overwrite关闭服务网格kubectl label namespace default istio-injection-全集群所有ns查看开启服务网格的namespacekubectl get namespace -L istio-injectionPod级别开关服务网格可以通过在Pod的label上设置sidecar.istio.io/inject为true/false，在Pod级别进行控制是否开启服务网格。template:metadata:labels:app:nginxsidecar.istio.io/inject:"false"spec:containers:-image:nginx从而针对性的对服务开启或关闭服务网格，即使这个namespace整体开启了服务网格。kubectl get pods NAME READY STATUS RESTARTS AGE debian-77dc9c5f4f-q2hb2 2/2 Runnin ...继续阅读 (51)

envoy wasm pluginsassemblyscript SDKwasme工具命令行安装初始化示例项目示例项目功能编译wasm文件挂载创建为configmappatch Annotationenvoy wasm filter创建envoy filter验证Go SDK安装tinyGo示例编写编译应用与验证Ref针对istio 1.10版本验证。注意网上部分文章已经不适配1.10版本了。本文只会简单介绍envoy web assembly以及一个Demo实例，不会详细介绍 envoy web assembly原理或编程。本文将使用solo开发的wasme初始化一个assemblyscript类型的项目，并执行编译，得到wasm二进制文件。然后通过注解，将wasm文件以configmap的形式，自动挂载到istio-proxy容器中。最后创建WASM类型的envoy filter，将规则下发给对应Pod的envoy。之后介绍了如何使用Go SDK来开发wasm。envoy wasm pluginsenvoy有着很强的可配置性，但总归有一些功能是没有实现的，那么如何对envoy进行扩展呢？有2种做法：一个是直接修改envoy源码，另一个是通过Web Assembly插件。直接修改源码的好处是envoy native，性能最好，但带来了可维护性的降低，不利于未来升级，另外也需要使用 ...继续阅读 (92)

local ratelimit针对service针对pod针对特定route针对url路径/方法/源IPglobal ratelimit部署限流器配置gateway限流规则部署服务部署gateway部署virtual service验证ratelimit生效验证global ratelimit生效local ratelimitlocal ratelimit是只在Pod或者vm本地生效的，通过envoy的envoy.extensions.filters.http.local_ratelimit.v3.LocalRateLimit实现。针对service在开启了istio的namespace中，创建Deployment nginx、Service nginx。$kubectl create deployment nginx--imagenginx$kubectl expose deployment nginx--port80此时，从其他Pod中请求 service nginx ，可以一直请求成功，返回nginx的默认页面。开启local ratelimit。具体规则见filter-local-ratelimit-svc-1.yaml$ kubectl apply -f filter-local-ratelimit-svc-1.yaml该envoy filter会通过workloadSe ...继续阅读 (46)