背景 链接到标题 Ansible 作为一款配置管理和应用部署的软件，日常使用的场景很多，我自己也是重度用户。最近在使用 Ansible 进行文件传输的时候踩了个坑，借此机会整理下 Ansible 传输文件的几种方式。 实验环境： [root@yiran ~]# ansible --version ansible 2.7.12 config file = None configured module search path = [u'/root/.ansible/plugins/modules', u'/usr/share/ansible/plugins/modules'] ansible python module location = /usr/lib/python2.7/site-packages/ansible executable location = /usr/bin/ansible python version = 2.7.5 (default, Aug 7 2019, 00:51:29) [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] Template 链接到标题 https://docs.ansible.com/ansible/latest/modules/template_module.html Ansible 一个常用的功能就是配 ...继续阅读 (29)

背景 链接到标题 自己一直通过 mdadm 在软件层面对多块磁盘进行 RAID1 配置，一个主要的原因是 mdadm 是 KickStart 默认软件。因为只是 RAID1，所以使用起来也是比较方便，虽然有些小坑，但总体来说还好。 最近遇到一个问题， mdadm 在配置 RAID1 时，磁盘同步很慢。 现象 链接到标题 先说下磁盘构成，一般情况下是这样： [root@yiran 20:23:48 ~]$lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 59.6G 0 disk ├─sda1 8:1 0 256M 0 part /boot/efi └─sda2 8:2 0 512M 0 part /boot sdb 8:16 0 223.6G 0 disk └─sdb1 8:17 0 45G 0 part └─md127 9:127 0 45G 0 raid1 / sdc 8:32 0 223. ...继续阅读 (27)

背景 链接到标题 交换机和路由器大家应该都听说过，大部分也用过，但是它俩有啥联系，又有啥区别？ P.S. 最近看《OSTEP》看的脑子有点短路，趁着周末看点网络的东西。 路由器 链接到标题 路由器（英语：Router，又称路径器）是一种电讯网络设备，提供路由与转送两种重要机制，可以决定封包从来源端到目的端所经过的路由路径（host 到 host 之间的传输路径），这个过程称为路由；将路由器输入端的封包移送至适当的路由器输出端（在路由器内部进行），这称为转送。路由工作在OSI模型的第三层——即网络层，例如网际协议（IP）。 路由器主要具有两个职能： 路由器确保信息不到达不需要到达的位置 路由器确保信息到达所需要的正确目的地 在执行以上这两种职能中，路由器连接两个网络，将信息从一个网络传送至另一个网络。在某些情况下，还执行两个网络间的多种协议的翻译职能。此外它还确保网络之间通信路由的相互独立，预防其中一个网络上的多余流量溢出到另一个网络上。该过程称为路由选择。 路由选择是 OSI 模型第三层（网络层的）一个功能。路由器通过网络层协议头如 IP 头（包含源地址和目的地址）和路由表，选择转发数据包的最佳路径。为选择任意两个主机间的最佳路由，实现路由器间的通信，通常需要应用如 ICMP 这样的路由选择协议。 交换机 链接到标题 网络交换机（Network switch）是一种网络数据转发设备 ...继续阅读 (26)

背景 链接到标题 最近各大 2B 厂家都在搞国产化，我司也不例外，花费了些时间折腾了下 ARM 服务器，记录下踩坑和使用感受。 本文所使用的开发环境为 CentOS7.6。 编译 链接到标题 使用的第一步是编译自己的软件，我日常使用的软件发布的最小粒度是 RPM，所以我们需要把自己在 X86 上的软件都重新编译一份 ARM64v8 的。 Python 链接到标题 在预期中，Python 应该是最简单的，直接编译 RPM 就好，我在之前博客《RPM 常用构建方式》 中提到过，对于 Python 来说，最简单的是通过 FPM 来构建 RPM，但是这里有两个坑。 Python 软件是否依赖了 C/C++ ，如果依赖了，那么需要在 ARM 机器上使用 FPM 的时候编译构建 RPM 从网上下载的 noarch.rpm ，是否真的是 noarch 的？需要仔细检查（别问我怎么知道的 在我以为一切搞定的时候，想起来还有个服务是需要机器学习等第三方库的，是使用 conda 安装的。 好嘛，完蛋了，折腾几个小时下来结论是 conda 对于 ARM64 几乎处于不支持的状态。最后也没搞定。 Golang 链接到标题 最简单的莫过于 Golang 了，在 Golang 1.5 及之后版本，只需要设置 GOOS 和 GOARCH 这两个环境变量就能编译出目标平台的 Go binary 文件。 在官网中我 ...继续阅读 (22)

背景 链接到标题 新一代容器工具体验系列已经完成了 Podman 和 Buildah 的介绍，今天来体验下三剑客中的 Skopeo。 容器工具体验系列： Podman 初次体验 Buildah 初次体验 Skopeo 初次体验 What 链接到标题 Skopeo 的功能很简单，一句话描述就是：提供远程仓库的镜像管理能力。 功能列表： 复制镜像，无需特殊权限即可从不通仓库复制镜像 无需拉取镜像即可获取远程镜像仓库中的镜像属性（包括 layer） 删除镜像仓库中的镜像 … 支持镜像仓库类型： container-storage 本地路径 docker registry 仓库 docker 打包镜像文件 本地 docker 拉取的镜像文件 OCI 镜像 … 吐槽：Podman 和 Buildah 好歹都有自己的域名： podman.io 和 buildah.io ，Skopeo 虽然用的少但是也得搞个官网吧。。。 How 链接到标题 知道了 Skopeo 主要是对镜像仓库及镜像信息的获取，那么我们来看几个具体的例子，了解下 Skopeo 的使用。 镜像详情 链接到标题 root@yiran-workstation:~ $ skopeo inspect docker://docker.io/fedora { "Name": "docker.io/library/ ...继续阅读 (31)

背景 链接到标题 今天早上接到同事报警，环境中两个节点出现了 CPU 使用率告警，通过 top 查看发现是一个叫 iSdqkI 的进程，但是这明显不是常规进程，初步怀疑是系统被入侵了，在同事的协助下最终解决了。这次主要记录遇到这种问题的排查思路，也算是对过程的复述。 分析过程 链接到标题 首先我们得到的信息是 CPU 使用率告警，第一时间是通过 top 来看看是哪个进程在作怪： 可以看到 FnrgiY 这个进程 CPU 使用率为 556%，且这个进程不是我们系统中存在的进程，这里判断是入侵后被植入的软件，通过 ps 命令查看进程的具体执行内容： 可以看到， FnrgiY 应该是一个可执行的程序（可能是脚本，也可能是一个 binary 文件），我非常年轻的想通过 find 查看这个文件在哪，然后 kill 掉进程删除文件就好了： 嗯，果然年轻了，系统下不存在该文件，那么我们尝试在 /proc/15582 下来看看有什么线索，先看看 cmdline ，跟进程名相同，没啥信息 同样 stack 文件也没什么有用的信息 来看看这个进程的 cwd 是啥，可以看到 cwd 是 /usr/bin 路径的软链接，但是我刚刚已经检查过了，在 /usr/bin/ 下没有这个可执行文件 通过 lsof -p 命令，来看看这个进程打开了哪些文件，可以看到它启动的进程文件是 /usr/bin/e6bb0f* ...继续阅读 (29)

背景 链接到标题 上周体验了 Podman 来管理容器的构建、生命周期管理等。Podman 自身是可以通过 Dockerfile 来进行容器镜像的构建，并且也支持容器镜像的 pull/push/login 等操作，Buildah 能够带来什么好处，我们为什么要使用它？ 容器工具体验系列： Podman 初次体验 Buildah 初次体验 Skopeo 初次体验 注意：本文章所采用环境为 CentOS7，需要除了 Buildah 工具外，还需要安装 containers-common 用于配置容器。 What 链接到标题 我们现在使用的容器管理工具无论是 Podman 还是 Docker，都是符合 OCI 规范的，他们操作的镜像也需要符合 OCI 规范，Buildah 介绍很简单： A tool that facilitates building OCI images。 Buildah 功能列表： 创建容器 通过 Dockerfile 或者一个处于运行状态的容器（指 Buildah 自身创建的容器，Podman 不可见 挂载/卸载镜像文件系统 使用更新后挂载的镜像文件系统作为文件系统层创建新的镜像 … Buildah 与 Podman 的关系 链接到标题 在官方说法中，Buildah 与 Podman 是相辅相成的关系，有很多共同点：它们都不需要 root 权限；都可以 ...继续阅读 (27)

背景 链接到标题 CentOS8 在9月24号正式 Release 了，比 RHEL8 要推迟了4个月。这次的更新感觉比 CentOS7 的更新要来的重要，内核更新到了4.x，网络管理彻底替换了 network.service，防火墙管理等等，还包括去除了 Docker 作为默认的容器化管理工具，使用 Podman、Buildah、Skopeo 进行了替换，这里来体验下 Podman。 容器工具体验系列： Podman 初次体验 Buildah 初次体验 Skopeo 初次体验 本篇文章所有环境基于 CentOS8。 Podman 链接到标题 为啥不用 Docker 了？我个人觉得 Docker 目前使用上最大的问题就是需要运行一个守护进程，虽然需要 root 用户也是一个问题，但是对于我个人来说还好。随着 K8S 定义 CRI 标准，且 Docker 的稳定性一直是个问题（虽然最近有在往好的趋势发展），但越来越多人使用 CRI-O 来替代 Docker，Docker 在被大家所抛弃（- - Podman 创建的容器不需要守护进程，且可以用普通用户创建容器。Podman 中的大部分命令的使用方式与 Docker 相同，可以看左 alias docker=podman 。 Podman 的缺点： 仅在 Linux 下支持，无法像 Docker 一样支持 Windows 和 MacOS ...继续阅读 (33)

背景 链接到标题 前段时间在写 Cluster API Provider 的时候，经常会使用 context 传递参数，当时只是按照其他项目中的方式快速的实现，并没有认真的了解 context 具体包含什么，为了解决什么问题，这次来聊一下。 P.S. 虽然写了一周的 Golang，但是对于标准库有什么还一无所知，找时间应该认真过一遍的。。 定义与使用 链接到标题 先看定义： Package context defines the Context type, which carries deadlines, cancellation signals, and other request-scoped values across API boundaries and between processes. 当一个 goroutine 调用其他 goroutine，随着层级变多，我们想要在外层达到控制的效果 在必要场景下传递 必需 的数据 其中 Context 这个 interface 中定义了 4 个方法，具体如下： type Context interface { Deadline() (deadline time.Time, ok bool) Done() <-chan struct{} Err() error Value(key interface{}) interface{} } ...继续阅读 (24)

背景 链接到标题 平时看过文章标题比较多的都是说“像容器一样运行虚拟机”，大家都想要有虚拟机的隔离性，又想要容器的便捷性，也有一些开源项目比如 Firecracker 或 KataContainer 在做。今天反过来，来看看如何“像虚拟机一样运行容器”。 为啥要把容器搞得像虚拟机一样呢？我平时用到容器比较多的地方就是在 CI 集成部分，通过 docker 快速搭建环境，进行单元测试或集成测试，测试完成后清理镜像，简单方便。但是在CD 部分，就有一点比较头疼的问题，就是调试。zouquan 同学之前在知乎上提了一个问题：容器化环境里如何方便的进行debug和测试？，回答中的一个总结很好的描述了这个问题的关键： 虽然我在本地开发，但我的应用就像在 k8s 里一样。 那怎么在容器中开发像是在本地一样呢？肯定不能每次改了代码都走一遍 build,push,deploy 的流程，上面问题的回答中给出的是借助各种工具来达成这样的效果，我不像要用那些奇奇怪怪的工作（学不动了），那么只能想办法把容器搞的跟虚拟机一样了。 最近看到了 weaveworks/footloose 项目，这个项目的简介就是我的最原始的需求：Containers that look like Virtual Machines。先来看看这个项目的示例（开源项目中examples 写的好真是上手快）。 功能示例 链接到标题 An ...继续阅读 (25)

背景 链接到标题 自己对于密码技术相关的知识一直都是零散的，刚接触 k8s 的时候遇到了好多证书问题都是靠临时搜索解决的，不成体系。 liqiang 同学推荐了《图解密码技术》，趁着中秋假期看完了做了读书笔记，记录一下。 密码 链接到标题 环游密码世界 链接到标题 口令：password, passcode, pin 编码：encode 密码：cryptography 对称密码是指在加密和解密时使用同一密钥的方式。 公钥密码是指在加密和解密时使用不同密钥的方式，又称为非对称加密。 将对称密码和公钥密码结合起来的密码方式称为混合密码系统。 单项散列函数，用于保证完整性：“数据时正确的而不是伪造的”，没有被篡改过。 数字签名能够保证数据不会被篡改，也防止发送者的否认。 伪随机数生成器是一种能够模拟产生随机数列的算法，同时承担着密钥生成的重要职责。 隐写术隐藏的是消息本身，而密码隐藏的是内容，应用场景：数字水印。 密码与信息安全常识： 不要使用保密的密码算法 使用低强度的密码比不进行任何加密更危险 任何密码总有一天都会被破解 密码只是信息安全的一部分 历史上的密码 链接到标题 凯撒密码，通过平移字母顺序达到加密效果，平移字母个数为密钥。 简单替换密码，通过维护字母对照表达到加密效果。 密钥空间，所有可用密钥的总数就是密钥空间的大小，空间越大，暴力破解越困难。 频率分析破译：通过分析语言中 ...继续阅读 (28)

背景 链接到标题 最近在写 k8s Operator，在看示例的时候看到 controller 都会设置 Finalizers，今天来聊一聊 Finalizers 和相关实现。 Finalizers 链接到标题 Finalizers 允许 Operator 控制器实现异步的 pre-delete hook。比如你给 API 类型中的每个对象都创建了对应的外部资源，你希望在 k8s 删除对应资源时同时删除关联的外部资源，那么可以通过 Finalizers 来实现。 Finalizers 是由字符串组成的列表，当 Finalizers 字段存在时，相关资源不允许被强制删除。存在 Finalizers 字段的的资源对象接收的第一个删除请求设置 metadata.deletionTimestamp 字段的值， 但不删除具体资源，在该字段设置后， finalizer 列表中的对象只能被删除，不能做其他操作。 当 metadata.deletionTimestamp 字段非空时，controller watch 对象并执行对应 finalizers 的动作，当所有动作执行完后，需要清空 finalizers ，之后 k8s 会删除真正想要删除的资源。 Operator finalizers 使用 链接到标题 介绍了 Finalizers 概念，那么我们来看看在 Operator 中如何使用，在 ...继续阅读 (34)

背景 链接到标题 最近手头上的 Cluster-API 的项目要告一段落， Cluster-API 发布了 v0.2.1 版本 ，正式放出了 YAML 配置文件，看到了点有意思的事情，觉得需要记录一下。 K8S Leader 链接到标题 看过之前 K8S 实战系列的朋友应该记得我写过一篇 K8S 高可用部署的文章，在文章中只是讲了具体的操作步骤，没有提到 k8s 是如何保证自己多个组件之间协作的。 我们这里有一个 3 个master 节点的集群： [root@node70 21:01:01 ~]$kubectl get node NAME STATUS ROLES AGE VERSION node70 Ready master 64d v1.15.0 node71 Ready master 64d v1.15.0 node72 Ready master 64d v1.15.0 我们都知道 k8s 核心组件，其中 apiserver 只用于接收 api 请求，不会主动进行各种动作，所以他们在每个节点都运行并且都可以接收请求，不会造成异常；kube-proxy 也是一样，只用于做端口转发，不会主动进行动作执行。 但是 scheduler, controller-manager 不同，他们参与了 Pod 的调度及具体的各种资源的管控，如果同时有多个 controller-manager ...继续阅读 (36)

背景 链接到标题 最近工作上每天疲于应付各种事情，周末实在不想继续做工作相关的事情，想起一直想了解的自动化测试框架 httprunner，就阅读下。之前一直有关注作者 debugtalk 的博客，收获很多。 随着公司的发展，自己也做过很多的工作，其中就包含测试，但是自己当时大部分都是手工测试，虽然会针对其中的部分进行代码编写，但是不成体系。虽然后来就没有继续负责测试工作了，但是对于测试还是很感兴趣，平时开发过程中，最多也就是使用 unittest 或 pytest 来编写单测，这次通过阅读 httprunner 代码来感受下测试框架。 P.S. 在使用及了解 httprunner 之前，最好先了解下 unittest。 httprunner 链接到标题 HttpRunner 是一款面向 HTTP(S) 协议的通用测试框架，只需编写维护一份 YAML/JSON 脚本，即可实现自动化测试、性能测试、线上监控、持续集成等多种测试需求。 一句话总结就是 api 自动化测试，其中用到了以下的开源项目： requests locust unittest … requests 和 unittest 可以说是 python 开发者用的比较多的两个项目。locust 是一个 api 压力测试，这个我们公司也有用到。 介绍完了项目，我们来跟着官方文档了解运行流程。 执行流程 链接到标题 ...继续阅读 (26)

背景 链接到标题 在日常开发时，有时候需要保证自己代码的健壮性，需要模拟各种故障测试，比如：磁盘、网络、端口等，今天来汇总一下平时使用最多的几种故障模拟方法 磁盘 链接到标题 插入拔出 链接到标题 服务器的存储控制器如果是直通模式，那么在 OS 中能够直接获取到磁盘插入与拔出事件，有时候我们需要检测到相应的事件来自动化的做某些动作，具体的实现方式见之前的文章 Linux 下磁盘设备自动发现方式 。 那么我们写完了代码想要测试，不想去机房物理操作，怎么模拟呢？ Hypervisor 链接到标题 如果你的代码部署的机器是一台虚拟机，那么在 Hypervisor 层面一般都会有对应的接口来完成相应的操作。 比如 Vsphere ESXi 中可以直接编辑虚拟机，在磁盘选项中有一个“移除”按钮，可以直接移除磁盘： 再比如 KVM 下，可以通过 Libvirt 接口来 detach 磁盘。 当然对于插入动作，Hypervisor 也会提供对应的功能。 物理服务器 链接到标题 如果 OS 不是在 Hypervisor 上，而是直接安装在了物理服务器上，我们怎么做呢？ 通常我们服务器上的磁盘都是 SCSI 设备，会实现完整的 SCSI（接口），可以通过修改相应设备的标置文件来达到目的。 示例： 节点存在设备 /dev/sda ，修改标置文件，在系统中会发现磁盘已经被移除了。 [root@yiran ...继续阅读 (25)

背景 链接到标题 今天继续来聊一聊 cluster-api，在上周看 cluster-api-provider-vsphere 代码的时候吐槽过，cluster-api 最近因为 v1alpha2 版本的开发，变化太快，几乎每天都在变，那么我们就来看看 v1alpha2 具体做了什么。 Cluster-API v1alpha2 链接到标题 虽然目前 v1alpha2 还没有正式的 release，但是已经趋于稳定，且两个主要的 provider：aws 和 vsphere 都在进行 v1alpha2 版本的适配（最近每天都有 pr 更新）。我们先来了解下为啥要进行 v1alpha2 改动，改动的目的是啥。 在 v1alpha1 版本中，cluster-api 要求 provider 实现从节点置备到 k8s 部署的全套流程，cluster-api 自身只负责具体的 API 定义及相关控制，在 provider 实现上也不是一个标准的 Operator，（至少）我从概念的理解上比较吃力，每个 provider 需要实现对应 cluster 与 machine 的 actuator ，开发起来要求对 cluster-api 项目本身很熟悉。 其次，每个 provider 都包含了 k8s 集群部署的流程，虽然大部分实现最终都是使用 kubeadm 工具，但是使用方式千差万别，有 clo ...继续阅读 (24)

背景 链接到标题 之前 liqiang 同学写了一篇博客：Status 还是 State 用于总结日常工作中遇到的相似词的区别。这两天看代码，经常能够看到两个词：provider 和 provisioner，作为一个英语渣渣，很难准确的理解两个词的区别。 字典解释 链接到标题 provider 字典中的解释为： 供应者（商） 提供者（商） 供养人 … provisioner 字典中的解释为： 粮食供应者 看上去从字面上也是一个意思，那么我们来找个实际场景看看。 实际场景 链接到标题 Terraform 链接到标题 在 Terraform 概念中，同时存在 provider 和 provisioner 两个概念： A provider is responsible for understanding API interactions and exposing resources. Providers generally are an IaaS (e.g. AWS, GCP, Microsoft Azure, OpenStack), PaaS (e.g. Heroku), or SaaS services (e.g. Terraform Cloud, DNSimple, CloudFlare). Provisioners are used to execute scrip ...继续阅读 (27)

背景 链接到标题 上一篇博客讲了 Cluster-API 的相关概念，现在我们来找一个 provider 实现看看具体里面做了啥，因为对 vmware 产品中的概念比较熟悉，就找了 cluster-api-provider-vsphere 。 以下内容均对应 clusterapi v1alpha1 版本。 clusterctl 命令 链接到标题 cluster-api provider 提供了命令行 clusterctl 用于给我们快速创建 bootstrap 集群用于创建目标 k8s 集群，我们来执行一下看看具体做了哪些工作： root@yiran-workstation:~/go/src/github.com/kubernetes-sigs/cluster-api-provider-vsphere master ✗ $ clusterctl create cluster \ --provider vsphere \ --bootstrap-type kind \ --cluster ./out/management-cluster/cluster.yaml \ --machines ./out/management-cluster/machines.yaml \ --provider-components ./out/management-cluster/provider-co ...继续阅读 (22)

背景 链接到标题 在当前 Kubernetes 生态中，生命周期管理相关工具官方的有 kubeadm、kubespray（部署集群部分通过 kubeadm） ，开源社区还有很多其他的实现，我们可以通过这类工具来实现 k8s 集群的部署，升级，增删节点，但是使用一个工具的前提是：基础设施已经准备完成。只有当基础设施准备完成后，kubeadm 之类工具才可以正常工作。 当我们在部署 Kubernetes 集群时，节点可能在任何环境上，比如 AWS、OpenStack、Vsphere、Azure 等，那么想要自动化配置基础设施，通常我们根据自己的环境不同，编写不通的代码来支持我们的虚拟化（or 服务器）场景。 基础设施包括不限于： OS 安装 Load Balance 配置 网络配置 IP 分配 … Cluster-API 链接到标题 Kubernetes 社区针对基础设施问题，发起了一个项目：cluster-api，目前处于 alpha1 版本，项目目标： 使用声明式API管理 Kubernetes 集群的生命周期 支持多种环境，私有云或公有云 使用社区中现有的工具完成相应功能 … 功能简述 链接到标题 无需创建额外基础设施前提下创建 bootstrap cluster 通过 bootstrap cluster 创建目标 k8s 集群 工作流程 链接到标题 cluster-api 使用 ...继续阅读 (24)

背景 链接到标题 在看一个新项目的时候，通常我都会了解下这个项目的代码量，然后心里给个预期，大概需要多久了解这个项目。 2023/01/11 更新：现在已切换至 loc/tokei ，速度快了许多。 wc 链接到标题 在以前，我一般都是使用 find 配合 wc 来完成，比如： root@yiran-workstation:/tmp/cloc $ find . -name "*.go" | xargs wc -l {} 81 ./installer.go 81 total 显示有一个 installer.go 的文件，一共有 81行。但是这里有个问题，就是 wc 是不会统计代码里面的具体内容的，比如注释、空白行等。 这时候我们就需要一个更高级的工具了： cloc cloc 链接到标题 cloc 是一个 Perl 语言实现的项目，用途就像它的名字全称：Count Lines of Code。 使用方法的话最简单的直接加上项目路径： root@yiran-workstation:~/go/src/github.com/kubermatic/kubeone master ✗ $ pwd /root/go/src/github.com/kubermatic/kubeone root@yiran-workstation:~/go/src/github.com/kubermatic/kubeo ...继续阅读 (27)

背景 链接到标题 如果在 PC 上安装过 Linux，那么通常会遇到过硬件设备无法发现的问题，这类问题最终都可以通过 google 来解决掉。那么当我们在服务器场景下，如何做到设备自动发现且在设备发现后执行某些动作呢？ 最近看了几个关于存储系统的 Operator 部分实现，记录一下。 命令行 链接到标题 最简单的肯定是我们写一个循环，永远检测我们要发现的设备，比如 lsblk 可以列举当前服务器所有 block 设备，那么我们就在循环内部执行 lsblk，diff 每次执行的结果，如果有新的设备，那么执行某些操作。 lsblk 是通过读取 /sys/block 下的具体目录判断的，那么我么也可以直接读取该路径下的目录来实现。 如果是网络设备也是一样，我们可以在循环内部执行 ip link list 来获取所有网络设备。 UDEV 链接到标题 照常先引用维基百科的解释： udev 是Linux kernel 2.6系列的设备管理器。它主要的功能是管理/dev目錄底下的设备节点。它同时也是用来接替devfs及hotplug的功能，这意味着它要在添加/删除硬件时处理/dev目录以及所有用户空间的行为，包括加载firmware时。 如果你的 OS 是通过 systemd 来管理所有进程的话，那么可以发现一个服务叫做 systemd-udevd ，这个是 udev 的守护进程: [root ...继续阅读 (27)

背景 链接到标题 自己玩 K8S 以来，搭建的环境没有10几套，也有5，6套了，当环境测试完成后，基本上直接删除掉了，也没有想着一直维护，最近在维护一个集群的时候，想要删除一个节点，发现自己一直不知道如何删除节点，特此记录。 平滑移除 链接到标题 获取节点列表 链接到标题 kubectl get node 设置不可调度 链接到标题 由于节点目前处于正常工作状态，集群中新建资源还是有可能创建到该节点的，所以先将节点设置为不可调度： kubectl cordon $node_name 将节点上资源调度到其他节点 链接到标题 目前集群已经不会分配新的资源在该节点上了，但是节点还运行着现有的业务，所以我们需要将节点上的业务分配到其他节点： kubectl drain $node_name 注意：DaemonSet Pod 和 Static Pod 是不会在集群中其他节点重建的。 移除节点 链接到标题 当前集群中已经没有任何资源分配在节点上了，那么我们可以直接移除节点： kubectl delete $node_name 至此，我们平滑移除了一个 k8s 节点。如果移除的是一个 master 节点，那么记得之后还要添加一个新的 master 节点到集群中，避免集群可靠性降低。 参考链接 链接到标题 https://stackoverflow.com/questions/35757620/ho ...继续阅读 (25)

背景 链接到标题 最近使用到了 heap 这个数据结构，记录一下在 Python 和 Golang 中最基本的使用方法～ 堆（英语：Heap）是计算机科学中的一種特別的樹狀数据结构。若是滿足以下特性，即可稱為堆積：「給定堆積中任意節點P和C，若P是C的母節點，那麼P的值會小於等於（或大於等於）C的值」。若母節點的值恆小於等於子節點的值，此堆積稱為最小堆積（min heap）；反之，若母節點的值恆大於等於子節點的值，此堆積稱為最大堆積（max heap）。在堆積中最頂端的那一個節點，稱作根節點（root node），根節點本身沒有母節點（parent node）。 Python 链接到标题 create 链接到标题 In [1]: import heapq In [2]: a = [1,3,2,5,4] In [3]: heapq.heapify(a) In [4]: a Out[4]: [1, 3, 2, 5, 4] In [5]: b = [] In [6]: heapq.heappu heapq.heappush heapq.heappushpop In [6]: heapq.heappush(b, 1) In [7]: heapq.heappush(b, 3) In [8]: heapq.heappush(b, 2) In [9]: heapq.heappush(b, 5) ...继续阅读 (28)

背景 链接到标题 我一直在维护一个公司内部的 OS 发行版，是基于 CentOS 的，最近接到了一个需求，是需要更新 Kernel 及一些软件包，但是遇到了无法安装 OS 的问题，记录一下解决方式。 定制 OS 链接到标题 关于定制 OS，在之前的博客中已经提到过几次了，CentOS 是比较容易改动的一个发行版，因为有着 RHEL 红（爸）帽（爸），有着完善的文档可以参考。 主要需要注意的是两点： 分区方式 软件包选择 今天遇到的问题是第二点。 先说下前提，由于是 2B 产品，所以对于每次的 BaseOS 版本升级都非常谨慎，每次 BaseOS 版本都会进行各种测试。但是如果仅仅是升级部分所需要的软件包，就不用这么麻烦了，我们可以定制自己所需要的软件组（group），来进行安装/升级。 问题 链接到标题 这次接到的需要是升级 Kernel、libiscsi、qemu 三个软件，后两个是虚拟化相关的，相关依赖较少；kernel 是跟 BaseOS 版本关联性很大的。 比如 CentOS 7.6 中，kernel 版本为：kernel-3.10.0-957.el7.x86_64.rpm，这个版本对 selinux 等相关软件是有依赖要求的，我在这里翻车了。 解决 链接到标题 像往常一样，将对应的 rpm 放置到了对应的 yum 源中，更新 yum 源，制作 ISO，在安装过程中报错： ...继续阅读 (33)

背景 链接到标题 在对现有服务进行容器话改造的过程中，随着对 K8S 使用程度越来越深，也渐渐的遇到了一些坑，所以开一篇博客，记录自己所遇到的坑，应该会长期更新。 更新记录 链接到标题 2019.07.13 02:00 来自加班中的 yiran 2019.07.19 06:52 早起不想去公司的 yiran coredns 无法解析域名 链接到标题 在 Kubernetes 环境中，使用 kubeadm 工具部署的集群，会自动部署 coredns 作为集群的域名服务，每当我们创建了自己的 service，都可以通过域名直接访问，不用再考虑自己多个 Pod 的 IP 不同如何连接的问题。 最近遇到多个环境出现无法解析域名的问题，具体现象如下： 集群部署完成后，部署 daemonset 资源，每个节点均运行一个 busybox； 在 busybox 中对 kubernetes 默认域名进行解析，查看解析结果。 正常情况应该是所有的 busybox 都可以正常解析才对，但是最近几个环境中均出现了 3 个node 中1个node 上的 pod 无法解析的问题，示例代码如下： daemonset.yaml apiVersion: "extensions/v1beta1" kind: "DaemonSet" metadata: name: "ds" namespace: "default" s ...继续阅读 (24)

背景 链接到标题 先介绍下 Kubespray，Kubespray 是 K8S SIG 下的项目，目标是帮助用户创建 生产环境级别 的 k8s 集群。 是通过 Ansible Playbook 实现的，是的，这又是一个 Ansible 项目，其中 YAML 文件就有 15k 行，名副其实的大项目。 花费了几天时间陆陆续续看完了整个项目，大概了解了其中的工作流程，具体内容不提，感觉 Ansible 90% 的使用例子都可以在这个项目中找到，是一个值得阅读的项目。 之前写过一篇当时理解的最佳实践，今天趁此机会再总结下最近使用 Ansible 的一些经验。 Tag 链接到标题 使用 tag 对 ansible task 进行划分，比如在重启某些服务的时候，我们只希望在初次安装的时候重启，在后续升级的时候不进行重启，那么我们就可以对这个重启服务的 task 进行tag 区分。 tag 使用示例如下： [root@node111 16:35:56 ansible]$tree . . ├── ansible.cfg ├── inventory ├── templates │ └── src.j2 └── test.yaml 1 directory, 4 files [root@node111 16:35:58 ansible]$cat test.yaml - hosts: cluster ga ...继续阅读 (28)

背景 链接到标题 Kubernetes 作为一个容器编排系统，负责 Pod 生命周期管理，那么肯定会保证 Pod 的可用性，今天来说下 k8s Pod 可用性相关知识。 K8S 可用性相关参数 链接到标题 k8s 核心组件有 kubelet,kube-apiserver,kube-scheduler,kube-controller-manager，通过阅读官方文档中相关参数说明，我摘取了认为跟可用性相关的参数，具体列表如下： kubelet 链接到标题 –housekeeping-interval duration 链接到标题 Default: 10s Interval between container housekeepings. kubelet 主动检测容器资源是否达到阈值的周期。 –node-status-update-frequency duration 链接到标题 Default: 10s Specifies how often kubelet posts node status to master. Note: be cautious when changing the constant, it must work with nodeMonitorGracePeriod in nodecontroller. kubelet 上报到 kube-a ...继续阅读 (24)

简介 链接到标题 Helm 就是k8s 的包管理器 。常见的包管理器有：yum,apt,pip… 包管理器基础功能有： 安装 依赖安装 升级 回滚 卸载 源管理 搜索 … 基本概念 链接到标题 Helm: Kubernetes的包管理工具，命令行同名 Tiller: Helmv2 的服务端，用于接收并处理 Helm 发送的请求，默认以 Deployment 形式部署在 k8s 集群中 Chart: Helm 包管理的基础单元，等同于 RPM Repoistory: Helm的软件源仓库，是一个 Web 服务器，路径下除了响应的软件 Chart 包之外，维护了一个 index.yaml 用于索引 Release: Helm 安装在 Kubernetes 集群中的 Chart 实例 现状 链接到标题 helm 截至06月20日最新稳定版本为 v2.14.1。 在05月16日发布了 v3.0 alpha 版本，根据相关文档描述，v2 无法平滑升级到 v3 版本。 注：存在部分小版本无法平滑升级情况。 helm v3 版本改进： 在 v2 版本设计中，需要单独创建属于 Tiller 的 ServiceAccount，授权 clusteradmin 权限，以为着只要你有 helm 权限，那么你有操作 k8s全集群所有权限。在 v3 版本中删除 Tiller，直接与 ...继续阅读 (34)

背景 链接到标题 最近发现一直使用的机房网络不稳定，时常出现网络无法联通，过一会又可以联通的情况，今天又遇到了，要彻底解决它。 问题 链接到标题 在机房网络规划中，地区 A 和地区 B 是通过 OpenVPN 连接的，也就是说每个地区的网关是一台虚拟机，提供 DHCP 服务。 今天地区 A 的机器又无法连接地区 B 了，我登陆网关尝试从网关 ping 目标主机，发现直接提示 : No buffer space available 根据这个提示，感觉像是某些系统参数配置的小了，于是查了一下，发现跟 arp 有关。什么是 arp ？ 相信对网络稍微有些概念的同学都不陌生，这里我直接引用维基百科： 地址解析协议（英语：Address Resolution Protocol，缩写：ARP）。在以太网协议中规定，同一局域网中的一台主机要和另一台主机进行直接通信，必须要知道目标主机的MAC地址。而在TCP/IP协议中，网络层和传输层只关心目标主机的IP地址。这就导致在以太网中使用IP协议时，数据链路层的以太网协议接到上层IP协议提供的数据中，只包含目的主机的IP地址。于是需要一种方法，根据目的主机的IP地址，获得其MAC地址。这就是ARP协议要做的事情。所谓地址解析（address resolution）就是主机在发送帧前将目标IP地址转换成目标MAC地址的过程。 另外，当发送主机和目的主机不 ...继续阅读 (25)

准备工作 链接到标题 本文所有节点 OS 均为 CentOS 7.4 。 1.关闭 selinux 链接到标题 所有节点执行： [root@node211 ~]# cat /etc/selinux/config # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled # SELINUXTYPE= can take one of three two values: # targeted - Targeted processes are protected, # minimum - Modification of targeted policy. ...继续阅读 (25)