发表于
2020-10-19 04:06:45
Jenkins构建github webhook
发表于
2019-06-14 14:01:23
CentOS7.4构建Docker swarm部署Jenkins Configuration as code
话说如果把Jenkins作为一只可爱的宠物, 部署及配置Jenkins是一个及其复杂和头痛的过程，我们作为铲屎官需要给这只名叫Jenkins的爱宠从打生下起都要进行细心的呵护, 在Web UI给他装插件, 配slave节点, 配环境变量, 配CI工具, 配后台管理权限等等,说实话你不写个自动化shell或者ansible你都不好意思跟你同行打招呼.不过作为我们DevOps, 不是所有语言都能拿得起放得下(自黑), 在写自动化脚本过程中势必要跟我们的Jenkins本家groovy脚本语言打交道, 这玩意可是直接能够调用Jenkins API的敲门砖, 但是前提你能玩得转他的API doc, 本铲屎官给Jenkins铲屎已经够意思了, 还让我去研究如果优雅的铲屎, 不留一丝痕迹? 这里多亏了Docker swam和JCasC, 他们组合起来就能把我们可爱的Jenkins小宠宠瞬间打回一只可以被随时替代的小牛, 我们可以不必一天在给Jenkins遛弯的过程, 怕他走丢啦, 怕他肚子吃坏啦, 怕他被人欺负了, 给他打一针JCasC, 扔进Docker Swarm牛圈, 瞬间变成一只可被随时打入冷宫的小牛, 想怎么玩就怎么玩, 玩坏了分分钟扔掉并直接给他再克隆一只, 是不是很神奇?闲话不多说, 其实宠物和牛对应的就是可变基础设施与不可变基础设施, 具体的基础设施我们可以拿vm与docker做
...继续阅读
(11)
发表于
2018-10-23 14:01:25
Kubernetes之python client连接k8s API cluster
大家在平时使用k8s可以说用到的最多的命令应该就是kubectl, 这个命令默认会在master上安装并与本地的k8sAPI cluster绑定token认证, 实现日常k8s的数据交互. 不过问题在于, 如果我们需要远程调用k8sAPI或者需要实现k8s自动化集成, 仅靠每次远程ssh集成使用kubectl命令这种偷懒的办法是远远不够的.这里k8s官方给我们提供了两种比较主流的连接k8s API cluster的语言, 一种是GO, 另外一种就是我们DevOps比较主流的Python.今天这里我将给大家介绍如何使用python client扩展包去编写脚本并远程连接k8s API cluster.这样我们平时除了可以远程使用ssh+kubectl去与kubernetes进行命令行数据交互外, 同样可以在远程不依赖命令行直接连接k8s cluster API cluster, 与k8s进行python API交互, 方便我们后期利用python去对k8s进行自动化集成与二次开发.这里我们不多说, 直接进入我们的runbook配置环节:一.部署python client环境连接我们的k8s API cluster.1.安装python3.6.5源及依赖包# yum install epel-release -y# yum groupinstall "Development tools
...继续阅读
(8)
发表于
2018-09-08 09:32:15
Kubernetes之Ingress+Traefik
发表于
2018-09-06 03:40:13
Jenkins-Pipeline-CI-CD-with-Helm-on-Kubernetes自动化流水线
发表于
2018-04-20 10:18:53
CentOS7.4部署Python3+Django+uWSGI+Nginx
发表于
2018-04-16 03:11:05
CentOS7.4部署Django+Python3+Apache+Mod_wsgi
发表于
2018-04-14 05:01:17
Kubernetes之Helm包管理
发表于
2018-02-24 09:51:38
Kubernetes部署WordPress+MySQL
发表于
2018-02-24 04:11:00
Kubernetes之Secrets与Config Maps
SecretsSecrets是一个包含敏感数据的对象，例如我们常用的密码，令牌或密钥等, 我们编写yaml如果直接明文这些信息则会将我们的敏感信息暴漏在我们的脚本中; 所以将其放置在Secret对象中可以更好地控制它的使用方式，并降低意外暴露的风险。Pod可以引用我们事先创建好的Secrets键值对到环境变量, 通过获取环境变量的键值对动态更新我们Pod的环境配置, 从而实现动态配置更新.1. 创建一个secret# kubectl create secret generic secret-demo --from-literal='password=countonme'2. 查看创建好的secret# kubectl get secret secret-demoNAME TYPE DATA AGE
secret-demo Opaque 1 13s3.创建一个Pod并引用这个secret# vi secret-env-pod.yamlapiVersion: v1
kind: Pod
metadata:
name: httpd-pod
spec:
containers:
- image: httpd
name: httpd
imagePullPolicy: Always
env:
...继续阅读
(8)
发表于
2016-12-06 09:42:37
Mac+Docker+Ansible部署WordPress Application
发表于
2016-07-28 06:15:57
Server端Download加密地址利器
发表于
2016-03-11 05:00:47
Jenkins+Ansible+Gitlab自动化部署三剑客
发表于
2016-02-16 08:56:40
使用Virtualenv隔离ansible不同发行版
在日常使用ansible的部署过程中, 由于我们常用的yum, apt包管理工具默认安装的ansible版本为1.9, 在该版本应用一些新的ansible模块时下会遇到一些BUG.如何使我们在保留旧版本的同时, 使用最新发行版来Fix这个issue, 则是本文所要讨论的问题.因为ansible本身由python编写而成, 所以我们可以使用python下的virtualenv模块对我们所需的ansible发行版进行隔离安装, 这样既能保证我们原有的job还可以正常在stable version下safe running, 而且又不影响我们new job在新版本下适配新的模块.接下来我会使用virtualenv隔离安装ansible2.1, 并保留老版本ansible1.9.4详细配置步骤如下:安装环境:System: Centos 6.3 x64Python: 2.6.6Ansible: 1.9.4一.安装virtualenv1.保证系统默认YUM源2.安装easy_install# whoamiroot# yum install python-setuptools python-setuptools-devel3.安装pip# easy_install pip4.安装virtualenv# pip install virtualenv二.配置系统非root用户使用新版本a
...继续阅读
(150)
发表于
2015-12-31 09:15:47
Dockerfile详解
Docker可以通过获取Dockerfile编写的命令自动Build出一个新的镜像,里面的Docker内建命令会帮助我们在已有的image下创建一个新的定制image.这里我们先给大家介绍一些常用Dockerfile编写规范.Docker配置传送门: http://www.showerlee.com/archives/17581.FROM FROM <image>:<tag>FROM会使用当前本地或者远程Docker仓库的image, 这个要首先写到该脚本的第一行.例:FROM centos67base/apache:apache_base这里代表我们使用本地的centos67base/apache镜像.查看本地缓存镜像可以使用# docker images2.MAINTAINERMAINTAINER <name>这个会给生成的镜像创建一个作者名3.RUNRUN <command> (命令行格式, 执行一段shell命令)RUN ["executable", "param1", "param2"] (列表格式, "executable"可以更改不同shell格式, 例如/bin/sh或/bin/bash, "param1"代表shell参数)这个可以理解为执行shell命令到image, 一般来说用来给镜像安装pa
...继续阅读
(96)
发表于
2015-12-15 09:30:39
MAC+VirtualBox+Docker搭建私有CentOS Docker容器
发表于
2015-11-26 07:57:40
[Linux] server网络监控利器ss
大家之前都比较常用netstat命令去获取本地server的一些连接信息, 或者利用该命令去编写一些脚本, 这个命令的优点在于已经基本上集成到windows, linux各个发行版内, 算是一个比较老牌的命令. 但对于日新月异的系统更新升级, 他对于高并发连接的系统往往会显露出执行效率缓慢的弊端.今天给大家要介绍一个笔者最近才接触到的命令ss, 这个命令其实并不冷门, 基本在ubuntu, centos的minimal安装模式下系统都会将ss集成到kernel系统内, 这个命令的优点在于比netstat返回的信息更加简单直观, 语法简洁实用, 而且执行效率更高.以下就给大家介绍利用ss的一些常用语法去检查本地网络连接状态.1. 列出所有连接(tcp, udp, unix socket)$ss| less
Netid State Recv-Q Send-Q Local Address: Port Peer Address: Port
u_str ESTAB 0 0 * 15545 * 15544
u_str ESTAB 0 0 * 12240 * 12241
u
...继续阅读
(238)
发表于
2015-10-29 07:38:28
CentOS7.1下Openstack部署
发表于
2015-10-29 07:34:55
CentOS6升级python到2.7版本
1.安装依赖包# yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel wget xz -y2.编译安装python2.7# cd ~ # wget --no-check-certificatehttps://www.python.org/ftp/python/2.7.9/Python-2.7.9.tar.xz# tar xvfJ Python-2.7.9.tar.xz # cd Python-2.7.9# ./configure --prefix=/usr/local# make && make altinstall# ln -s /usr/local/bin/python2.7 /usr/local/bin/python退出SSH并重新登录# python -VPython 2.7.9# which python/usr/local/bin/python3.安装python setuptools# python ez_setup.py# which easy_install/usr/local/bin/easy_install# /usr/local/bin/easy
...继续阅读
(26)
发表于
2015-10-22 05:54:48
CentOS6.7下Ansible部署
Ansible是一种集成IT系统的配置管理, 应用部署, 执行特定任务的开源平台, 它基于Python语言实现, 部署只需在主控端部署Ansible环境, 被控端无需安装代理工具, 只需打开SSH, 让主控端通过SSH秘钥认证对其进行所有的管理监控操作. 相对于SaltStack, 它除了无需在客户端进行任何配置, 而且它有一个很庞大的用户群体以及丰富的API, 很多配置参考都可以访问https://github.com/ansible/获取. 本文将帮助大家如何快速部署一个Ansible平台.安装环境:System: Centos 6.7 x64Master: master.example.com Minion: client01.example.comMinion: client02.example.com一. 环境部署及安装1. 关闭iptables和SELINUX# service iptables stop# setenforce 0# vi /etc/sysconfig/selinux...
SELINUX=disabled
...2. Master端与Minion端安装EPEL第三方yum源# rpm -Uvhhttp://ftp.linux.ncsu.edu/pub/epel/6/i386/epel-release-6-8.noarch
...继续阅读
(390)
发表于
2015-10-19 07:25:56
Mac下部署VirtualBox + Vagrant
发表于
2015-09-28 08:21:19
[Python] 利用HTML页面查看字符串差异
发表于
2015-09-25 05:27:56
[Saltstack] CentOS下批量部署Nginx
上一篇博文我介绍了如何快速搭建Salt环境, 以及利用相关pillar, state, grains模块进行基本的客户端部署操作.本篇文档我们会详细介绍如何利用Salt来批量部署安装Nginx, 并自动化配置Nginx的相关属性.Salt环境部署详见: http://www.showerlee.com/archives/1472安装环境:System:Centos 6.3Salt master:salt-master.example.com Salt minion:salt-client01.example.com一. 主控端配置1. 配置master基本参数# vi /etc/salt/master添加:nodegroups:
webgroup1: 'salt-client01.example.com'
file_roots:
base:
- /srv/salt
pillar_roots:
base:
- /srv/pillar2. 动态配置客户端系统连接数使用python脚本编写grains_module, 实现动态配置被控主机连接数(CLI可用"limit -n"查询该值), 以便随后的Nginx配置文件中的worker_rlimit_nofile, worker_conn
...继续阅读
(156)
发表于
2015-09-24 05:30:13
CentOS6.3下Saltstack安装部署
Saltstack是一个具备puppet与func功能为一身的集中化管理平台，saltstack基于python实现，功能十分强大，各模块融合度及复用性极高，官方极力推荐作为云计算平台的基础架构。可以轻松维护成千上万台服务器. 相对于同类型的其他平台, 例如Ruby下的Chef, 以及大家比较熟知的puppet, Salt的优势在于他的配置更加简单, 运行效率更高, 自带的模块更加丰富, 以及API是全python语法对于我们搞运维的同学来说相对比较易读, 所以笔者认为是一个大家值得去学习的自动化部署平台.本文将帮助大家了解如何快速部署一个Salt平台.大家如果想了解更多地相关知识, 可以去访问salt的官方文档 (中文版需VPN)https://docs.saltstack.com/en/latest/topics/index.htmlhttp://docs.saltstack.cn/zh_CN/latest/SaltStack implementation安装环境:System: Centos 6.3Salt master: salt-master.example.com Salt minion: salt-client01.example.com一. 环境部署及安装1. 关闭iptables和SELINUX# service iptables stop#
...继续阅读
(228)
发表于
2015-08-27 06:33:45
[Python] SMTP(SSL)发送邮件
这里需要注意的是大家使用QQ邮箱(SMTL over SSL)时, 需要首先在其网页客户端后台打开SMTP/POP服务, 并且设置QQ邮箱独立密码作为SMTP登陆密码, 这样在使用MUA时就不会报Authentication failed的错误.QQ邮箱 POP3端口: 995 SMTP端口: 587密码使用QQ邮箱独立密码#!/usr/bin/env python
# -*- coding: utf-8 -*-
import smtplib
import email.encoders
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
import getpass
# Build a new attach instance
msg = MIMEMultipart()
# Mail configuration
Mail_subject = 'Python test mail'
Mail_content = 'Send with pic attachment'
Recipient_list = ['XXX@126.com', 'XXX@qq.com']
SMTP_se
...继续阅读
(61)
发表于
2015-08-27 05:37:27
[Mail] 电子邮件详解(转)
Email的历史比Web还要久远，直到现在，Email也是互联网上应用非常广泛的服务。几乎所有的编程语言都支持发送和接收电子邮件，但是，先等等，在我们开始编写代码之前，有必要搞清楚电子邮件是如何在互联网上运作的。我们来看看传统邮件是如何运作的。假设你现在在北京，要给一个香港的朋友发一封信，怎么做呢？首先你得写好信，装进信封，写上地址，贴上邮票，然后就近找个邮局，把信仍进去。信件会从就近的小邮局转运到大邮局，再从大邮局往别的城市发，比如先发到天津，再走海运到达香港，也可能走京九线到香港，但是你不用关心具体路线，你只需要知道一件事，就是信件走得很慢，至少要几天时间。信件到达香港的某个邮局，也不会直接送到朋友的家里，因为邮局的叔叔是很聪明的，他怕你的朋友不在家，一趟一趟地白跑，所以，信件会投递到你的朋友的邮箱里，邮箱可能在公寓的一层，或者家门口，直到你的朋友回家的时候检查邮箱，发现信件后，就可以取到邮件了。电子邮件的流程基本上也是按上面的方式运作的，只不过速度不是按天算，而是按秒算。现在我们回到电子邮件，假设我们自己的电子邮件地址是me@163.com，对方的电子邮件地址是friend@sina.com（注意地址都是虚构的哈），现在我们用Outlook或者Foxmail之类的软件写好邮件，填上对方的Email地址，点“发送”，电子邮件就发出去了。这些电子邮件软件被称为MUA：Mail U
...继续阅读
(56)
发表于
2015-08-27 05:01:51
[Python] SMTP发送邮件
这里PYTHON脚本实现的是登陆126的SMTP将邮件发送到QQ邮箱.QQ邮箱利用的是加密STMP, 需要加密版本的童鞋请关注随后的更新.TIPS: 我的本地环境是MAC系统, Windows环境需要修改相应的字符编码.#!/usr/bin/env python
# -*- coding: utf-8 -*-
import smtplib
import email.encoders
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
import getpass
# Build a new attach instance
msg = MIMEMultipart()
# Mail configuration
Mail_subject = 'Python test mail'
Mail_content = 'Send with attachments'
Recipient_list = ['XXX@126.com', 'XXX@qq.com']
SMTP_server = "smtp.126.com"
Username = raw_input('Please input your Us
...继续阅读
(50)
发表于
2015-04-24 07:00:54
[Python] re(正则表达式)模块详解
一、Python中转义字符正则表达式使用反斜杠" \ "来代表特殊形式或用作转义字符，这里跟Python的语法冲突，因此，Python用" \\\\ "表示正则表达式中的" \ "，因为正则表达式中如果要匹配" \ "，需要用\来转义，变成" \\ "，而Python语法中又需要对字符串中每一个\进行转义，所以就变成了" \\\\ "。上面的写法是不是觉得很麻烦，为了使正则表达式具有更好的可读性，Python特别设计了原始字符串(raw string)，需要提醒你的是，在写文件路径的时候就不要使用raw string了，这里存在陷阱。raw string就是用'r'作为字符串的前缀，如 r"\n"：表示两个字符"\"和"n"，而不是换行符了。Python中写正则表达式时推荐使用这种形式。二、正则表达式元字符说明：. 匹配除换行符以外的任意字符^ 匹配字符串的开始$ 匹配字符串的结束[] 用来匹配一个指定的字符类别？ 对于前一个字符字符重复0次到1次* 对于前一个字符重复0次到无穷次{} 对于前一个字符重复m次{m，n} 对前一个字符重复为m到n次\d 匹配数字，相当于[0-9]\D 匹配任何非数字字符，相当于[^0-9]\s 匹配任意的空白符，相当于[ fv]\S 匹配任何非空白字符，相当于[^ fv]\w 匹配任何字母数字字
...继续阅读
(49)
发表于
2015-04-23 06:56:54
[Python] List(列表),tuple(元组)和array的区别(转)
Python中的列表(list)类似于C#中的可变数组（ArrayList），用于顺序存储结构。它可以方便、高效的的添加删除元素，并且列表中的元素可以是多种类型。列表很多操作都跟元组一样，它们的不同在于元组是只读的，那更新列表的操作，比如切片操作来更新一部分元素的操作，就不能用于元组。在与array的比较中，值得注意的是，列表会使用更多的存储空间相对于array。通过import array导入python的数组类型，就可以使用array类型了。例如：from array import arraynode=array('H')node.append(12)python的array和C的数组很类似，它只能存储同样地数据类型的数据。它所占的存储空间的大小就是数据的大小。如果你相对一致类型的数据进行数学运算，那么，array将是一个很好的选择。并且它可以用于和C的代码做接口。或者可以说array就是披上了python外衣的C的数组。下面介绍一下常见操作：创建列表sample_list = ['a',1,('a','b')]Python 列表操作sample_list = ['a','b',0,1,3]得到列表中的某一个值value_start = sample_list[0]end_value = sample_list[-1]删除列表的第一个值del sample_list[0]在列表
...继续阅读
(15)
发表于
2015-04-17 06:35:12
[Python] 调取MYSQL数据并插入到CSV文件
