锐速Linode主机Xen内核适配，锐速Linode Centos6, Centos7内核选择。锐速是一款非常不错的TCP底层加速软件，可以非常方便快速地完成服务器网络的优化，TCP效果奇佳。锐速并非支持所有的版本，所以的安装之前一定要确定系统内核支持锐速。这里记录一下Linode内核适配安装锐速的记录。Xen:Centos 6.5 x64 linode61Centos7 x64 linode59KVM:这个可以自由安装发行版内核，比较方便，也可以安装最新版本的4.9内核来启用Google BBR TCP优化算法。   ...继续阅读 (8)

锐速Linode主机Xen内核适配，锐速Linode Centos6, Centos7内核选择。锐速是一款非常不错的TCP底层加速软件，可以非常方便快速地完成服务器网络的优化，TCP效果奇佳。锐速并非支持所有的版本，所以的安装之前一定要确定系统内核支持锐速。这里记录一下Linode内核适配安装锐速的记录。Xen:Centos 6.5 x64 linode61Centos7 x64 linode59KVM:这个可以自由安装发行版内核，比较方便，也可以安装最新版本的4.9内核来启用Google BBR TCP优化算法。   ...继续阅读 (6)

之前我们使用多线程(threading)和多进程(multiprocessing)完成常规的需求，在启动的时候start、jon等步骤不能省，复杂的需要还要用1-2个队列。随着需求越来越复杂，如果没有良好的设计和抽象这部分的功能层次，代码量越多调试的难度就越大。有没有什么好的方法把这些步骤抽象一下呢，让我们不关注这些细节，轻装上阵呢？答案是：有的。从Python3.2开始一个叫做concurrent.futures被纳入了标准库，而在Python2它属于第三方的futures库，需要手动安装：sudo pip install futures这个模块中有2个类：ThreadPoolExecutor和ProcessPoolExecutor，也就是对threading和multiprocessing的进行了高级别的抽象， 暴露出统一的接口，帮助开发者非常方便的实现异步调用：import time from concurrent.futures import ProcessPoolExecutor, as_completed NUMBERS = range(25, 38) def fib(n): if n<= 2: return 1 return fib(n-1) + fib(n-2) start = time.time() with ProcessP ...继续阅读 (12)

之前我们使用多线程(threading)和多进程(multiprocessing)完成常规的需求，在启动的时候start、jon等步骤不能省，复杂的需要还要用1-2个队列。随着需求越来越复杂，如果没有良好的设计和抽象这部分的功能层次，代码量越多调试的难度就越大。有没有什么好的方法把这些步骤抽象一下呢，让我们不关注这些细节，轻装上阵呢？答案是：有的。从Python3.2开始一个叫做concurrent.futures被纳入了标准库，而在Python2它属于第三方的futures库，需要手动安装：sudo pip install futures这个模块中有2个类：ThreadPoolExecutor和ProcessPoolExecutor，也就是对threading和multiprocessing的进行了高级别的抽象， 暴露出统一的接口，帮助开发者非常方便的实现异步调用：import time from concurrent.futures import ProcessPoolExecutor, as_completed NUMBERS = range(25, 38) def fib(n): if n<= 2: return 1 return fib(n-1) + fib(n-2) start = time.time() with ProcessP ...继续阅读 (8)

2016年11月26日 运维日记：Linux母盘Clone无法联网（适用于Hyper-V，VMWARE，KVM等），虚拟化封装的母盘，因为网卡MAC地址的原因，导致直接克隆出的小鸡仍然是旧的MAC地址，从而无法联网。具体现象：解决方案：一、首先vim /etc/udev/rules.d/70-persistent-net.rules# vi /etc/udev/rules.d/70-persistent-net.rules # This file was automatically generated by the /lib/udev/write_net_rules # program, run by the persistent-net-generator.rules rules file. # # You can modify it, as long as you keep each rule on a single # line, and change only the value of the NAME= key. # PCI device 0x1022:0x2000 (pcnet32) SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:8f:89:97", ATTR{type} ...继续阅读 (11)

2016年11月26日 运维日记：Linux母盘Clone无法联网（适用于Hyper-V，VMWARE，KVM等），虚拟化封装的母盘，因为网卡MAC地址的原因，导致直接克隆出的小鸡仍然是旧的MAC地址，从而无法联网。具体现象：解决方案：一、首先vim /etc/udev/rules.d/70-persistent-net.rules# vi /etc/udev/rules.d/70-persistent-net.rules # This file was automatically generated by the /lib/udev/write_net_rules # program, run by the persistent-net-generator.rules rules file. # # You can modify it, as long as you keep each rule on a single # line, and change only the value of the NAME= key. # PCI device 0x1022:0x2000 (pcnet32) SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:8f:89:97", ATTR{type} ...继续阅读 (7)

2016年11月26日 运维日记：锐速的内核其实就是ZetaTCP，也就是LinuxTCP单边加速，可以起到显著加速效果的 TCP 加速技术。同类产品还有Finalspeed。启动：service serverSpeeder start关闭：service serverSpeeder stop状态：service serverSpeeder status是否有效：测试的中国电信直连cn2的线路，用起来还是有那么点效果的。  ...继续阅读 (10)

2016年11月26日 运维日记：锐速的内核其实就是ZetaTCP，也就是LinuxTCP单边加速，可以起到显著加速效果的 TCP 加速技术。同类产品还有Finalspeed。启动：service serverSpeeder start关闭：service serverSpeeder stop状态：service serverSpeeder status是否有效：测试的中国电信直连cn2的线路，用起来还是有那么点效果的。  ...继续阅读 (7)

2016年11月26日 运维笔记：Linux监控网卡流量（适用于Centos/Ubuntu/Debian等）yum install nload -ynload eth0    #监控eth0网卡的流量nload -m    #查看多块网卡的流量监控流量图如下： ...继续阅读 (9)

2016年11月26日 运维笔记：Linux监控网卡流量（适用于Centos/Ubuntu/Debian等）yum install nload -ynload eth0    #监控eth0网卡的流量nload -m    #查看多块网卡的流量监控流量图如下： ...继续阅读 (4)

如何安装并开启XRDP服务，参考：Windows(3389)远程Ubuntu这里介绍下如何保持XRDP会话的问题:一、修改/etc/xrdp/xrdp.ini[xrdp1] name=sesman-Xvnc lib=libvnc.so username={your_account} password={your_password} ip=127.0.0.1 port=ask-1 #修改此处为ask-1二、重启xrdpsudo service xrdp restart三、mstsc连接1、如果想使用一个全新的会话，设置port=-1；2、如果想恢复曾经使用的会话，设置port=“曾经使用的会话的端口号”附：如何查询上次会话的端口号：sudo netstat -tunlp这里我建立了两个会话(5910 or 5911)，也就是设置port=(5910 or 5911)即可恢复会话。参考资料：互联网等 ...继续阅读 (41)

Selenium调用Chrome配置（Linux），前面介绍了Selenium+PhantomJS系列教程：Selenium+PhantomJS（系列一：设置User-Agent）Selenium+PhantomJS（系列二：模拟登录淘宝）Selenium+PhantomJS（系列三：模拟登录知乎）Selenium+PhantomJS（系列四：模拟登录微博）Selenium+PhantomJS（系列五：selenium的等待）下面记录一下在Linux下，Selenium调用Chrome的配置：注：如果启动失败，请检查Selenium和chrome是否为对应的版本！另外注意chromedriver所能驱动的chrome版本，例如：http://chromedriver.storage.googleapis.com/2.24/notes.txt下载chrome：https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb双击安装deb文件，install by ubuntu software center。下载chromedrive：http://chromedriver.storage.googleapis.com/index.htmlchromedrive文件放到以下目录：/usr/bin安装最新 ...继续阅读 (7)

Windows(3389)远程Ubuntu，如何利用3389远程Ubuntu安装xrdp：sudo apt install xrdp安装vnc4server：sudo apt install vnc4server安装xfce4：sudo apt install xubuntu-desktop执行以下配置：echo "xfce4-session" >~/.xsession重启xrdp：sudo service xrdp restartWindows远程：mstsc，输入ip地址，填上帐号密码即可！整理by：C/C++程序员之家来源于互联网 ...继续阅读 (12)

1、强制等待time.sleep()，最简单粗暴的方法就是强制等待sleep(xx)。2、隐式等待implicitly_wait(xx)，隐形等待是设置了一个最长等待时间，如果在规定时间内网页加载完成，则执行下一步，否则一直等到时间截止，抛出异常，然后执行下一步。3、显示等待WebDriverWait，推荐！WebDriverWait，配合该类的until()和until_not()方法，就能够根据判断条件而进行灵活地等待了。它主要的意思就是：程序每隔xx秒看一眼，如果条件成立了，则执行下一步，否则继续等待，直到超过设置的最长时间，然后抛出TimeoutException。示例：# -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By driver = webdriver.Firefox() driver.implicitly_wait(10) # 隐性等待和显性等待可以同时用，但要注意：等待的最长 ...继续阅读 (14)

引入selenium package, 建立webdriver对象from selenium import webdriver sel = selenium.webdriver.Chrome()打开设定的url，并等待response:loginurl = 'http://weibo.com/' #open the login in page sel.get(loginurl) time.sleep(10)通过xpath找到登录框，并填入相应帐号密码，模拟点击登录：#sign in the username try: sel.find_element_by_xpath("//div[@id='pl_login_form']/div/div[2]/div[1]/div[1]/input").send_keys('yourusername') print 'user success!' except: print 'user error!' time.sleep(1) #sign in the pasword try: sel.find_element_by_xpath("//div[@id='pl_login_form']/div/div[2]/div[2]/div[1]/input").send_k ...继续阅读 (12)

Selenium+PhantomJS（系列三：模拟登录知乎）#!/usr/bin/env python # -*- coding: UTF-8 -*- from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait browser = webdriver.Firefox() browser.set_page_load_timeout(20) # 防止页面加载个没完 browser.get('https://www.zhihu.com/') browser.find_element_by_class_name("js-signin").click() # 点击登录按钮，一般网站该步可省略 email = browser.find_element_by_xpath("//input[@name='email']") email.clear() email.send_keys("test@test.com") password = browser.find_element_by_xpath("//input[@name='password']") password.clear() password.send_keys("12345678") form = br ...继续阅读 (33)

Selenium+PhantomJS（系列二：模拟登录淘宝）from selenium import webdriver driver = webdriver.PhantomJS(executable_path='/opt/phantomjs-2.1.1-linux-i686/bin/phantomjs') driver.get(“https://login.taobao.com/member/login.jhtml“) driver.find_element_by_id("TPL_username_1").clear() driver.find_element_by_id("TPL_password_1").clear() driver.find_element_by_id("TPL_username_1").send_keys(self.username) driver.find_element_by_id("TPL_password_1").send_keys(self.password) driver.find_element_by_id("J_SubmitStatic").click() #driver.get_cookies()取得cookie cookie = "; ".jo ...继续阅读 (17)

Selenium+PhantomJS设置User-Agent,Selenium和PhantomJS设置User-Agent有些网站的WebServer对User-Agent有限制，可能会拒绝不熟悉的User-Agent的访问，所以，写Web自动化代码可能需要将User-Agent稍微伪装一下，否则可能会被拒绝访问。这里简单记录一下Selenium中使用PhantomJS，设置User-Agent的方法。python下Selenium依赖：sudo pip install selenium默认情况下，是没有自动设置User-Agent的，默认的User-Agent显示为PhantomJS；设置PhantomJS的user-agent，是要设置“phantomjs.page.settings.userAgent”这个desired_capability：''' Created on Dec 6, 2013 @author: Jay @summary: Set user-agent before using PhantomJS to get a web page. ''' from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabili ...继续阅读 (28)

python执行shell命令，首先需要安装依赖包sudo pip install expect一个远程复制的python类：class RemoteShell: def __init__(self, host, user, pwd): self.host = host self.user = user self.pwd = pwd def put(self, local_path, remote_path): scp_put = ''' set timeout -1 spawn scp %s %s@%s:%s expect "(yes/no)?" { send "yes\r" expect "password:" send "%s\r" } "password:" {send "%s\r"} expect eof exit''' os.system("echo '%s' > scp_put.cmd" % (scp_put % (os.path.expanduser(local_path), self.user, self.host, remote_path, self.pwd, self.pwd))) os.system('expect scp_put.cmd') ...继续阅读 (17)

Ubuntu升级python，Ubuntu14.04升级python，Ubuntu14.04升级python到2.7.11sudo add-apt-repository ppa:fkrull/deadsnakes-python2.7 sudo apt-get update sudo apt-get upgrade升级完毕！ubuntu@ubuntu-1:~$ python --version Python 2.7.11 ubuntu@ubuntu-1:~$  ...继续阅读 (15)

Ubuntu下OpenVPN客户端配置，Ubuntu下OpenVPN客户端配置安装OpenVPN：sudo apt install openvpn如果安装成功，文件夹存在：/etc/openvpn/配置OpenVPN：作为客户端，OpenVPN并没有特定的配置文件，而是由服务器提供方给出一个配置文件。对于认证，OpenVPN提供了两种认证方法：基于用户名/密码的认证与SSL证书认证。用户名/密码的认证方法无法（或较难）限制一个账号同时连接多个客户端，而采用证书，则可保证同一证书同一时间只能有一个客户端连接。当然，这些都是由服务器端决定的，不需要客户端进行选择。首先将OpenVPN服务器提供商发给你的配置文件解压，并将所有文件都复制到 /etc/openvpn/中。这些文件中至少包含一个.ovpn文件，需要手动创建该文件，如：client.ovpn；如果服务器需要证书认证，则应该还存在另外三个证书文件。看懂OpenVPN配置格式。下面是一个.ovpn配置示例（一般需要修改ca，cert，key文件位置）：client dev tap proto tcp-client remote 192.168.135.75 1194 resolv-retry infinite nobind mute-replay-warnings redirect-gateway ca /etc/openvpn/ ...继续阅读 (21)

文件操作：：：hadoopfs查看Hadoop HDFS支持的所有命令hadoop fs -mkdir /tmp/input在HDFS上新建文件夹hadoop fs –ls列出目录及文件信息hadoop fs –lsr循环列出目录、子目录及文件信息hadoop fs –put test.txt /user/sunlightcs将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下hadoop fs –get /user/sunlightcs/test.txt .将HDFS中的test.txt复制到本地文件系统中，与-put命令相反hadoop fs –cat /user/sunlightcs/test.txt查看HDFS文件系统里test.txt的内容hadoop fs –tail /user/sunlightcs/test.txt查看最后1KB的内容hadoop fs –rm /user/sunlightcs/test.txt从HDFS文件系统删除test.txt文件，rm命令也可以删除空目录hadoop fs –rmr /user/sunlightcs删除/user/sunlightcs目录以及所有子目录hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt从本地文件系统复制 ...继续阅读 (12)

DO(Digitalocean)旧金山(SFO2)，digitalocean 旧金山2区网速测试，点我购买，送钱digitalocean的旧金山增加了第二个机房。digitalocean是一家成立于云主机商家，采用KVM虚拟，配置高性能的SSD做储存，服务器配备的是1000M端口，拥有多个数据中心亚洲：印度班加罗尔、新加坡；美洲：加拿大多伦多、美国纽约3个、旧金山2个；欧洲：荷兰阿姆斯特丹，英国伦敦、德国法兰克福最新消息，免费一键快照备份VPS，2016年10月1日后将收费。以下是旧金山二区的一些信息，到大陆依旧优秀，ping平均180ms，可自行测试。CPU信息： 网速测试：磁盘测试：官方网站：点我 ...继续阅读 (42)

只安装安全更新sudo unattended-upgrade自动安裝安全更新sudo dpkg-reconfigure -plow unattended-upgrades让 apt-get upgrade 只安裝安全更新sudo vi /etc/apt/preferencesPackage: * Pin: release a=lucid-security Pin-Priority: 500 Package: * Pin: release o=Ubuntu Pin-Priority: 50sudo apt-get updatesudo apt-get upgrade参考：互联网 ...继续阅读 (26)

python2.7找不到pip的问题，找不到pip的异常：1、./configure --prefix=/home/me/software/python-2.7.9/myinstall/2、make; make install3、安装完毕，找不到pip解决方案：You probably need to use the ensurepip package. python -m ensurepip This will install pip if it is not already there.出自：http://stackoverflow.com/questions/28751541/where-is-pip-in-python-2-7-9-linux ...继续阅读 (21)

Centos6将python 2.6 升级到 2.70.查看python的版本#python -V Python 2.6.61.下载Python-2.7.6#wget https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz2.解压#tar -zxvf Python-2.7.6.tgz3.更改工作目录#cd Python-2.7.64.安装#./configure #make all #make install #make clean #make distclean5.查看版本信息#/usr/local/bin/python2.7 -V6.建立软连接，使系统默认的 python指向 python2.7#mv /usr/bin/python /usr/bin/python2.6.6 #ln -s /usr/local/bin/python2.7 /usr/bin/python7.重新检验Python 版本#python -V 2.7.68.解决系统 Python 软链接指向 Python2.7 版本后，因为yum是不兼容 Python 2.7的，所以yum不能正常工作，我们需要指定 yum 的Python版本#vim /usr/bin/yum将文件头部的#!/usr/bin/pytho ...继续阅读 (23)

Scrapyd常用API，Scrapyd常用API详解爬虫接口IP：http://192.168.0.2:6800/1、启动API（POST）:http://192.168.0.2:6800/schedule.json -d project=xxxspider -d spider=cplusplus -d word=['hahaha'] -d version=1.0.2{"status": "ok", "jobid": "dcc25dda594b11e6b757fc4dd43b1961", "node_name": "ubuntu-16"}2、取消API（POST）:http://192.168.0.2:6800/cancel.json -d project=xxxspider -d job=6487ec79947edab326d6db28a2d86511e8247444(启动爬虫后,API返回任务ID号)3、删除工程某版本API（POST）:http://192.168.0.2:6800/delversion.json -d project=xxxspider -d version=1470208884'4、删除工程API（POST）:http://192.168.0.2:6800/delproject.json -d project=myproject5、已经发布的工程列表：h ...继续阅读 (23)

Scrapyd部署scrapy爬虫,Scrapyd部署,Scrapyd经验。1、sudo pip install scrapyd2、sudo pip install scrapyd-client3、切换目录到项目所在路径：修改scrapy.cfg设置[deploy:xxxx] url = http://192.168.2.239:6800 project = xxxspider发布工程到scrapydscrapyd-deploy xxxx -p xxxspider --version 54(version为版本号,可以方便控制爬虫版本) Packing version 1470208884 Deploying to project "xxxspider" in http://192.168.2.239:6800/addversion.json Server response (200): {"status": "ok", "project": "xxxspider", "version": "1470208884", "spiders": 18, "node_name": "ubuntu-16"}4、验证是否发布成功scrapyd-deploy -L xxxx会输出类型“xxxspider”的回显scrapyd-deploy -l会输出类似“target http://192.1 ...继续阅读 (68)

【scrapyd异常】,【TypeError: init() got an unexpected keyword argument 'job'异常】scrapyd schedule job 时， 遇到错误 TypeError: init() got an unexpected keyword argument 'job' ， 需要在spider的_init方法里添加 **kwargs 参数进入项目spiders目录, 修改testspider.py 文件里init 方法即可: def init(self, **kwargs):├── init.py ├── items.py ├── pipelines.py ├── settings.py └── spiders ├── testspider.py ...继续阅读 (46)

mongodb逻辑操作(多个 or,and)：mongodb中的单个AND和OR，逻辑操作：1、例如在集合XXX中寻找名字为BuleRiver或者BuleRiver2的信息：db.XXX.find({"$or":[{"name":"BuleRiver"}, {"name":"BuleRiver2"}]});2、例如在集合XXX中寻找名字为BuleRiver且level为1的信息：db.XXX.find({"name":"BuleRiver", "level":1});mongodb 中多个AND和OR，逻辑操作：1、例如a>1 and b>2 or c>3 and d>4 的逻辑查询：db.example.find({ '$or':[ {'$and':[{'example.a':{'$gt':1}},{'example.b':{'$gt':2}}]}, {'$and':[{'example.c':{'$gt':3}},{'example.d':{'$gt':4}}]} ] })2、错误写法：{ $or: [{a: 2}, {a: 3}], $or: [{b: 5}, {b: 4}] }修正写法：{ $and: [ { $or : [{'a':1},{'b':2 ...继续阅读 (19)