2016年初读的徐子沛的一本书《数据之巅》，把读书笔记记录一下。美国国会实行参众两院制，众议院的席位按人口比例在各州之间分配，这体现了民主原则，照顾了大州的利益；参议院的席位每州两名，平均分配，这体现了共和精神，突出了小州的平等的权利。用数据来改善、控制产品质量，毕竟只是一种方法和手段，中国人最需要学习的，应该是日本人对待先进文明的胸怀和态度。美国社会经历的数据内开放三部曲：1.0 1960年代，信息自由运动，数据承载知情权； 2.0 1980年代，环保运动，通过数据制衡企业，数据公开成为政府政府管理社会的手段； 3.0 2000年代，数据开放运动，用数据服务经济发展、创造就业机会、推动技术创新。在大数据时代，公共决策最重要的依据是系统的数据，而不是个人经验和长官意志。用数据说话，用数据管理，用数据决策，用数据创新。数据的三大来源：测量、记录、计算。数据 -> 信息 -> 知识 -> 智能。 数据是信息的载体；信息是有背景的数据，是知识的来源；知识是呈现规律的信息，是洞见的基础；智能是机器通过大量数据获得知识，自动完成任务。数据之巅：用数据训练机器，使机器获得智能，为人类提供自动化的服务。传统制造方式是“减式制造”，即通过模具，你用机器外力对原材料进行“压、切、割、冲”等机械加工，将原材料转化为产品，在这个过程中，原材料缩减了。而3D打印是“加式制造”，通过逐层叠加、不断增加材料的 ...继续阅读 (16)

年初时看了罗辑思维2017跨年演讲《时间的朋友》，感觉按罗胖的意思再不了解和应用人工智能就真的晚了。之前买过吴军的《智能时代》，最近几天读了一遍，对大数据、机器智能等概念还是有了一些系统的、宏观的了解。过去，数据的作用被人忽视，其原因主要是：1. 过去数据量不足，积累大量数据需要的时间太长； 2. 数据和所想获得信息之间的联系需要通过不同数据之间的相关性才能体现出来。只要数据量足够，就可用若干个简单的模型取代一个复杂的模型，这种方法被称为数据驱动方法。在误差允许范围内，数据驱动方法在结果上与精确的模型是等效。从每种程度上讲，获得和利用数据的水平反映出文明的水平。如果我们把资本和机械动能作为大航海时代以来全球近代化的推动力，那么数据将成为下一次技术革命和社会变革的核心动力。搜索引擎都有一个度量用户点击数据和搜索结果相关性的模型，通常被称为“点击模型”。它在搜索算法中至少占70%~80%的权重；这就是数据（而非因果关系）的重要性。机械思维曾经是改变人类工作方式的革命性的方法论，并在工业革命和全球工业化的过程中起到决定性的作用。如果我们能找到确定性（或者可预测性）和因果关系，这依然是最好的结果；但今天我们面临的情况复杂得多，所以不确定性，或者说难以找到确定性，是今天社会的常态。数据中的信息可以帮助我们消除不确定性，而数据之间的相关性在某种程度上可以取代原来的因果关系，帮助我们得到我们想知 ...继续阅读 (11)

使用web方式展现git仓库可不clone代码却可以查看仓库中的信息，如 linux kernel网站的gitweb: https://git.kernel.org/pub/scm/linux/kernel/git/实现上面这样的一个git的web展示并不难，因为有一个工具就叫做gitweb，下面简单介绍下，我如何使用它的。1. 安装gitweb：方式可以使使用yum install 或者 自行下载rpm包 或者 源码编译git来获得gitweb2. 配置gitweb：编辑 /etc/gitweb.conf 配置文件，一般修改 “ our $projectroot = “/home/jay/gitweb”; ”这一行即可。3. 配置web server： 比如配置apache的httpd.conf文件，如下：Alias /git/ "/var/www/git/" SetEnv GITWEB_CONFIG /etc/gitweb.conf Options ExecCGI FollowSymLinks SymLinksIfOwnerMatch AllowOverride All order allow,deny Allow from all AddHandler cgi-script cgi DirectoryI ...继续阅读 (11)

Django自带的开发者运行模式，是不适合直接运行在生产环境的。所以需要一个WSGI server来正式部署和运行Django项目，我的选择是Gunicorn。当然作为web入口的web server，我选择了非常流行的Nginx，使其直接服务静态文件的请求，并且转发动态请求给后端Gunicorn服务。为了让Gunicorn的保持运行状态，在其停止后可自动拉起，所以选择了supervisor这个进程管理工具。为了在服务器上构建独立的python运行环境，所以选择了virtualenv。当然，数据库还是选择我的老朋友MySQL，在CentOS 7.2 系统上可以yum直接安装mariadb。至于MySQL和mariadb的细节差别，对我来说无关紧要。关于 Django+MySQL+Gunicorn+Supervisor+Virtualenv 这个技术栈的环境搭建配置，主要还是参考：http://zqpythonic.qiniucdn.com/data/20130901152951/index.html这里只提几点注意事项：1. 生产环境，Django需要关闭debug模式DEBUG = False TEMPLATE_DEBUG = False ALLOWED_HOSTS = ['*']2. 使用supervisor来管理进程，不要启动daemon模式，所以我设置了gunicorn的“ ...继续阅读 (10)

去年在天猫和京东上看到各种买图书优惠力度大，所以买了很多的书，《硅谷之谜》就是其中的一本。《硅谷之谜》是吴军老师的作品，虽然有一些读者会说这本书中一些内容已经在《浪潮之巅》中写过了有点重复，不过我觉得还是不错的，可以带来一些新的东西也就很不错了，吴军老师知识广博，对IT、互联网行业有深刻的洞察，而且文字功底深厚，看他的书始终觉得是种享受。确实，硅谷的成功是不可复制的，气候决定论、斯坦福之说、风险投资说等都是站不住脚的，硅谷的成功有它的独特之处。硅谷的独特之处：1. 叛逆以及对叛逆的宽容2. 多元文化，已开始都面向全球市场3. 拒绝平庸4. 宽容失败的文化5. 工程师文化6. 不迷信权威7. 扁平式管理 公司与人、上下级之间是一种新型契约合作关系8. 世界的情怀 梦想者们拥有世界情怀，并以改变全世界人类生活为使命，工程师们是这些伟大理想的实践者，而投资人和企业家则在中间，将这些梦想者和那些脚踏实地的人联系起来。工程师金字塔的五个等级：第一等工程师，开创行业；第二等工程师，改变世界；第三等工程师，行业最优；第四等工程师，领导产品；第五等工程师，独立完成任务。如吴军所说，在中国公司中，大家都喜欢当官，所以第3、4等工程师大都去做了管理岗位，第5等工程师之上很容易出现断层。Google联合创始人之一的布林在考虑做什么事情时，通常只考虑两个因素，是否能帮助全世界的人，以及是否具有革命性的突 ...继续阅读 (22)

我将平时，我可能常用的RPM相关的命令，整理了一下当做一个笔记吧。安装RPM包：rpm -ivh my.rpm （也可以是一个rpm文件的URL，可以直接 -i 安装）卸载RPM包：rpm -e httpd查询RPM包：rpm -q httpd （rpm -qa 查询所有的RPM包）查询一个RPM包安装后的文件列表：rpm -ql httpd查询一个文件属于哪一个RPM包：rpm -qf /ect/httpd.confRPM 强制安装： rpm -i –force httpdRPM 不检查依赖，强制卸载： rpm -e –nodeps httpd检查RPM包的完整性：rpm -V httpd （文件缺失或者md5值变化都可以查到）RPM命令的： -p, –package PACKAGE_FILE; Query an (uninstalled) package PACKAGE_FILE.查看一个RPM包的依赖dependency：rpm -qpR {.rpm-file}rpm -qR {package-name}查看rpm包里的pre和post install脚本：rpm -qp –scripts libvirt-kvm-2.0.0-el7.x86_64.rpmrpm -q –scripts libvirt-kv ...继续阅读 (13)

2年前调查测试CPU性能，并且使用计算PI的方法时，发现的一个工具叫做y-cruncher（当然也有Super Pi等工具），最近又能用得上，在这里介绍一下。y-cruncher有几点值得推荐：1.它是一款非常快速的计算PI的工具，支持度线程并发计算，做性能工具可以压满多个CPU核。2.其官方网站上，有很多别人的测试数据，比如有人就通过1台服务器计算了105天，计算到了PI在小数点后22,459,157,718,361位。3.它除了测试计算PI的性能，其实也是一个功能测试工具，可以识别CPU、OS支持的指令集（如AVX、AVX2等），并使用这些指令集进行计算。使用方法：去官网下载可执行程序，然后运行： ./y-cruncher bench 100m -TD:4 这样的命令即可，该命令表示使用4个并发计算PI的小数点后100M位（1亿位）。这个命令，可以压满4个核。其输出的计算性能数据，如下所示：Total Computation Time: 10.907 seconds ( 0.182 minutes ) Start-to-End Wall Time: 11.830 seconds ( 0.197 minutes )可以根据计算时间来衡量系统的性能（就使用前面提到的运行命令），如：1.不支持AVX的系统上，计算时间为40秒2.支持AVX的系统上，计算时间为25 ...继续阅读 (21)

前言：之前连载过4.4.2 使用网桥模式(bridge networking mode）一文，其实使用NAT的情况也蛮多的，不需要建物理的bridge配置会更加方便，所以现在把KVM NAT也连载出来。（两个脚本qemu-ifup-NAT和qemu-ifdown-NAT，请到github下载：https://github.com/smilejay/kvm-book/tree/master/scripts）NAT（Network Addresss Translation ，网络地址转换），属于广域网接入技术的一种，它将内网地址转化为外网的合法IP地址，它被广泛应用于各种类型的Internet接入方式和各种类型的网络之中。NAT将来自内网IP数据包的包头中的源IP地址转换为一个外网的IP地址。众所周知，IPv4的地址资源已几近枯竭，而NAT使内网的多个主机可以共用一个IP地址接入网络，这样有助于节约IP地址资源，这也是NAT最主要的作用。另外，通过NAT访问外部网络的内部主机，其内部IP对外是不可见的，这就隐藏了NAT内部网络拓扑结构和IP信息，也就能够避免内部主机受到外部网络的攻击。客观事物总是有正反两面性的，没有任何技术是十全十美的。NAT技术隐藏了内部主机细节从而提高了安全性，但是如果NAT内的主机作为Web或数据库服务器需接受来自外部网络的主动连接，这时NAT就表现出了局限性， ...继续阅读 (22)

前言：之前连载过2篇KVM网络的配置4.4.2 使用网桥模式(bridge networking mode）4.4.3 使用NAT模式其实，最近我在做开发过程中，并不总是需要什么高性能的网络，我只想guest中有网络，可以从host中ssh进去方便操作guest即可，所以用user-mode的网络配置也蛮不错的，使用很方便，也不依赖qemu/kvm之外的东西。所以，再把之前书中的user-mode网络配置发文章出来吧。前面4.5.1节中提到，在没有任何“-net”参数时，qemu-kvm默认使用的是“-net nic -net user”的参数，提供了一种用户模式（user-mode）的网络模拟。使用用户模式的网络的客户机可以连通宿主机及外部的网络。用户模式网络是完全由QEMU自身实现的，不依赖于其他的工具（如前面提到的bridge-utils、dnsmasq、iptables等），而且不需要root用户权限（前面介绍过的bridge模式和NAT模式在配置宿主机网络和设置iptables规则时一般都需要root用户权限）。QEMU使用Slirp实现了一整套TCP/IP协议栈，并且使用这个协议栈实现了一套虚拟的NAT网络。由于其使用简单、独立性好、不需root权限、客户机网络隔离性好等优势，用户模式网络是qemu-kvm的默认网络配置。不过，用户模式网路也有如下3个缺点：1） 由于其 ...继续阅读 (19)

在bash中，有个ulimit命令，提供了对shell及该shell启动的进程的可用资源控制。主要包括打开文件描述符数量、用户的最大进程数量、coredump文件的大小等。在centos 5/6 等版本中，资源限制的配置可以在 /etc/security/limits.conf 设置，针对root/user等各个用户或者*代表所有用户来设置。 当然，/etc/security/limits.d/ 中可以配置，系统是先加载limits.conf然后按照英文字母顺序加载limits.d目录下的配置文件，后加载配置覆盖之前的配置。 一个配置示例如下：* soft nofile 100000 * hard nofile 100000 * soft nproc 100000 * hard nproc 100000 * soft core 100000 * hard core 100000不过，在CentOS 7 / RHEL 7的系统中，使用Systemd替代了之前的SysV，因此 /etc/security/limits.conf 文件的配置作用域缩小了一些。limits.conf这里的配置，只适用于通过PAM认证登录用户的资源限制，它对systemd的service的资 ...继续阅读 (91)

使用easy_install和pip可以让python的模块的安装和管理变得非常方便。我一般在新的Linux系统上，先easy_install pip然后就用pip安装其他的模块了。 不过，在国内用官方的pypi源（https://pypi.python.org/simple）一般比较慢，甚至偶尔会直接连接timeout，所以很有必要使用pypi的国内镜像。关于镜像，我已推荐过，见这篇文章：常用的开源镜像站推荐本文是讲一下通过两种方式来配置让easy_install和pip使用镜像pypi。 以清华大学的TUNA镜像源为例：https://pypi.tuna.tsinghua.edu.cn/simple1. 命令行安装时临时使用pypi镜像，即：添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数即可# easy_install 命令行 easy_install -i https://pypi.tuna.tsinghua.edu.cn/simple pip # pip install 命令行 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml2. 设置easy_install和pip的配置文件，永久设置pypi镜像源，命令行就不用-i参数了easy_install的 ...继续阅读 (156)

virtio-blk-data-plane是qemu/kvm中的一种高性能的块设备I/O方式，它最初在qemu 1.4版本中被引入。virtio-blk-data-plane与传统virtio-blk相比，它为每个块设备单独分配一个线程用于I/O处理，virtio-blk-data-plane线程不需要与原qemu执行线程同步和竞争锁，而且它使用 ioeventfd/irqfd 机制，同时利用host linux上的AIO（异步I/O）来出来guest的I/O请求。所以效率上有一定的提升。基本原理和机制，如下图所示：在libvirt的guest xml配置中，可以使用如下配置来设置virtio-blk-data-plane：（和平常用的一个xml文件做了下diff）https://github.com/smilejay/kvm-book/blob/master/conf/virtio-blk-data-plane-configure.diffdiff --git 1/kvm_guest.xml b/kvm_guest.xml index 264947b..51bc324 100644 --- a/kvm_guest.xml +++ b/kvm_guest.xml @@ -1,4 +1,4 @@ - + GUESTNAME UUID MEMORY @@ -27,7 ...继续阅读 (61)

以前，我总是喜欢折腾VIM的各种插件。其实也能算是一个可以消磨大量时间的看似正经的游戏。后来，我遇到了maximum-awesome，再自己BundleInstall装下python-mode、jedi-vim两个插件，写python就轻松了。现在，我使用了spf13-vim，从此不再折腾vim插件。使用sfp13-vim时，写python时的自动补全，我喜欢jedi-vim，所以再Vundle安装一下jedi-vim；看C代码，可以再装上ctags、cscope插件，如果想要C/C++代码有强大的自动补全能力，可能需要使用YCM（即：YouCompleteMe）。PS: 由于YCM需要花较多时间折腾，我也还没怎么用过。参考：https://github.com/spf13/spf13-vimhttp://smilejay.com/2014/07/vim-tmux-configuration-using-max-awesome/http://smilejay.com/2012/10/vim-for-linux-programmer/https://github.com/Valloric/YouCompleteMeOriginal article:不折腾的vim插件配置©2016笑遍世界. All Rights Reserved. ...继续阅读 (168)

（本来7年前就开始写过Shell脚本，不过最近写一段bash脚本时，感觉要用下数组，忽然发现不知道一些语法细节，所以记录一下吧）在Shell中（我这里是Bash），其实没有传统意义上的“数据类型”，把任何变量中存的值都是作为字符组成的“字符串”。当然，通过declare可以声明某个变量是整型、数组等类型。其中，数组就是本文要专门讲的了。在Bash中，仅支持一维数组，当然通过关联数组（associative array）的形式可以模拟多维数组。1. 数组的声明用 declare -a array 声明array是一个数组，用declare -A a_array 声明a_array是一个关联数组。在Shell中，declare声明数组不是必需的。2. 数组的初始化（赋值）在Shell中，用括号来表示数组，数组元素用“空格”符号分割开。定义数组的一般形式为：array_name=(value0, value1, … valueN)也可单独对各个元素进行赋值，如：array[0]=foo; array[3]=bar （可以不使用连续的下标，而且下标的范围没有限制）3. 访问数组的元素使用 array_name=(value0, value1, …) 格式初始化的数组，其下标从0开始，使用 ${array_name[index]} 格式访问数组中某个下标的元素。${ ...继续阅读 (124)

1. 关于kdump 和 crashkdump是一种kernel crash dump的机制，它可以在内核crash时保存系统的内存信息用于后续的分析。kdump是基于kexec的。crash是一个用于交互式地分析正在运行的Linux系统或者kernel crash后的core dump数据的工具。dump的工作原理图：2. 在CentOS 7 中配置kdump需要在kernel启动命令行参数中添加crashkernel参数，并启动kdump服务。一般设置为 crashkernel=auto 表示根据系统内存自动reserve一些内存给kernelcrash用，在x86_64系统中内存大于等于2GB时会reserve内存，最小保留内存计算方法是：160 MB + 2 bits for every 4 KB of RAM.当然，也可以设置crashkernel=512M这样的固定保留内存。用 yum install kexec-tools 安装kdump工具和服务用 systemctl start kdump 命令可以启动kdump.service，用 systemctl enable kdump 让dump服务在开机时自动启动。kdump.service 相关的配置文件 /etc/kdump.conf 里面可以修改一些默认的配置，比如dump完成后的动作（默认是reboot）、du ...继续阅读 (86)

是在2013年的PyCon大会上第一次听到一个人讲到IPython及Notebook，当时只觉得有点炫，自己也没去了解。最近忽然在网上再次看到，所以安装了IPython和Notebook玩了一些，觉得非常不错，写个博客推荐一下。IPython是一个综合的交互式编程环境，比原本python命令进入的交互式环境要强大很多。IPython主要包含3个部分：1.IPython shell 比python原生的增强很多的功能，比如：tab补全、富媒体画图等。2.一个基于web的交互式环境，允许多个客户端连接到kernel，它即是Notebook。3.交互式并行计算IPython是自己简单写代码片段快速验证的好工具，也在科学计算、Python教学等领域有较多的应用。目前，最新的IPython 4，仅支持python2.7或3.3以上的版本。安装和运行IPython及Notebook都是很简单的，见：pip install ipython pip install notebook ipython #开启交互式IPython jupyter notebook #默认监听localhost:8888 并自动打开浏览器 可加--ip=0.0.0.0参数使其监听0.0.0.0在浏览器中浏览notebook，效果图为：ipython-notebook demo参考文档：https://en. ...继续阅读 (36)

作为很多地方都介绍过的，python自带的SimpleHTTPServer，只需要一个命令就可成为一个web服务器，可以实现文件的共享（下载）功能。一个命令：python -m SimpleHTTPServer默认就会监听0.0.0.0:8000，其输出信息中有 “Serving HTTP on 0.0.0.0 port 8000”等。然后，用浏览器打开 http://server_ip:8000/ 的 URL 即可看到一个web页面展示着启动的目录下各个文件。当然，你想换个端口（假设8888），命令改一下即可：python -m SimpleHTTPServer 8888不过，原生的SimpleHTTPServer不支持文件的上传；因为有时候，不想给用户名密码给别人，但就临时想让同事传个文件到某服务器上，那么就可以考虑引入下面这个 SimpleHTTPServerWithUpload.py代码见：https://github.com/smilejay/python/blob/master/py2016/SimpleHTTPServerWithUpload.py使用方法：python SimpleHTTPServerWithUpload.py也可以加上8888这样的端口号。然后浏览器中的web页面的上方就有选择文件并上传的功能（upload），之后是目录中文件的列表可供下载（dow ...继续阅读 (37)

前面认识的一个python库 docopt，可以使用__doc__来实现命令行参数的处理，使用起来非常简单；我也刚好有在命令行添加或删除testsuite/testcase的需求，所以写了一个demo文件。PS：我才发现docopt有2年没更新了，好吧，还是可以继续用它。直接上我的demo程序:https://github.com/smilejay/python/blob/master/py2016/try_docopt.py#!/usr/bin/env python """Just try docopt lib for python Usage: try_docopt.py (-h | --help) try_docopt.py [options] Examples: try_docopt.py -s +ts5,-ts2 -c +tc5,-tc3 Options: -h, --help -s, --testsuite suites #add/remove some testsuites -c, --testcase cases #add/remove some testcases """ from docopt import docopt testsuites = ['ts1', 'ts2', 'ts3', 'ts4'] tes ...继续阅读 (30)

为了做到自动化，操作系统的安装也需要自动化，而自动安装Linux操作系统，自然就会想到用Kickstart。本文只分享centos5/6/7安装使用的几个kickstart文件，笔者将其用在Linux虚拟机的自动安装中。我共享的kickstart文件，都可以在这里找到：https://github.com/smilejay/other-code/tree/master/kickstartCentOS 5.x 的一个kickstart文件示例：# Kickstart file automatically generated by anaconda. # Kickstart refrence doc: http://molinux.blog.51cto.com/2536040/548247 install text url --url=http://mirrors.163.com/centos/5.11/os/x86_64 #url --url=http://mirrors.ustc.edu.cn/centos/5.11/os/x86_64 key --skip lang en_US.UTF-8 keyboard us network --device eth0 --bootproto dhcp --noipv6 rootpw 123456 #rootpw --iscrypted $ ...继续阅读 (37)

为了做到自动化，操作系统的安装也需要自动化，而自动安装Linux操作系统，自然就会想到用Kickstart。本文只分享两个kickstart文件，笔者将其用在Linux虚拟机的自动安装中。CentOS 5.x 的一个kickstart文件示例：View CodeBASH1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30# Kickstart file automatically generated by anaconda.# Kickstart refrence doc: http://molinux.blog.51cto.com/2536040/548247 installtext url--url=http://mirrors.163.com/centos/5.11/os/x86_64#url --url=http://mirrors.ustc.edu.cn/centos/5.11/os/x86_64key--skiplang en_US.UTF-8keyboard us network--deviceeth0--bootprotodhcp--noipv6rootpw123456#rootpw --iscrypted $1$BARjKhbz$usum13IcR ...继续阅读 (55)

有时简单试验一下小代码或某个类的方法，还是用交互模式下的python比较方便；不过有一个问题，交互模式python默认没有自动补全功能。我用的是Mac Air上自带的Python，由于Mac OS X的一些特殊性（详见后面的参考文档），网上找了一些办法都不行，最后用了如下这个，很好用，按tab两次可以提示自动补全。View CodePYTHON1 2 3 4 5 6importreadlineimportrlcompleterif'libedit'inreadline.__doc__:readline.parse_and_bind("bind ^I rl_complete")else:readline.parse_and_bind("tab: complete")上面脚本保存为~/.pythonstartup ，然后 echo ‘export PYTHONSTARTUP=~/.pythonstartup’ >> ~/.bash_profile 重新打开shell即可PYTHONSTARTUPIf this is the name of a readable file, the Python commands in that file are executed before the fi ...继续阅读 (36)

前面在研究libvirt-test-API这个开源框架时，里面的很多测试用例都是从头开始安装guest系统的，而且默认是从远程的一个URL来安装（URL配置在kickstart配置文件中）。找了国内的镜像（如：），觉得速度还是不如自己本机自己提供镜像文件来得快，所以想下载那里的一些文件，写了这个脚本。脚本看起来并不太复杂，主要思路是先找到所有文件的URL（包括所有子目录中的文件）然后下载。我采用了urls_dict这个字典，以path为key，value中有它这个path下所有的文件名列表(files)、父目录(parent)、子目录列表(sub_dirs)，先递归算法生成这个urls_dict，然后逐个目录下载其文件（下载时只用到了urls_dict中的key和value中的files）。用到了requests库来发送http请求，用到了BeautifulSoup来解析html文件。主要在写get_urls_dict这个递归函数时，最开始思路不太清晰，后来只要把递归退出条件、两种条件下不同的递归方式弄清楚，代码写起来就容易了。好吧，代码在https://github.com/smilejay/python/blob/master/py2015/download_repos.py，如下（写得不太好，欢迎拍砖）：View CodePYTHON1 2 3 4 5 6 7 8 9 10 ...继续阅读 (52)

由于国内网络环境的现实，下载国外的一些资源很慢或者下载不了，所以国内好心人们建了很多的镜像站点。在Linux环境下工作，而且写写python代码，所以我难免会使用一些镜像站下载东西。凭我的印象，先强烈推荐几个，网易的速度快，清华的速度不错、资源丰富、文档也不错，NPM的话还是taobao的不错，Ruby也是taobao的不错。Linux开源镜像站，推荐如下几个：http://mirrors.163.com/（网易开源镜像站，包括：各种Linux发行版CentOS/Fedora/Ubuntun/Gentoo/ArchLinux等）http://mirrors.ustc.edu.cn （中国科学技术大学开源软件镜像，除了各种Linux发行版，还有ruby、gnu、gnome、kde、eclipse等，有linux.git）http://mirrors.aliyun.com/ （阿里云开源镜像站，除了各种Linux发行版，还有linux-kernel、mariadb、ruby、pypi等，配有帮助文档）http://mirrors.tuna.tsinghua.edu.cn/（清华大学镜像站，除了常规的还有linux.git哦，也有帮助文档）http://mirror.bjtu.edu.cn/ （北京交通大学镜像站）http://mirrors.zju.edu.cn/ （浙江大学镜像站）P ...继续阅读 (46)

本周前几天在西安做校园招聘的面试工作，也是第一次出去参加校园招聘，稍微写一下感悟和我面试学生的技术问题。本次校招笔试面试分为：线上笔试、技术第一面、技术第二面、HR面试。我是做测试开发工程师和Ruby开发工程师的技术一面面试官，同时也做了测试开发专项题的阅卷人。笔试：这次是分为数字、抽象、归纳、推理等方面的选择题，和计算机技术方面的选择题和非选择题。前一部分数理逻辑，大约和公务员笔试题类似，或许能通过这些看人的逻辑和分析能力（PS:我也不知道这个是否有必要）。技术选择题包含C++、Java、算法等几个方面；技术非选择题，包括java通用、算法通用、测试专用等3个题。面试我一般是先问几个笔试中简单算法题，有两种情况比较受欢迎：1.笔试成绩很好，面试问道笔试题目也能流畅的作答；2.笔试中做错了，但是事后去做了学习研究，面试中坦承自己的不足并说明之后做了一些功课的。然后一般会问数据结构和算法方面的基础，如：链表、二叉树、排序算法之类的。此外，就是根据同学简历中是否提到C/C++/Java/Python、TCP/IP、HTTP、Linux、SQL等技术，提到的就会问一点儿。最后一块，就是看以前做过什么项目，挑跟工作相关的或者有趣的问问，偶尔会了解一下具体细节。当然整个过程中，同学对事情的描述是否清晰、思路是否有条理和考虑周全、是否坦诚，等都是间接考察的。第二面面试主要考察一些技术技术和项目 ...继续阅读 (58)

读了古斯塔夫·勒庞的《乌合之众》，里面的不少观点能引起我的共鸣，还是不错的。群体可以杀人放火，无恶不作，但是也可以展示出极崇高的献身、牺牲和不记名的举动，即孤立的个人根本做不到的极崇高的行为。圣巴托罗谬惨案并不完全是国王们所为，就想恐怖统治并不完全是罗伯斯庇尔、丹东或盛鞠斯特所为一样。在这些事件的深处，总能找得到绝非来自统治者的权力，而是群众灵魂所起的作用。对群体的意见和信念起决定作用的因数分为两类：间接因素和直接因素。间接因素，可以使群体接受一些信念，并且使其再也无法接受其他信念。直接因素，是成为实际说服群众的资源，不过没有间接因素的准备过程，直接因素也不会起作用。如果我们想了解今天正酝酿于群众之中，明天就会爆发的各种念头和信仰，就必须了解为它们提供土壤的因素。当前的教育制度怎样培养了这种头脑：冷漠而中立的群众怎么变成了一支心怀怨恨的大军，时刻准备着听从一切乌托邦分子和巧言令色之徒的暗示。集体的无意识反映的是人类历史中的集体潜意识，当个人单独存在的时候，他的势单力薄使他的恶性出在潜伏状态，但一旦获得集体这个后盾，他就仿佛被灌注了神通，“在群体中间，傻瓜、低能儿和心怀妒忌的人，摆脱了自己卑微无能的感觉，会感到一种残忍、短暂又巨大的力量”。这就解释了群体为何会干出最恶劣的极端卑鄙无耻的勾当。群体的某些特点，如冲动、急躁、缺乏理性，没有判断力和批判精神、夸大感情等，几乎总是可以在低级进 ...继续阅读 (120)

前两个月，我看过吴军的《文明之光》，《人类简史》不仅是站在某个民族（国家）或者人类的角度，而是也站在动物植物、整个世界的角度来看待人类发展历史；视角不一样，看到的东西也比较新颖，蛮有收获的。人类和黑猩猩之间真正不同的地方就在于那些虚构的故事，它像胶水一样把千千万万的个人、家庭和群体结合在一起。物种演化上的成功并不代表个体的幸福。对于玉米、小麦，纯粹的演化观点还有道理；但对于牛、羊、之人这些有着复杂情感的动物，必须想演化上的成功会对个体的生活有什么影响。想象构建的秩序深深与真实的世界结合；想象构建的秩序塑造了我们的欲望；想象构建的秩序存在于人和人之间思想的连接。“客观”：不受人类意识及信念的影响；“主观”：靠的是某个单一个人的意识和信念；“主体间”：靠的是许多个人主观意识之间的连接网络。历史上许多重要的驱动因素，都是这种存在于主体之间的概念想法：法律、金钱、神、国家。金钱几乎能跨越所有的文化鸿沟，不会因为宗教、性别、种族、年龄或性取向而有所歧视；也多亏了金钱制度，才让人就算互不认识、不清楚对方的人品，也能携手合作。我们用金钱来促进陌生人之间的合作，但又害怕这回破坏人类的价值和亲密的关系。一方面，我们想打破那些限制金钱和商业流动的社会大坝；但另一方面，我们又不断筑起新的大坝，希望保护社会、宗教和环境免受市场力量的奴役。混沌系统分成两级，一级混沌指的是“不会因为预测而改变”，天气就属于一 ...继续阅读 (50)

曾看到某大牛在2014年总结时写到年度图书是《文明之光》，所以最近找图书馆去借来读了吴军的《文明之光》。看着各种波澜壮阔的文明，很多感慨啊。如果我们把地球的年龄（约45亿年）缩短为1年，那么人类则出现在这一年最后一天的最后半小时，而人类几千年文明则出现在最后1分钟。（想想人的一生以90岁高寿来算，也就相当于0.6秒钟短暂的一瞬间）。Oh，我敲这段文字时，却已花费了十多分钟了。宋朝广开读书人成为士大夫的途径，并且从上到下提倡读书。宋真宗赵恒御笔亲作《劝学篇》，传布天下：当家不用买良田，书中只有千钟粟；安居不用架高堂，书中自有黄金屋；娶妻莫恒无良媒，书中自有颜如玉；出门莫恨无人随，书中车马多如簇；男儿欲遂平生志，五经勤向窗前读。法国科学家拉瓦锡，在断头台受刑前，据说在行刑前他和刽子手约定自己被砍头后尽可能多的眨眼，以此来确定头砍下后是否还有感觉，后来拉瓦锡的眼睛一共眨了十五次，这是他最后一次科学研究。达尔文的进化的四条根本原理：过渡繁殖、生存竞争、遗传变异、适者生存。因为觉得大多数变异是坏的，只有过渡繁殖才能保证后代中有少量的各地更加适应环境；这个过渡繁殖、生存竞争，是否和一些大公司去复制内部多个新项目、外部投资或收购各种小公司的道理有一些共同性呢？在讲到冷战时期的美苏两个超级大国在航空航天领域竞争时，为人类取得人造卫星、载人航天、登月计划等重大科技突破而自豪和感慨，尽管二者的竞赛，花 ...继续阅读 (53)

这两天发现的STF工具（ Smartphone Test Farm），基于NodeJS编写，可用于Android设备的远程管理。STF的功能很强大，其中远程屏幕实时操作和设备信息获取等功能，是我去年在规划移动测试平台特别想做的，当时在想远程屏幕实时操作估计做起来复杂（所以一直没投入资源做这个功能）；看到STF的功能，真的让我眼前一亮。如果搭建云测试或者众测平台，应该用得上（或借鉴）STF。简单说下STF的功能吧（只提我喜欢的或觉得很有用的）：1. 在Web上支持管理上百个android设备2. 支持Android多个版本（2.3.3 ~ 5.1），而且不需要root。3. 实时屏幕操作和显示4. 支持adb connnect远程连接调试5. 可以从PC机键盘输入到远程的android设备中6. 安装卸载APK7. android设备信息的展示（如：网络状态、MIME、android版本、手机型号等等）8. 远程开关机、远程开关WIFI、截屏、LogCat等等当然这个STF的安装还是稍微有点复杂的，我在Ubuntu工作机上花了1小时左右安装配置完成。安装过程和代码，见：https://github.com/openstf/stf上一个官方的图吧，看看效果：参考资料：https://github.com/openstf/stfhttps://testerhome.com/topics/ ...继续阅读 (151)

这两天偶然看到的一个用于云平台测试的性能benchmark工具——PerfKitBenchmarker，介绍一下吧，做公有云或私有云的同学可以去玩玩。PerfKitBenchmarker是Google云平台开源出来的一个性能benchmark测试工具（集），它包含了各种各样的测试工具/方法（如：bonnie、unixbench、speccpu等）多达20多种，支持GCE、AWS、Azure、DigitalOcean、Rackspace等国外的几大云提供商（PS：国内的阿里云、腾讯云呢）。其中，它涵盖的测试工具中，我以前做虚拟化（或流行一点的说Cloud）的时候，用过的的包括：bonnie++、coremark、fio、iperf、netperf、ping、speccpu2006、sysbench、unixbench等近10种；所以看起来也比较亲切。该项目地址在：https://github.com/GoogleCloudPlatform/PerfKitBenchmarker开发语言是python，很多做测试或工具开发的同学都会比较熟悉。（再次说明python是万能粘合剂啊~~）PS: GoogleCloudPlatform开源出来的最近非常出名的项目还有一个container集群管理器——kubernetes。同时Google还提供了一个Dashboard和性能分析的工具——Per ...继续阅读 (64)

最近看到的几条定律，在工作当中了解一下或许有用。1.帕金森定律（Parkinson’s Law）亦称“官场病”或“组织麻痹病”：工作会自动地膨胀，占满一个人所有可用的时间，如果时间充裕，他就会放慢工作节奏或是增添其他项目以便用掉所有的时间。 The demand upon a resource tends to expand to match the supply of the resource.The amount of time that one has to perform a task is the amount of time it will take to complete the task.2.康威定律（Conway’s law）：最终产生的产品设计等同于组织内和组织间的沟通结构。organizations which design systems … are constrained to produce designs which are copies of the communication structures of these organizations（人力组织的结构要变更总是设计到各种既得利益者，不一定都能往最合理的方向演化。）3.布鲁克斯定律（Brooks’ law）：往落后的项目中投入更多人往往使进度更加 ...继续阅读 (33)