问题描述：    没有设置timeout参数，结果在网络环境不好的情况下，时常出现read()方法没有任何反应的问题，程序卡死在read()方法里，搞了大半天，才找到问题，给urlopen加上timeout就ok了，设置了timeout之后超时之后read超时的时候会抛出socket.timeout异常，想要程序稳定，还需要给urlopen加上异常处理，再加上出现异常重试，程序就完美了。解决方案：    有时候我们在爬取网络数据时，会因为对方网速缓慢、服务器超时等原因， 导致 urllib2.urlopen() 之后的 read()操作（下载内容）卡死，要解决这个问题方法有如下几个：1、为urlopen设置可选参数 timeout[crayon-5642d10d34bd1011193403/]2、设置全局的socket超时：[crayon-5642d10d34be5427676515/]3、使用定时器 timer[crayon-5642d10d34beb622392143/]Related Posts使用virtualenv创建虚拟python环境(0)Python模拟java的do while循环(0)查询IP地址或域名地理位置的脚本(0)一个Python图片抓取小爬虫(1)Recent Comments ...继续阅读 (96)

首刷郑东CBD商务内环    5分30秒，组队              9分50秒，高能开启       15分30秒，第二波高能  21分08秒，被拉爆~     Related Posts历时11天，孤身上海骑行回郑州(10)历时11天，孤身上海骑行回郑州（图）(47)上海骑行青岛之连云港至日照段(1)上海骑行青岛之安丰至盐城段(3)上海骑行青岛之南通至安丰段(0)上海骑行青岛之上海至南通段(1)我爱骑行之我的心路历程(1)记两日环骑崇明岛(4)打包山地车上火车(3)业余自行车选手可分为9级！看看自己是那一级？(4)Recent Comments红豆殺:目测，庆叔~张生:蛋疼的频率，蛋疼的人 ...继续阅读 (31)

   昨天hadoop集群中一个数据节点到期，导致关机，续费开机后，hadoop进程正常开启，但今天早上看到MR运算结果为空，查看运算日志和zabbix监控获取如下报错日志和监控画面：[crayon-557f1ca55c083244179393/]        从监控画面可以看出，MR job从第一个开始就卡死了。然后，根据日志信息排查，最后确定主要是由于Hadoop集群内某些节点的防火墙没有关闭，导致无法访问集群内节点。关机重启后的datanode  119.*.*.* ,开机自动启动了iptables,关闭iptables后，再次运行MR，成功。Related PostsHadoop新增datanode与SecondaryNameNode(1)Hadoop 从SecondaryNamenode 恢复NameNode(0)zabbix agent一键安装脚本(0)Hadoop集群中banlancer用法简介(1)zabbix监控Hadoop的实现(13)安装php时的libmysqlclient.so.18错误Error 127解决办法(0)升级wordpress至3.4版报错及解决方案(2)LFS再体验(1)Recent Comments ...继续阅读 (24)

操作PostgreSQL的过程中，在执行psql的时候，遇到了如下错误： /path/to/postgresql/bin/psql: symbol lookup error: /usr/pgsql-9.2/bin/psql: undefined symbol: PQconnectdbParams整理后发现是，PostgreSQL的动态链接库没有找到，于是：[crayon-557f1ca55cd39113353100/]再次执行psql,恢复正常。Related Posts0Recent Comments ...继续阅读 (314)

本来打算先写一篇python程序如何打包的文章，但是又不愿意测试打包的时候把那些demo程序安装到python的库以及usr的bin里。因此先介绍下如何创建以虚拟的python运行环境，做完实验之后直接把虚拟环境删除即可。这个工具叫virtualenv，是使用python开发的一个创建虚拟环境的工具，源码官网地址：https://github.com/pypa/virtualenv刚用到这个东西时，会联想到虚拟机和影子系统，不过相比于后两者，virtualenv更为便捷。不需要重启系统进入影子模式，也不需要启动虚拟机拖慢你的系统。你只需要通过命令创建一个虚拟环境，不用的时候通过命令退出，甚至删除，均可。有了大概的了解之后，看下具体的安装，只是介绍ubuntu下的安装：通过命令：sudo apt-get install python-virtualenv或者 sudo pip install virtualenv然后建立一个测试目录：mkdir testvirtualcd testvirtual然后创建一个虚拟环境：virtualenv env1cd切换到该目录下，执行命令：source bin/activate你会发现在shell提示符前面多了(env1)这个提示，这就说明你已经是在虚拟环境中，在这个里面你可以安装任意的python库，而不用担心会把系统自带的python库搞乱。另 ...继续阅读 (24)

在java中有这样的语句： do{    //dosomething}while(条件A); 在python中没有do-while这样的语法，这也是python中“解决一个问题最好只有一个方法”的体现，那么python中怎么模拟do-while语句呢？可以这样： while True:    #dosomething    if(条件A不符合):        breakRelated Posts使用virtualenv创建虚拟python环境(0)Hadoop新增datanode与SecondaryNameNode(1)查询IP地址或域名地理位置的脚本(0)一个Python图片抓取小爬虫(1)Recent Comments ...继续阅读 (27)

行 描述1 Relay_Log_File2 Relay_Log_Pos3 Relay_Master_Log_File4 Exec_Master_Log_Po例：[crayon-557f1ca55d136021179414/]Related PostsMySQL主从复制（Master-Slave）与读写分离（MySQL-Proxy）实践(0)MySQL必须调整的10项配置mysql优化(0)面对一个全新的环境,作为一个Mysql DBA,首先应该了解什么?(0)修改MySQL的默认编码设置(0)使用Xtrabackup进行MySQL备份(0)MySQL主从复制(Replication)MySQL数据库同步配置 数据库主从同步设置(3)MySQL 数据库的备份和恢复(1)Nginx+php+MySQL编译安装过程中的错误解决方法(3)MySQL主主复制(10)快照方式备份MySQL数据库及举例(8)Recent Comments ...继续阅读 (23)

        Docker镜像是怎么实现增量的修改和维护的？ 每个镜像都由很多层次构成，Docker使用 Union FS 将这些不同的层结合到一个镜像中去。        通常Union FS有两个用途, 一方面可以实现不借助 LVM、RAID 将多个disk挂到同一个目录下,另一个更常用的就是将一个只读的分支和一个可写的分支联合在一起，Live CD正是基于此方法可以允许在镜像不变的基础上允许用户在其上进行一些写操作。 Docker在AUFS上构建的容器也是利用了类似的原理。Related Posts探索 Linux 内核虚拟机(0)Recent Comments ...继续阅读 (26)

Take on "dependency hell" with Docker containers, the lightweight and nimble cousin of VMs. Learn how Docker makes applications portable and isolated by packaging them in containers based on LXC technology.Imagine being able to package an application along with all of its dependencies easily and then run it smoothly in disparate development, test and production environments. That is the goal of the open-source Docker project. Although it is still not officially production-ready, the latest release (0.7.x at the time of this writing) brought Docker another step closer to realizing this ambitiou ...继续阅读 (14)

无论是新增namenode还是SecondaryNameNode,操作方法大致相同一、如果新增datanode，需要保证namenode能无密码ssh连接到新datanode如果是添加SecondaryNameNode，则需保证其能无密码ssh连接至各datanode和namenode，namenode也需要能无密码连接到新SecondaryNameNode[crayon-557f1ca55deee527915779/]二、同步程序文件hadoop的运行依赖JAVA环境，所以，以namenode为准，迁移java环境：在namenode上运行：[crayon-557f1ca55def9842709114/]创建文件 /etc/profile.d/java.sh ，内容 为：[crayon-557f1ca55deff682543563/]在namenode主机上的conf/master文件中添加新SecondaryNameNode的IP地址：[crayon-557f1ca55df05339943397/]（如果是只新增namenode则不需要上面这一步）迁移hadoop软件，日志文件不需要迁移：[crayon-557f1ca55df0a805129303/]三、保证各结点时区一致（我们现有服务器时区五花八门，所以这一步很重要）[crayon-557f1ca55df10672 ...继续阅读 (40)

      光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于Hadoop进程中 ，要配置好并正确的使用 snn，还是需要做一些工作的。hadoop的默认配置中让 snn进程默认运行在了 namenode 的那台机器上，但是这样的话，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，更好的方式是：将snn的进程配置在另外一台机器 上运行。      在hadoop中，namenode负责对HDFS的metadata的持久化存储，并且处理来自客户端的对HDFS的各种操作的交互反馈。为了保 证交互速度，HDFS文件系统的metadata是被load到namenode机器的内存中的，并且会将内存中的这些数据保存到磁盘进行持久化存储。为 了保证这个持久化过程不会成为HDFS操作的瓶颈，hadoop采取的方式是：没有对任何一次的当前文件系统的snapshot进行持久化，对HDFS最 近一段时间的操作list会被保存到namen ...继续阅读 (36)