1.书籍信息书名：Web Scraping with Python译名：用Python写网络爬虫作者：Richard Lawson译者：李斌出版社：人民邮电出版社ISBN：978-7-115-43179-0页数：1572.纸张、印刷与排版16开本，纸张较厚，行、段间距较大，字体较大。3.勘误本书勘误文章：http://www.pythoner.com/492.html出版社勘误页：http://www.epubit.com.cn/book/details/46104.笔记与评价阅读级别：翻译。推荐级别：细读，适合初学者。本书面向Python爬虫的初学者，从最基础的抓取方式起步，根据实际需求中可能碰到的问题逐步扩展，此外还介绍了一些Python爬虫常用的三方库和框架。书中没有特别高深的知识，也不会在某一方面过分深入，如果想要了解更深入的知识，可以阅读书中给出的一些参考文档用于补充。本书中的源代码均可在作者提供的git上进行下载。读者可以很轻松地搭建出与作者相似的环境来进行实践，当然作者也提供了一个demo网站用于为读者服务，不过如果想要学习更加清晰，还是建议大家自行搭建这个demo网站，并自行尝试编码。实践部分的几个网站，可能不太符合国情，所以大家可以使用一些国内常用于爬取的站点（比如豆瓣、知乎等）来进行实践，这样更能加深自己的理解。本书共分为9章。第1章介绍背景，并编写最简单的爬虫 ...继续阅读 (8)

《用Python写网络爬虫》这本书已经出版差不多两个月了，之前一直较忙，没有顾得上更新博客，今天先补上这本书的勘误，后续再将读书笔记等补齐。想要购买本书的朋友可以通过京东、当当、亚马逊、异步社区等渠道购买，其中部分购买渠道可以购买到本书的电子版。和《Python核心编程（第三版）》不同，这本书是我第一次完整翻译全书（出版书籍）。虽然在翻译后又审阅多次，但是拿到成书后再读，还是会发现很多不妥之处。因此，还望各位读者对不当之处多加批评指正。书中勘误可以通过异步社区来提交，每提交成功一个勘误可以获得100积分（相当于1元RMB），该积分可以用于换取样书。当然，您也可以在本文评论中提交。本书中代码均已经过测试，原著中存在错误或易产生误解的地方都已进行了修改。最初想将搭建本书环境时遇到的各种问题总结一问，不过因为当时未能及时记录，现在也很难再回溯了。如下是本书中文版（1版1印）的勘误：页数章节位置原文勘误备注20第1章最后1行Throttle对爬虫进行限速throttle对爬虫进行限速此处指代下面代码中的throttle对象，而非Throttle类88第5章第2段第4行在网络较慢时会经常会失败在网络较慢时会经常失败91第6章“表单编码”第2段http://www.w3.org/TR/html5/forms.html#selectinga-form-submission-encodinghtt ...继续阅读 (7)

《Python核心编程（第3版）》目前已经出版，大家可以通过京东、当当、亚马逊购买。本人参与翻译的是第4-7章，由于初次涉足，肯定会有不完善的地方，如发现错误敬请指出。书中勘误可以通过异步社区进行提交，每提交成功一个勘误可以获得100积分（相当于1元RMB），该积分可以用于换取样书。当然，也可在本文下评论，我也会转交给编辑。如有Python相关知识的问题，也可以与我讨论。 ...继续阅读 (26)

昨晚，wooyun上有用户报告Tornado框架某缺陷可能造成文件读取漏洞。该用户没有在公开描述中提到更多的信息。1. 影响版本起始版本未知，至少影响3.1及以上版本。2. 漏洞描述可能造成不应被读取的文件被读取。洞主没有明确说明被读取的文件需要满足何种条件。根据我的猜测，应为全平台，但文件名需满足特定条件（见第4节）。3. 网友观点在v2ex的讨论贴（/t/173839）中，用户RIcter认为该漏洞可能是StaticFileHandler造成的，利用条件为：Windows环境，且文件名与指定的静态文件目录名一致，因此利用价值不大。不过，这个说法还没有得到乌云洞主的肯定，不能确定是否是一个问题。4. 我的观点下面我根据自己的理解，给出第3节这个说法的分析，最终结论与该网友有所区别：设静态目录为tstatic（绝对路径C:\tornado\project\tstaic）。设要打开的URL为：http://localhost:8000/static/lvl1\\..\\..\\tstatic.jpg。a) StaticFileHandler -> get -> self.path = self.parse_url_path(path)本方法的目的是将”/”变更为服务器所在操作系统的目录分隔符。此步过后，得到的self.path = ‘lvl1\\. ...继续阅读 (42)

最近实现了一个使用Python自带的poplib和imaplib库下载邮件的程序，本文将对这个程序进行介绍。详细的模块介绍参见Python的官方文档（poplib，imaplib）。1. 程序源码本程序的实现流程：1. 设置邮箱地址、密码、邮件服务器、传输协议（pop/imap）、是否使用SSL及输出目录，并对其进行解析。（为方便起见，上述设置本文使用了硬编码的方式，请根据自己的需求修改输入来源）2. 根据邮箱地址创建输出目录。3. 根据传输协议选择pop/imap对应的执行函数，读取邮件信息，解码并保存。4. 如果目录为空或异常退出，删除输出目录。#! /usr/bin/env python # -*- coding: utf-8 -*- import os import re import time import email import poplib import imaplib import cStringIO from hashlib import md5 # Configuration # ------------- # Email address MAILADDR = "username@163.com" # Email password PASSWORD = "password" # Mail Server (pop/imap) SERVER = "po ...继续阅读 (20)

0.前言一晃5个多月没有写过东西了，时间过得很快，到了2014年的年底，趁着还没变成2015把最近看完的这本书的笔记发出来。自从工作后留给自己的空闲时间不那么多了，看的书也变少了，这本本来预计10月份看完的书一直拖到上周日才看完。近期如果有时间的话，可能会把最近遇到的一些坑或者写过的一些东西整理整理发出来。1.书籍信息书名：The Tangled Web – A Guide to Securing Modern Web Applications译名：Web之困：现代Web应用安全指南作者：Michal Zalewski译者：朱筱丹出版社：机械工业出版社ISBN：978-7-111-43946-2页数：2802.纸张、印刷与排版16开本，纸张较厚，行、段间距合适，字体偏小。3.勘误本书译者勘误页：http://book.douban.com/review/6349857/个人总结勘误：Web之困_机械工业_1版1印_勘误（或在这里下载）4.笔记与评价阅读级别：细读。推荐级别：细读，重复阅读。《Web之困》这本书与常见的安全类书籍不同，并不是按照漏洞分类（如SQL注入、XSS、CSRF）安排章节，也不会告诉你Metasploit、nmap之类的安全软件或系统如何使用，而是从更加有深度的底层切入，向读者展现一幅以往极少会去了解但又十分重要的细节，并构建了一套非常完整的Web安 ...继续阅读 (21)

当地时间2014年7月15日，Tornado发布了其4.0版本。下载链接：https://pypi.python.org/packages/source/t/tornado/tornado-4.0.tar.gz源码：https://github.com/tornadoweb/tornado该版本的更新内容如下：tornado.web.stream_request_body装饰器允许在限定的内存使用情况下上传大文件。协程变得更快，并且通过Tornado自身的使用更加广泛。更多的方法将返回Futures，包括IOStream中的多数方法以及RequestHandler.flush。许多user-overridden方法现在允许返回Future来进行流量控制。HTTP相关的代码现在被tornado.httpserver，tornado.simple_httpclient和tornado.wsgi模块所共享，以更加一致地支持诸如chunked、gzip编码的功能。除了过去的single-callback接口以外，HTTPServer现在使用了定义在tornado.httputil中的新的委托接口。新的模块tornado.tcpclient使用非阻塞的DNS、SSL握手创建TCP连接，并且支持了IPV6。向后兼容及其他更新记录参见官方文档。 ...继续阅读 (25)

也许你希望在终端上输出一些带有颜色或者粗体、下划线等样式的信息，就像man中的那样，那么这篇文章将会起到些许作用。在Linux终端中，使用转义序列来进行如上所述的显示，转义序列以ESC开头，即ASCII码下的\033，其格式为：\033[显示方式;前景色;背景色m显示方式、前景色、背景色至少一个存在即可。其中：显示方式：0（关闭所有效果），1（高亮），4（下划线），5（闪烁），7（反色），8（不可见）。前景色以3开头，背景色以4开头，具体颜色值有：0（黑色），1（红色），2（绿色），3（黄色），4（蓝色），5（紫色），6（青色），7（白色）。即前景绿色为32，背景蓝色为44。下面是Python程序编写的输出样式脚本：#! /usr/bin/python # -*- coding: utf-8 STYLE = { 'fore': { 'black': 30, 'red': 31, 'green': 32, 'yellow': 33, 'blue': 34, 'purple': 35, 'cyan': 36, 'white': 37, }, 'back': { ...继续阅读 (25)

0. 前言前些天被Python的多线程坑了一把，因此产生了写一个《Python天坑系列》博客的想法，说说我碰到的那些Python的坑。而天坑这个词呢，一方面指Python的坑，另一方面也说明本系列文章也是个坑，对于会写什么内容、有多少篇、多久更新一次、什么时间更新我都无法确定，哈哈（看，之前已经3个月没有更新过了！）。本篇是系列的第一篇，讲的内容是Python的bool类型。1. 前提1.1 bool是int的子类根据PEP285中Review部分第6条所述，bool类是从int类继承而来的，这样可以极大的简化实现（C代码中调用PyInt_Check()的地方仍将继续工作）。1.2 Python2中True/False不是关键字，但Python3中是我们可以导入keyword模块，来查看关键字：# Python2 关键字 >>> import keyword >>> keyword.kwlist >>> ['and', 'as', 'assert', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'exec', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'not', 'or', 'p ...继续阅读 (21)

本文将介绍使用Python的socket模块创建TCP客户端和服务端的方法。详细的模块介绍参见Python官方文档。对于TCP server端的创建而言，分为如下几个步骤：创建socket对象（socket）：其中两个参数分别为Address Family（如AF_INET为IPV4，AF_INET6为IPV6，AF_UNIX为UNIX域协议族）、socket类型（如SOCK_STREAM为TCP，SOCK_DGRAM为UDP）。绑定服务器地址（bind）：参数为服务器地址二元组。监听（listen）：参数为允许的连接数。等待请求（accept）。接收数据（recv、recvfrom、recvfrom_into、recv_into）、发送数据（send、sendall、sendto）。关闭连接（close）。示例代码如下：#! /usr/bin/python # -*- coding: utf-8 -*- import socket sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server_address = ('127.0.0.1', 12345) print "Starting up on %s:%s" % server_address sock.bind(server_address) sock.l ...继续阅读 (20)

1.书籍信息书名：思考的乐趣：Matrix67数学笔记作者：顾森出版社：人民邮电出版社ISBN：978-7-115-27586-8页数：2602.纸张、印刷与排版16开本，纸张正常，行、段间距合适。倒数第二节的公式大小不合适。3.勘误本书勘误页（图灵社区）：http://www.ituring.com.cn/book/8904.笔记与评价阅读级别：略读。推荐级别：感兴趣部分细读。这本书是M牛（顾森）的作品，基本是其博客的文章精选合集。第一次知道M牛大概是在大二的时候，宿舍同学向我推荐了他的博客，尤其是知道他是保送北大中文系的之后，很震惊。然后也会经常去看他的博客，尽管我没啥数学造诣，很多时候都看不太懂吧。这本书一共分为五个部分，分别是“生活中的数学”、“数学之美”、“几何的大厦”、“精妙的证明”和“思维的尺度”。“生活中的数学”一部分中，将生活中的一些事情与概率论、统计学、经济学、密码学、中文分词等诸多和数学相关的领域结合起来，生动地讲解了这些故事背后的数学道理，使得这一部分非常容易理解。“数学之美”一部分中，讲述了一些数学中的“美”的方面。例如：数学游戏、未解之谜、特殊常数、函数、几何图形等。这些数字、函数等中有着很多令人惊讶的性质，让人瞠目结舌，感叹大自然的神奇。“几何的大厦”一部分中，主要讲解各种和几何作图有关的内容，包括尺规、单轨、锈规、火柴棒、折纸等，证明了这些作图方式的 ...继续阅读 (18)

1.书籍信息书名：まつもとゆきひろ コードの未来译名：代码的未来作者：松本行弘译者：周自恒出版社：人民邮电出版社ISBN：978-7-115-31751-3页数：3682.纸张、印刷与排版16开本，纸张较厚，行、段间距合适。代码部分底色偏浅。3.勘误本书勘误页（图灵社区）：http://www.ituring.com.cn/book/1073本人总结勘误：代码的未来_人民邮电_1版2印_勘误4.笔记与评价阅读级别：代码外部分细读。推荐级别：细读。今天是2013年的最后一天，让我们来谈谈代码的未来吧，唔～《代码的未来》是松本行弘2009.6-2012.6在《日经Linux》上的一个专栏中文章的集合。从编程的本质出发，讲述了编程的过去、现在和将来，尤其对未来的云、大数据和多核环境下的编程进行了阐述和展望。本书由于是专栏文章的缘故，语言通俗易懂，并且讲解会很全面但不会特别深入，每一节字数较为恒定。有价值的内容并不少，对于大家来说也是个可以扩展眼界的书籍，至于大家对什么感兴趣可以再去深入了解。本书总共分为六章。第一章为《编程的时间和空间》，主要有《编程的本质》和《未来预测》两小节组成，这一章主要是引言的作用，并没有太多有用的知识点。第二章为《编程语言的过去、现在和未来》。《编程语言的世界》一节中讲述了一些被埋没于历史当中的编程语言和计算机，以及其特点。《DSL》一节讲述了外部和内部DSL的 ...继续阅读 (15)

之前在安装lnmp时，进行到MySQL输入密码这一步的时候，不小心输入的退格键，导致不知道最终输入进去的密码是什么，因此从网上找到了MySQL修改root密码的解决方案，现整理分享如下。本文所属环境为CentOS6.4（32位）。首先，在/etc/my.cnf中，找到[mysqld]，添加一行：skip-grant-tables重启MySQL：/etc/init.d/mysql restart进入MySQL的命令行，并依次执行如下命令：mysql> use mysql; mysql> update user set password=password('newpwd') where user='root'; mysql> flush privileges; mysql> exit其中的’newpwd’是更改后的新密码，需要用户重新指定。重新打开/etc/my.cnf，将刚才修改的地方改回初始状态。再次重启MySQL：/etc/init.d/mysql restart ...继续阅读 (19)