大家好，我是四毛。写在前面的话在开始前，给大家分享一个前段时间逛Github时看到的某个爬虫脚本中的内容：所以，大家爬网站的时候，还是友善一点为好，且爬且珍惜啊。好了，言归正传。今天主要讲一下如何将某一个知乎问题的所有答案转换为本地MarkDown文件。前期准备python2.7html2textmarkdownpad(这里随意，只要可以支持md就行)会抓包。。。。。最重要的是你要有代理，因为知乎开始封IP了1.什么是MarkDown文件Markdown 是一种用来写作的轻量级「标记语言」，它用简洁的语法代替排版，而不像一般我们用的字处理软件Word或Pages有大量的排版、字体设置。它使我们专心于码字，用「标记」语法，来代替常见的排版格式。例如此文从内容到格式，甚至插图，键盘就可以通通搞定了。恩，上面是我抄的，哈哈。想多了解的可以看看这里。2.为什么要将答案转为MarkDwon因为。。。。。。懒，哈哈，开个玩笑。最重要的原因还是markdown看着比较舒服。平时写脚本的时候，也一直在思考一个问题，如何将一个文字与图片穿插的网页原始的保存下来呢。如果借助工具的话，那就很多了，CTRL+P  打印的时候，选择另存为PDF，或者搞个印象笔记，直接保存整个网页。那么，我们如何用爬虫实现呢？正好前几天看到了这个项目，仔细研究了一下，大受启发。3.原理原理说起来很简单：获取请求到的内容的BO ...继续阅读 (14)

大家好，我是四毛。在系列1中，主要分析了微博信息与评论信息的抓取，今天主要讲一下如何获取关注用户的数据信息，以使得爬虫可以增量爬取。OK，开始学（zhuang）习（bi）。说明：本文针对的是有一些爬虫基础的同学，所以看不太懂的同学先补一下基础。大家如果有问题交流的话，欢迎在下面进行评论，或者可以加我QQ:549411552(加的话麻烦注明来自静觅)，欢迎大佬拍砖指错，大家共同进步。 抓包在系列一中的网址1的请求返回的内容主要是关于博主信息的，在其中可以发现fans_scheme、follow_scheme这两个字段，从字面上就可以知道这是关注博主的人以及博主关注的人的url，对其进行抓包，截图如下：前方高能:但是这里只返回了200个博主关注的人的信息，原以为是没有登录导致的，后来试着登录了一下，发现依然还是200，所以对于数据完整性要求比较高的就不要用这个接口了。在上图的返回值中，包含了当前请求网址的页码数，关注列表中用户的信息。通过这些信息，我们就可以实现爬虫的递增爬取了。还有一个注意的地方就是需要将follow_url 中的recomm替换掉才是真正我们需要的关注页的网址。好了，今天写的很少，在写的过程中也觉得没什么好写的了，很尴尬。代码地址:WEIBO 转载请注明：静觅»免登录新浪微博爬虫系列之第二篇 获取关注用户数据，实现递增爬取 ...继续阅读 (15)

我们尝试维护过一个免费的代理池，但是代理池效果用过就知道了，毕竟里面有大量免费代理，虽然这些代理是可用的，但是既然我们能刷到这个免费代理，别人也能呀，所以就导致这个代理同时被很多人使用来抓取网站，所以当我们兴致勃勃地拿他来抓取某个网站的时候，会发现它还是被网站封禁的状态，所以在某些情况下免费代理池的成功率还是比较低的。当然我们也可以去购买一些代理，比如几块钱提取几百几千个的代理，然而经过测试后质量也是很一般，也可以去购买专线代理，不过价格也是不菲的。那么目前最稳定而且又保证可用的代理方法就是设置ADSL拨号代理了。本篇来讲解一下ADSL拨号代理服务器的相关设置。什么是ADSL大家可能对ADSL比较陌生，ADSL全称叫做Asymmetric Digital Subscriber Line，非对称数字用户环路，因为它的上行和下行带宽不对称。它采用频分复用技术把普通的电话线分成了电话、上行和下行三个相对独立的信道，从而避免了相互之间的干扰。有种主机叫做动态拨号VPS主机，这种主机在连接上网的时候是需要拨号的，只有拨号成功后才可以上网，每拨一次号，主机就会获取一个新的IP，也就是它的IP并不是固定的，而且IP量特别大，几乎不会拨到相同的IP，如果我们用它来搭建代理，既能保证高度可用，又可以自由控制拨号切换。经测试发现这也是最稳定最有效的代理方式，本节详细介绍一下ADSL拨号代理服务器的搭建 ...继续阅读 (18)

现在维护着一个新浪微博爬虫，爬取量已经5亿+，使用了Scrapyd部署分布式。Scrapyd运行时会输出日志到本地，导致日志文件会越来越大，这个其实就是Scrapy控制台的输出。但是这个日志其实有用的部分也就是最后那几百行而已，如果出错，去日志查看下出错信息就好了。所以现在可以写一个脚本，来定时更新日志文件，将最后的100行保存下来就好了。Scrapyd默认的日志目录是在用户文件夹下的logs目录。所以在这里我们指定dir=~/logs新建bash脚本，内容如下：#!/bin/sh clean() { for file in $1/* do if [ -d $file ] then clean $file else echo $file temp=$(tail -100 $file) echo "$temp" > $file fi done } dir=~/logs clean $dir新建这样的一个脚本，然后命名为 clean.sh，我的直接放在了用户文件夹下。然后crontab创建定时任务。执行crontab -e我们想要一分钟清理一次日志文件。输入*/1 * * * * /bin/sh ~/clean.sh然后退出之后，crontab就可以每隔一分钟执行一次clean.sh，清理日 ...继续阅读 (19)

大家好，我是新人四毛，大家可以叫我小四毛，至于为什么，在家排行老四，农村人，就是那么任性。好，自我介绍完毕，开始今天的学（zhuang）习（bi）之路。说明：本文针对的是有一些爬虫基础的同学，所以看不太懂的同学先补一下基础。本文的全部代码并没有上传到GITHUB中，而且本文的code部分给出的代码也是指导性的，大部分还是要靠大家自己动手完成。待后几篇博客出来以后，代码会放到上面。大家如果有问题交流的话，欢迎在下面进行评论，或者可以加我QQ:549411552(加的话麻烦注明来自静觅)，欢迎大佬拍砖指错，大家共同进步。前几天，大才发布了一个视频，主要讲的是通过维护一个新浪微博 Cookies池，抓取新浪微博的相关数据，爬取的站点是weibo.cn。相关的代码在大才的Github里【大才的视频教程真的很用心，视频高清无码，希望大家可以支持大才，毕竟写了那么多精彩的教程真心不易】。然而，如果你只是想简单的搞点数据，对技术一点兴趣都没有，又或者某宝搜来搜去都没有买到账号，又或者装个模拟登陆需要的模块都想跳楼，有没有除此之外其他的办法呢？你有没有想过在免登陆的情况下就可以获得你想要的数据呢？如果你这么想过而又没有做出来，那么接下来，让我们一起搞（qi）事（fei）吧。本文重点提供解决问题的思路，会把最关键的点标示出来，代码基本没有。有什么不对或不足之处，还望大家指出，共同进步。1.前期准备代 ...继续阅读 (11)

这几天一直有小伙伴而给我吐槽说，由于妹子图站长把www.mzitu.com/all这个地址取消了。导致原来的那个采集爬虫不能用啦。正好也有小伙伴儿问Scrapy中的图片下载管道是怎么用的。就凑合在一起把mzitu.com给重新写了一下。首先确保你的Python环境已安装 Scrapy!!!!!!!!命令行下进入你需要存放项目的目录并创建项目：比如我放在了D:\PycharmProjectsD: cd PycharmProjects scrapy startproject mzitu_scrapy我是Windows！其余系统的伙伴儿自己看着办哈。这都不会的小伙伴儿，快去洗洗睡吧。养足了精神从头看一遍教程哈！在PyCharm中打开我们的项目目录。在mzitu_scrapy目录创建run.py。写入以下内容：from scrapy.cmdline import execute execute(['scrapy', 'crawl', 'mzitu'])其中的 mzitu 就为待会儿spider.py文件中的name属性。这点请务必记住哦！不然是跑不起来的。在mzitu_scrapy\spider目录中创建spider.py。文件作为爬虫文件。好了！现在我们来想想，怎么来抓mzitu.com了。more首先我们的目标是当然是全站的妹子图片！！！但是问题来了，站长把之前那个mzitu.com\ ...继续阅读 (13)

本节分享一下爬取知乎用户所有用户信息的Scrapy爬虫实战。本节目标本节要实现的内容有：从一个大V用户开始，通过递归抓取粉丝列表和关注列表，实现知乎所有用户的详细信息的抓取。将抓取到的结果存储到MongoDB，并进行去重操作。思路分析我们都知道每个人都有关注列表和粉丝列表，尤其对于大V来说，粉丝和关注尤其更多。如果我们从一个大V开始，首先可以获取他的个人信息，然后我们获取他的粉丝列表和关注列表，然后遍历列表中的每一个用户，进一步抓取每一个用户的信息还有他们各自的粉丝列表和关注列表，然后再进一步遍历获取到的列表中的每一个用户，进一步抓取他们的信息和关注粉丝列表，循环往复，不断递归，这样就可以做到一爬百，百爬万，万爬百万，通过社交关系自然形成了一个爬取网，这样就可以爬到所有的用户信息了。当然零粉丝零关注的用户就忽略他们吧～爬取的信息怎样来获得呢？不用担心，通过分析知乎的请求就可以得到相关接口，通过请求接口就可以拿到用户详细信息和粉丝、关注列表了。接下来我们开始实战爬取。环境需求Python3本项目使用的Python版本是Python3，项目开始之前请确保你已经安装了Python3。ScrapyScrapy是一个强大的爬虫框架，安装方式如下：pip3 install scrapyMongoDB非关系型数据库，项目开始之前请先安装好MongoDB并启动服务。PyMongoPython的Mo ...继续阅读 (21)

听大财哥说好像我的文章挺难找的，这整理一下。基础知识篇（这玩意儿我没写，各位参考大才哥的）：Python爬虫学习系列教程小白系列教程：小白爬虫第一弹之抓取妹子图小白爬虫第二弹之健壮的小爬虫小白爬虫第三弹之去重去重小白爬虫第四弹之爬虫快跑（多进程+多线程）小白进阶之Scrapy第一篇小白进阶之Scrapy第二篇（登录篇）Scrapy分布式的前篇–让redis和MongoDB安全点小白进阶之Scrapy第三篇（基于Scrapy-Redis的分布式以及cookies池） 暂时就这些了、最近工作刚入职。上了个新项目，没时间更新文章了（主要是我懒、挤点时间都用来打LOL了···············尴尬脸）等项目第一期结束了，我会把以前许诺的 ：JS异步加载 | 动态爬虫 更新出来。 感谢大才哥的平台（有兴趣的小伙伴一起来更新文章啊！ 才不会告诉你们：我扯着大才哥的大旗找了个不错的工作。手动笑哭······）转载请注明：静觅»小白学爬虫系列教程 ...继续阅读 (20)

公告大家好，本站于今日（2017.4.11）关闭投稿功能。原因由于之前本站开放了投稿注册接口，该接口现在被人利用，每天都会发送垃圾邮件，经常导致邮箱发信过多而被冻结，而WordPress本身没有提供验证码验证，所以自己也不想再去修改，当然最主要的是能发优质文章的又是少之又少，经常会出现一些垃圾草稿，所以博主决定直接将投稿功能关闭，希望大家可以理解。投稿如果您有在本站投稿意向，请直接联系我邮件cqc@cuiqingcai.com，我为您注册账号并开通写作权限。鸣谢非常感谢在本站投稿的童鞋，尤其是卧槽哥，发表了很多篇高质量爬虫文章。另外还有戴笠兄也是，不过后来戴笠兄的文章因为开车过猛而下架了哈哈，不过还是非常感谢。另外也非常感谢其他在本站投稿的小伙伴，在这不一一点名啦！结语最后希望大家可以理解，也非常感谢大家的支持！前一段时间忙着在录制爬虫视频，今天刚刚收尾，现在已经更新完毕，后面我将学习一些数据分析、自然语言处理、Web安全方面的知识分享给大家，希望大家多多支持！感谢！转载请注明：静觅»本站投稿功能已关闭 ...继续阅读 (33)

大家好哈，现在呢静觅博客已经两年多啦，可能大家过来更多看到的是爬虫方面的博文，首先非常感谢大家的支持，希望我的博文对大家有帮助！之前我写了一些Python爬虫方面的文章，Python爬虫学习系列教程，涉及到了基础和进阶的一些内容，当时更多用到的是Urllib还有正则，后来又陆续增加了一些文章，在学习过程中慢慢积累慢慢成型了一套算不上教程的教程，后来有越来越多的小伙伴学习和支持我感到非常开心，再次感谢大家！不过其实这些教程总的来说有一些问题：当时用的Python2写的，刚写的时候Scrapy这个框架也没有支持Python3，一些Python3爬虫库也不怎么成熟，所以当时选择了Python2。但到现在，Python3发展迅速，爬虫库也越来越成熟，而且Python2在不久的将来就会停止维护了，所以慢慢地，我的语言种心也慢慢转向了Python3，我也相信Python3会成为主流。所以说之前的一套课程算是有点过时了，相信大家肯定还在寻找Python3的一些教程。当时学习的时候主要用的urllib，正则，所以这些文章的较大篇幅也都是urllib和正则的一些东西，后来的一些高级库都是在后面慢慢加的，而且一些高级的框架用法也没有做深入讲解，所以感觉整个内容有点头重脚轻，安排不合理。而且现在分布式越来越火，那么分布式爬虫的应用相必也是越来越广泛，之前的课程也没有做系统讲解。在介绍一些操作的时候可能介 ...继续阅读 (17)

这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。只要你的Scrapy Field字段名字和 数据库字段的名字 一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。具体拼接代码如下：def process_item(self, item, spider): if isinstance(item, WhoscoredNewItem): table_name = item.pop('table_name') col_str = '' row_str = '' for key in item.keys(): col_str = col_str + " " + key + "," row_str = "{}'{}',".format(row_str, item[key] if "'" not in item[key] else item[key].replace("'", "\\'")) sql = "insert INTO {} ({}) VALUES ({}) ON DUPLICATE KEY UPDATE ".format(table_name ...继续阅读 (20)

今天给大家介绍 WordPress Plugin for UPYUN 插件，专为又拍云和 WordPress 用户准备，主要功能如下：可以与 WordPress 无缝结合，通过 WordPress 上传图片和文件到又拍云, 支持大文件上传（需要开启表单 API) 和防盗链功能支持同步删除（在 WordPress 后台媒体管理 “删除” 附件后，又拍云服务器中的文件也随之删除)增加图片编辑功能优化防盗链功能增加与水印插件的兼容性，使上传到远程服务器的图片同样可以加上水印等PS：修复了很多之前版本存在的 bug，具体可访问：github又拍云是以 CDN 为核心业务，另外提供云存储、云处理、云安全、流量营销等的云服务商，有开放且可扩展的API，以及开放的SDK和第三方插件，还针对开发者启动了又拍云联盟活动，可以每月获取免费空间和流量。更多介绍，请访问又拍云。安装插件：进入到你的 WordPress 的 wp-content/plugins 目录下` # pwd/home/wwwroot/blog.v5linux.com/wp-content/plugins`克隆插件` # git clone https://github.com/ihacklog/hacklog-remote-attachment-upyun. gitInitialized empty Git repository i ...继续阅读 (14)

啥话都不说了、进入正题。首先我们更新一下scrapy版本。最新版为1.3再说一遍Windows的小伙伴儿 pip是装不上Scrapy的。推荐使用anaconda 、不然还是老老实实用Linux吧conda install scrapy==1.3 或者 pip install scrapy==1.3安装Scrapy-Redisconda install scrapy-redis 或者 pip install scrapy-redis需要注意：Python 版本为 2.7，3.4 或者3.5 。个人使用3.6版本也没有问题Redis>=2.8Scrapy>=1.0Redis-py>=2.1 。3.X版本的Python 都是自带Redis-py 其余小伙伴如果没有的话、自己 pip 安装一下。开始搞事！开始之前我们得知道scrapy-redis的一些配置：PS 这些配置是写在Scrapy项目的settings.py中的！#启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。P ...继续阅读 (25)

各位小伙伴 大家好啊！年假结束了··· 也该开始继续我的装逼之旅了。年前博文的结尾说了 还有一个基于Scrapy的分布式版本、今天这博文就先给大家做些前期工作，其实吧、最主要的是防止你的服务器因为这篇博文被轮·········博文开始之前 我们先来看篇文章：http://www.youxia.org/daily-news-attack-extortion-does-not-delay-a-week-had-27000-mongodb-database.html关于年前MongoDB由于默认可匿名访问而导致了一大堆的管理员掉坑里 预估中国有十万数据库被坑。这是继Redis之后又一个小白式的错误······（Redis也是默认匿名访问）所以在下一篇博文开始之前，先给一些新手小伙伴做一些准备工作。因为篇幅较少 先写写Redis的一些安全设置：安装Redis: 请参考这儿;https://redis.io/download$ wget http://download.redis.io/releases/redis-3.2.7.tar.gz $ tar xzf redis-3.2.7.tar.gz $ cd redis-3.2.7 $ make $ src/redis-serverps :如果以上有报错，可能是你的服务器没有安装依赖：CentOS7：yum install -y gcc-c ...继续阅读 (10)

没有选择那个二零一六年尾，而是选择了这个二零一六年尾来总结。毕竟元旦那时候真的被一堆考试烦透，说到考试，可以说我是极其反对这种形式，在我看来，因为有了考试，学一门课反倒成了任务，而不是真正踏实地去学，有了考试，学习的目的不再是单纯学习，而是为了最后的应考。所以很多科目，经验之谈，一旦它成了我的课程，我反倒没有那么多耐心去学它。而又有很多考试，理解性的东西真的不考察理解，你背过，就高分了，背不过，那就没分。做到原题了，就有分了，做不到原题，那就不一定有分。到头来，一门课程的结束伴随着你仅仅在短时间内记忆了一些概念和题目去应考。考试结束，抛掉了，你还记得什么？何况，某些课，你可能这辈子都用不到了。然而就是这样，或许真的没有比这更合适的考察方式了吧。果然一扯就停不下来，后面简单点扯。嗯，就是这样，我来北航读研了，2016级的新生，刚刚渡过了研究生第一个学期。这个学期，基本上把研究生所有的课都上完。我能体会到自己还是偏重于实践性的东西而非理论，一个想法，纯理论都是空谈，实现出来才是最终目标。作为一名程序猿，平时我喜欢瞎捣腾些东西，逛GitHub，搜开源项目，找到有趣的组件来实现自己想要的功能。二零一六年上半年，毕设的一段时间吧，由于自己对爬虫比较感兴趣，正好毕设也有个选题是关于爬虫的，所以干脆毕设就实现了一个分布式爬虫框架，虽然也是开源项目组合起来的，Scrapy，Redis，Mongo， ...继续阅读 (21)

博主在搞Web开发主要采用的是Laravel，然而发现其对PHP版本的要求是越来越高，PHP5.6已经越来受到限制，Laravel 5.5将正式弃用PHP5.6，所以博主决定直接升级到7.1版本。移除旧版本由于系统本身已经装了PHP5.6，所以需要先将其移除。在这里列出目录以及移除需要的命令。/private/etc/ sudo rm -rf php-fpm.conf.default php.ini php.ini.default /usr/bin/ sudo rm -rf php php-config phpdoc phpize /usr/include sudo rm -rf php /usr/lib sudo rm -rf php /usr/sbin sudo rm -rf php-fpm /usr/share sudo rm -rf php /usr/share/man/man1 sudo rm -rf php-config.1 php.1 phpize.1 /usr/share/man/man8 sudo rm -rf php-fpm.8顺次手动删除它们即可。搞清关系在卸载 ...继续阅读 (19)

 其实拿这个网站当教程刚开始我是拒绝、换其他网站吧，又没什么动力···· 然后就···········上一篇Scrapy带大家玩了 Spider今天带带大家玩的东西有两点、第一CrawlSpider、第二Scrapy登录。目标站点：www.haoduofuli.wangGo Go Go！开整！还记得第一步要干啥？创建项目文件啊！没有Scrapy环境的小伙伴们请参考第一篇安装一下环境哦！打开你的命令行界面（Windows是CMD）使用切换目录的命令到你需要的存放项目文件的磁盘目录D: scrapy startproject haoduofuli好了 我在D盘创建了一个叫做haoduofuli的项目。用Pycharm打开这个目录开始我们的爬取之路 Come on！下一步我们该做什么记得吧？当然是在items.py中声明字段了！方便我们在Spider中保存获取的内容并通过Pipline进行保存（items.py本质上是一个dict字典）我在items.py中声明了以下类容：# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html imp ...继续阅读 (28)

置顶博主实习过的一家公司，工作环境非常好，薪资丰厚，各种福利请往下看！和一群可爱的人一起工作，生活真的很充实，我不止在一篇博客里安利过了，现在团队又需要新能量啦，大家快看过来~灵析团队在做什么?灵析致力于让人人皆可参与公益，且受益。目前核心产品为：灵析基于非营利组织的筹款传播、与数据管理。从国际知名的“TNC”、到国内知名的“希望工程”到“清华大学教育基金会”到“瓷娃娃罕见病关爱中心”……基本上你所了解的知名非营利组织都在用我们的产品和服务。 创立4年，稳健前行，靠谱，不浮躁。去年融资，能挣钱，不差钱。唯缺更多认同我们理念和业务的工程师和我们一起更快满足社会需求，高速健康发展。为什么灵析研发团队值得你考虑?研发我们使用 Laravel/Vue 作为主力框架，使用 Slack/Gitlab/Worktile 进行团队协作我们实行新人导师制，定期外部/内部培训、辅导、分享，供应各类技术峰会门票我们的技术架构和团队架构都在高速扩展期，有大量技术、架构、成长实践机会基础：六险一金、弹性工作、年终奖、内推奖福利：旅游、硬件补贴、节假日福利（现金、京东卡…）、完善的加班调休制度（我们不鼓励加班！）、各种团建（以吃为主，以玩为辅）、零食健康：补充医保，体检，健身卡，每周体育活动（羽毛球），每日体育活动（乒乓球、桌上足球、拳击、XBOX 360…）成长：阅读基金 ...继续阅读 (19)

使用 python 代码收集主机的系统信息，主要：主机名称、IP、系统版本、服务器厂商、型号、序列号、CPU信息、内存等系统信息。#!/usr/bin/env python#encoding: utf-8'''收集主机的信息： 主机名称、IP、系统版本、服务器厂商、型号、序列号、CPU信息、内存信息'''fromsubprocessimportPopen, PIPEimportos,sys'''获取 ifconfig 命令的输出'''defgetIfconfig(): p= Popen(['ifconfig'], stdout =PIPE) data=p.stdout.read()returndata'''获取 dmidecode 命令的输出'''defgetDmi(): p= Popen(['dmidecode'], stdout =PIPE) data=p.stdout.read()returndata'''根据空行分段落 返回段落列表'''defparseData(data): parsed_data=[] new_line=''data= [iforiindata.split('\n')ifi]forlineindata:ifline[0].strip(): parsed_data.append(new ...继续阅读 (14)

前言由于在平时的工作和生活中需要大量的需求来上谷歌，所以博主和同学购置了几台VPS主机供大家用。配了个SS账号，你借我借大家借，那干脆我在实验室路由器配置一下不就好了。另外上一篇讲了免流量上网，开启全局模式使用实验室的流量上网，如果遇到翻墙的问题，那就不好解决了，我还得重新登录认证，然后切换另一个代理来翻，那就蛋疼了。干脆配个翻墙路由器。嗯，有需求才有动力！干！在这里我选购了一款小米路由器MINI，是基于OpenWrt深度定制的，所以完全可以满足需要。在这里折腾略微麻烦，博主走了很多弯路，昨天晚上在实验室搞到凌晨两点半，由于一些软件版本冲突问题死活装不上，遂今天换了种解决思路实现了。在这里写出来希望大家可以少踩坑。要完成配置，需要做的有：刷入开发版系统刷入SSH固件刷入潘多拉固件设置代理设置PAC模式设置自动更新PAC那么接下来一步步介绍。刷入开发版系统路由器买来默认是稳定版的系统，如果想进行接下来的操作，需要刷入开发版系统。ROM下载在这里找到对应的ROM开发版下载下来，然后刷入开发版系统。刷机教程如下：首先，请先准备一个U盘，并确保这个U盘的格式为FAT或FAT32.接下来，就是具体的操作流程了。1、在miwifi.com官网下载路由器对应的ROM包，并将其放在U盘的根目录下，命名为miwifi.bin2、断开小米路由器mini的电源，将U盘插入路由器的USB接口3、按下res ...继续阅读 (29)

前言博主研究生在北京航空航天大学，简称BUAA，在这边上网情况是这样的：全校园覆盖了BUAA-WIFI，然而上网是需要花钱的，需要使用学号登录认证，套餐是50块钱100G，然而对于我这种流量重度依赖者远远不够用啊，100个G不到一个月就用完了。在实验室上网的时候，也是需要使用账号登录认证，不过有一个好地方是，如果在实验室登录认证，是不耗费流量的。咦我似乎发现了什么？没错，这样在实验室搭个服务器流量都从这儿走岂不是就可以免流量了！嗯，说干就干。探索首先我观察了一下实验室它是怎样上网的，然后发现实验室里一个房间共享一个上网IP，上网的时候用账号登录一下，学校那边的认证系统检测到是实验室的IP，就不计费，可以上网。拓扑结构如下：就是最普通的拓扑结构，其中代理A就是接下来我要用到的代理主机，各个电脑通过路由器来上网。要实现免流量上网的话，首先要有一台主机，正好在实验室发现了一天旧的主机没用，于是乎我给他刷了一个Linux，刷机的过程我就不说了，比较简单，刷的是Ubuntu Linux 14.04，它就是图中的代理A，用来做免流服务器用的。免流在这里我们用的是Shadowsocks，在代理主机上搭建Shadowsocks Server，然后我们的笔记本开全局代理连接上去就好了。Server搭建为了防止被查水表，我这边不过多做解释，自行GibHub搜索并配置。在这里由于是内网主机，所以在路由器 ...继续阅读 (18)

警告：阅读本教程需要年满18周岁，未满18周岁者需要在父母陪同下阅读！那么，OK，我们开始。首先打开要爬的网站网址，为了保险起见，在本教程从头到尾的过程中，不会出现任何不良网站的网址，露点的图片，种子的URL，磁力链等。但是我会告诉你找到网页的方法：百度关键词“1024”，就在第一页，找到这个点进去——不知道大家一般喜欢看什么类型的影视作品呢？我们以“日本骑兵”为例。骑兵哎，马上就要成为一名英勇的骑士了，有点小激动，我已经想象到自己骑着战马在日本的国土之上浴血拼杀的情景了。点进去之前，等等，我们需要先学习一些重要的基础姿势。一、基础知识恩，不知道大家一般喜欢什么系列的呢？我先说，我最讨厌的就是那种专门为啪啪啪而拍摄的作品；没错，爱情动作片的中心就是啪啪啪，但是如果一上来就干的话，我会感觉很没有意思。如果能在作品中加入大量的剧情，用合理的剧情把不同的场景串接起来，那么是最有代入感的。在剧情片中，最好还是女主角不愿意进行X，但是迫于各方面的压力又不得不进行；在经过了激烈的心理斗争之后，女主角最终做出选择，而且在X过程中，女主心里面是非常抗拒这个东西的，可是她身体里却又做不了主，开始有了反应。在不断地这种痛苦的心理挣扎中，作品迸发出的美感是完全无法用语言表达的。当看这样的一部作品时，你不会觉得自己是在看片，你不会只想去肉体的快感，而是沉浸在故事中人物的悲欢离合中无法自拔，体会到其中每个角 ...继续阅读 (50)

警告：阅读本教程需要年满18周岁，未满18周岁者需要在父母陪同下阅读！虽然这个系列叫做老司机爬虫系列，但是作为作者的我接触爬虫的时间并不长，那么为什么叫老司机呢？爬虫入门的教程不少，其中很多都是爬取妹子图片的——比如从淘宝模特啊，妹子图啊，淘女郎啊，我也是从这些地方开始的。但是作为一个业余鉴黄师，爱情动作影片爱好者，1024、草榴社区资深会员，当我爬取这些把自己裹得严严实实的妹子图片时，我感觉自己的荣耀被践踏，我感觉到了python技术圈对司机这一光荣职业的不尊重。我不能明白，为什么付出努力学习爬虫，却只去爬几张一动不动的图片。我不能接受，这些衣着滴水不漏的PNG,JPG文件，跟那些有声有色，笑靥如花的女神们同处一室，额，不对，是同处一块磁盘分区里。你能理解一个常年开越野在大草原上游荡的老司机，被迫驾驶儿童车上路的感受吗？恩，就是下面这种感觉——太难受了！所以，在我学习完入门教程之后，马上迫不及待的钻进我的战车，冲向了秋名山。经过了技术学校的培训，我的车技已经跟原来的车友们根本不在同一水平线上，他们根本不敢相信——同样的驾驶员，同样的车子，在同样的赛道上，速度竟然可以飙到原来的数十倍以上！就在电闪雷鸣间，我已经到达了终点！我回头看去，发现曾经的车友呆在原地，长大了嘴巴吃jing，根本无法理解这一切。那么到底是什么让我拥有了这样的能力呢？没错，是python爬虫。在开始之前，请先问自 ...继续阅读 (20)

这博文写得我懒癌犯了，最后的那个章节内容排序，我没有实验是否是正确的，不过这只是个教大家用Scrapy的教程，正确与否并不重要···  如果不正确，记得留言；等我懒癌过了，我再改改······还有其它的问题也是一样··· ，把问题留言下； 等我懒癌过了·· 我改回来！嗯！是等我懒癌结束了，再改。 前面几篇博文，给大家从头到尾做了一个比较高效的爬虫，从这篇起来说说Python的爬虫框架Scrapy；至于为什么要说框架呢？因为啊，框架可以帮我们处理一部分事情，比如下载模块不用我们自己写了，我们只需专注于提取数据就好了；最重要的一点啊！框架使用了异步的模式;可以加快我们的下载速度，而不用自己去实现异步框架；毕竟实现异步爬虫是一件比较麻烦的事情。不过啊！反爬虫这个坎还是要我们自己迈过去啊！这是后话，以后再说。我们先来让Scrapy能跑起来，并提取出我们需要的数据，再解决其它问题。官方文档在这儿：点我环境搭建：关于这一点，对在Windows环境下使用的小伙伴来说，请务必使用我之前提到的 Anaconda 这个Python的发行版本，不然光环境的各种报错就能消磨掉你所有的学习兴趣！下载地址在这儿：http://pan.baidu.com/s/1pLgySav安装完成之后，在cmd中执行：conda install Scrapy     (如果需要使用特定版本，请在Scrapy后面加上 ...继续阅读 (16)

这篇文章主要介绍一些常用的包管理命令以及包的版本如何进行约束。常用命令require命令在《Composer快速入门》中已经简单介绍过使用install命令安装依赖的方式。除了install命令，我们还可以使用require命令快速的安装一个依赖而不需要手动在composer.json里添加依赖信息：$ composer require monolog/monolog Using version ^1.19 for monolog/monolog ./composer.json has been updated Loading composer repositories with package information Updating dependencies (including require-dev) - Installing psr/log (1.0.0) Downloading: 100% - Installing monolog/monolog (1.19.0) Downloading: 100% monolog/monolog suggests installing graylog2/gelf-php (Allow sending log messages to a GrayLog2 server) . ...继续阅读 (19)

那夜那是一个寂静的深夜，科比还没起床练球，虽然他真的可能不练了。我废了好大劲，爬虫终于写好了！BUG也全部调通了！心想，终于可以坐享其成了！泡杯茶，安静地坐在椅子上看着屏幕上一行行文字在控制台跳出，一条条数据嗖嗖进入我的数据库，一张张图片悄悄存入我的硬盘。人生没有几个比这更惬意的事情了。我端起茶杯，抿了一口，静静地回味着茶香。这时，什么情况！屏幕爆红了！爆红了！一口茶的功夫啊喂！怎么回事！咋爬不动了，不动了！我用浏览器点开那一个个报错的链接，浏览器显示您的请求过于频繁，IP已经被暂时封禁，请稍后再试！沃日，我IP被封了？此时此刻，空气凝固了，茶也不再香了，请给我一个爱的抱抱啊。时候不早了，还是洗洗睡吧。次日那一晚，辗转反侧难以入睡。怎么办？怎么办？如果是你你该怎么办？手动换个IP？得了吧，一会又要封了，还能不能安心睡觉啊？找免费代理？可行，不过我之前测过不少免费代理IP，一大半都不好用，而且慢。不过可以一直维护一个代理池，定时更新。买代理？可以可以，不过优质的代理服务商价格可是不菲的，我买过一些廉价的，比如几块钱套餐一次提取几百IP的，算了还是不说了都是泪。然而最行之有效的方法是什么？那当然是ADSL拨号！这是个啥？且听我慢慢道来。什么是ADSLADSL （Asymmetric Digital Subscriber Line ，非对称数字用户环路）是一种新的数据传输方式。它因为上行 ...继续阅读 (21)

Hello 大家好！我又来了。你是不是发现下载图片速度特别慢、难以忍受啊！对于这种问题 一般解决办法就是多进程了！一个进程速度慢！我就用十个进程，相当于十个人一起干。速度就会快很多啦！（为什么不说多线程？懂点Python的小伙伴都知道、GIL的存在 导致Python的多线程有点坑啊！）今天就教大家来做一个多进程的爬虫（其实吧、可以用来做一个超简化版的分布式爬虫）其实吧！还有一种加速的方法叫做“异步”！不过这玩意儿我没怎么整明白就不出来误人子弟了！（因为爬虫大部分时间都是在等待response中！‘异步’则能让程序在等待response的时间去做的其他事情。）学过Python基础的同学都知道、在多进程中，进程之间是不能相互通信的，这就有一个很坑爹的问题的出现了！多个进程怎么知道那那些需要爬取、哪些已经被爬取了！这就涉及到一个东西！这玩意儿叫做队列！！队列！！队列！！其实吧正常来说应该给大家用队列来完成这个教程的， 比如 Tornado 的queue模块。（如果需要更为稳定健壮的队列，则请考虑使用Celery这一类的专用消息传递工具）不过为了简化技术种类啊！（才不会告诉你们是我懒，嫌麻烦呢！）这次我们继续使用MongoDB。好了！先来理一下思路：每个进程需要知道那些URL爬取过了、哪些URL需要爬取！我们来给每个URL设置两种状态：outstanding:等待爬取的URLcomplet ...继续阅读 (13)

前言在上一节中介绍了thread多线程库。python中的多线程其实并不是真正的多线程，并不能做到充分利用多核CPU资源。如果想要充分利用，在python中大部分情况需要使用多进程，那么这个包就叫做 multiprocessing。借助它，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。那么本节要介绍的内容有：ProcessLockSemaphoreQueuePipePoolProcess基本使用在multiprocessing中，每一个进程都用一个Process类来表示。首先看下它的APIProcess([group [, target [, name [, args [, kwargs]]]]])target表示调用对象，你可以传入方法的名字args表示被调用对象的位置参数元组，比如target是函数a，他有两个参数m，n，那么args就传入(m, n)即可kwargs表示调用对象的字典name是别名，相当于给这个进程取一个名字group分组，实际上不使用我们先用一个实例来感受一下：import multiprocessing def process(num): print 'Process:', num if __name__ == '_ ...继续阅读 (12)

好了！开头要说点啥，我想你们已经知道了！没错！我又来装逼了··前面两篇博文，不知道大家消化得怎么了。不知道各位有没注意到，前面两篇博文完成的工作，只能保证下载；你电脑不能关机，不能断网，总之不能出意外！否则啊！！！！！！！你就得重头开始啊！！！！今天，我们来想想办法让它不重头下载；我们来记录我们已经下载过的地址！ヾ(＠⌒ー⌒＠)ノ这样就可以实现不重新下载啦！本来刚开始我是准备用本地txt来记录的，不过仔细一想用本地txt逼格不够啊！要不用MySQL吧！然后我自己就用了MySQL。然而你以为我会在这教程里面用MySQL嘛！哈哈哈！我们来用MongoDB！！这数据库最近很火啊！逼格直线提升啊！哈哈哈！点我去官网下载安装mongoDB:在C盘建一个用来存储数据的文件夹 MongoDB；创建以下两个目录：C:\data\log\mongod.log             存储日志C:\data\db    存储数据 在C:\MongoDB文件夹下面创建一个mongod.cfg的配置文件写入以下配置：一定要取消隐藏后缀名，不然更改不会生效！systemLog: destination: file path: C:\data\log\mongod.log storage: dbPath: C:\data\db在管理员权限的cmd 中执行以下命令将mongoDB安装成服务:"C ...继续阅读 (28)

前言我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。首先声明一点！多线程和多进程是不一样的！一个是 thread 库，一个是 multiprocessing 库。而多线程 thread 在 Python 里面被称作鸡肋的存在！而没错！本节介绍的是就是这个库 thread。不建议你用这个，不过还是介绍下了，如果想看可以看看下面，不想浪费时间直接看multiprocessing 多进程鸡肋点名言：“Python下多线程是鸡肋，推荐使用多进程！”那当然有同学会问了，为啥？背景1、GIL是什么？GIL的全称是Global Interpreter Lock(全局解释器锁)，来源是python设计之初的考虑，为了数据安全所做的决定。2、每个CPU在同一时间只能执行一个线程（在单核CPU下的多线程其实都只是并发，不是并行，并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别，并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。）在Python多线程下，每个线程的执行方式：获取GIL执行代码直到sleep或者是python虚拟机将其挂起。释放GIL可见，某个线程想要执行，必须先拿到GIL，我们可以把GIL看作是“通行证”，并且在一个python进程中，GIL只有一个。 ...继续阅读 (18)