爬虫中间件（Spider Middleware）是Spider处理机制的构造框架，我们首先来看一下爬虫中间件的架构。 当爬虫向服务端发送请求之前，会经过爬虫中间件处理。下载器（Downloader）生成 Response之后，Response会被发送给 Spider，在发送给 Spider之前，Response会首先经过爬虫中间件处理，当Spider处理生成Item后，也会经过爬虫中间件处理。所以爬虫中间件会在如下3个位置起作用。...