IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    使用scrapy

    notsobad发表于 2012-06-25 10:11:00
    love 0

    最近项目中用到了scrapy,所以研究了一下,发现很好用,主要把时间花在内容的提取规则上即可,剩下的全部交给scrapy搞定。

    写了几个网站的爬取规则,包括6个图片网站,7个笑话网站,每个网站需要编写的代码50行以内,所以对于内容采集来说scrapy非常好用。

    爬几个笑话网站的代码放在了github上了: joke-spider



沪ICP备19023445号-2号
友情链接