IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Scrapyd常用API

    admin发表于 2016-08-09 10:56:14
    love 0

    Scrapyd常用API,Scrapyd常用API详解

    爬虫接口IP:http://192.168.0.2:6800/

    1、启动API(POST): 

    http://192.168.0.2:6800/schedule.json -d project=xxxspider -d spider=cplusplus -d word=['hahaha'] -d version=1.0.2

    {"status": "ok", "jobid": "dcc25dda594b11e6b757fc4dd43b1961", "node_name": "ubuntu-16"}

    2、取消API(POST):

     http://192.168.0.2:6800/cancel.json -d project=xxxspider -d job=6487ec79947edab326d6db28a2d86511e8247444(启动爬虫后,API返回任务ID号)

    3、删除工程某版本API(POST): 

    http://192.168.0.2:6800/delversion.json -d project=xxxspider -d version=1470208884'

    4、删除工程API(POST): 

    http://192.168.0.2:6800/delproject.json -d project=myproject

    5、已经发布的工程列表:

    http://192.168.0.2:6800/listprojects.json

    6、已经发布的工程(xxxspider)中的爬虫列表:

    http://192.168.0.2:6800/listspiders.json?project=xxxspider

    7、已经发布的工程(xxxspider)的版本号:

    http://192.168.0.2:6800/listversions.json?project=xxxspider

    8、已经发布的工程(xxxspider)的任务清单,即状态(已结束、正在运行、准备启动):

    http://192.168.0.2:6800/listjobs.json?project=xxxspider

    参考:Scrapyd文档 C/C++程序员之家,Scrapy



沪ICP备19023445号-2号
友情链接