原创

Python爬虫:Scrapy调试运行单个爬虫

本文为博主原创文章,欢迎转载,请注明出处
本文链接:https://pengshiyu.blog.csdn.net/article/details/83857759

一般运行Scrapy项目的爬虫是在命令行输入指令运行的:

$ scrapy crawl spider

每次都输入还是比较麻烦的,偶尔还会敲错,毕竟能少动就少动

Scrapy提供了一个命令行工具,可以在单个spider文件中加入以下代码:


from scrapy import Spider, cmdline

class SpiderName(Spider):
    name = "spider_name"
    ...

if __name__ == "__main__":
    args = 'scrapy crawl spider_name'.split()
    cmdline.execute(args)

这样,如果是mac版的PyCharm,可以直接使用快捷键contrl + shift + R运行项目,省去每次在命令行敲代码的烦恼

文章最后发布于: 2018-11-08 10:59:20
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览