Scrapy如何运行爬虫?scrapy直接运行爬虫的方法

当我们在创建好了爬虫程序后,就可以直接运行爬虫程序了 。Scrapy中介绍了几种运行爬虫程序的方式,下面一起来看看这篇文章吧 。详细的给大家介绍了关于Scrapy如何运行爬虫?scrapy直接运行爬虫的方法,希望可以帮助到大家 。

Scrapy如何运行爬虫?scrapy直接运行爬虫的方法

文章插图
方式一:使用命令行运行
这是比较普通的运行方式,直接使用快捷键win+r,进入运行窗口,然后再输入cmd就可以进入到命令行中了,在命令行中输入下面的命令即可运行,命令如下:
$ scrapy crawl spider_name在使用这个方法进行操作的时候,每次都要进入到命令行中,在命令行中,使用键盘中的上下键可以得到上次运行的命令 。如果我们的系统存在两个版本,如果的电脑直接执行scrapy命令使用的是Python 2,此时,需要在scrapy命令前添加“python3 -m”才可以使用Python 3,所有建议大家使用virtualenv建立虚拟环境运行scrapy等各种程序 。在这条命令中,是对一个文件进行了单独的配置,其中spider_name表示的是一个具体的爬虫名字,我们可以通过pycharm运行设置,不过每次都要改爬虫名称,这样不利于git提交 。
方法二:scrapy runspider命令(全局)
这一种方法也是在命令行中操作,是对全局的设置,基本的语法如下:
scrapy runspider <spider_file.py>在这个命令中,<spider_file.py>表示的就是我们要执行的爬虫文件,如果对一些配置项不了解的话,还可以通过scrapy runspider -h进行查看 。
【Scrapy如何运行爬虫?scrapy直接运行爬虫的方法】关于Scrapy如何运行爬虫?scrapy直接运行爬虫的方法的内容就分享到这里了,希望文章中的内容可以对大家的学习带来一定的帮助 。

    推荐阅读