当我们在创建好了爬虫程序后,就可以直接运行爬虫程序了 。Scrapy中介绍了几种运行爬虫程序的方式,下面一起来看看这篇文章吧 。详细的给大家介绍了关于Scrapy如何运行爬虫?scrapy直接运行爬虫的方法,希望可以帮助到大家 。
文章插图
方式一:使用命令行运行
这是比较普通的运行方式,直接使用快捷键win+r,进入运行窗口,然后再输入cmd就可以进入到命令行中了,在命令行中输入下面的命令即可运行,命令如下:
$ scrapy crawl spider_name在使用这个方法进行操作的时候,每次都要进入到命令行中,在命令行中,使用键盘中的上下键可以得到上次运行的命令 。如果我们的系统存在两个版本,如果的电脑直接执行scrapy命令使用的是Python 2,此时,需要在scrapy命令前添加“python3 -m”才可以使用Python 3,所有建议大家使用virtualenv建立虚拟环境运行scrapy等各种程序 。在这条命令中,是对一个文件进行了单独的配置,其中spider_name表示的是一个具体的爬虫名字,我们可以通过pycharm运行设置,不过每次都要改爬虫名称,这样不利于git提交 。
方法二:scrapy runspider命令(全局)
这一种方法也是在命令行中操作,是对全局的设置,基本的语法如下:
scrapy runspider <spider_file.py>在这个命令中,<spider_file.py>表示的就是我们要执行的爬虫文件,如果对一些配置项不了解的话,还可以通过scrapy runspider -h进行查看 。
【Scrapy如何运行爬虫?scrapy直接运行爬虫的方法】关于Scrapy如何运行爬虫?scrapy直接运行爬虫的方法的内容就分享到这里了,希望文章中的内容可以对大家的学习带来一定的帮助 。
推荐阅读
- Pycharm如何下载和安装?Pycharm下载安装的教程
- Python单例类怎么创建?Python创建单例模式代码如何写
- Sublime编辑器如何显示制表符和空格?Sublime怎么修改tab键为4个空格
- SublimeText3如何新建python文件?Sublime怎么保存文件为py类型
- Sublime如何显示文件列表?Sublime编辑器怎么打开文件夹
- Python如何保存图片到数据库中?Python图片保存到数据库代码怎么写
- Python同步线程怎么实现?Python如何用互斥锁同步线程
- Sublime怎么给文件命名?SublimeText3如何重命名文件
- 健身如何突破瓶颈 健身规划针对性训练
- Python中的lambda表达式如何使用?lambda匿名函数的使用方法