Pycharm中怎么去运行爬虫框架Scrapy?这两个方法都可以

python中的爬虫框架Scrapy除了可以当成模块使用之外还可以在Pycharm中用它去调用一个python爬虫的脚本,本篇文章就会来介绍两个在Pycharm之中去运行Scrapy框架的方法,往下看看吧 。

Pycharm中怎么去运行爬虫框架Scrapy?这两个方法都可以

文章插图
使用scrapy去运行一个爬虫脚本的话,那么这个爬虫脚本之中也必须要使用scrapy才可以 。
(1)打开Pycharm并启动一个python爬虫项目,在项目资源管理器中将焦点放在爬虫脚本的文件夹之下 。然后新建一个python文件命名为entrypoint,在这个文件里面写入以下代码:
from scrapy import cmdlinecmdline.execute([’scrapy’],’crawl’,’Deomo’)这个代码之中的最后一个参数就是要执行的python爬虫脚本,需要将其改成自己爬虫脚本的名称才行 。
(2)第二个方式就是在当前的python爬虫脚本之下的底部状态栏中有一个终端叫做Terminal,选中它就可以出现命令行 。然后再将当前打开的文件焦点放到python爬虫脚本文件之上,这样才可以不用去考虑文件路径的问题 。
调出命令行行之后在命令行之中执行命令就可以去运行Scrapy了,如下所示:
scrapy crawl Demo按回车就可以去以scrapy运行这个python爬虫脚本了,而这个脚本运行所产生的结果也会输出在命令行终端之中 。
【Pycharm中怎么去运行爬虫框架Scrapy?这两个方法都可以】以上就是关于“Pycharm中怎么去运行爬虫框架Scrapy?这两个方法都可以”的全部内容了,想要了解更多python的实用知识和代码示例可以在网页顶部栏目中找到python查看更多哦 。

    推荐阅读