如何在eclipse中使用scrapy

发布网友发布时间：2022-05-10 15:20

我来回答

共2个回答

懂视网时间：2022-05-10 21:17

下面小编就为大家带来一篇浅谈scrapy 的基本命令介绍。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

如下所示：

scrapy stratproject projectname ##创建一个项目

scrapy genspider myspidername fider ##创建一个spider文件

scrapy crawl spidername ## 执行一个spider程序

scrapy shell url ## 动态执行代码

热心网友时间：2022-05-10 18:25

　步骤如下：
　　一、创建项目
　　如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。

　　此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。

　　这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
　二、配置Debug Configurations

　　1、进入run——>Debug Configurations-——>Main
　　name中输入这个配置的名称；
　　Projecct选择Scrapy项目
　　Main Mole 中填入scrapy库下的cmdline.py文件
　　2、进入run——>Debug Configurations-——>Arguments
　　在Program arguments中输入 crawl example，需要注意这个example是爬虫的名称
　　这个名字并不是项目名称，而是在所写的类似于xxxSpider()类中的name的值。
　　在Working directory中选择other 选择你的爬虫工作目录
　配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。

　　2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
　　2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:
　　至此eclipse + pydev开发环境debug Scrapy就全部完成了