如何用 scrapy 同时监控并采集 1000 个网站
发布网友
发布时间:2022-05-11 00:00
我来回答
共2个回答
热心网友
时间:2022-05-11 01:30
我有几个方案:
1.每一个网站用一个scrapy项目来做
2.所有网站都用一个scrapy来做,items都写进去items.py中,每一个网站写一个spider蜘蛛
3.所有网站都用一个scrapy来做,items都写进去items.py中,所有网站写进一个spider蜘蛛
我个人倾向于第二个
另外用scrapyd和supervisor来做管理和监控!