怎么使用python脚本运行多个scrapy爬虫
发布网友
发布时间：2022-04-22 04:22
共2个回答
热心网友
时间：2022-04-06 02:06
1、创建多个spider， scrapy genspider spidername domain
scrapy genspider CnblogsHomeSpider cnblogs.com
通过上述命令创建了一个spider name为CnblogsHomeSpider的爬虫，start_urls为 、查看项目下有几个爬虫scrapy list
[root@bogon cnblogs]# scrapy list
CnblogsHomeSpider
CnblogsSpider
由此可以知道我的项目下有两个spider，一个名称叫CnblogsHomeSpider，另一个叫CnblogsSpider。
热心网友
时间：2022-04-06 03:24
import os
from concurrent.futures import ProcessPoolExecutor
with ProcessPoolExecutor() as executor:
executor.map(os.system, ['script1', 'script2'])
