scrapy命令行详解

python基础

浏览数:118

2019-8-26

AD:资源代下载服务

1:创建scrapy项目

scrapy startproject XXXXXX

2:进入项目目录

cd XXXX

3:生成spider

scrapy genspider baidu www.baidu.com

4:列出创建spider所有可用模板

scrapy genspider -l

5:指定模板生成spider

scrapy genspider -t crawl zhihu www.zhihu.com

6:运行spider

scrapy crawl spider

7:检查语法是否有错误

scrapy check

8:返回所有spider的名称

scrapy list

9:测试爬取速度

scrapy bench

10:爬取结果输出到指定文件

scrapy crawl quotes -o quotes.csv

作者:天涯笨熊