简介
找过电影资源的人肯定都知道电影天堂这个网站，只要复制上面的链接就可以下载对应的电影。但是一个一个链接点，太麻烦了，如何去批量做，这个时候就要用到爬虫了
操作
首先下载爬虫
git clone https://github.com/FWC1994/Python-Crawler.git
cd Python-Crawler
如果你要长时间把爬虫放在后台运行，你可以使用screen这个命令
sudo apt install screen
之后执行
screen -S spider
就可以打开一个会话
之后执行
python Crawl.py
爬虫启动成功，然后按CTRL+A+D退出这个终端，如果要重新进入这个会话可以输入
screen -r进入
详细的你可以看screen这个命令到底是怎么使用的
爬虫爬取到的链接会以文本文件的形式存储在当前目录下，打开你会发现每个文件夹下有很多文件，每个文件几乎就只有一个链接，你要下载一部电影还是要打开一个一个文件复制里面的链接然后再下载，这样的话还是很麻烦。
没事linux是万能的，你可以输入
cat ./*.txt | tee /home/bboysoul/a.txt
这样，当前文件夹中的所有链接都保存在了a.txt文件中。
原文地址：https://www.jianshu.com/p/be04a2861cce
