如何去高大上的下载电影天堂的内容
简介
找过电影资源的人肯定都知道电影天堂这个网站,只要复制上面的链接就可以下载对应的电影。但是一个一个链接点,太麻烦了,如何去批量做,这个时候就要用到爬虫了
操作
首先下载爬虫
git clone https://github.com/FWC1994/Python-Crawler.git
cd Python-Crawler
如果你要长时间把爬虫放在后台运行,你可以使用screen这个命令
sudo apt install screen
之后执行
screen -S spider
就可以打开一个会话
之后执行
python Crawl.py
爬虫启动成功,然后按CTRL+A+D退出这个终端,如果要重新进入这个会话可以输入
screen -r
进入
详细的你可以看screen这个命令到底是怎么使用的
爬虫爬取到的链接会以文本文件的形式存储在当前目录下,打开你会发现每个文件夹下有很多文件,每个文件几乎就只有一个链接,你要下载一部电影还是要打开一个一个文件复制里面的链接然后再下载,这样的话还是很麻烦。
没事linux是万能的,你可以输入
cat ./*.txt | tee /home/bboysoul/a.txt
这样,当前文件夹中的所有链接都保存在了a.txt文件中。
原文地址:https://www.jianshu.com/p/be04a2861cce
相关推荐
-
爬取图片网站所有标签并统计去重 网络爬虫
2019-8-29
-
python 爬取一些数据,存入数据库 并生成简单图表 网络爬虫
2019-1-29
-
Python爬虫实现百度图片自动下载 网络爬虫
2018-2-11
-
关于反爬虫的一些总结 网络爬虫
2019-2-21
-
在Scrapy中运用Selenium和Chrome 网络爬虫
2019-8-26
-
python爬虫环境准备-安装anaconda 网络爬虫
2019-8-26
-
puppeteer爬虫 网络爬虫
2019-7-7
-
Python爬虫模拟登录的黑魔法 网络爬虫
2019-8-29
-
python链家网高并发异步爬虫asyncio+aiohttp+aiomysql异步存入数据 网络爬虫
2019-6-27
-
Python爬虫建站入门手记——从零开始建立采集站点(一:环境搭建) 网络爬虫
2018-2-28