爬取简书全站用户信息其实并不是特别容易，其中有个小坎就是A、B两用户互相关注，爬取时很容易造成死循环，这样的死循环会越爬越多越爬越多，像雪球一样越滚越大，造成爬取效率聚减，群内交流有说先入库再去重其实是一样的，当你入库去重完毕后会发现入库30W条，去重后只有5W条了，这都是由互相关注所造成的，下面给出策略图、爬虫代码、代码注释，仅供参考。（翻到最后有惊喜）

策略图

策略图

一、策略讲解

1、策略入口

1、策略入口

红圈位置是策略图入口，个人认为这些用户都是大咖所以从这入手是再好不过的，里面有好几页AJX的用户推荐名单，需要拼接和循环去获取用户KEY_ID，将用户关注页面分为2层，上层是用户基本信息，下层是用户关注信息，新建一个空集合，将爬取过基本信息用户的KEY_ID存入集合，然后将下层关注信息遍历取出其他用户KEY_ID，然后让去集合去判断是否爬去过该KEY_ID,最后构筑这些用户信息的关注页面的链接做循环操作。

2、左击关注

点击查看全部之后推荐用户的界面，点击红圈

2、左击关注

3、取得用户URL

红圈中的字符串是 图2 用户的KEY_ID，爬取该用户基本信息，将该KEY_ID放入集合（敲黑板！！！注意这里最好放集合，尽量不要用列表，用列表放入列表中的KEY_ID也都是重复的，不会去重，用集合可以节约开销！），然后看url后面following是关注页面的后缀，所以之后只需要将KEY_ID + following就可以构筑出关注页面

3、取得用户URL

4、取得关注页面

这里需要注意红圈的地方，如果关注用户超过10个，有ajx动态加载的，需要去重新构筑URL遍历用户获取关注的用户KEY_ID
URL是这样的 http://www.jianshu.com/users/7e54016a5a06/following?page=1 自己去重构,不会看下面代码，获取完用户KEY_ID然后用这些KEY_ID去集合中去重，如果不在集合里则拿出来构筑following关注页面，就这样再回到第一步。

4、取得关注页面

二、代码讲解

Scrapy / python3.5

spider

# -*- coding: utf-8 -*-
import scrapy
import re
from urllib.parse import urljoin
from scrapy.http import Request
from article.items import JianShuItem, JianShuItemLoader


class JianshuSpider(scrapy.Spider):
    name = "jianshu"
    allowed_domains = ["www.jianshu.com"]
    url_top_half = "http://www.jianshu.com"
    start_urls = []
    used_id = set()
    # 设置一个空集合存爬过的用户
    for pg in range(1, 11):
        # 第一步将推荐作者的链接放入start_url
        start_users_url_join = "http://www.jianshu.com/recommendations/users?page=" + str(pg)
        start_urls.append(start_users_url_join)

    def parse(self, response):
        start_user_list = response.css("div.wrap a.avatar::attr(href)").extract()
        # 获取推荐作者的href
        if start_user_list:
            # 起始页面判断，循环完start_url就没用了
            # 判断推荐作者href是否为空，空则爬完推荐作者,不进入if判断
            for k_1 in start_user_list:
                # 取得href格式为"/users/"+key
                url_second_half1 = k_1 + "/following"
                # k_1是列表循环出来未经清洗的字符串格式为"/users/"+key 连接上"/following"
                user_following_url1 = urljoin(self.url_top_half, url_second_half1)
                yield Request(url=user_following_url1, callback=self.parse_kernel)
                # 核心解析函数

    def parse_kernel(self, response):
        # 既然解析item 又解析关注用户
        reg_key = re.compile(r"http://www.jianshu.com/users/(.*)/following")
        key_2 = reg_key.findall(str(response.url))[0]
        # 获取key
        if key_2 not in self.used_id:
            # 判断key是否使用过,阻断互相关注循环
            item_loader = JianShuItemLoader(item=JianShuItem(), response=response)
            item_loader.add_css("key_id", "div.main-top a.name::attr(href)")
            item_loader.add_css("user_name", "div.main-top a.name::text")
            item_loader.add_css("contracted", ".main-top span.author-tag::text")
            item_loader.add_xpath("follow", ".//div[@class ='info']/ul/li[1]//p/text()")
            item_loader.add_xpath("fans", ".//div[@class ='info']/ul/li[2]//p/text()")
            item_loader.add_xpath("article", ".//div[@class ='info']/ul/li[3]//p/text()")
            item_loader.add_xpath("words_count", ".//div[@class ='info']/ul/li[4]//p/text()")
            item_loader.add_xpath("get_likes", ".//div[@class ='info']/ul/li[5]//p/text()")
            jianshu_item_loader = item_loader.load_item()
            self.used_id.add(key_2)
            # 将用过的key,放入集合
            yield jianshu_item_loader

        follow_num = response.xpath(".//div[@class ='main-top']//li[1]//p/text()").extract()[0]
        # 获取该用户关注人数
        follow_pg = round(int(follow_num)/9)
        # AJX每个页面有9个关注
        if follow_pg != 0:
            # 关注数不为0的进入if判断
            for f_pg in range(1, follow_pg+1):
                # 获取该用户关注人数的页
                user_following_url_pg = response.url + "?page=" + str(f_pg)
                yield Request(url=user_following_url_pg, callback=self.parse_following)
                # 将每一页的用户关注人的url回调给parse_following

    def parse_following(self, response):
        following_list = response.css("ul.user-list a.avatar::attr(href)").extract()
        # 解析出被关注用户的key
        for k_3 in following_list:
            key_3 = k_3.replace("/u/", "")
            # 清洗出key
            url_second_half3 = "/users/{}/following".format(key_3)
            user_following_url3 = urljoin(self.url_top_half, url_second_half3)
            # 直接拼接following url，返回给parse_kernel，进入循环
            yield Request(url=user_following_url3, callback=self.parse_kernel)

item

# -*- coding: utf-8 -*-
import re
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, TakeFirst, Join
from w3lib.html import remove_tags
from article.settings  import SQL_DATETIME_FORMAT, SQL_DATE_FORMAT
import datetime

# 以下为简书用户数据清洗函数
def key_id_filter(value):
    return value.replace("/u/", "")

def contracted_filter(value):
    if value == ' 签约作者':
        return value.strip()
    elif value == "":
        return "未签约"


class JianShuItemLoader(ItemLoader):
    default_output_processor = TakeFirst()
    # itemloader提取默认为list，所以这里需要重筑这个类的默认值


class JianShuItem(scrapy.Item):
    key_id = scrapy.Field(
        input_processor=MapCompose(key_id_filter)
    )
    user_name = scrapy.Field()
    contracted = scrapy.Field(
        input_processor=MapCompose(contracted_filter)
    )
    follow = scrapy.Field()
    fans = scrapy.Field()
    article = scrapy.Field()
    words_count = scrapy.Field()
    get_likes = scrapy.Field()

pipeline

# 常规写法拿去改下参数就可以用了
class JianShuMongodbPipeline(object):
    def __init__(self):
        client = pymongo.MongoClient(
            host="localhost",
            port=27017,
        )
        db = client["jianshu"]
        self.coll = db["user_info"]

    def process_item(self, item, spider):
        self.coll.insert(dict(item))
        return item

以上是个人见解，如有错误或更优解欢迎交流～