用python抓取饿了么无证店铺

网络爬虫

浏览数:88

2019-8-29

一、前言

饿了么平台上很多店铺都无营业执照,只能借用他人的营业执照上传开店。那就想看看附近有多少这样无证共用营业执照的店铺。

先看一下抓取的截图,竟然有这么多店没有营业执照。


mongodb3.png

在饿了么上显示的地址都是营业执照的地址,有时候当你点餐会看到送餐员取餐的地址不是营业执照标注的地址。
通常这种店铺都是无营业执照的,因为店铺老板都可以在后台自行设置取餐地址,所以用户在点餐时候看到不一定是真实地址,在下单后才能具体取餐地址。
还有一种店铺是自行配送的,下单后根本就看不到取餐地址,这种店铺更可怕,根本就不知道是哪个黑作坊加工的食品。

二、运行环境

  • python3
  • pymongo
  • requests

三、分析

首先访问饿了么主页,输入想搜寻的区域,页面随即返回附近区域店铺。

address.png

页面浏览器地址如下:
https://www.ele.me/place/wtw39y8614v4?latitude=31.237236&longitude=121.36636

打开浏览器开发者工具,分析需要抓取的数据,接着用requests抓取该页面地址,使用BeautifulSoup解析数据,竟然返回空值数据。
再次查看页面信息,向下滚动页面,发现XHR异步加载类型中有返回JSON格式数据。如下图所示:


F12.png

后台用json格式传递数据,前台浏览器用javascript展示json格式的方法,是目前比较通用的做法。后台提供的json格式的api接口可以供网页、手机调用,属于restful风格。这样只需要开发和维护一套后台,简化系统架构。
虽然用requests抓取不到页面,但json格式可以更方便的采集我们需要数据。

1、抓取数据

分析JSON页面地址:
https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y8614v4&latitude=31.237236&limit=24&longitude=121.36636&offset=24&terminal=web

其中参数:
1、longitude,latitude采用的高德坐标系对应搜索区域的经纬度
2、limit=24 每次限制返回上限24个店铺;设置再多后台最多返回30个
3、offset=24 每次返回的店铺数量,24个数量级增加,比如页面继续往下翻offset=48,72……
用循环增加offset的偏移量,就可以得到更多的店铺数据。

此页面我们需要采集name ,phone, address 即商户名称,电话,营业地址三个数据即可。一个页面可以采集24个商家数据,json数据如下图:


detail.png

代码如下:

import requests
import json
url='https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y8614v4&latitude=31.237236&limit=24&longitude=121.36636&offset=24&terminal=web'
r=requests.get(url).text
d=json.loads(r)
for v in d:
    print (v['name'],v['phone'],v['address'])

返回结果如下:


single_page.png

设置offset=48,期望得到更多商家,返回结果如下:

{‘message’: ‘登陆后查看更多商家’, ‘name’: ‘UNAUTHORIZED_MORE_RESTAURANTS_ERROR’}

这是因为后台设置了需要登录才能访问更多商家数据。

2、设置cookies登录

我们需要在访问请求中添加cookies信息,让后台认为我们已登录。前提是用于已注册账号并登录,在开发者工具中打开->网络->消息头->cookies,复制cookies数据。


cookies.png

cookies数据处理成字典格式,这里部分cookies用***代替

cookies_str='ubt_ssid=pwppg5un1gd56zefxvx**********e_2017-11-17; _utrace=f550e02b0883e3b96b3c8e7d9b9801a9_2017-11-17; perf_ssid=7rulhdqct6md********************; eleme__ele_me=1cc2663f830938c9104e9f6f5ae73a10:6e49f5779ec4bca5c1f1c4a352b22d05cd8568f6; USERID=578****'
cookies={}
for i in cookies_str.split(';'):
    k,v=i.strip().split('=')
    cookies[k]=v

把之前request的get方法中也略微修改,增加cookies信息登录

r=requests.get(url,cookies=cookies).text
3、循环设置offset偏移量后,生成URL新地址
    i=j=1
    for i in range(30):
        j=i*24
        url='https://www.ele.me/restapi/shopping/restaurants?extras[]=activities&geohash=wtw39y84pc8&latitude=31.23723&limit=24&longitude=121.3663&offset='+str(j)+'&terminal=web'
        return url
4、数据插入Mongodb
from pymongo import MongoClient
client=MongoClient('127.0.0.1')
db=client['elm']
col=db['resturant']

四、代码截图

code.png

代码访问 我的GITHUB

五、结果显示

在mongodb中按照地址排序,sort({address:1}) 按照地址升序排序


mongodb3.png
mongodb2.png
mongodb1.png

从结果看饿了么很多商铺都没有营业执照,饿了么也是睁只眼闭只眼,毕竟可以从每家店铺收取20%的服务器,而且有些店月销量可达几千单,哪个平台愿意自断财路。

六、改进目标

1、登录用户名和密码保存cookies
2、以订餐地址方圆20公里定位获取更多餐厅信息
3、获取店铺实际取餐地址更精确判断。
4、获取区域内热销商品,活动营销。
5、使用Flask模块web方式显示数据。
5、接入微信公众号

作者:麦口胡