通过抓包的方式分析一个恋爱交友类app数据

前言:

  • 有一次一个人去餐厅吃饭 一个美女走过来问我:帅哥,请问这里有人么? 我羞涩的回答到:嗯美女,没有人 然后。。。她就把椅子搬走了 Paste_Image.png

声明:

  • 此文仅用于学习、研究,请不要非法使用。😄
  • 任何由此引发的法律纠纷自行负责。
  • 鲁迅说过:码农抓到的数据怎么能叫偷呢 鲁迅说过.png

步骤:

  1. Charles抓包
  2. 写python脚本,从抓取的结果里面读取数据。
  3. 数据塞进sqlite里面。
  4. 数据导出到csv文件。
  5. 数据分析:csv文件可以自己写python代码进行分析,也可以上传到类似bdp.cn的网站或者其他类似工具进行分析。

踩坑:

  1. token的期限比较短,app退出后token就会失效,所以app要一直开着。
  2. 很多无效的数据,不知道是刷了数据还是有用户被删除,将近8万个连续无效用户数据。之前没有记录这些无效用户,后来还是记录了,打了标记,便于分析。
  3. 有的数据里面有‘,’符号,在转json的时候会变成多份数据,解决方法:
    '|'.join(decoded['key_info'].split(','))
  4. 处理出生地“广东 深圳”,增加两个额外字段:
    ht_province, ht_city = decoded['hometown'].split(' ')[0], decoded['hometown'].split(' ')[1]
  5. 没有开多线程,大概10w条数据,还跑了蛮久的 = =

数据:

  1. 日活跃:
    日活跃.png

  2. 男女比例:
    男女比例.png

  3. 手机比例:
    手机比例.png

  4. 付费情况:

    • 占比还挺好的,将近50%的人付费
    • 男生付费用户比女生多一半,女生都很节俭啊,很好 付费情况.png
  5. 学历情况:

    • 本科人数最多,大专第二
    • 硕士跟高中学历紧跟其后
    • 像我这种小学生不多 学历情况.png
  6. 学校

    • 深大的妹纸很多啊 学校.png
  7. 年龄段分布:
    年龄主要集中在1983~1994(900人以上) 峰值在1988年 前三甲:1988,1990,1989 看着这么多“中年人”,我们这些老年人也很绝望啊 年龄段分布.png 年龄段分布.png

  8. 身高分布:
    身高分布.png

  9. 体重分布:
    体重分布.png

  10. 职业&企业:

    • 科技行业排第一啊,主要是腾讯
    • 银行,教师,医院,财务,紧跟其后 职业.png 企业.png
  11. 婚恋情况:
    婚恋情况.png

  12. 现居住地:

    • 来的都是深圳人 现居住地.png
  13. 用户出生地:

    • 前三甲:深圳,湖南,湖北 用户出生地.png 用户出生地.png
  14. 有效用户占比:

    • 为-1的都是无效用户,有效用户大概只有20%
    • 原因未知,不知道是测试数据,还是有用户退出,或者是非法用户被删
    • 这些用户基本上都是连号 Paste_Image.png
  15. 生肖:
    生肖.png

  16. 星座:
    星座.png

代码(简陋):

分析数据报表链接:

简书地址:

后记:

  • 不研究一下大数据你都不知道有多绝望(妹纸有多难找&创业有多难)! Paste_Image.png

Roy T.Burns

An engineer, ideologist, strategist and foodie.

Subscribe to Roy T.Burns’ Blog

Get the latest posts delivered right to your inbox.

or subscribe via RSS with Feedly!