注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

淘尽网 官方博客

淘尽网http://www.tao3w.com做最好的比价网站

 
 
 

日志

 
 
关于我

淘尽网 http://www.tao3w.com 做最好的比价网站,做最好的数据抓取专家。

网易考拉推荐

如何抓取APP上的信息(转)  

2017-02-05 10:06:23|  分类: spider |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
作者:楚江数据
链接:https://www.zhihu.com/question/27951667/answer/133476968
来源:知乎
著作权归作者所有,转载请联系作者获得授权。

环境:MAC、iPhone

所需软件:Charles(Charles Web Debugging Proxy ? HTTP Monitor)、Postman(Postman)

获取资源URL和参数。


1. 将Mac和iPhone连接到同一个Wifi下。


2. 打开Mac上的Charles,设置Proxy,主要是监听端口。




3. 打开iPhone,依次点击 设置 > 无线局域网 > 所连接的Wifi后的 ! > HTTP代码下的手动,设置服务器和端口,接着点击顶部返回,设置开始生效。




4. 打开土巴兔APP,进入APP首页。


5. Mac上的Charles将所有网络请求列了出来,点击左侧url列表里的土巴兔相关的URL,即可在右边查看Request和Response的详情。




编写爬虫代码获取资源并存储

根据URL抓取数据的教程和参考代码一堆一堆的,就不详述。

打开Postman,将Charles里读到的Request的参数信息和Header信息都填写进去,然后点击Send,然后返回的请求里就可以看到Json格式的数据,修改参数可以获取更多的数据。如果要编写代码抓取资源,无非就是替换不同的请求参数而已。




更多

很多APP与后端的通信都是通过HTTPS协议进行,简单的Charles配置已经拿不到URL信息了,更不用说POST过去的参数和返回结果。有些APP虽然没有使用HTTPS,但是数据使用了自己定义的加密算法进行加密,Charles看到的都是乱码。关于这两个问题如何解决,以后再分享。

http://www.jianshu.com/p/3bbf596c9ca6
破解版下载:http://charles.iiilab.com/
  评论这张
 
阅读(29)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017