当前位置:AIGC资讯 > 数据采集 > 正文

APP爬虫如何采集数据

APP爬虫和网页爬虫都是一种类型。APP的数据接口需要抓包解析,而基本上都则使用HTTPS发送数据,与网页爬虫不同。

如何抓包:

使用Fiddler抓包工具,用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据,才可以抓包。

APP数据采集常见方案:抓包、HOOK技术

抓包:大多数APP软件,都是公开数据,没有任何隐私。只需要通过webservice通讯协议的方式,对APP接口分析检测,模拟用户向APP发出POST或者GET请求,就能返回相关数据。

HOOK技术:可以通过修改HOOK内核,自动控制APP,获取APP数据。

APP数据分析:

APP数据都可以采集,通过抓包工具抓包,获取app源码,就要对app进行反编译,进行证书认证发出HTTPS加密协议即可。

APP逆向环境配置:

Apktool:获取资源文件和smail代码

dex2jar:将dex文件转换成jar文件

JD-GUI:查看到反编译后的dex的代码

获取app源码,就要对app进行反编译,解析使用工具采集数据。

更新时间 2023-11-08