抖音视频评论采集

总结一下现在采集抖音评论的方法，根据不同的业务可以选择不同的采集方式。

需要代码可查看第4部分网页版评论采集。

文章内容仅供参考学习，如有侵权请联系作者进行删除。

文章目录

1、自动化工具采集

如果是自己采集评论做一些样本，数据量要求不是很高。可以使用fiddler、charles、或者mitmproxy 这些拦截工具，配合按键精灵或者自动化脚本讲加载的评论数据保存到本地。 （最好使用安卓系统为5的模拟器，防止ssl-pining）

《Charles保存抖音数据》

《Fiddler保存抖音数据》

mitm拦截示例：

from mitmproxy import ctx
def response(flow):
    if flow.request.host == "aweme.snssdk.com":
        url_path = flow.request.path
        if '/aweme/v2/comment/list/' in str(url_path):
            response =flow.response
            info=ctx.log.info
            info(str(response.headers))
            info(str(response.text))

2、第三方平台采集

目前有很多抖音数据分析平台，但是通过第三方平台采集的数据不够稳定和实时。

3、APP评论采集

通过app的接口进行采集，至少需要xgorgon参数的生成算法

《unidbg调用so文件生成xgorgon》

然后根据模拟器或者手机上已有的设备信息构建 params 进行采集。

{
	'device_type' : 'VOG-AL10' ,
	'cpu_support64' : 'false' ,
	'app_type' : 'normal' ,
	'appTheme' : 'light',
	'ac' : 'wifi' ,
	'host_abi' : 'armeabi-v7a' ,
	'update_version_code' : '16209900' ,
	'channel' : 'tengxun_1128_0531' ,
	'_rticket' : '1626233894816' ,
	'device_platform' : 'android' ,
	'iid' : '1865239863770253' ,
	'version_code' : '160200' ,
	'cdid' : 'ae926321-a4e6-4721-ae24-8ceaa423abbe' ,
	'is_android_pad' : '0' ,
	'openudid' : '906174f5f03770c3' ,
	'device_id' : '2727212898848365',
	'resolution' : '900*1600' ,
	'os_version' : '5.1.1' ,
	'language' : 'zh' ,
	'device_brand' : 'Android'
}

如果采集量较大的话，还需要有大量的设备号，即需要有设备生成算法。

4、网页版评论采集

通过网页版采集视频评论，现在网页版的接口只需要有 _signature 参数即可进行请求。

_signature 具体的调用逻辑和生成源码可查看《抖音网页版_signature》

文中是调试逻辑、文末有生成源码。(订阅后下载源码搭建环境即可采集)

https://blog.csdn.net/weixin_43582101/article/details/118084709

专栏分享

爬虫逆向社区、论坛
https://bbs.csdn.net/forums/lx

800+订阅量的《爬虫案例合集》

以优质爬虫案例为主，解决疑难爬虫问题。 持续更新，值得订阅。

非常火热的《签名案例合集》
持续更新，输出优质文章，分享逆向思路和教程。