论文研读｜针对文生图模型的AIGC检测

前言：人工智能生成内容的鉴别（AIGC检测）算是当前的研究热点之一，本篇文章介绍几篇针对文生图模型的 AIGC 检测相关工作。

相关文章：AIGC溯源相关研究详见此篇文章

目录

1. Towards Universal Fake Image Detectors that Generalize Across Generative Models（CVPR 2023）

作者：Utkarsh Ojha, et al. University of Wisconsin-Madison, USA
代码链接：https://github.com/Yuheng-Li/UniversalFakeDetect
核心思想：作者首先发现基于GAN生成数据训练的分类器只能记住 GAN 生成的 fake image，其他的全部归类为 real image，包括扩散模型生成的图像。这就导致决策边界发生偏离，如下图所示。因此，之前基于GAN数据训练分类器的检测方法无法有效检测扩散模型生成的图像。

基于上述发现，作者提出基于预训练模型特征提取的方法来进行real/fake的检测，首先通过预训练模型提取出待检测图像特征，然后 1）基于相似度衡量（K近邻）的检测：通过比较待检测图像特征分别与真实图像特征和虚假图像特征的距离，检测图像的真实性。2）基于分类器的检测：将提取出的特征送入轻量级分类器训练，得到预测标签。

为了保证图像特征提取的质量，选择 CLIP-ViT，是由于其训练数据足够庞大（400M），因此表征空间足够大。（实验证明该提取器的特征提取效果最好）

个人评价：做得快，正值风口，瞄准检测方法的通用性和泛化性，方法其实很简单。

2. DIRE for Diffusion-Generated Image Detection（ICCV 2023）

作者：Zhendong Wang, et al. 中科大。
代码链接：https://github.com/ZhendongWang6/DIRE
核心思想：作者发现生成图像重建前后的距离比真实图像重建前后的距离要小。

基于上述观察，作者提出基于DDIM 重建误差的检测方法。

注意：通过DIRE得到重建结果之后，把DIRE作为输入，训练一个简单的二分类器，通过交叉熵损失约束。

个人评价：基于重建损失的检测手段，在GAN时期已经出现，这篇文章把它运用到扩散模型上取得了同样的效果。另一篇工作LaRE^2 (CVPR 2024)是对DIRE的改进。

3. AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error（CVPR, 2024）

作者：Jonas Ricker, et al. Ruhr University Bochum, Germany
代码链接：https://github.com/jonasricker/aeroblade
核心思想：与上一个工作相似，不过这篇文章针对 Latent Diffusion Model，使用 AutoEncoder 重建损失进行鉴别。先来直观感受下真实图像和SD生成图像分别在使用AutoEncoder重建前后的误差：

重建损失就是重建前后的距离， Δ A E i \Delta_{AE_{i}} ΔAEi​​ 表示使用第 i i i 个 AutoEncoder 重建前后的图像距离。（因为这是真伪检测任务，所以要使用尽可能多的 AutoEncoder 覆盖尽可能多的生成模型）。

然后在众多的 Δ A E i \Delta_{AE_{i}} ΔAEi​​ 中，挑选出一个最小的距离，作为判别根据。

这个方法中，距离函数的选择十分重要。这篇文章使用 LPIPS 作为距离的衡量标准。

个人评价：这篇文章和DIRE不同点就在于，把DIRE的后续分类器步骤拿掉，变成 training-free 了，这样一来就提高了检测方法的可扩展性，不需要每次有新的模型进来都重训一遍。注意这篇文章的检测模型仅限于在图像生成阶段使用 AutoEncoder 的生成模型，判定阈值的选取也十分重要。

4. Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images（NeurIPS, 2023）

作者：Zeyu Lu, et al. 上海交大。
代码链接：https://github.com/Inf-imagine/Sentry
核心思想：眼见不一定为实，这篇文章的主要贡献是提出了一个AIGC图像检测的 Benchmark 数据集 Fake2M，并在文中分别对人工检测和模型检测两类AIGC检测方法进行了评估。评估结果表明 AIGC 检测仍然任重道远啊……

后记：本文介绍的这几种针对文生图模型生成图像的检测方法，或是借助强大的预训练特征提取器进行二分类，或是从生成模型的内在机制出发，将重建损失作为判别标准进行检测。本质上来讲，这些方法都利用了距离信息作为衡量依据，不论是第一篇工作中的K近邻，还是待检测图像本身的重建误差，都在向我们传达一个信息，那就是，纵然生成模型生成的内容再逼真，也总会留下一些可以认定其为虚假的痕迹，等着我们去探索，去发现。

参考文献