当前位置:AIGC资讯 > AIGC > 正文

【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测_dire for diffusion-generated image detection

视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印
前言 视觉AIGC识别 【误差特征】DIRE for Diffusion-Generated Image Detection 方法 扩散模型的角色 DIRE作为检测指标 实验结果 泛化能力和抗扰动 人脸伪造监测(Face Forgery Detection) 人脸伪造图生成 其他类型假图检测(Others types of Fake Image Detection)

?你好呀!我是 是Yu欸

? 2024每日百字篆刻时光,感谢你的陪伴与支持 ~

? 欢迎一起踏上探险之旅,挖掘无限可能,共同成长!

前些天发现了一个人工智能学习网站,内容深入浅出、易于理解。如果对人工智能感兴趣,不妨点击查看。

前言

续篇:一文速览深度伪造检测(Detection of Deepfakes):未来技术的守门人

参考:https://mp.weixin.qq.com/s/inGjMdX9TTUa3hKWaMkd3A

视觉AIGC识别

根据已有的研究工作调研,将视觉AIGC识别粗略划分为:

人脸伪造检测(Face Forgery Detection):包含人脸的AIG图片/视频的检测,例如AI换脸、人脸操控等。此类方法主要关注带有人脸相关的检测方法,检测方法可能会涉及人脸信息的先验。 AIG整图检测(AI Generated-images Detection):检测一整张图是否由AI生成,检测更加的泛化。这类方法相对更关注生成图与真实图更通用的底层区别,通常专注于整张图,比如近年爆火的SD、Midjounery的绘图; 其他类型假图检测(Others types of Fake Image Detection):此类方法更偏向于 局部伪造、综合伪造等一系列更复杂的图片造假,当然人脸伪造也属于局部、复杂,但是是人脸场景。将AIG图与真实图拼凑、合成的图片识别也属于这一类。
这三种类型之间划分并不明晰,很多方法同时具有多种检测能力,可划分为多种类型。严格意义上说AIG整图和其他造假图检测类型可能都会包含人脸信息,但三种类型方法往往技术出发点也不同。

【误差特征】DIRE for Diffusion-Generated Image Detection

Arxiv 2023

方法

作者发现DM 图可以被近似地被扩散模型重建,但真实图片不行。将重建图和原图的图片差异记为扩散重建差(DIffusion Reconstruction Error,DIRE),则DIRE可以作为特征进行2分类训练,判断是否虚假,泛化性会高很多;

扩散模型的角色

扩散模型在这里充当了一种“数字时间机器”的角色,通过将图像“倒带”回过去的某个状态,然后再“快进”到现在,来重建图像。对于合成图像而言,这种“时间旅行”的过程中丢失的信息较少,因为它们本身就是由类似的深度学习模型生成的,因此它们与扩散模型重建的版本更为接近。相反,真实图像在这一过程中会丢失更多的细节,因为它们包含了更复杂和多样的信息,这些信息在通过扩散模型的“滤镜”时难以保留。

DIRE作为检测指标

将DIRE视作一种“指纹差异仪”,它可以测量一个图像经过时间机器旅行前后的变化量。对于合成图像,这种变化相对较小,因为它们本质上已经是“时间旅行”的产物。对于真实图像,变化较大,因为时间旅行过程中它们失去了更多的原始信息。

重建图像差DIRE可以区分真实图和合成图的原因如下图:

合成图在重建后变化往往较小; 真实图在重建后变化相对较大;

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供:

因篇幅有限,仅展示部分资料

更新时间 2024-07-04