“不要相信你现在看到的任何东西。”这是X上的一位AI圈博主在看完最近爆火的AI伪造版TED演讲发出的感慨。
谁还记得，一年前AI生成的视频是这样的:
生成式AI将互联网带入到了一个真假难辨的深伪时代。
“有图有真相”在过去是网友求证文字信息真实性时常引用的一句话，如今即便是图片和视频也完全有可能是AI生成的“假象”。
围绕如何分辨AI，近期社交媒体上掀起了一股AIGC内容打假热。
实战派通过小游戏练就识别AI的火眼金睛。8月5日微软总裁Brad Smith在X平台上发布了一个名叫“Real or Not?”的测试小游戏。玩法很简单，每一轮游戏有15张图片，玩家来判断哪张是AI生成的，哪张是真实的。
游戏地址:
https://www.realornotquiz.com/
辨别难度之高，只错一道题的游戏表现可以超过92%的玩家。
在实战派还停留在用肉眼“鉴AI”时，技术派寄希望于用AI打败AI。X博主“Deedy”近期利用Claude的新功能Artifacts开发了一个简易工具，通过调整图像饱和度来识别AI生成的图片，仅在X平台上就获得了超140万的浏览量。
工具地址:
https://claude.site/artifacts/6890e3d7-e65e-41ff-a7d4-3ccb38040b46
虽然这种检测方法很快被网友实测打假:仅凭图片的压缩迹象和色彩偏差来推断图片是否出自AI之手，这种鉴别方法存在误导性。因为类似的视觉特征可能仅仅是环境因素导致的，如光照变化或物体表面的反射效果。
但也从侧面体现出，随着AI生成的内容愈发逼真，越来越多真假难辨的图片和视频正在迅速占领社交媒体，“鉴AI”也因此从创作者维权、约稿插画师等小众圈层需求走向大众视野。
实际上，这种需求早已推动AI技术在识别AI生成内容方面的应用。
从文字到图片再到视频，都有相应的AI检测工具陆续问世。其中一款AI检测工具甚至在过去6个月里，用户规模从100万增长到400万，实现了盈利。这些AI检测工具靠谱吗?我们进行了一番探究。
用AI打假AI，GPTZero半年增长300万用户
生成式AI对不同内容形式的影响程度，通常与技术成熟度、市场需求和用户接受度有关。
在ChatGPT引领的这波生成式AI浪潮中，文本内容是首先取得突破的领域，也是目前AI检测工具应用较为成熟的领域。
赛道上的佼佼者——GPTZero，仅成立一年半就实现了数百万美元的收入。在过去6个月里，其用户规模从100万增长到400万，AAR（年度经常性收入）增长了500%。用户群体也从最初以教师为主，扩展到了政府采购机构、慈善机构以及招聘经理和AI训练数据标注员等。
GPTZero由普林斯顿大学生Edward Tian于2022年底创建，最初只有一个简单的功能，即根据用户输入的内容，返回该内容由AI生成的概率有多大。
GPTZero基本文本检测的早期UI界面
如今GPTZero的网页端已经相当完善且易用，用户直接在交互框中复制黏贴文本或上传文件，即可对文本进行AI检测。
GPTZero目前提供免费试用，但每次检测字符不能超过5000字。如需进行更长的本文检测，可以选择最低每月10美元的付费订阅服务，以获得更多的字符检测额度和功能。（体验地址:https://gptzero.me/）
在不超过免费试用字符的情况下，我们分别节选美国宪法、ChatGPT-4o生成的《黑神话:悟空》大闹天宫版游戏结局和《西游记》三打白骨精原文对GPTZero进行了实测。
其中，GPTZero在识别美国宪法和ChatGPT-4o生成的文本方面表现出较高的精准度。它成功识别出美国宪法为人类撰写的概率高达99%，而ChatGPT-4o生成的文本中只有几个句子有“人类影响”的痕迹。
美国宪法节选
得到全文检测结果后，用户还可以使用“Deep Scan（深度扫描）”功能进一步识别分析每个单句的AI含量如何。目前免费账号每天仅支持3次深度扫描。
ChatGPT-4o生成的《黑神话:悟空》大闹天宫版游戏结局节选
在识别中文文本上，GPTZero给出的结果相当离谱:它认为《西游记》中三打白骨精原文有75%的概率是AI生成的，但众所周知《西游记》作者吴承恩可是生活在电脑都还没有出现的明代。
《西游记》三打白骨精原文节选
在我们尝试进一步查看该判断的数据依据时，GPTZero直接报错，显示它不支持对该语言进行数据溯源。可见，GPTZero不合适用来检测中文文本，可能是其没有进行过相关数据训练。
此外，相关的AI数据集和抄袭匹配功能也都仅付费会员才能使用。
AI文本检测工具频繁翻车，赛道依旧火热
GPTZero自2023年1月正式推出以来迅速走红，重要原因在于它满足了教育界对于检测AI作弊的需求。去年10月，GPTZero还和美国教师联合会达成了一项协议，帮助教师检测由ChatGPT等大语言模型生成的学生作业。
但与此同时，GPTZero的走红也伴随着一定争议。
例如，曾有网友实测发现，GPTZero会把美国宪法误判为AI生成的文本。
在实际应用中，GPTZero一类的AI检测工具的准确性也备受质疑。如果教师仅依据这类工具的结果来判断学生是否利用AI进行学术造假和写作，可能会导致无辜的学生受到不公正的对待。
这种情况不是个例。
在AI检测工具的“猎巫”下，即便是那些写作过程中没有用到AI的学生，为了确保自己的论文能通过AI检测，也不得不开始氪金使用这类工具，识别那些可能被AI标记为“AI生成”的文本段落。
就像大模型对话类产品一样，GPTZero也在用户交互框下加了一行免责声明的小字:“This result should not be used to directly punish students.（不能依据这个结果来惩罚学生）”。
也就是说，GPTZero的检测结果仅供参考，并不能作为判断学生是否利用AI进行学术写作的最终依据。
而在国外科技媒体TechCrunch实测中，其他同类型工具AI Writing Check、Copyleaks、GPTRadar、CatchGPT和Originality.ai，准确率表现都不如GPTZero。
包括OpenAI也曾在2023年初推出了一款AI检测工具，但因检测成功率仅有26%，七个月后OpenAI就关闭了该工具。近期，《华尔街日报》报道称OpenAI已经开发出一款能够高精度识别ChatGPT生成文本的工具，但出于种种利益相关原因迟迟没有发布。
还有业内人士认为AI检测器的反向应用思路是，其难以给出高准确度判断的内容生成领域，恰好证明是更适合AI产品应用的领域，例如营销文案和广告语，包括GPTZero在内的主流识别AI检测器都出现了误判。
TechCrunch实测:营销类文案所有检测器都出现误判
GPTZero的检测原理中有两个重要指标:困惑度和突发性。困惑度和突发性越高，文本的“人味”就越高;与之相反，AI生成的文本往往具有较低的困惑度，可预测性更高。
此外，GPTZero的CTO Alex Cui曾透露，GPTZero之所以更准确是因为它拥有更多的数据，检测使用的大语言模型是基于开源工具构建的。
换言之，GPTZero也只是一个“套壳”产品，但它的优势在于数据。
不止文本，多模态AI检测产品正在涌现
文本检测领域已经跑出了一个GPTZero，而多模态AI内容检测的赛道才刚刚方兴未艾。
针对图片、视频和音频等内容的AI检测工具，海外已经涌现出了Hive AI、AI or Not、Nuanced等产品。
国内近期官宣内测或上线的多模态AI内容检测工具也不少。例如，创始团队有清华大学背景的瑞莱智慧（RealAI）推出了一个面向个人的产品级检测工具“尊嘟假嘟”，英文名为RealBelieve，可以让AI伪造的图像、音频和视频现出原形。
尊嘟假嘟视频通话实时检测内测界面，来源:36氪
无论是海外还是国内，虽然大部分AI检测产品主要服务政府机构和企业级用户，但随着大众“鉴AI”的需求日益旺盛，一些产品也开始向C端用户开放。
像AI or Not就支持个人用户检测图片和音频，界面交互使用起来也相当方便。
数字内容伪造检测企业“中科睿鉴”近期完成新一轮融资，目的也是将业务线从ToG拓展成ToG、B和C三条产品线，实现AI鉴伪产品的规模化。
目前，中科睿鉴已面向大众开放了文本、图像和视频检测服务。在微信小程序搜索“睿鉴AI”即可体验。
与文本检测一样，多模态AI内容检测工具也存在准确率不高的问题。
我们用AI伪造的TED演讲美女照片，测了测AI or Not，它认为图片“Likely Human（大概率是真人）”，如果想进一步查看更多检测信息，则需要付费开通会员。
最近X上也有网友尝试使用市面上的AI图像检测工具，来鉴别美国大选哈里斯的集会场面是否是AI生成的。但被人反驳说并不存在“所谓的精确的人工智能图像检测器”，因为很多用户上传检测的图片是失真的，尤其是来自压缩视频的截图。
生成式AI制造的深度伪造风险，仅凭AI检测工具是不足以解决的，还需要从法律和平台监管层面共同努力。
而GPTZero创始人Tian提出的AI检测愿景，也不仅仅只是提供单点的检测功能，而是通过创建一个独立的互联网检测平台，确保人类和AI生成的内容都能得到正确的归属。
总结
### 文章总结**主题**：AI生成内容的真伪难辨与打假热潮
**核心概述**：
随着生成式AI技术的发展，互联网进入了一个真假难分的深伪时代。AI伪造的视频、图片甚至文本已经渗透到社交媒体的各个角落，使得传统“有图有真相”的观念受到挑战。为了应对这一挑战，社交媒体上掀起了AIGC内容打假热潮，包括实战派和技术派在内的各方纷纷尝试各种方法来辨别AI生成的内容。
**实战派的尝试**：
微软总裁Brad Smith在平台上推出了“Real or Not?”小游戏，通过识别真假图片来锻炼用户的“鉴AI”能力。尽管这种方法娱乐性强，但辨别难度很高，即使是顶尖玩家也很难保证高准确率。
**技术派的探索**：
有博主开发了一种使用Claude新功能的工具，通过调整图像饱和度来识别AI生成的图片，但这种方法很快被证明存在误导性，因为其依赖的视觉特征可能仅仅是由环境因素导致的。
**AI检测工具的兴起**：
- **GPTZero**是文本检测领域的佼佼者，其用户规模在短时间内迅速增长，年收入大幅提升。GPTZero通过困惑度和突发性等指标来检测文本的AI生成概率，但在实际应用中存在一定局限性，尤其是对中文文本的识别能力不足。
- 其他AI检测工具如AI Writing Check、Copyleaks等，在实测中的准确率均不如GPTZero，且都存在或多或少的误判问题。
- 随着需求的增加，多模态AI检测工具也开始涌现，旨在对图片、视频和音频等内容进行真伪辨别，但同样存在准确率不高的问题。
**AI检测工具的局限性与的前景**：
1. **准确率问题**：现有AI检测工具普遍存在准确率不高的问题，可能导致无辜用户受到误伤。
2. **法律和平台监管**：单凭AI检测工具不足以解决深度伪造的风险，还需要法律和平台监管层面的共同努力。
3. **未来愿景**：GPTZero创始人提出通过创建独立的互联网检测平台，确保人类和AI生成内容的正确归属，这是对AI检测工具更高层次的应用展望。
**结论**：生成式AI带来的深度伪造风险不容忽视，打假热潮的兴起反映了社会对真实信息的渴望。然而，AI检测工具虽然在一定程度上能够提高真伪辨别能力，但其准确性和适用范围仍需进一步改进和扩展。未来，法律、平台监管和AI技术的协同发展将是解决深度伪造问题的关键。