小心悄悄话被AI听见!（嘘）
最近国外一款可以读唇语的AI软件火了!
具体效果如下:
红毯上布莱克·莱弗利小声说:“好紧张”，笑着说话时肉眼很难分辨唇语，但AI可以。
乍一看只能看见一排白牙（bushi）的侃爷，唇语也能被轻松破解。
看完后网友们开始纷纷评论，大开脑洞:
求“联名”型网友:快把它和Siri结合一下吧!这样我就不用像小傻子一样对着电脑大喊了!
测评型网友:我想用它试试“座机画质”的视频!
担心安全型网友:我有点害怕，我想戴口罩了。（呜呜）
实测 Readtheirlips 效果如何
量子位整理了一些视频，为大家亲测了一下Readtheirlips的使用效果。
先试了一下奥特曼在斯坦福的访谈视频，把生成的文本和原始对话对照了一下，内容完美契合~
而面对小表情比较多的老马，Readtheirlips的发挥依旧稳定。
倍速播放中0.5倍0.75倍1.0倍1.5倍2.0倍超清流畅
不过以上两个视频都是人物全程正脸对着镜头的。
换成了说话时爱比划的小扎，Readtheirlips直接显示错误。（视频中人物不是全程正脸）
而主角换成卡帕西之后，因为他说话太快，生成的文本出现了识别错误的情况。（左侧为Readtheirlips生成，右侧为文字处理软件生成）
最后，我们尝试着上传了一个16分钟的视频，Readtheirlips直接显示错误，无法识别内容。
总结一下:
Readtheirlips识别视频的时间在一分钟左右。
就像他们标明的那样如果人物的正脸不能正对镜头，那么模型就很难给出正确答案。
而面对语速过快的视频内容，Readtheirlips只能识别出其中的一些内容。
对此，团队成员回应道:
而关于上传视频的时长限制，他们这么说:
AI如何“听”悄悄话
看完亲测视频，咱们也来唠一下Readtheirlips的工作原理。
看看它是怎么读取人类唇语的:
首先，研究团队用大量的标注数据（已知的嘴唇运动动作及其对应的文本内容）来对模型进行训练。
在此基础上，用户要上传一段视频，这段视频要包含说话者的面部特写，尤其是嘴部动作。
然后模型会对视频进行嘴部运动的分析:先是通过面部检测识别嘴唇的位置，然后再提取嘴唇的几何特征，（形状、开合程度、运动轨迹等），最后分析嘴唇在说话过程中的动态变化。(速度、方向和形状变化)
之后，模型会将提取的嘴唇特征与训练数据中的特征进行匹配，来识别出视频中人物所说的内容。
将识别出的单词或短语组合成完整的句子，进行一下上下文理解，确保语法和语义的正确性。
最终将识别出的内容输出为文本形式。
开发团队
Readtheirlips的开发团队Symphonic Labs是一家初创公司。
领英上显示它今年4月份才刚刚成立，截至目前，公司人数不到10人。
他们之前还研发过一款通过阅读唇语即可完成实时文本转录的软件Symphonic
两款软件的试玩链接都已附上，感兴趣的朋友们可以去尝试一下~
Readtheirlips 试玩链接:
https://www.readtheirlips.com/
Symphonic 试玩链接:
https://symphoniclabs.com/
参考链接:
https://x.com/crsamra/status/1833494380357013879
— 完 —
总结
### 文章总结**标题：小心悄悄话被AI听见!**
**主要内容概述**：
- **AI读唇语软件Readtheirlips爆火**：这款由初创公司Symphonic Labs开发的AI软件能够识别并翻译视频中人类的唇语，即使在人物表情不清晰或语速较快的情况下也能具有一定准确性。
- **实测效果**：量子位通过一系列视频测试了Readtheirlips的效果，结果显示在人物正脸对着镜头且语速适中的情况下，识别效果非常好，如奥特曼访谈视频与马云的发言均能准确识别。然而，对于面部表情丰富或说话速度极快的视频，识别效果下降甚至失败，如扎克伯格的非正面镜头和卡帕西的高速发言。
- **技术进步与安全隐忧**：网友对这款软件的反应热烈，不仅有要求将其与Siri等智能语音助手结合的期待，也有对其安全性的担忧，担心自己的悄悄话可能被AI监听。
- **工作原理**：Readtheirlips依赖于大量的标注数据训练模型，通过分析视频中的嘴部运动（包括形状、开合程度、运动轨迹等）并与训练数据进行匹配，来识别语音内容。随后，软件会将识别出的词汇组成句子，进行上下文理解，最终以文本形式输出识别结果。
- **开发团队与未来展望**：Symphonic Labs作为一家初创公司，今年4月刚刚成立，员工人数不到10人。他们之前还开发过一款类似的实时唇语识别软件Symphonic。未来随着技术的发展和数据的积累，Readtheirlips有望在更多领域得到应用，但同时也需要关注数据隐私和安全性的问题。
**试玩链接**：
- Readtheirlips试玩链接: https://www.readtheirlips.com/
- Symphonic试玩链接: https://symphoniclabs.com/
总的来说，这款AI读唇语软件Readtheirlips展示了人工智能技术在语音识别领域的革新进展，但同时也提醒我们在享受科技便利的同时，需要更加注重个人隐私和数据安全。