检测和防止深度造假的新方法

  • 造假和检测造假是一套猫鼠游戏,检测者必须跟上造假技术的进步,甚至,需要超越它们

如果没有经过训练就很难识别深度造假。因为它们可以非常逼真。

无论是用作报复的武器、操纵金融市场的工具、还是破坏国际关系的稳定,这些造假视频可以描绘目标人在做和在说他们从未做过或说过的东西,“眼见为实” 的观念已经彻底崩溃。

深度造假通过向计算机算法展示一个人的许多图像,然后让其使用所看到的内容来生成新的虚构的面部图像;同时,他们的声音也是合成的,因此它表面上听起来就像是此人在说一些完全不同的话。

一些早期的研究工作能够检测到不包含人的正常眨眼次数的深度造假视频,但是最新一代的深度造假技术已经能够绕避这些检测过程,因此研究必须继续发展。

现在,研究可以通过仔细查看特定帧的像素来识别视频是否被操纵过。还制定了一项积极措施来保护个人免遭深度造假的侵害。

发现缺陷

在最近的两篇研究论文中,详细描述了如何检测带有伪造者无法轻松修复的深度造假缺陷的方法。

当深度造假视频合成算法生成新的面部表情时,新的图像并不总是能令人头部的确切位置与光照条件或相机的距离相匹配。为了使假脸融入周围环境,必须对它们进行几何调整 —— 旋转、调整大小或以其他方式改变。

该过程在结果图像中留下了篡改的痕迹。

您可能已经注意到了这点。这些改动可以使照片看起来明显失真,例如模糊的边框和人为的皮肤抛光等。

更细微的改变中仍然有证据可循,而且研究人员训练了一种算法来检测它,即使人眼看不到差异。

如果深度造假视频中的人眼睛没有直接看摄像机,这些造假痕迹可能会有所不同。

捕捉到真实人物的视频显示了他们的面部在三个维度上移动,但是深度造假算法尚无法以3D方式制作面部。

取而代之的是,它们会生成人脸的规则二维图像,然后尝试旋转该图像、调整其大小并使其变形以适合该人的注视方向。

这些造假做得还不够好,这为揭露它们提供了机会。

研究人员设计了一种算法,用于计算人的鼻子在图像中倾斜的方式。它还可以测量脸部轮廓,计算出头部的角度方向。

在真实人脸的真实视频中,所有这些都应该以相当可预测的规则排列。但是,在伪造品中,它们常常错位。

When a computer puts Nicolas Cage’s face on Elon Musk’s head, it may not line up the face and the head correctly. Siwei Lyu, CC BY-ND

防御深度造假

有效地检测伪造品的科学实际上是一场军备竞赛 —— 伪造者会变得更加擅长虚构,因此研究始终必须努力保持跟进的步伐,甚至需要抢先一步。

如果有一种方法可以影响创建深度造假作品的算法,使它们的工作变得更糟,那么对于检测伪造品就会变得更加有利。研究人员最近找到了一种这样的方法。

At left, a face is easily detected in an image before our processing. In the middle, we’ve added perturbations that cause an algorithm to detect other faces, but not the real one. At right are the changes we added to the image, enhanced 30 times to be visible. Siwei Lyu, CC BY-ND

人脸图像库由算法组装而成,该算法处理成千上万的在线照片和视频,并使用机器学习来检测和提取人脸。计算机可能会查看课堂的照片,并检测所有学生和老师的脸,然后将这些脸添加到库中。

当库中有很多高质量的人脸图像时,生成的深度造假作品将很有可能成功欺骗观众。

研究人员找到了一种方法,可以将特殊设计的噪声添加到人眼看不到的数字照片或视频中,但是可以使人脸检测算法被欺骗。

它可以隐藏人脸检测器用来定位人脸的像素模式,并且创造出诱饵,暗示没有人的脸在这里。

由于较少的真实面孔和较多的非面孔污染了训练数据,因此深度造假算法在生成伪造面孔时的效果会更糟。这不仅减慢了深度造假的制作过程,而且使生成的伪造品具有更多的缺陷,更易于检测。

在开发此算法时,研究人员希望能够将其应用于某人上传到社交媒体或任何在线站点的任何图像。

在上传过程中,也许会询问发布者:“您是否希望保护此视频或图像中的面部,以防被伪造?” 如果用户选择是,则该算法可以添加数字噪声在里面,不影响人们在线看到这些面孔,但可以有效地隐藏它们令那些可能试图检测和模仿它们的算法不再可靠。⚪️

Detecting deepfakes by looking closely reveals a way to protect against them

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据