有人要把测谎仪”搬到”互联网上,你觉得这可行吗?

  • 互联网充满了谎言。这条格言已经成为一种共识。但这事究竟有没有解决方案?有人要把测谎仪”搬到”互联网上,你觉得这可行吗?

互联网充满了谎言。这条格言已经成为一种共识,从 Facebook 和 Twitter 到网络钓鱼困扰的收件箱、再到垃圾评论、再到在线约会和被虚假信息困扰的媒体。

现在,一组研究人员提出了第一个解决方案的暗示:他们声称已经为“在线测谎仪”构建了一个原型,它使用机器学习来单独检测文本中的欺骗性信息。

但是,根据一些机器学习研究者的说法,它们实际展示的是过度机器学习固有的危险。

在2月份的《计算机与人类行为》杂志上,佛罗里达州立大学和斯坦福大学的研究人员提出了一个系统,该系统声称可以使用自动算法来分离真相和谎言,它们被称为“在线测谎系统 — — 或计算机原型检测“。

他们说,通过一系列实验,他们能够通过观看两个人之间在线打字的一对一对话,同时仅使用他们打字的内容和速度,培训机器学习模型,以分隔谎言和真相的发布者。该测谎仪声称其他任何物理线索都不能区分谎言。

佛罗里达州立大学信息学院教授 Shuyuan Ho 表示,“我们使用统计建模和机器学习方法来解析对话的线索,并根据这些线索对参与者是否撒谎进行了不同的分析”。 “结果非常有希望,这是在线测谎仪的基础。”

但是,当 WIRED 向少数学者和机器学习专家展示这项研究时,他们的回答是深刻的怀疑。这项研究不仅不一定是任何可靠的真相告知算法的基础,而且还会产生潜在的危险:他们警告说,一个基于文本的“在线测谎仪”如果被采纳,可能会产生更糟糕的社会和伦理影响,不如将这些决定权归于人类的判断。

“这是一个引人注目的结果。但是当你与人类打交道时,必须格外小心,尤其是当某人说谎是否会导致定罪、审查、失去工作时”,Jevin West 说,他是华盛顿大学信息学院的一位教授,也是反对机器学习炒作的著名评论家。他说,“当人们认为这项技术具备这些能力时,其影响要大于研究。”

斯坦福大学的研究有40名参与者反复玩一个游戏,研究人员称之为“Real or Spiel”。在游戏中,那些隐藏着真实身份的人,会在一种角色扮演游戏中回答对方的问题。参与者将在每场比赛开始时被告知他们是否是为了回应每个问题而撒谎的“罪人”,或者总是说出真相的“圣徒”。

研究人员随后获取了所得到的文本数据,包括每个响应的确切时间,并将其中的一部分用作机器学习模型的训练数据,该模型旨在对真相和谎言进行分类,同时使用其余数据来测试该模型。

他们发现,通过调整机器学习模型,他们可以识别出的欺骗者“具有高达82.5%的准确度”。该算法据称可以基于线索找到骗子,比如比真相发布者更速地提供答案、更多的“负面情绪”、更多的“焦虑”信号、更多的词语,以及“永远”、 “决不”等确定性的表述。相比之下,真相讲述者使用了更多的因果解释词,如“因为”,以及不确定的词,如“也许”和“猜测”。

该算法能够胜过人类先天的判断真伪的能力,这似乎是一个非凡的结果。但是,该研究的批评者指出,它是在一个高度控制的、狭隘定义的游戏中实现的 — — 而不是在现实世界场景中实践的,在现实世界中肯定不那么一致,现实是骗子可以随心所欲的世界。 “

“这是一项糟糕的研究,”Cathy O’Neill 说,他是数据科学顾问,也是2016年《Weapons of Math Destruction》一书的作者。“在一项研究中告诉人们撒谎是一种非常不同的设置,因为在现实中有些人会说谎几个月或几年。即使他们可以确定谁加入研究中,但这与他们能否确定某人是一个更有研究价值的骗子完全无关。“

她说:“如果被要求,大多数人都可以说谎。关键是,实验室[场景]是完全人为的。”

FSU 教授 Ho 反驳说,这项研究只是迈向基于文本的谎言检测的第一步,并且在应用之前需要进一步的研究。她清楚地​​承认其实验的狭隘背景,但仍声称这可能会为可靠的在线测谎仪“创造一条道路”,这让专家们感到焦虑。

两位不同的评论家指出他们所说的一项类似的研究,捕捉了基于狭隘的测试场景对机器学习能力提出质疑。2016年,中国研究人员宣布,他们创造了一种机器学习模型,可以仅仅根据某人的面孔来发现犯罪行为。

但是,该研究的依据是被定罪的犯罪分子的照片,这些犯罪分子的照片由警方提供,而同一研究中的非犯罪者照片更可能由该人本人或其雇主选择。简单的区别标准是:囚犯不太可能微笑,“他们只是创造了一个微笑探测器,”华盛顿大学说。

纽约大学 AI Now 研究所的联合创始人 Kate Crawford 说,在谎言检测研究中,几乎可以肯定,研究组中存在类似的人为差异,这些差异并不适用于现实世界。就像犯罪研究实际上是在检测微笑一样,谎言检测研究很可能正在进行的只是“表现检测”。“你正在研究玩游戏的人的语言模式,这与人们在日常生活中的真实发言方式截然不同,”她说。

在接受 WIRED 采访时,FSU 的 Ho 确实承认了这项研究的方法问题。但在同一个对话中,她还建议它可以作为在线测谎系统的原型,可以用于在线约会平台等应用程序,作为情报机构测谎仪测试中的一个元素,甚至可以用于尝试评估与银行自动聊天机器人通信的人的诚实度。

Crawford 认为这些建议充其量只是对一个已经存在问题的测谎测试历史的延续,多年来已经证明这些测试具有科学上可疑的结果,这些结果既容易产生误报,也会受到训练有素的测试者的挑战。现在,FSU和斯坦福大学的研究人员正在恢复这种错误的技术,并且数据源的数量甚至比传统的测谎仪测试更少。

“当然,银行可能想要一种非常便宜的方式决定是否给予贷款,”Crawford 说。 “但是,我们是否想要根据实验来调用这种有问题的历史?这些实验本身在方法论上是有问题的”。

研究人员可能会争辩说,他们的测试只是一个参考点,或者他们不建议将其用于现实世界的决策。但 Crawford 表示,他们似乎并没有真正权衡如何应用有缺陷的测谎仪及其后果。“他们没有考虑完整的社会影响,实际上,他们需要更多地关注像这样的工具的负外部性。”

RESEARCHERS BUILT AN “ONLINE LIE DETECTOR.” HONESTLY, THAT COULD BE A PROBLEM: the FSU and Stanford researchers are reviving that faulty technology, but with even fewer data sources than a traditional polygraph test.

广告

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据