最近，美国麻省理工学院（MIT）一个研究团队发布研究结果称，人工智能将对人类虚假记忆产生影响，即人们会产生没有发生或偏离实际事件的回忆。

该研究通过在人与人工智能的互动过程中，提出暗示性问题来产生虚假记忆的诱导，从而模拟犯罪证人访谈。测试分为四种条件：控制、基于调查、预先编写的聊天机器人和使用大型语言模型（LLM）的生成式AI聊天机器人。

200位参与者观看了一段犯罪视频，然后与指定的人工智能面试官或调查员进行互动，回答问题包括五个误导性问题。结果显示，使用生成式AI聊天机器人更容易让参与者形成错误记忆，相比控制条件多出3倍，比调查条件多1.7倍。其中，36.4%的测试者在与生成式AI聊天机器人的互动中被误导。

一周后，由生成式AI聊天机器人诱导的错误记忆数量保持不变。同时，对这些虚假记忆仍然高于控制条件。研究人员经过研究发现：对聊天机器人不太熟悉但更熟悉人工智能技术的参与者，以及对犯罪调查更感兴趣的参与者，更容易产生错误记忆。这些发现强调了在敏感情况下使用先进人工智能的潜在风险，如警察审讯中对伦理考虑的必要性。

研究通过拆解人工智能诱导虚假记忆产生的三个阶段来寻找原因。例如，预设一个只涉及一把刀的犯罪现场，而人工智能系统通过询问，一把不存在的枪来引入错误信息，让目击者对现场的枪产生了错误的记忆。由此可见，人工智能引导的提问可以扭曲人类的记忆，并损害目击者证词的可靠性，从而凸显了人工智能对人类记忆和感知影响的伦理问题。与其他干预措施相比，生成式AI聊天机器人更容易诱导人，并且产生更多错误记忆。而且，由生成式聊天机器人所引发的虚假记忆，在一周后保持不变。

事实上，有关人工智能欺骗和诱导人的研究并不少见。今年5月，来自MIT、澳大利亚天主教大学（ACU），以及Center for AI Safety的最新研究发布《Patterns》杂志一篇综述文章中，描述了AI系统欺骗性的风险，并呼吁全世界一起解决这一问题。

论文第一作者、MIT博士后Peter S. Park认为：“人工智能欺骗行为的产生，是因为基于‘欺骗的策略’，被证明是在特定人工智能训练任务中，表现出的最佳方式。欺骗有助于它们实现目标”。

今年6月，德国的科学家Thilo Hagendorff对LLM展开一系列实验，发现LLM（大模型）已经涌现出“欺骗能力”，它们可以理解并诱导欺骗策。而且，相比前几年的LLM，更先进的GPT-4、ChatGPT等模型在欺骗任务中的表现显著提升。

正如图灵奖得主杰弗里·辛顿（Geoffrey Hinton）教授多次的警告：“如果不采取行动，人类可能会对更高级的智能AI失去控制。”