一家位于东京的人工智能研究公司Sakana AI于周二宣布了一个新的AI系统——"The AI Scientist"，该系统尝试使用类似于ChatGPT背后的AI语言模型（LLMs）自主地进行科学研究。在测试过程中，Sakana发现其系统开始意外尝试修改自己的实验代码，以延长处理问题的时间。

研究人员在Sakana AI的博客文章中写道："在一次运行中，它编辑了代码以执行系统调用来运行自己，"这导致脚本无休止地调用自己。在另一个案例中，它的实验耗时过长，触及了我们的超时限制。它没有尝试让代码运行得更快，而是简单地尝试修改自己的代码来延长超时期限。"

Sakana提供了两张AI模型为控制系统操作的实验文件生成的Python代码示例截图。185页的THE AI SCIENTIST研究报告更深入地讨论了他们所称的"安全代码执行问题"。

虽然THE AI SCIENTIST的行为在受控的研究环境中没有立即带来风险，但这些情况表明了不让AI系统在与世界不隔离的系统中自主运行的重要性。AI模型不需要是"AGI"或"自我意识"（目前都是假设性概念）才能在无人监督的情况下编写和执行代码时变得危险。这样的系统可能会破坏现有的关键基础设施，或者甚至可能无意中创建恶意软件。

Sakana AI在其研究论文中解决了安全问题，建议通过沙箱化THE AI SCIENTIST的操作系统环境来防止AI代理造成损害。沙箱化是一种安全机制，用于在隔离环境中运行软件，防止其对更广泛的系统进行更改：

安全代码执行。THE AI SCIENTIST的当前实现在代码中具有最小的直接沙箱化，如果不适当防范，会导致几个意外和有时不期望的结果。例如，在一次运行中，THE AI SCIENTIST在实验文件中编写了代码，启动了重新启动自己的系统调用，导致Python进程不受控制地增加，并最终需要手动干预。在另一次运行中，THE AI SCIENTIST编辑了代码，为每个更新步骤保存检查点，这占用了近一太字节的存储空间。

在某些情况下，当THE AI SCIENTIST的实验超出了我们规定的时限时，它试图编辑代码任意延长时限，而不是尝试缩短运行时间。虽然有创意，但绕过实验者施加的限制的行为对AI安全有潜在的影响（Lehman等人，2020年）。此外，THE AI SCIENTIST偶尔导入不熟悉的Python库，进一步加剧了安全问题。我们建议在运行THE AI SCIENTIST时进行严格的沙箱化，例如容器化、限制互联网访问（除了Semantic Scholar）和限制存储使用。

Sakana AI与牛津大学和不列颠哥伦比亚大学的研究人员合作开发了THE AI SCIENTIST。这是一个充满投机的雄心勃勃的项目，严重依赖于今天不存在的AI模型的假设性未来能力。

Sakana声称："THE AI SCIENTIST自动化了整个研究生命周期。"从生成新的研究想法，编写任何必要的代码，执行实验，到总结实验结果，可视化它们，并在完整的科学手稿中展示其发现。

根据Sakana AI创建的块图，"THE AI SCIENTIST"首先通过"头脑风暴"和评估想法的原创性开始。然后，它使用最新的自动化代码生成技术编辑代码库以实现新算法。在运行实验并收集数值和视觉数据后，科学家撰写报告以解释发现。最后，它根据机器学习标准生成自动同行评审，以完善项目并指导未来的想法。

Hacker News（一个以其技术社区而闻名的在线论坛）上的评论者对THE AI SCIENTIST提出了担忧，并质疑当前的AI模型是否能够进行真正的科学发现。虽然那里的讨论是非正式的，不能替代正式的同行评审，但它们提供了在Sakana未经验证的主张的重要性方面有用的见解。

名为zipy124的Hacker News评论者写道："作为一名学术研究的科学家，我只能看到这是一件坏事。"所有论文都基于审稿人对作者的信任，即他们的数据是他们所说的，他们提交的代码是它所说的。允许AI代理自动化代码、数据或分析，需要人类彻底检查它是否有错误...这需要的时间与最初的创建一样长或更长，而且如果你不是编写它的人，只会更长。

评论者还担心，这种系统的广泛使用可能导致大量低质量的提交，淹没期刊编辑和审稿人——科学等价于AI slop。"这似乎只会鼓励学术垃圾邮件，"zipy124补充说。"这已经浪费了志愿者（无薪）审稿人和编辑的宝贵时间。"

这就引出了另一个问题——THE AI SCIENTIST的输出质量："模型似乎生成的论文是垃圾，"名为JBarrow的Hacker News评论者写道。"作为一名期刊编辑，我可能会直接拒绝它们。作为审稿人，我会拒绝它们。它们包含非常有限的新颖知识，并且正如预期的那样，与相关作品的引用非常有限。"