苹果研究团队曾测试20款先进AI模型在有干扰项下简单算术题表现甚至不如小学生_linux资讯

创始人

2024-11-04 09:57:13

0次

《洛杉矶时报》昨日（11 月 1 日）发布博文，报道称苹果研究团队测试了 20 个最先进的 AI 模型，发现在有干扰项存在的情况下，它们处理简单的算术问题时表现不佳，甚至不如小学生。

苹果公司用以下这道简单的算术题测试 20 多个最先进的 AI 模型，IT之家附上题目如下：

Oliver 在星期五采摘了 44 个猕猴桃、然后他在星期六采摘了 58 个猕猴桃，星期日采摘的数量是星期五的两倍，不过其中有 5 个猕猴桃的块头要比平均值要小，请问 Oliver 这三天共摘了多少个猕猴桃？

正确答案是 190 个，计算公式为 44（星期五）+58（星期六）+88（44*2，星期日）。

不过测试的 20 多个最先进 AI 模型无法排除干扰项，通常不理解猕猴桃的大小和数量无关，大部分的结果是 185 个。

苹果团队发现，当问题包含看似相关但实际上无关的信息时，AI 模型的表现急剧下降。对此研究认为，AI 模型主要依赖于训练数据中的语言模式，而非真正理解数学概念。

苹果的研究表明，目前的 AI 模型“无法进行真正的逻辑推理”。这一发现提醒我们，尽管 AI 在某些任务上表现出色，但其智能并不如表面看起来那样可靠。

苹果团队指出，简单地扩展数据或计算能力并不能根本解决这个问题，苹果的论文并非旨在削弱对 AI 能力的热情，而是提供一种理性的认知。

来源：IT之家

项下苹果 Oliver 干扰团队模型测试问题猕猴桃研究苹果公司算术题