OpenAI开发反作弊工具,用AI写论文可被检测
创始人
2024-08-05 16:13:42
0次

·OpenAI内部既想守住透明度承诺,又想留住用户。调查显示,近1/3的ChatGPT用户会因为反作弊技术而减少使用。

·OpenAI员工担心水印可通过简单技术被删除,比如把文本翻译成另一种语言再转换回来,或者让ChatGPT在文本中添加表情符号,然后手动删除表情。决定谁可以使用水印检测器又是一个挑战。

OpenAI开发反作弊工具,用AI写论文可被检测。

OpenAI开发了一种检测某人何时使用ChatGPT撰写论文的工具,不过由于在透明度承诺和留住用户之间摇摆不定,OpenAI尚未发布该工具。

据《华尔街日报》当地时间8月4日报道,反作弊项目在OpenAI内部争论了大约两年,准备发布的时间就有大约为一年。 OpenAI首席执行官山姆·奥特曼(Sam Altman)和首席技术官米拉·穆拉蒂(Mira Murati)都参与了反作弊工具的讨论。知情人士说,奥特曼鼓励这个项目,但没有推动发布。

OpenAI内部在透明度承诺和留住用户之间摇摆不定,它对ChatGPT用户开展的一项调查发现,近1/3的用户会因为反作弊技术而关闭服务,这些受访者表示,如果ChatGPT使用反作弊技术而竞争对手没有,他们会减少使用ChatGPT。

OpenAI发言人表示,公司担心该工具可能会对非英语母语者等群体产生不成比例的影响。“我们正在开发的文本水印方法在技术上很有前景,但在研究替代方案时我们正在权衡重要的风险。”而支持该工具发布的员工则在公司内部表示,与这种技术可能带来的好处相比,这些争论显得苍白无力。

ChatGPT可以预测句子中接下来会出现的token,OpenAI的反作弊工具将略微改变token的选择方式,这些变化会留下水印。这些水印对人眼来说是不明显的,但可以被OpenAI的检测技术发现。根据内部文件,当ChatGPT创建足够多的新文本时,水印的有效性为99.9%。OpenAI今年早些时候进行的一项测试发现,水印技术不会影响ChatGPT的性能。

但一位熟悉此事的OpenAI员工表示,员工们担心水印可通过简单的技术被删除,比如把文本翻译成另一种语言然后再转换回来,或者让ChatGPT在文本中添加表情符号,然后手动删除表情。

OpenAI内部普遍认为,决定谁可以使用这种检测器又是一个挑战。如果拥有权限的人太少,这个工具就没有用处。如果太多人拥有权限,水印技术就可能被破译。OpenAI的员工已经讨论过直接向教育工作者或外部公司提供检测器,帮助学校识别人工智能撰写的论文和抄袭作品。

关于水印工具的讨论始于OpenAI在2022年11月推出ChatGPT之前。2023年1月,OpenAI发布了一种算法,旨在检测人工智能模型编写的文本。但当时的成功率只有26%,7个月后OpenAI取消了它。据《华尔街日报》报道,实际上,外部公司和研究人员也在开发其他工具来检测由人工智能创建的文本,有教师已经使用了这些工具,但有时无法检测到高级大模型编写的文本,有时也会产生误报。

相关内容

热门资讯

国产大模型下调推理服务价格,南... 近日,国内某大模型企业宣布下调其flash系列模型服务价格,输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息,OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5,图像生成延...
探索AI供应链产业化路径京东推... 2026年以来,人工智能应用范围加速拓展,持续从数字空间走向现实生活,广泛融入生产线、仓储厂房、配送...
教育部发文!AI生成内容,教师... 一篇论文,因为AI使用不当,相关高校师生被通报处理。 9月2日,安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手,开发出一款 人工智能(AI)工具,能从数千万种...
搭上低空经济、AI文旅?两连板... 桂林旅游(000978)回应市场热点。 9月8日,桂林旅游再度涨停,斩获2连板。当天晚间,该公司披露...
硅谷:我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章,题目叫《An ...