生成式AI正以惊人的速度进化出“一本正经胡说八道”的能力——不久前，两封信网上流传，一封署名英伟达CEO黄仁勋的内部信表达对DeepSeek的看法，一封是“来自”DeepSeek CEO 梁文锋对冯骥的公开回应。乍一看信件像是本人的真情实意，然而很快被辟谣，这是虚假捏造、胡说八道！

当前，AI面不改色地造谣的问题频现，甚至还有人“喂假料”捏造虚假数据库。AI赋能千行百业的时代到来，如何应对AI幻觉，如何辨别真假，已成为公共话题。面对AI给你的答案，你该如何“追问”？

AI幻觉是什么？

AI幻觉，是指大语言模型编造它认为是真实存在的甚至看起来合理或可信的信息。大模型出现幻觉，简而言之就是一本正经“胡说八道”，准确而言，是指模型生成的内容与现实世界事实或用户输入不一致的现象。

科普中国也曾经解释说：就像在考试时遇到不会的题目，我们会试图用已知的知识去推测答案一样。AI 在遇到信息缺失或不确定的情况时，会基于自己的“经验”（训练数据）进行填补和推理。这不是因为它想要欺骗我们，而是因为它在试图用自己理解的模式来完成这个任务。

记者注意到，目前已有使用者发现DeepSeek也出现了一本正经地“胡说八道”的情况。例如，在生成学术论文材料时，DeepSeek会生成不存在的材料，或指向无关的论文。业内人士对记者表示，大模型目前面临的“幻觉”问题，其主要根源在于训练数据的污染。

其实AI大模型科技公司为了防止出现“AI幻觉”，也用了很多办法。比如用更多正确、清晰的信息来训练AI；针对某些特定的话题或问题，对AI进行微调；用另一个AI或者数据库来帮忙检查，确保答案的准确性等。

DeepSeek对这一问题的回复是，实行的原则是“把好数据关，练好防骗术，实时监控，随时升级”，从数据源头到模型运行，全程设防。通过清洗数据、对抗训练、知识蒸馏等方法，确保模型学到的是“真知识”；通过知识溯源和安全护栏，防止模型被“带偏”；通过持续更新，让模型始终保持在安全状态。

开源是否等于模型可以被“瞎改”？

除了AI幻觉，目前还出现了给AI“投毒”（即喂假料），利用AI作恶的现象。

据媒体报道，股市“黑嘴”们及幕后的不法之徒，用虚假语料误导大模型作出错误回答，再将这些“AI答案”传播扩散坑骗散户，以干扰甚至操纵个股的市场交易。近期已有慈星股份、华胜天成、并行科技、诚迈科技以及三六零在内的5家上市公司被“黑嘴”盯上，成为AI问答截图中的主角。

有网友认为， AI大模型是开源的，没有筛查和审核的机制，任何人可以随意地进行灌输学习，这加剧了AI“说谎”甚至是“作恶”的能力。

当记者询问DeepSeek它的模型是否容易被“投毒”时，它回复：开源模型并不等于容易被投毒，关键在于开发者是否采取了有效的防护措施。通过严格的数据管理、代码审查、模型验证和社区协作，开源模型可以做到既开放又安全。

记者了解到，开源意味着源代码公开，任何人都可以查看、修改或分发代码，但这通常需要遵循一定的协议（如MIT许可证、GPL等）。这并不意味着所有修改都是有意义的，或者是正确的。事实上，开源项目往往会有严格的贡献规范和代码审查机制，以确保代码修改的质量和一致性。不过确保大模型开源不被“瞎改”，相关部门的审查机制，科技公司的“防火”能力，建立健全内容审核和侵权举报机制等，仍需多管齐下。

我们“喂”给大模型的内容安全吗？

“神准！”“太对了！”随着AI助手的大量使用，尤其是大模型的“智能感”会让用户感觉到模型非常了解自己。这是为何？

对此，江苏人工智能学会会员、南京理工大学计算机科学与技术学院副教授蒋庆远介绍，和电商平台的推荐逻辑相似，大模型会根据模型学习的知识及用户输入内容调整输出及反馈。“比如我们曾经和AI聊过《哪吒》电影，那么大模型可能会和你聊封神题材或者动画题材的电影，其实是因为大模型通过学习公开的知识认为《哪吒》与其他封神题材或者动画题材电影是‘强关联’的。”

使用AI智能体处理个人信息，是否有隐私泄露风险？这是很多用户关心的问题。

蒋庆远表示，在合规的情况下，大模型的训练数据通常包括公开数据集、互联网爬取的数据以及合作伙伴提供的数据，并不包括AI智能体与用户交互的数据。但是他也提醒，用户在使用AI工具时，应合理管理期望，避免过度依赖，同时还需自行判断信息敏感性，避免向非可信平台上传关键信息。

记者查阅多家大模型官网发现，多数产品表示会收集用户数据用于“改进服务”，但是否直接用于模型训练取决于隐私政策和用户同意。

其中，DeepSeek的隐私政策中包含电子邮件地址、电话号码、击键模式等个人隐私数据收集，这些内容是否会被用于模型训练，并没有明确说明。

据ChatGPT官网，从2023年起，OpenAI承诺不将通过API提交的数据用于训练，除非用户明确同意。

有业界人士表示，即使用户上传的数据不用于模型训练，用户数据可能因存储、跨境传输或第三方共享而泄露。

如何防范和避免AI误导？

专家表示，要避免被大模型误导，用户可以采取以下策略：

此外，要求大模型分批输出结果也是一个有效的方法。由于大模型根据概率生成内容，单性生成的内容越多，出现误导的概率越大。因此，用户可以要求大模型先列提纲后分段输出，逐段审核，这样更容易把控生成内容的质量。

交叉验证也是避免被误导的重要手段。通过比对不同大模型的答案，用户可以获得更全面的认识，从而判断哪个答案更为准确。

在求证网络信息时，“追问”同样是一个有效的策略。当大模型援引了“专业人士”“专业机构”“文献资料”等说法时，用户可以要求大模型提供对应的证明材料，如链接、原文、视频等。通过查看这些材料，用户可以判断大模型的回答是否“有理有据”，从而避免被误导。

来源：新华日报·交汇点记者 张宣 杨易臻 刘海琴

图片来源：视觉中国

编辑：吕鑫