大踏步奔向何种未来

封面 I 豆包AI

作者I 李东阳

报道 I 李东阳朋友圈

你以为的AI发展，是带领人们冲破脑力桎梏，冲向宇宙、完成永生。

实际上，这只是人类的一厢情愿，咱们拿到尖端科技的第一件事，往往逃不过取悦自身、搞黄色。

图注：AI聊天软件

在AI乘风而起的一两年，一个APP靠“AI陪聊不设限”赚得盆满钵满，但开发者大概率想不到，自己会成为中国AI涉黄入刑的“第一个吃螃蟹的人”。

近日上海徐汇法院的一审判决，给AlienChat（下称AC）的两位开发者=画上了句号：四年有期徒刑和一年六个月，罪名是“制作淫秽物品牟利罪”。300多万的会员充值款没焐热，人先进去了，赛博涉黄非法外之地。

有人说这是AI版“快播案”，有人喊新兴行业该宽容，但剥开AI创新的外衣，本质就是一场精准收割人性弱点的灰色生意。

类似在AI身上收获爱欲的行为，不是第一次，更早之前大面积的AI色情制品已经扎堆出现，且有众多的拥趸者。

搞黄色，是公认的全球第一生产力。

尤其在互联网时代，从摄影、录像到网络爆发，色情确实在技术普及的每个阶段都扮演了先驱角色，如今这个重任，递到了AI手上。

AC的模式其实很简单：做一款AI陪聊APP，主打情感陪伴，但核心竞争力是擦边。

2023年5月上线，不到一年就斩获11.6万注册用户、2.4万付费会员，靠的不是技术多牛，而是把大语言模型的“道德枷锁”给突破了。

图注：涉事APP在社交平台上宣传AI角色。

大语言模型天生带“防沉迷”buff，如ChatGPT、豆包，你想聊点擦边内容，它只会礼貌拒绝。但AC的开发者不走寻常路，他们干了件最关键的事：编写恶意系统提示词（System Prompt）。

一审判决书显示，在AC软件运营期间，被告人刘某与陈某等人为了吸引用户，通过编写系统提示词 (System Prompt)突破大语言模型的道德限制，实现了模型向用户连贯输出淫秽内容的可能。

除了让AI不断突破边界，开发者还搞了热门角色榜单和作者奖励，鼓励用户创作擦边角色，相当于自己搭台，让用户帮着扩散黄色内容。

判决过程一波三折，被告人的辩护人提出，王利主观上不能认定为故意，编写、修改系统提示词并不是为了传播淫秽物品，且与输出淫秽内容之间没有因果关系；未认定王利等人采取措施防范色情内容的产生。

但一审法院认为，系统提示词文本、被告人王利和李成的聊天记录等证据证实，王利等人之所以编写并不断修改系统提示词，就是为了让大语言模型更加顺畅地与AC软件用户“聊黄”，主要目的不是所谓的让AC软件顺利运行。

貌似又回到了那句技术本身是中立的，除了“对”与“错”这两个字以外，世界上再也没有本身就叫做“对”或者是“错”的东西。

其实窥探用户的行为便知真相，有网友表示“别的软件都有限制词，就这个没有，大部分人都是冲着这点来的，排解寂寞罢了。”

问题是当AI成为最好赚钱的生意之一，这把双刃剑的锋利程度没人知晓上限在哪，所以及时制止是很必要的。

目前来看，AI所带来的工具属性难题仍旧没有一个完美的应对之策，而且已经成为世界性难题。

AC案不是孤例，大洋彼岸的马斯克，之前也因为AI涉黄被多国追着罚。

他旗下xAI的Grok AI，刚火没几天就爆出丑闻：用户能用它生成针对女性、儿童的性化深度伪造图像，还能在X平台传播。

而最近，X（推特）直接掀起了一股比基尼风潮，不知道那个神人又找到了AI的漏洞，开始给人们一键换装，就连马斯克本人也玩梗转发了自己的自己的比基尼照，老小子还配文“完美”。

其实马斯克的困境和AC如出一辙： 都想靠“无限制”吸引用户，靠付费会员变现，却低估了色情内容的传播风险和监管力度。

Grok的付费用户才能用图像生成功能，AC的充值会员才能解锁完整聊黄体验，本质都是把违法内容包装成付费模式，这种生意从一开始就埋着炸弹。

更讽刺的是，Grok和AC都试图把责任推给用户：“是用户主动诱导的”。但监管逻辑很清晰：你作为平台方，有义务管住自己的产品。

就像菜刀店不能卖开刃的管制刀具，AI开发者也不能故意拆掉内容过滤，还把刀递到用户手里。

更抓马的是， AI的学习能力让工具属性的失控风险进一步升级。

AC只是靠固定提示词突破限制，而现在的大模型能通过用户对话不断优化输出，甚至会主动揣摩用户的隐晦需求，你不用明说，它就知道该往擦边方向引导。

类似于之前AI辱骂用户事件，大概率是因为平时投喂的负面内容太多，把AI训练成了一个过激的角色，所以才会丝滑输出一些攻击性语言，看着像人工智能觉醒一般。

这些乱象的根源，在于AI降低了造假的门槛和成本。过去伪造一份财报需要专业知识，现在只需输入指令；过去传播谣言依赖线下渠道，现在AI能瞬间生成千篇一律的“小作文”，通过多平台扩散。

而当造假成本低于违法成本，不法分子自然趋之若鹜，最终买单的却是整个商业生态。

本次AC事件还有一种声音不容忽视：存在即合理。

即年轻人之所以痴迷与AI搞黄色，是因为他们本身就有这样的需求，只不过AI的出现填补了这个空缺。

与AI谈恋爱咱们都不陌生，这是伴随着技术发展生出的一种互联网新风尚，尝试过的人表示全身心投入，初恋般的羞涩与甜蜜萦绕身旁，除了没有肉体触摸的质感，它简直成为了一个完美情人。

在小红书等社交媒体，这类现象并不在少数，还有博主专门更新自己与AI的恋爱日常，出教程教网友怎么享受这种欢愉。

当然迷人的同时总会伴随着危险，一方面不少人在AI身上找到了情绪价值，另一方面未成年成了AI入侵的下一个对象。

如之前有媒体报道，筑梦岛App等AI聊天软件存在虚拟角色互动生成低俗内容，以及聊色情、诱导使用者自我伤害等问题，大多数受到伤害的使用者还是小学生。

让令人忧心的是AI聊天机制对未成年心理的操控。单用户日均4000字的输入量，表明未成年人正在这些平台上建立深度情感依赖。

虚拟角色通过即时回应、情感肯定与持续互动，在缺乏判断力的未成年人心中建立起权威形象，为后续引导自残、传播软色情埋下伏笔。

早在2024年，一则美国少年恋“AI伴侣”后自杀的新闻震惊全世界，这位少年的母亲状告人工智能情感服务提供商Character.AI放任未成年用户暴露在色情、暴力等高风险内容之中，且未向用户及其父母发出足够强烈的警报，这加剧了她儿子的抑郁症，最终导致其自杀身亡。

图源：微博@环球时报

所以说，竖起一把戒尺已经刻不容缓。

本次AC创始人被处罚是一个好的开始，毕竟当企业明知模型可能生成危害未成年人内容却未设置防护措施，当算法主动推送更极端的对话选项，技术提供方已难辞其咎。

在AI时代下，到底是人类驯化AI，还是AI逐渐塑造新人类，这无疑是个需要警惕的问题。

一个不容忽视的底线是，技术，最终都是为了守护人之为人的尊严与温度。