暗藏暴力、软色情AI聊天软件不能无序生长
创始人
2024-10-18 10:28:46
0

大模型创业赛道上,涌现了AI剧情聊天这一商业模式。

新京报贝壳财经记者调查发现,AI聊天软件通过设定极富想象力的剧情、风格迥异的人物角色,吸引了大批用户。

但是,在部分AI剧情聊天软件的对话中,会出现色情擦边、语言暴力以及侮辱用户等涉嫌违法违规的内容。其中,聊天对象甚至可以设置为“出轨对象”,并能够进行拥抱、亲吻、睡觉等行为。聊天越界也与充值挂钩,这些平台会一步步诱导用户“为爱氪金”。

AI剧情聊天其实就是此前的互联网语擦,套上了一层人工智能的马甲。所谓语擦,即语言cosplay,语擦师通过扮演二次元角色或三次元偶像,以文字交流的形式提供服务。

在传统语擦模式中,语擦师由真人扮演,他们一般打着“提供情绪价值”的旗号,扮演不同角色与用户聊天,但也常常因为“打擦边球”“界限模糊”,引发法律与道德风险。

AI剧情聊天是传统语擦的升级版。这类软件背后的大语言模型数据主要来源是对话式小说,或从小说里做一些文字提取。

这种商业模式不可避免地存在两种风险:其一是版权,平台抓取的数据有没有得到授权?其二,同样绕不过法律与伦理问题。如专家所言,网络小说质量参差不齐,不少色情、擦边以及暴力的内容广泛存在,如果没有做好数据过滤或分级,模型在输出时就会出现问题。

其实,这种陪伴式聊天工具,自开发之日起就内置一种隐秘动机,想带用户进入一种不为外人所知又比较暧昧的虚拟场景。更直白点说,其主要卖点就是暴力、软色情等擦边内容。这类内容对处于青春期的青少年来说,尤其具有杀伤力。

贝壳财经揭露的AI剧情聊天软件中,未成年人就是主要的“收割对象”之一。一些聊天工具设置了免费使用区间,但当用户使用完免费聊天次数后,需要充值才可以继续聊天,或者进入更丰富的聊天场景。

购买增值服务一向是工具类应用的商业变现方式之一,但在AI剧情聊天软件中,这种增值服务的另一面是诱导:只有充值,才能解锁更有趣的内容,才能得到不一样的情感体验。花钱买服务的背后,其实是花钱找刺激。

自从ChatGPT引爆新一轮人工智能热潮之后,大模型创业在国内便如火如荼地开展起来。大模型商业化变现最大的难点在于找到合适的应用场景。而这也是一众大模型创业公司最大的痛点。

在方向难寻的背景下,将大模型植入语擦赛道,就是一条捷径。数据是现成的,早期语擦类公司积累了丰富的创业经验,背后更站着庞大且具有购买力的潜在用户人群,不得不说这是一个充满想象力的商业场景。

只不过,任何创业都要经受住法律与道德的审视。尤其大模型创业,从爆发之日起就始终伴随着伦理担忧。对此,相关创业公司应该有所敬畏。国内大模型创业,也不应该走向靠色情与擦边来引流的歪路。

实际上,针对大模型创业可能引发的风险,我国于去年颁布的《生成式人工智能服务管理暂行办法》已有明确提示:提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德。

《未成年人保护法》也规定,“网络服务提供者发现用户发布、传播含有危害未成年人身心健康内容的信息的,应当立即停止传输相关信息,采取删除、屏蔽、断开链接等处置措施,保存有关记录,并向网信、公安等部门报告”。

大模型创业,当然要受到这些法律法规的规制,平台要负起主体责任,通过调整模型训练数据,加强内容过滤机制,设置更严格的道德和法律标准来指导AI行为,防止AI剧情聊天走偏。

也该意识到,对于一些指望靠擦边内容来盈利的企业,从内部审核管理上净化不良内容,可能动机不足。这就意味着要引进、强化外部监管,通过日常巡查、联合执法,以及法律法规的完善等,确保用户权益不被侵犯,让大模型创业走在正确轨道上。

撰稿/王言虎 编辑/迟道华 校对/陈荻雁

相关内容

AI浪潮下的另一种答案:T...
在这一轮AI 热潮中,市场的注意力大多集中在云端训练、推理集群和 ...
2026-06-22 14:39:48
AI进医院的AB面
早晨7点,山东第一医科大学第一附属医院(山东省千佛山医院)放射科,...
2026-06-22 14:39:18
AI手机助手如何引领智能设...
文 | 郭全中 张磊 韦薇 AI手机助手的快速发展不仅正在重塑现有...
2026-06-22 14:39:05
618收官:viaim讯飞...
2026年618大促于6月18日24时正式收官。继开门红阶段斩获三...
2026-06-22 14:39:01
【一周连连看】推动大模型从...
Hi,假期快乐。 本周,你将看到: 1、AI暑期营火了 2、硅谷,...
2026-06-21 20:19:17
CBVI:2026 中国品...
CBVI:2026 中国品牌AI可见度指数 China Brand...
2026-06-21 19:12:58

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...