1980年,英国技术哲学家大卫·科林格里奇在 《技术的社会控制》中提出了一种技术控制的两难困境: 管理早了或许会影响创新;而管理晚了难以控制风险。后来,“科林格里奇困境”成为了“创新和治理”之间微妙关系的高度凝练表达。
在人工智能技术快速发展的今天,“科林格里奇困境”是社会、行业、科技企业都需要直面的核心问题。特别是,站在AI浪潮演进的最前线,科技企业更需要以负责任的姿态主动回应时代新议题。
6月23日,Soul App举办人工智能伦理与治理委员会(以下简称为“委员会”)成立仪式。作为模型与应用一体化的 AI 生态公司,Soul正持续夯实AI底层能力基建与迭代创新功能,同时,也在不断探索AI伦理与治理新机制。正式成立人工智能伦理与治理委员会则是平台系统化构建AI治理机制的重要一步。
Soul App创始人、CEO张璐表示,“ 以情绪多模态交互大模型为技术内核,Soul正构建‘自有应用—产业生态’双层应用体系,更多维的AI生态建设要求更立体的AI伦理治理能力与方案。过去一段时间,我们进行了数据安全、用户隐私保护、AI防沉迷、AI治理机制升级等多维度的探索,而通过委员会的成立,我们希望能够进一步凝聚自律共识、拓展治理视野,更前置、系统地建立AI伦理治理体系和管理闭环机制,为广大用户营造更加真实、温暖、可信的交互生态。”
科林格里奇困境:AI时代,创新与治理结构性难题如何突破
根据联合国贸易和发展会议(UNCTAD)发布的《科技与创新2025》报告预测,到2033年,全球人工智能市场规模将达到4.8万亿美元。
人工智能的快速发展,正对现代社会的生产、生活产生深刻影响。正如上海市互联网业联合会会长姜迅所说,“人类已经进入人工智能时代,这是可以类比工业革命的新阶段,将极大提升人类的生产效率与生活质量。机遇和挑战并存,人工智能市场巨大潜力的另一面,也意味着人工智能的伦理与治理问题需要被高度重视。”
近年来,《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》《人工智能拟人化互动服务管理暂行办法》等一系列人工智能伦理与治理相关法律法规、政策制度、应用规范、伦理准则的推出,系统划定了人工智能应用伦理安全边界与底线,为人工智能健康有序、安全可控、向善发展提供规范化依据与实操性遵循。
AI时代如何负责任的创新?企业如何更好回应以Z世代为代表年轻一代的AI信任,建立可信的产品生态?交互场景究竟需要怎样的AI伦理治理?在Soul App人工智能伦理与治理委员会成立仪式上,多位专家围绕人工智能伦理与治理核心问题进行了观点分享与讨论。
作为Soul App人工智能伦理与治理委员会的外部委员,复旦大学马克思主义研究院副院长、伦理学博士李凌在成立仪式现场分享了对创新与治理之间关系的思考。
他认为,“科林格里奇困境”反映的,其实是技术发展速度与社会认知、政策规制之间的平衡问题——何时介入?以何种强度介入?同时,该难题并非单一维度,而是贯穿宏观(国家顶层设计)、中观(行业规制)、微观(企业产品伦理)三个层面,是人工智能等前沿技术伦理治理必须回应的根本问题。
在分析全球人工智能治理模式后,李凌重点分析了中国人工智能伦理治理节奏形成的四大方向——包容创新、敏捷治理、柔性治理、协同治理。其中敏捷治理是中国人工智能节奏化治理的核心概念与法定原则,需构建跨主体协同的快速响应机制,打通政府、协会与企业的联动链路,对技术迭代中涌现的新型风险,严格落实“早发现、早研判、早处置”的闭环防控,将潜在的伦理与技术隐患化解在萌芽阶段。
Soul App人工智能伦理与治理委员会的另一位外部委员,上海市人工智能行业协会安全工作委员会秘书长、上海兰迪律师事务所高级合伙人殷雨薇则围绕“全球协作与本土实践:人工智能治理的挑战与未来路径”,介绍了全球人工智能领域的治理框架,并结合知识产权侵权、AI幻觉等生成式人工智能发展新现象引发的具体法律案例,介绍了当下从“监管”到“共治”的治理范式转变。
在具体应用场景与行业发展新问题分析中,殷雨薇强调,“讲治理不是在讲空架子,也不是只讲述宏大的价值观念,真正的治理是在应用到各行各业的过程中,从政府端、到行业端、再到企业端,多方协作一起寻找到适配的模式。”
针对人工智能伦理与治理方向需要重点关注的未成年人保护问题,上海市青少年研究中心主任李清川表示,“青少年与AI的关系会深刻影响一代人的社会认知和情感能力,全社会需要关注三个问题:第一是规避拟真陷阱,虚拟人要保持适度‘非人感’或增加显著提示,让青少年始终清楚自己在与AI互动;第二是明确纠错机制,在AI深入治理流程中,要建立明确纠错机制,避免情绪识别模型的误判可能对青少年造成二次伤害;第三是塑造情感能力,充分利用平台积累的青少年社交行为数据,提炼场景,强化情感能力教育。”
上海社会科学院新闻研究所互联网治理研究中心主任方师师则提出,“关于陪伴式AI过度沉迷的问题,需要从技术与社会两个方面来看:在技术层面,需要关注算法与模型的公平性、透明性以及问责机制;在社会层面,更应关注社会系统的结构性因素,如对需要关爱的群体是否有足够的社会支持,公共文化设施是否提供了足够丰富的线下选择等。”
多维生态:立足双层应用体系,系统夯实AI能力
正如复旦大学马克思主义研究院副院长、伦理学博士李凌所说:“伴随着人工智能技术的发展,AI治理必将从边缘问题走向核心位置。对大模型企业而言,关注人心背后的伦理需求,将其融入到产品设计中,这是应有之义,也是未来企业发展重要的机遇。”
Soul成立人工智能伦理与治理委员会正当其时。Soul App CTO、人工智能伦理与治理委员会主任委员陶明说,站在同步发展大模型能力与落地具体产品功能的独特行业坐标,Soul专注于情绪感知与交互,探索情感识别、情绪陪伴、人机互动等前沿能力发展,直面用户对于AI行为的期待与反馈,积累了大量的实际业务沉淀。
2016年,Soul App上线,是当时行业较早将AI引入人与人链接的互联网平台,2020年前后,Soul启动系统的AIGC技术研发工作,专注情绪感知与交互方向,打造情绪多模态交互大模型,并推出自研模型SoulX,逐步构建起“底层能力+应用场景”的生态体系,致力于让AI成为人与人真实链接的基础设施。
2024年,在人工智能领域顶级的国际学术会议之一——国际人工智能联合会议(International Joint Conference on Artificial Intelligence,IJCAI)上举办的多模态情感识别挑战赛MER24,Soul 团队在SEMI(半监督学习)赛道获得第一名。
2025年10月,Soul 开源语音播客生成模型SoulX-Podcast,发布第二天,SoulX-Podcast成为全球AI开源社区HuggingFace TTS(Text To Speech,从文本到语音)趋势榜榜首。在Github平台,该模型已收获3300+星星数。
2026年,Soul在实时数字人生成方向陆续开源了SoulX-LiveAct、SoulX-FlashTalk、SoulX-FlashHead等模型。推出后,SoulX-FlashTalk和SoulX-FlashHead分别冲上了HuggingFace I2V( Image To Video,从图像到视频)趋势榜TOP5、TOP4。
同时,团队在语音领域开源了歌声合成模型 SoulX-Singer、全双工语音对话控制模块SoulX-Duplug、端到端多人对话转录模型SoulX-Transcriber。面向情绪感知与交互核心垂类方向,平台持续为产业链赋能,输出更落地、可商用的解决方案。在这个过程中,AI在交互场景的深度融合,极大提升了链接、交互的质量和体验。
陶明说,如今Soul已成为一家专注于情绪感知与交互、模型与应用一体化的 AI 生态公司。区别于通用大模型方向,Soul以基于情绪感知、语音为先、面向多模态的交互大模型为技术内核,构建“自有应用—产业生态”双层应用体系。对内,以 Soul App等真实社交场景为载体,持续迭代模型交互能力;对外,以 SoulX 模型能力为产业链赋能,面向具身智能、内容演绎等行业输出情绪感知与交互决策方案,并延伸至 AI 治理领域,这些都成为了构筑Soul AI伦理治理体系的重要基石。
Soul App:行业独特生态位下,AI伦理治理的具体实践
与构建“自有应用—产业生态”双层应用体系相同步,Soul已在监管部门的指导下,逐步建立了AI治理机制,以实际的治理成果获得了以Z世代为代表的广大用户的认可。
针对当前 AI 生成违规内容成本低、传播快、隐蔽性强的治理挑战,Soul 依托自身核心技术能力,搭建起以 “AI 对抗 AI” 为核心的智能治理体系。通过构建 “动态采集 —AI 深度分析 — 智能决策 — 智能执行” 的智能对抗链条,推动安全防护能力模块化整合、体系化协同,不断提升平台在复杂网络环境下的主动防御能力与综合治理水平。Soul的“AI大模型助力技术创新,精准识别让虚假人设无处遁形”入选了“清朗浦江·2024”网络生态治理优秀创新案例。
针对行业关注的虚拟人交互安全、行为边界与AI沉迷等问题,Soul进行了多维度的探索,如建立AI虚拟人双向审核机制,用户输入内容在进入模型前,需要经过色情低俗、违法违规、攻击辱骂等多项安全策略审核;模型生成内容在输出前,还需经过独立的AI安全模型和内容审核策略再次校验,实现“用户侧审核+模型侧审核”的双重防护。针对模型多轮对话场景,平台引入上下文语义理解能力,不仅关注单句内容是否违规,也关注连续对话中的风险演化趋势,提升风险识别的准确性和稳定性。
同时,Soul在站内进行了显著的AI 虚拟人标识,并且在虚拟人对话交互界面设置常态化固定标识,持续展示“内容由 AI 生成”提示文案,清晰、显著提示用户当前正在与人工智能进行互动,充分保障用户知情权,最大程度避免用户将AI与真人进行混淆,以免产生错误认知或情感误判。
今年3月,平台全面上线 “AI 社交时长提醒” 功能,当用户与虚拟伙伴连续对话达到 2 小时,系统将触发数字提醒窗口,提示用户“建议休息一下”,引导用户从虚拟对话中适时“抽离”,保持与真实世界的连接。5月,Soul对《社区公约》进行了AI相关补充更新,新增关于AI生成内容、AI互动行为以及AI虚拟角色等场景的使用规范,进一步明确AI在社区中的使用边界,引导用户合理使用AI产品功能。
目前,Soul已围绕AI虚拟人、AI语音互动、AI内容生成等场景,逐步构建起覆盖“输入治理、生成治理、输出治理、风险干预、用户保护”的全链路安全体系。针对未成年人保护,平台建立了专项体系,包括了强制性不向未成年人提供虚拟人服务,提供未成年人模式等。
陶明表示,在AI越来越像“真人”的背景下,如何确保用户清晰理解AI身份、保障知情权和选择权,将是平台未来治理的重要方向。此次成立人工智能伦理与治理委员会是平台系统化构建AI治理机制的重要一步。该委员会将围绕Soul“模型与应用一体化的AI生态公司”定位,坚持科技向善、技术为人、安全可控、普惠共治、公开透明的价值主张,通过技术治理与伦理审查相结合的方式,构建覆盖数据、算法、应用的全流程风控体系,提升企业负责任创新的能力。
适应 《科技伦理审查办法(试行)》《人工智能科技伦理审查与服务办法(试行)》《人工智能拟人化互动服务管理暂行办法》等相关法律法规的要求,Soul的人工智能伦理与治理委员会包含了公司内AI、产品、法务等AI伦理治理高关联业务部门负责人,同时,邀请互联网治理、伦理学、社会学、青少年研究、法律等不同领域、专业背景的专家担任委员会外部委员,为公司相关规则制定和伦理审查提供多元社会视角和治理建议。
成立仪式后,Soul人工智能伦理与治理委员会举行了第一次外部委员专题会议。与会的外部委员对《Soul App人工智能科技伦理审查工作规范(草案)》等文件提供了意见和建议,并对Soul已经和即将推出的AI相关产品与功能进行了详细了解。委员们表示,会后将在认真研究的基础上,围绕AI伦理与治理相关问题提供咨询意见。
据悉,Soul人工智能伦理与治理委员会成立后,将承担的核心职能包括制定AI伦理治理战略,确保与技术发展同步;对新技术、产品开展前置伦理评估;定期开展AI伦理通识培训,提升员工伦理素养;建立伦理事件闭环管理机制,包括监测、研判、处置、反馈等环节等。
陶明表示,现阶段,伴随着技术的快速发展,AI伦理治理仍面临诸多挑战,未来,Soul将继续坚持“发展与安全并重、创新与责任同行”,持续深化AI伦理治理实践。一方面,进一步完善AI安全审核体系和风险防控能力,提升模型可控性和可信度;另一方面,积极与学界、行业开展合作,探索符合社交场景特点的AI伦理规范建设,将数据合规、隐私保护、未成年人保护、内容向善、公平透明等理念贯穿于产品设计和技术应用全过程,努力推动AI技术在安全、健康、负责任的轨道上持续发展。
(注:此文属于央广网登载的行业信息,仅供参考。)
上一篇:AI抢电,戈壁造电