南方财经全媒体记者 吴立洋 杭州报道

“生成式AI最大的想象力，绝不是在手机屏幕上做一两个新的超级APP，而是接管数字世界，改变物理世界。”

这是阿里巴巴集团CEO吴泳铭在2024云栖大会上发表的观点，也展示了业界对未来人工智能应用图景的设想：在应用范围上，AI将涵盖数字世界、物理世界的方方面面；在应用深度上，大模型在内容转化与生成、辅助人类工作等现有职能外会被赋予更多主动性，以至能够“接管、改变世界”。

这种设想一方面展现了人工智能未来的发展潜力与应用方向，另一方面也隐约带来了技术高速发展下的安全忧虑——对于目前应用尚窄且功能有限的大模型，如何保证其内容输出和行为逻辑安全可控已难点重重。而一个能够接管、改变世界的超级人工智能，必然会涉及更广泛的社会安全与利益，如何在AI技术演进的过程中逐步完善对AI的监督、控制能力，将是在大模型广泛应用过程中需要同步关注的重点问题。

在本届云栖大会同步举办的“数智未来，责任同行：AI伦理与安全”分论坛上，来自法学、计算机、产业、监管等多领域的专家针对AI发展的现状和前景，展开了进一步的交流与讨论。

监管应与产业发展阶段相适应

就目前大模型发展过程中出现的典型问题来看，数据、算法与内容是安全威胁频发的关键环节，这一方面是由于其直接与人工智能的输入输出环节相关联，另一方面也直接作用于人类社会，对人们的生产生活产生影响。

从既有案例来看，无论是在B端还是C端的应用中，大模型本身的漏洞都可能引发不小的负面影响。

在数据领域，据媒体报道，三星电子在引入ChatGPT不到20天后，便被爆出机密资料外泄的意外事件，涉及半导体设备测量资料、产品良率等内容，传已经被存入ChatGPT的数据库中；在内容安全方面，近日国内多个品牌儿童手表安装的大模型应用被有毒数据污染，导致其搜索出歧视中国人内容的问题亦受到广泛重视。

北京大学教授，法制与发展研究院执行院长王锡锌在论坛发言中表示，由于法律等并非与技术研发直接相关的研究领域，往往难以在其发展的第一时间就对其充分了解和介入，因而在对人工智能的管理中往往存在各类过期的安全观。

例如，欧盟在立法过程中，从GDPR到数字市场法再到近期的人工智能法案，都有很明显的以人权为中心的导向，但其也存在超出产业发展阶段的“价值迷信”问题，容易导致产业空心化的布鲁塞尔效应；再如，对于人工智能这样不断迭代发展的技术，法律规则的设计面临着极高难度，要警惕在此过程中的“立法迷信”，避免法律出台的滞后。

他进一步表示，对于前者，价值在本质上需要可落地、可实现，要考虑其技术可行性及成本；对于后者，可以在立法路径上将“硬法”与“软法”相结合，“硬法”缓行，“软法”先行。总体而言，要在治理框架上统筹安全与发展。

从立法进度来看，国内的监管框架建设基本也与产业发展实际相同步。近日，国家互联网信息办公室发布《人工智能生成合成内容标识办法（征求意见稿）》，为AI生成内容标识提供了规范标准，主要是对当前已在社会中广泛应用的大模型内容输出应用进行管理。

中国信通院安全所副总工杨剑锋在论坛发言中表示，就目前的产业实践而言，目前主要集中于对模型内部的安全检测，其方法也较为成熟，但对于近期兴起的多模态大模型，例如今年OpenAI推出的视频生成模型Sora，其在不同应用场景下的测评标准和安全措施尚在起步摸索阶段。

多角度切入大模型合规

在治理思路明确的同时，哪些主体、采用何种手段、以怎样的形式切入大模型研发应用的过程，亦是各类监管标准落地面临的实际问题。从大模型公司、行业机构和监管部门目前的实践经验来看，其正在各自摸索不同的方法与路径。

浙江大学计算机学院院长、区块链与数据安全全国重点实验室常务副主任任奎在论坛发言中表示，大模型在训练、开发、部署和维护等不同阶段面临不同的安全威胁，需要分阶段分步分层次对其进行衡量与评测。

他以浙大网安在人工智能安全评测、深度合成检测、合成内容标识三方面研发的安全技术平台为例，指出相关的技术平台需要在间接信任的框架下，兼顾评测覆盖面、评测效率、可解释性等多个维度。

“评测并不是终极目的，关键是能否根据评测结果找到加固大模型的空间。”任奎表示。

而在第三方研究机构之外，作为大模型产业开发的直接参与者，业界对技术进展中产生问题的感知要更为敏锐，对于如何在高频更新的项目研发和商业应用过程中，同时保证用户的使用安全和大模型本身的安全，头部厂商的经验做法提供了重要的行业参考。

通义实验室安全负责人张荣在本次论坛发言中表示，安全、可靠、可信赖、可用是通义大模型治理的基本目标。其中，安全需要多方协同共治共同参与，可靠则意味着大模型输出的结果需要是稳定的而非脆弱的，可信则要保证大模型的决策是能够被观测和理解的，可用则是在上述条件被满足后产品能够适用于各类场景。

同时他也强调，作为服务提供商，一方面需要积极引入国家的强制性标准，推动落地方案，另一方面也要保持与业界的广泛沟通联动，用模型开源等方式提升其透明度与可信度。

“厂商发布的内容不追求所有技术小白都能看懂，但是要保证业界能够理解我们做内审安全的方式，以及安全测试的结果，从而快速验证某一类方法的安全性，在此基础上加以完善。” 张荣表示。