开放源代码促进会(OSI)公布AI开源新定义 大模型“开源”需去伪存真
创始人
2024-10-29 22:34:21
0次

10月29日消息,全球权威的开放源代码促进会(Open Source Initiative,OSI)发布了关于“开源AI定义”。根据该定义,真正开源的AI大模型必须提供训练数据的详细信息、完整的构建和运行AI的代码以及训练时的设置和权重。

OSI称,新定义是为了避免当前行业中对“开源大模型”的过度营销和使用误解。据此标准,当前市场上表面开源的大模型几乎都“名不副实”,包括大名鼎鼎的“开源大模型”标杆Llama和Gemma。

OSI是多年来一直负责管理开放源代码定义(OSD)。在过去两三年中,OSI发现传统的“开源”定义并不适用当前火热的AI大模型。因为AI大模型比传统开源软件更复杂:它不仅包含代码,还涉及大量的数据、复杂的模型架构以及训练过程中的各种参数等。而这些数据的收集、整理、标注等过程都对模型的性能和结果产生重要影响。传统的开源定义无法全面涵盖这些新的要素,导致在AI领域的适用性不足。

2023年,OSI对市场上的大模型调查发现,表面上开源的大模型几乎都“名不副实”。Hugging Face应用政策研究员Avijit Ghosh表示,将大模型描述为“开源”可能会使它们被认为更值得信赖。Meta和Google宣传的免费模型似乎任何人都可以调整,但并不是真正的“开源”,它限制了用户可以对模型做什么,而且训练数据集并不公开。

去年6月,OSI表示将为开源AI重新设置定义。它邀请了70人专家组,包括研究员、律师、政策制定者和大型科技公司代表等,来共同协商制定AI开源定义。

如今,OSI正式宣布了开源AI定义(OSAID)1.0版。根据新定义,AI大模型若要被视为开源有三个要点:

  • 训练数据透明性:必须提供足够的信息,使任何人能够“实质性”地重建该模型,包括训练数据的来源、处理方式和获取方式;
  • 完整代码:需要公开用于训练和运行AI的完整源代码,展示数据处理和训练的规范;
  • 模型参数:包括模型的权重和配置,需提供相应的访问权限。

OSAID还规定,开发者应享有使用、修改和共享模型的自由,而无需获得他人许可。对于新定义,独立研究员和开放源代码创建者Simon Willison称,“既然我们已经有了一个强有力的定义,也许我们可以更积极地抵制那些开源洗白(open washing)并宣称自己的工作是开源的公司。”

此前,国内市场也爆发了“大模型开源闭源”之争。某企业负责人曾公开表示,“很多人混淆了模型开源和软件开源的概念”。所谓的“开源大模型”其实并未开放训练源代码、预训练和精调数据等影响模型效果的关键信息,所以这些模型无法像开源软件一样,靠社区开发者一起参与来提升效果和性能。应用“开源大模型”的企业,其实很难迭代并优化这些模型,以至于无法高效地应用于企业场景。基于这些原因,闭源模型更适合商业化。

相关内容

热门资讯

国产大模型下调推理服务价格,南... 近日,国内某大模型企业宣布下调其flash系列模型服务价格,输入缓存命中、输入缓存未命中及输出价格最...
解码青年人AI生活《2026有... 中新网深圳9月5日电(记者索有为)《2026有意思生活方式报告》(下称《报告》)4日在全国首个有意思...
OpenAI 最强 AI 生图... 9月9日消息,OpenAI 9 月 9 日官宣发布 ChatGPT Images 2.5,图像生成延...
探索AI供应链产业化路径京东推... 2026年以来,人工智能应用范围加速拓展,持续从数字空间走向现实生活,广泛融入生产线、仓储厂房、配送...
教育部发文!AI生成内容,教师... 一篇论文,因为AI使用不当,相关高校师生被通报处理。 9月2日,安徽财经大学公布“教师与学生涉嫌学术...
AI识别出近800种可充当乳化... 英国利兹大学食品科学与营养学院和爱丁堡大学科学家携手,开发出一款 人工智能(AI)工具,能从数千万种...
搭上低空经济、AI文旅?两连板... 桂林旅游(000978)回应市场热点。 9月8日,桂林旅游再度涨停,斩获2连板。当天晚间,该公司披露...
硅谷:我们不能被硅谷“AI刹车... 【文/底线思维】 OpenAI首席科学家Jakub Pachocki最近写了一篇文章,题目叫《An ...