智谱AI刚刚把他们的Sora「清影」,正式开源了,我爱他们。
创始人
2024-08-06 14:39:06
0

大半夜的,大洋对岸不卷,国内公司卷起来了。

我真的想睡觉,真的。

起因是我睡觉之前,在看Github的时候,无意间看到THUKEG这个号,更新了一个项目。

CogVideoX

网址在此:https://github.com/THUDM/CogVideo

THUKEG算是智谱的官号,而CogVideoX,则是前两周很火的智谱的第二世代AI视频清影的基模型。

用最通俗的话理解就是,CogVideoX等于GPT4o,而清影等于ChatGPT,你就可以简单的理解为,一个是模型,一个是基于模型做的产品,所以其实可以画个等号。

前两周,第二世代的AI视频大战,在已有的三幻神Runway、可灵、Luma的基础上,Pixverse上线了V2版本,Vidu的模型也千呼万唤始出来。

而作为大模型领域最明星的AI公司,智谱,也加入了这场AI视频的混战,发布了他们的DiT视频产品,清影。

这个产品,在他们的AI助手智谱清言上,就能用。

但是非常坦率的讲,我没有写它,是因为我觉得,在生成效果上,确实跟可灵、Runway,还是有一定的差距。

而在发布清影的两周后的今天,他们决定,把CogVideoX,开源了。

那就值得,吹一波了。

CogVideoX模型下载地址:

https://huggingface.co/THUDM/CogVideoX-2b

现在主流的AI视频,全都是闭源的,有一个开源的Open-Sora,但是说实话,效果也差强人意。

而清影,效果虽然跟主流的闭源模型尚有差距,但是在跑一些内容上,至少是可用的状态。

这一次开源的,我大概翻了下,开源的是一个CogVideoX-2B的小模型。

推理需要18G显存,也就是说,在有单卡3090或者4090的时候,就可以直接本地跑视频了,不需要再烧钱了,不过看峰值会到36G,大概率会爆显存。

不过他们自己也说了,马上就会优化。

不过我只有一张小垃圾4060,显存就8G,你优化完我也跑不动。4090,说实话,也真的没钱买= =

啥时候AI视频模型,也跟SD1.5一样,能普惠众生人人皆可跑就好了。

这个2B的模型,视频长度是6秒,帧率为8帧/秒,视频分辨率为720*480

这参数,有一股子即梦初代的那感觉了。

我放几个他们官方的case(其实你去清影上跑几个是差不多的)

一艘精致的木制玩具船,桅杆和船帆上雕刻着复杂的图案,在模拟海浪的蓝色长毛绒地毯上平稳地滑行。船身漆成浓郁的棕色,并带有小窗户。地毯柔软而有质感,提供了一个完美的背景,就像一片广阔的海洋。船的周围环绕着各种玩具和儿童用品,暗示着一个充满童趣的环境。这个场景捕捉到了童年的天真和想象力,玩具船的旅程象征着在异想天开的室内环境中的无尽冒险。

镜头跟在一辆白色复古越野车后面,车顶有黑色行李架,越野车在陡峭的山坡上沿着松树环绕的陡峭土路快速行驶,轮胎上的尘土飞扬,阳光照在越野车上,越野车在土路上快速行驶,给整个场景投下了温暖的光辉。土路缓缓弯向远方,看不到其他车辆。道路两旁的树木都是红杉,还有零星的绿色植物。从后方看,汽车轻松地沿着弯道行驶,仿佛在崎岖的地形上行驶。土路本身被陡峭的丘陵和山脉环绕,头顶是晴朗的蓝天和飘渺的白云。

在一个饱受战争蹂躏的城市,废墟和残垣断壁诉说着满目疮痍,在这个令人心碎的背景下,一个凄美的特写镜头定格了一个年轻的女孩。她的脸上沾满了灰烬,无声地证明着周围的混乱。她的眼睛里闪烁着悲伤和坚韧,捕捉到了这个因冲突而失去天真世界的原始情感。

推理大概是这样,但是开源出来,我更期待的,其实是微调和插件的生态。

比如现在大家都在用的AI绘图SD的1.5模型,基模其实做的就跟一坨屎一样,但是毕竟是开源的,一堆大神基于SD1.5,做出了非常牛逼的模型,比如Majic、DreamShaper、Anything等等。

CogVideoX,也是可以微调的。

想起了在WAIC上,阶跃星辰跟上影做的AI视频模型,他们用了200分钟的葫芦娃素材,就调了一个葫芦娃大模型。

你出的所有的东西,都是葫芦娃风格,你也不用费劲巴拉的去搞什么角色一致性了,我输入大娃,那就出来的就是大娃,我写爷爷和蛇精在一起哈啤酒,那就是他两。

而现在,CogVideoX开源,我们可以微调的情况下,一些用AI做短剧和长剧集的,完全可以试着微调一个自己的视频大模型,来个性化风格和角色。

因为我自己一直觉得,文生视频的上限和表演动态,是比图生视频要高很多的,但是两个最大的坎是风格一致性和角色一致性,如果可以微调,那也是有很多办法可以去解决了。

CogVideoX-2B的微调,需要的显存是40G,普通的显卡不行了,得上A6000这种渲染卡了。

不过毕竟是视频模型,不说普惠到普通大众,但是对于一些初创公司和小企业,这门槛几乎就是约等于0。

因为,这是开源的,他们不需要再从0开始花费无数资金去做一个自己的大模型,去趟这一趟坑,他们只需要,买点本地的卡,加起来也就几万十几万,然后,就可以本地微调了。

我也一直相信,开源的未来,一定比闭源强。

扎克伯格在前段时间发LLaMa3.1 405B的那天晚上,在Facebook上发了一封万字公开信。

其中有一段话让我印象很深刻。

翻译过来是:

我坚信开源是实现积极AI未来的必要条件。AI相比任何现代技术都有更大的潜力提升人类的生产力、创造力和生活质量,并加速经济增长,同时推动医疗和科学研究的进步。开源将确保世界上更多的人能够享受AI带来的益处和机会,防止权力集中在少数公司手中,使得这项技术能够更加均衡、安全地在全社会推广。

防止权力集中在少数公司手中,使得这项技术能够更加均衡、安全地在全社会推广

开源,就是最好的手段,闭源并不会带来技术平权,但是开源会,因为AI不是一个娱乐工具,他是生产力工具,他的推动,主要都来自于公司、研究机构等等。

而每个公司,在使用AI时,都有三个很大的痛:

1. 他们需要训练、微调和提炼他们自己的模型。

2. 他们需要保护他们的私有数据。

3. 他们希望把自己的AI变成长期标准的生态系统。

这一切,汇总起来,就一句话:

我们需要能控制自己的命运,而不是把命交给别人。

而在国内,智谱是我觉得很特别的公司,它很像OpenAI,又有着Meta的气质。

要知道Meta的商业模式,和一些大模型公司比如OpenAI的商业模式完全不一样,他们不靠卖大模型的使用权收钱,所以开源其实对于Meta来说,并没有多大的影响。

但是智谱不一样,智谱是一家大模型公司。

但是在这样的考量下,他们依然,毅然决然的开源了。

可能他们也像Meta一样,为了那个很崇高的信仰:“使得这项技术能够更加均衡、安全地在全社会推广。”

除了CogVideoX外,他们还开源过N多东西。

去他们的Github上翻一下,你就会发现很多惊喜:

https://github.com/THUDM

我爱每一个愿意开源的公司。

我期待未来某一天,无数的开发者在CogVideoX的基础上,开发出了各种各样的插件和微调模型,每一个影视、短剧、广告等等等各种跟视频有关的行业的公司,也都有自己N多的模型和各种各样的视频生成工作流。

就像SD在各家企业里,繁荣昌盛。

我佩服智谱。

这不仅是一个技术的决定,更是一种信念的传递。

大洋对岸的灯光渐渐熄灭。

而我们这边的黎明。

正在冉冉升起。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

>/ 作者:卡兹克

>/ 投稿或爆料,请联系邮箱:wzglyay@gmail.com

相关内容

AI语音助手Maya,完全...
2025-03-14 18:41:15
新点软件:基于华为等多家开...
金融界3月14日消息,有投资者在互动平台向新点软件提问:你好!请问...
2025-03-14 17:12:09
原创 ...
风向彻底变了——AI应用的时代正式到来! 2024年,网络推广做的...
2025-03-14 14:42:42
清华率先开源AI制药智能体...
LG 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI AI智...
2025-03-14 08:40:41
AI产业热潮不减
【深圳商报讯】(首席记者 谢惠茜)虽然算力以及人工智能板块迎来回调...
2025-03-14 08:13:13
警惕“AI推荐”沦为忽悠消...
杨玉龙 “DeepSeek,请推荐一款今年的中端手机。”“Kimi...
2025-03-14 08:12:16

热门资讯

原创 华... 想在竞争残酷的市场中发力,必须要带来一些激进的卖点,但是随着功能特性的提升,硬件也必须要进行给力才可...
支持 AI 扩图,华为 Pur... 2024-07-28 09:05:02作者:姚立伟 华为Pura 70 Pro手机今日推出鸿蒙Ha...
苹果macOS 15.1:允许... 苹果公司在其最新的macOS 15.1版本中,推出了一项引人注目的新功能——允许用户将Mac App...
吞噬星空维妮娜美图/高清壁纸/... 国漫女神|《吞噬星空》维妮娜美图/高清壁纸/AI手机壁纸/无水印 国漫女神|《吞噬星空》维妮娜美图...
原创 苹... 前言 IQUNIX在做好看的桌面产品上,一直都给我留下非常深刻的印象。而且早期和苹果产品的设计风格...
原创 商... 最近,各家的AI 9笔记本开始陆续登场,其实大家并不一定非选AI 9 HX 370,主要是这颗CPU...
AI智能+高效清洁!萤石RS2... 目前扫拖机器人市场的竞争非常激烈,在上下水扫拖一体机市场也出现了很多所谓的创新产品。但是对于这些产品...
2024年度中国银行业发展报告... 21世纪经济报道 记者李愿 北京报道 10月19日,中国银行业协会在2024金融街论坛年会·金融街之...