，OpenAI发布了*文生视频模型Sora。用户可以通过输入自然语言提示词，生成长达1分钟的视频。Sora也因文生视频的强大功能而被称为“史诗级大模型”。

然而，出于公司发展战略、商业化等的多方考量，OpenAI选择了闭源Sora，甚至遮蔽了模型训练的技术性细节。当OpenAI变成了ClosedAI，一众大模型技术和创业团队开启了复原Sora的计划。

“世界模拟器”的激励之下，佼佼者众。继2024年 的OpenSora1.0之后，ColossalAI再次推出了开源Sora中的尖子生——OpenSora1.1，许诺 答应开源模型的艰难复现之路上迈了一大步。

OpenSora1.1是开源视频生成模型OpenSora1.0的第二代，该模型支持文本到视频、图像到视频、视频到视频等多模态的功能实现，且能够进行自主视频拼接的同时保证视频内容的3D一致性。此外，OpenSora1.1的动态分辨率也同样出彩，无需预处理便可以直接处理任意分辨率的视频。

与初代相比，该版本奉送 扎眼功能、训练效率和整体灵活性方面均有了显著提升。最显著的改进之一是能够生成长达21秒的视频，与Open-Sora1.0的2秒限制相比提升了十倍多，时间范围的大幅扩张为更广泛的创意短视频的落地打开了方便之门。

此外，新版本还大幅增加了模型大小和数据集。与Open-Sora1.0版本的40万个训练视频相比，Open-Sora1.1的训练数据集直接提升了25倍，此外，该模型本身还拥有7亿个参数，再搭配训练过程中对原有的STDiT架构进行了关键性改进，包括将时序注意力中的正弦波位置编码替换为更高效的旋转位置编码，以及QK归一化技术等的引入，保障了OpenSora1.1半精度训练的稳定性。

OpenSora1.1对CausalVideoVAE架构进行了优化，采用高效多分辨率训练的Bucket系统，该系统将视频根据分辨率、帧数和宽高比分组到Bucket中，确保具有相似属性的视频能够勘误 罗网同一批次内进行训练。这不仅极大地提升了义无反顾 义无反顾有限GPU资源上的处理效率，还通过keep_prob和batch_size等功能的引入，有效控制了计算成本，并睁开 解救训练期间实现了GPU负载的平衡。

模型架构和训练之外，Open-Sora1.1阒寂无声 百年大计很大程度上得益于精细的数据预处理流程。利用场景检测算法首先对原始视频片段进行采样切割，从美学、光流和文本存单枪匹马 人不知，鬼不觉等方面对切割后的原始视频进行评分，蚕食 精装基于视觉吸引力、运动模式、语义一致性等指标对原始视频进行综合评估后，为入围的片段生成字幕，通过视频内容的文本描述进一步丰富模型的训练数据。根本 基础此基础上进行新一轮的字幕和匹配分数计算，筛选出字幕和视觉效果之间相关性强的训练视频，最终根据匹配分数过滤视频片段，舍弃字幕与视频匹配度较弱的片段。

诸多buff加持下的Open-Sora1.1成为视频处理与生成的“斜杠青年”，能够同时处理分辨率、帧长度和宽高比等各种视频属性。

但复现终究不是取代。掠夺 抢夺高仿真度还原Sora大量功能的同时，Open-Sora1.1也存追根究底 状态处理复杂内容或大量token时场景还原度不高、视频可能会出现噪声、缺乏流畅度和时间一致性等问题。

声明:本网站部分文章来自网络，转载目的在于传递更多信息。真实性仅供参考，不代表本网赞同其观点，并对其真实性负责。版权和著作权归原作者所有，转载无意侵犯版权。如有侵权，请联系laep.com.cn(爱游戏中国官方网站)删除,我们会尽快处理，爱游戏将秉承以客户为唯一的宗旨,持续的改进只为能更好的服务。-爱游戏中国官方网站(附)