2月16日，OpenAI重磅发布文生视频模型Sora，Sora在视频时长与视觉效果等方面相较于Pika、Runway等主流文生视频工具有了极大幅度的提升。具体来看，Sora生成的视频具有超长时长、世界模型、多镜头切换的三大特性： 1）超长时长：Sora可生成长达一分钟的高清视频，而此前Pika、Runway等模型生成的视频时长仅在20s以内，在视频时长大幅提升的同时，视频具有连贯性，即使人物和其他场景元素被暂时遮挡或离开视野，仍能保持一致性； 2）世界模型：Sora不仅能够深入理解用户提示，还学会了物理世界的部分规律，比如一个人吃汉堡后会留下咬痕、火车车窗上会产生逼真的倒影，而Runway等模型的拟真程度则相对较弱；
3）多镜头切换：Sora可在单个视频中设计出多个镜头，并且能在多角度的镜头切换中，实现角色和视觉风格的一致性，而Runway等绝大部分模型只能生成单镜头视频。
相较于此前的视频生成模型，Sora在底层模型和算法上的创新点主要体现在以下三个方面：
1）采用Transformer架构的扩散模型：不同于RunwayGen1、StableVideoDiffusion等扩散模型主要采用经典的U-Net架构，Sora用Transformer架构替换U-Net架构，大幅提升模型扩展性；
2）训练视频数据保持原始大小：不同于其他视频生成模型通常预先将视频调整、裁剪或修剪为标准大小，例如裁剪为分辨率为256×256的4s视频，Sora在原始大小的数据上进行训练，一方面数据采样更灵活，可以对宽屏1920×1080p视频、垂直1080×1920视频以及介于两者之间的所有视频进行采样，这使Sora可以直接以原始宽高比为不同设备创建内容，另一方面可以改善构图和取景，在经过方形裁剪后的视频上训练的模型有时主体仅部分可见，而Sora生成的视频取景得到了明显改善；
3）为训练视频生成详细的文字描述：其他文生视频模型通常在大型文本-视频对数据集上进行训练，而Sora采用了DALL·E3和GPT的研究成果，通过为视频训练数据生成或补充详细的字幕描述，提升训练效果，使模型预测更准确。
目前Sora仍存在一定局限性，包括无法模拟复杂场景的物理特性、难以理解特定场景下的因果关系、误解用户提示中的空间细节信息，有待于后续的进一步完善和提升。目前Sora模型已向部分专家开放，以评估潜在的风险，同时也正在向部分设计师、电影制作人、视觉艺术家等授予访问权限，以获得使用反馈。
暂无评论内容