2024Week14人工智能AI:计算机行业:Sora对算力需求影响几何?

Sora基于DiT架构,采用Transformer替换U-Net。Sora实际上是一种基于DiT(Diffusion Transformer,扩散变换器)的模型搭建,同时采用了Diffusion与Transformer,是一种用于扩散模型的新架构。Sora受到大语言模型的启发,用Transformer替换扩散模型中的U-Net,通过将Transformer与Diffusion结合成为一种基于扩散变换的模型DiT,趋于标准Transformer架构,同时保留其可扩展性。与大语言模型将文本转换为可被理解的token类似,Sora将视频转换成一系列Patch(视觉编码块)并将其进行降维,用Patch作为视觉图像统一表现形式,将噪声通过去噪来预测原始图像信息,进而生成视频。

2024Week14人工智能AI:计算机行业:Sora对算力需求影响几何?-四海认知
2024Week14人工智能AI:计算机行业:Sora对算力需求影响几何?
此内容为免费资源,请登录后查看
0
免费资源
© 版权声明
THE END
如本文“对您有用”,欢迎随意打赏作者!
点赞5打赏作者 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容