Sora模型技术讲解

news/2024/7/7 20:41:05

Sora整体训练流程

  • 视频编码
  • DIT
  • 语言模型
    在这里插入图片描述
  • 预测的时候输入的是纯噪音。
    在这里插入图片描述
  • Sora训练样本特点
    在这里插入图片描述
    在这里插入图片描述

视频编码

  • *将一帧一帧图片转化为20 * 30 3 的patch,就是1800维特征。
    在这里插入图片描述
  • 转化为1800维特征太长了,需要将其压缩,转化为短向量

http://lihuaxi.xjx100.cn/news/2060891.html

相关文章

去掉WordPress网页图片默认链接功能

既然是wordpress自动添加的,那么我们在上传图片到wordpress后台多媒体的时候,就可以手动改变链接指向或者删除掉,问题是每次都要这么做很麻烦,更别说有忘记的时候。一次性解决这个问题有两种方法,一种是No Image Link插…

【leetcode】 剑指 Offer学习计划(java版本含注释)(下)

目录 前言第十六天(排序)剑指 Offer 45. 把数组排成最小的数(中等)剑指 Offer 61. 扑克牌中的顺子(简单) 第十七天(排序)剑指 Offer 40. 最小的k个数(简单) 第…

C++_标识符命名规则

作用 C规定给标识符(变量、常量)命名时,有一套自己的规则 标识符不能是关键字标识符只能由字母、数字、下划线组成第一个字符必须为字母或下划线标识符中字母区分大小写 建议 给标识符命名时,争取做到见名知其意的效果&#x…

【力扣白嫖日记】602.好友申请II:谁有最多的好友

前言 练习sql语句,所有题目来自于力扣(https://leetcode.cn/problemset/database/)的免费数据库练习题。 今日题目: 602.好友申请II:谁有最多的好友 表:RequestAccepted 列名类型requester_idintaccept…

CleanMyMac X好不好用?2024版本有哪些独特的功能

CleanMyMac X:Mac的瑞士军刀,让您的电脑焕然一新 在数字时代,我们的Mac电脑扮演着至关重要的角色,无论是工作、学习还是娱乐,都离不开它。然而,随着时间的推移,我们的Mac可能会因为各种缓存文件…

在OceanBase使用中,如何优化因Join估算不准导致执行计划选错的问题

作者:胡呈清,爱可生公司旗下的DBA团队成员,擅长故障分析和性能优化。爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。本文约 1600 字,预计阅读需要 15 分钟。 数据库版本&…

ERROR: No matching distribution found for cv2

一直以为是我版本的问题,后来一查才发现包名是另一个名字,仅以此博客记录 安装cv2库命令 pip install opencv-python安装sklearn库命令 pip install scikit-learn

ESP32 partitions分区表的配置

由于在使用ESP32会遇到编译出来的bin文件大于分区表的时候,因此需要我们修改分区表或者使用自定义分区表的方式来解决。(项目是使用VScode来搭建和调试的,VScode YYDS) 具体分区标的含义这里就不讲了,网上有很多文档介…