超越Sora极限,120秒超长AI视频模型诞生

2024-03-26每日热点

  近日,UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制,实现了生成高度一致且长度可扩展的视频。

  

  StreamingT2V技术的核心构架包括条件注意力模块(CAM)和外观保持模块(APM)。CAM利用短期记忆单元确保视频连续性,而APM作为长期记忆单元保持视频中对象或场景的一致性。这两个模块的结合,使得生成的视频不仅动态连贯,而且视觉效果高质量。在测试中,研究人员用Streaming T2V生成1200帧,长达2分钟的视频。

  具体实现方法分为三个阶段:

  初始化、Streaming T2V生成和Streaming Refinement。在初始化阶段,利用文本到视频模型创造视频的前16帧;接着进入Streaming T2V阶段,通过自回归技术生成后续帧,保证视频内容连贯性;最后,在Streaming Refinement阶段对生成的视频进行优化,提高画质和动态效果。

  特色亮点包括:

  从文本描述生成2分钟的视频

  创建具有复杂动态运动的视频

  确保长视频中的时间一致性

  该技术的出现标志着AI视频生成的新突破,不仅可以生成1200帧甚至无限长的视频,而且内容过渡自然平滑,丰富多样。与此同时,StreamingT2V技术的不断完善和提升也将进一步推动AI视频生成领域的发展,为视频内容创作提供更多可能性。

标签: 每日热点

“超越Sora极限,120秒超长AI视频模型诞生” 的相关文章

雷军证实小米14系列销量已超100万台

雷军证实小米14系列销量已超100万台

  11月7日,小米集团创始人、董事长兼CEO雷军在微博与网友互动时称,小米14系列销量已超过100万台,目前缺货还是严重,正在催单。   雷军的回应中不难发现,小米14...

能给手机快速充电的“快充”,95%的人用错了

能给手机快速充电的“快充”,95%的人用错了

  各大手机厂商不附机赠送充电器,已经不是什么新鲜事了。更离谱的是,在此之后厂商不断升级自家的快充功能,推出各种各样的快充充电器。   咱这边就是说升级了新技术,但不想免...

公司5995万元“不翼而飞” ?银行存款“失踪”迷局再现

公司5995万元“不翼而飞” ?银行存款“失踪”迷局再现

  11月4日,上市公司湖北超卓航空科技股份有限公司(以下简称“超卓航科”)发布公告,称公司5995万元在“不知情”的情况下,被招商银行南京某支行划入保证金存款账户,用于两家与超卓航科不存...

确定了!2024年春节假期高速免费 共9天

确定了!2024年春节假期高速免费 共9天

  根据交通运输部关于优化2024年春节假期收费公路免收小型客车通行费时段的通知。   2024年春节假期   小型客车免费通行时段...

法院认定:郑爽已无财产可供执行

法院认定:郑爽已无财产可供执行

  近日,郑爽与海宁东开之星影视投资有限公司合同纠纷案件新增执行裁定书。文书内容显示,法院认为,经穷尽财产调查措施,该案被执行人郑爽暂无财产可供执行,故无继续执行的条件,应终结执行程序。...

男子被堵高速6天5夜 吃光了年货 不敢开空调冻感冒

男子被堵高速6天5夜 吃光了年货 不敢开空调冻感冒

  原标题:男子被堵高速6天5夜 吃光了年货:电动车不开空调怕掉电冻感冒   2月8日消息,湖北突如其来的极端天气,让不少车主困在了高速上。   在这场...