阶跃星辰在3月20日开源的图生视频模型Step – Video – TI2V,阐述了其基于30B参数Step – Video – T2V训练,具有支持生成特定分辨率视频、运动幅度可控等特点,还提及了与华为昇腾计算平台的适配情况、核心特点以及后续发展规划等内容。
在科技不断发展的今天,人工智能领域的创新成果不断涌现。今年2月,阶跃星辰就开源了两款Step系列多模态大模型,分别是Step – Video – T2V视频生成模型和Step – Audio语音模型。而在3月20日,阶跃星辰再次传来好消息,其继续开源了一款图生视频模型——Step – Video – TI2V。
这款Step – Video – TI2V图生视频模型可不简单,它是基于30B参数的Step – Video – T2V训练而来。它支持生成102帧、时长为5秒、分辨率达到540P的视频。而且,它具备两大核心特点,即运动幅度可控和镜头运动可控,同时天生就拥有一定的特效生成能力。
阶跃星辰表示,与目前已有的开源图生视频模型相比,Step – Video – TI2V有着显著的优势。在参数规模上,它为该领域的研究提供了更高的上限。更为重要的是,其运动幅度可控能力,能够很好地平衡图生视频生成结果的动态性和稳定性,这就为创作者提供了更为灵活的选择。
值得一提的是,Step – Video – TI2V已经完成了与华为昇腾计算平台的适配工作,并且在魔乐社区(Modelers)正式上线。
下面,我们来详细了解一下Step – Video – TI2V的核心特点:
1、运动幅度可控:动态 & 稳定自由切换
Step – Video – TI2V支持对视频的“运动幅度(motion)”进行控制,这样就能平衡图生视频内容的运动性和稳定性。不管创作者需要的是静态稳定的画面,还是高动态的动作场景,它都能够满足需求。
2、多种运镜控制
除了可以对镜头内主体运动进行控制外,Step – Video – TI2V还支持对多种运镜的理解。它能够对生成视频中的镜头运动进行精准控制,从而生成大片级的运镜效果。无论是基本的推拉摇移、升降,还是各种复杂的电影级运镜效果,它都能轻松驾驭。
3、动漫效果尤佳
在动漫类任务上,Step – Video – TI2V的效果尤其出色。它非常贴合动画创作、短视频制作等应用场景,为动漫创作者带来了新的利器。
4、支持多尺寸生成
Step – Video – TI2V支持多种尺寸的图生视频。不管是横屏带来的宽阔视野,竖屏的沉浸体验,还是方屏的经典复古风格,它都能轻松应对。用户可以根据不同的创作需求和平台特性,自由选择图片尺寸,不用担心画面变形或比例失调的问题。
目前,Step – Video – TI2V模型已正式开源,在阶跃AI网页版和App端均已上线。此外,该模型现在已初步具备一些特效生成能力。未来,阶跃星辰还将通过LoRA等技术,持续解锁模型的特效潜力,为创作者带来更多惊喜。
阶跃星辰于3月20日开源的图生视频模型Step – Video – TI2V,它基于30B参数Step – Video – T2V训练,具有多种优势和核心特点,已完成与华为昇腾计算平台适配并上线,还初步具备特效生成能力,未来将持续解锁特效潜力,为创作者提供了更丰富的选择和广阔的创作空间。
原创文章,作者:Serene,如若转载,请注明出处:https://www.qihaozhang.com/archives/2075.html