在线教程丨ControlNet 作者开源新作!低门槛生成长视频,FramePack 革新视频生成

作者:昭昭

编辑:李宝珠

转载请联系本公众号获得授权,并标明来源


「FramePack 低显存视频生成 Demo」已上线至 HyperAI超神经官网的「教程」板块,快来体验低门槛的高质量视频生成吧!


FramePack 是由 ControlNet 作者、斯坦福大学博士生张吕敏 (Lvmin Zhang) 团队近期开源的视频生成框架,它通过创新的神经网络架构,有效解决了传统视频生成中显存占用高、漂移和遗忘等问题。


传统视频生成模型受限于计算负载与视频长度的强关联性,导致显存需求随视频时长指数级增长,普通用户往往因硬件限制而难以生成高质量的长视频。而 FramePack 则是压缩了输入帧的上下文信息,使视频生成的计算负载不再与时长强相关,仅需 6GB 显存即可生成 120 秒全帧率视频,彻底打破了长视频生成对高性能硬件的依赖,成为了普通创作者的福音。


目前,「FramePack 低显存视频生成 Demo」已上线至 HyperAI超神经官网的「教程」板块,点击下方链接即可一键部署 ⬇️


教程链接:https://go.hyper.ai/uE0EE


笔者使用 FramePack 生成了一段视频,占用资源少又能保证质量!


Demo 运行

1.进入 hyper.ai 首页后,选择「教程」页面,并选择「FramePack 低显存视频生成 Demo」,点击「在线运行此教程」。




2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。



3.选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像,OpenBayes 平台提供了 4 种计费方式,大家可以按照需求选择「按量付费」或「包日/周/月」,点击「继续执行」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!


HyperAI超神经专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=Ada0322_NR0n




4.等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「API 地址」旁边的跳转箭头,即可跳转至 Demo 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。




效果展示


在「Image」中上传图片,然后在「Prompt」中输入提示词,最后点击「Start Generation」生成。


参数调整简介:


* Seed:控制生成视频时的随机性。

* Total Video Length (Seconds):视频总时长(秒)。

* Steps:步骤(建议不要修改此项)。

* Distilled CFG Scale:蒸馏 GFC 刻度(建议不要修改此项)。

* GPU Inference Preserved Memory (GB) (larger means slower):如果您遇到 OOM,请将此数字设置为更大的值。数值越大,速度越慢。

* MP4 Compression:较低的值表示质量较好,「0」表示未压缩。




笔者上传了一张卡通的古风图片,模型很快就根据图片和提示词生成了对应的视频。


提示词为:

The girl dances gracefully, with clear movements, full of charm.



生成效果如下 ⬇️



 往期推荐 


“阅读原文”,免费获取海量数据集资源!


(文:HyperAI超神经)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往