视频生成技术又迎来新的革命性突破！ControlNet 作者、“AI 赛博佛祖”张吕敏（Liyuan Zhang）再一次打破了AI技术天花板！
他提出了全新视频生成范式：FramePack，一经发布立刻引爆开源社区，开源上线不到2天，GitHub Star 数破 3.2K！
此技术一经发布，AI视频生成也将迈入“轻显存时代”！FramePack 让普通 RTX 3060 笔记本也能生成高质量长视频。
腾讯混元视频模型官方也第一时间，表示庆祝！
下面为通过HunYuan开源视频模型搭配FramePack实现的效果：
背景介绍
传统视频扩散模型（如 Stable Video Diffusion）因高显存需求和序列长度限制，难以在消费级硬件上运行。
FramePack提出了一种下一帧预测神经网络结构，通过独特的压缩机制和抗漂移采样，解决了遗忘与漂移问题，不仅提升了视频连贯性和质量，还将显存需求降至惊人的 6GB。
什么是 FramePack？
FramePack是 AI 赛博佛祖-lllyasviel（张吕敏）新开源的一种全新的视频生成模型增强结构，它本质上是一个：
高效、抗漂移的逐帧预测架构，可压缩输入语义并生成连贯、高清、任意时长的视频序列。
理论上可以生成任意长度的视频，不会因为视频变长而显著增加资源消耗。
核心亮点
-
•超低显存运行：仅需 6GB 显存（如 RTX3060） 即可运行； -
•渐进式视频生成：采用下一帧/帧段预测结构，逐帧生成，理论上支持无限长视频； -
•支持长视频生成：生成帧数不再影响资源消耗； -
•抗遗忘 + 抗漂移结构：提升连贯性，防止画面“忘记起点”或偏离主题； -
•高速推理：可与 13B 模型（如 SVD）结合，支持30FPS真实速率； -
•友好界面：提供 Gradio 界面，支持图像到视频生成，操作直观。
使用要求
-
• 显卡：RTX 3060 6GB 即可运行 -
• 系统：Linux/Windows (支持 PyTorch) -
• 推理速度：约 30 FPS，生成 150 帧视频仅需数分钟 -
• 兼容性：可与现有 13B 视频扩散模型（如 SVD）无缝结合使用
快速使用
FramePack 的部署也叫简单，支持 Windows/Linux。
Windows 系统作者直接提供了一键安装包，解压后即可直接使用，无需环境配置。
安装包地址：https://github.com/lllyasviel/FramePack/releases/download/windows/framepack_cu126_torch26.7z
PS：若无法下载，我也为大家下载好了，直接滑动到文末，按照指令提取即可。
安装包下载到本地后，第一需要解压缩，第二要使用update.bat先进行更新，然后使用run.bat运行。
请注意，这个过程中模型将自动下载，模型会有超过30GB的数据。
至于Linux系统用户，还是先确保有Python 3.10+环境。
克隆项目：
git clone https://github.com/lllyasviel/FramePack.git
cd FramePack安装依赖：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt启动用户图形界面：
python demo_gradio.py
如上图，界面左侧可以上传图片并编写提示词，而右侧是生成的视频和预览。
因为这是一个下一帧部分预测模型，视频将生成得越来越长。你将看到每个部分的进度条以及下一个部分的潜在预览。
初始进展可能比后期扩散慢，因为设备可能需要一些预热。
写在最后
张吕敏作为AI技术领域的鼻祖，每一次开源都是王炸，都能给AI开源社区及生态带来一些改变。
而这一次的 FramePack 直接解决了大部分人由于设备限制而无法体验到的开源大模型，毕竟以前你想要在本地体验下 SVD 效果，没有高配顶配显卡基本别玩了，而现在即使用以前抛弃的普通6GB显存笔记本也能玩起来了。
说白了，FramePack 又带动了一个“AI新时代”的到来，让视频生成进入了超低显存时代！
它是能够让“显卡小水管”跑出“AI 大电影”的黑科技！
就是说视频 AI 基建又提升一个维度了，咱普通人也能在本地玩出大片质感！
GitHub 项目地址：https://github.com/lllyasviel/FramePack
Tips：需要安装包的小伙伴，可复制关键词 “framepack” 发送到公众号获取。
● 一款改变你视频下载体验的神器：MediaGo
● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star
● 最新最全 VSCODE 插件推荐（2023版）
● Star 50.3k！超棒的国产远程桌面开源应用火了！
● 超牛的AI物理引擎项目，刚开源不到一天，就飙升到超9K Star！突破物理仿真极限！
（文：开源星探）