鹭羽 明敏 发自 凹非寺
量子位 | 公众号 QbitAI
AI爆改视频可以有多夸张？
这么抽象的“过家家”小船，AI直接给原地飞升为在汹涌海浪中前行的帆船。
不仅画面精细、大片视效果，还保留了原视频的动作运镜。
背着孩子骑大马，现在也能秒变驯龙高手。
或者是进行风格迁移，“给手部扫个X光”。
动作、位置都与原视频几乎一致。
这感觉，自己在家就能当导演手搓CG大片了。
还要什么动捕、建模、特效渲染啊，AI直接全部搞定。
△康伯巴奇如何“成为”史矛革巨龙
这就是AI视频模型最新玩法，Modify Video，直译就是改造视频，由Luma AI推出。
它能重新“想象”任何视频，类似于人类拍个草稿，AI负责搞定你想要的各种后期视效。
最关键是能对角色、场景、动作进行精准控制，只编辑你想编辑的元素，不会篡改本来的人物动作。
要知道，现在很多AI视频生成模型都被诟病不受控制，容易让生成的人物、物体动作诡异或者不符合物理规律。
△右边为runway效果，人物凭空产生一件夹克
一经发布，这个玩法就在推特火了。
大家在惊呼amazing同时，也自己试玩了一把，效果确实非常nice。
具体还有哪些能力？一起来看。
一次拍摄，无限塑形
对于这个新功能，官方是这样介绍的：
可以在确保完整性的同时，重构环境、照明和纹理，保留重要内容并改进其他所有内容。
具体来说，可以进行下面三种操作：
- 视频动捕
先看下面这个小哥，本来在停车场swag，一秒穿梭到城市间梭哈，动作1比1复刻，有点赛博朋克2077那味了。
这就是官方所说的动捕和操纵功能，任何你喜欢的视频，都可以自由提取全身、面部或口型动作，再完美迁移到新角色上。
- 风格迁移
动作有了，场景切换也是信手拈来，从白天到黑夜、公园到峡谷，只要你想，你就可以立马跳转到世界的另外一个角落。在不影响原有性能的前提下，各种风格都能变幻自如。
- 单个元素编辑
最值得一提的是，本次更新可以进行单个元素编辑。再也不用整个镜头更改，哪里不满意点哪里，没有绿屏，也没有繁琐的跟踪，细节处理变得更加容易。
比如下面这个西海岸rapper，想要更酷帅更嘻哈，那就给墙上画涂鸦、坐骑也换成更炫酷的荧光紫，还有必不可少的大金链子。（嗯，对味了）
此外，官方博客还介绍了Modify Video的更多优点：
-
使用姿势、口型同步和面部跟踪等高级性能信号最大程度上保留动作形态。
-
可以从同一动作中快速生成多种风格，满足用户个性需求。
-
采用视觉参考、第一帧图像或Prompt指导输出。
-
支持16:9（720p）格式分辨率，实现无缝集成。
-
能在三个结构化预设上进行自由选择，包括粘贴、弯曲和重构。
粘贴是指同步原始视频的动作结构；
弯曲可以在保留关键元素的同时进行控制转换；
重构则是创意神器，全场景都能得以重塑，例如将人类变异成哥斯拉、蜥蜴人……
此外，为了更进一步验证Modify Video的强大，官方还进行了量化评测，和同样位于第一梯队的Runway正面PK。
各个关键指标都超越同行
在实际测试对比中，Luma在各个维度上都领先同行。
Luma进行外部盲评，对比对象是Runway V2V。
同时也和Luma其他模式进行对比，Reimagine的表现在以下维度都更强。
-
观看愉悦度（Pleasing to watch）
-
与图像输入的结构相似度（Structurally similar to image input）
-
遵循视频输入的运动轨迹（Follows the motion of video input）
-
时间一致性（Temporal consistency）
-
遵循视频输入的面部动画（Follows the facial animation of video input）
-
提示词遵循（Follows the prompt）
此外官方还给出了一些直观对比。
可以看到在一些情况下，Runway V2V已经明显崩了，画面稀碎，但是Luma这边和原视频的动作还保持高度一致。
最后再来介绍下Luma AI。
它由Amit Jain和Alex Yu联合创立。
联合创始人兼CEOAmit Jain曾在苹果公司担任AR/CV工程师；联合创始人兼CTO Alex Yu 2021年毕业于加州伯克利，曾与Angjoo Kanazawa教授一起研究NeRF相关的3D计算机视觉。
公司成立于2021年，专注于计算机视觉，涵盖视频、3D和图片生成，在2024年6月推出核心产品Dream Machine。
最新一轮融资在2024年12月，金额为9000婉美元。投资阵容包括亚马逊、AMD、Factorial Funds、LDV Capital四家欧美企业或基金，同时还引入了韩华集团。与此同时，老股东A16Z、Amplify Partners和经纬（Matrix Partners）继续加码。
在此之前，Luma还吸引了a16z、英伟达等投资。
（文：量子位）