本地视频模型穿模、乱发、背对镜头
失败样本复盘与补救顺序
做对口型 MV 那天,我们一共在本地生成了 9 段视频,其中 5 段不能用。失败本身不稀奇,有价值的是:哪些失败改提示词能救,哪些改了也没用、应该直接换方案。这篇把 5 段失败一条条拆开,附上截帧和改前改后的提示词。
一、跳舞转身:身体结构崩掉

这一段同时要求了三件难事:镜头环绕、人物转身、甩头。镜头在动、人也在转,模型要同时推算人物背面的样子和新的透视,8 步采样根本不够。转身的那一瞬间,正面和背面的特征混在一起,就出现了手臂从身体里穿出来、肩膀变形的情况。
第一次补救:把镜头改成固定、轻微推近;动作改成「慢慢地左右摇摆,双手缓缓举起再放下,不转身」;末尾加禁止项「手臂穿过身体、肢体变形、多余的手、快速旋转」。结果好了很多——没有大的崩坏,但举手时手臂仍有变形,不够干净。
判断:改提示词能把「崩坏」降成「瑕疵」,但没法降成零。跳舞这类全身大动作,超出了这个本地模型在 8 步下的能力边界。
二、奔跑:人物转身背对镜头跑

这条失败很有意思:问题出在一个词——「回头」。我们本意是「边跑边回头笑」,但「回头」在画面里需要人物先背对镜头,于是模型干脆让她转身往反方向跑,后面四秒全是背影。
第一次补救:删掉「回头」,改成「朝镜头方向轻快地小步慢跑,面向镜头开心地笑,不转身不回头」,并加上同样的禁止项。人物终于朝着镜头了,但小步跑时双臂摆动仍有穿模,动作也僵硬。
三、舞台演唱:头发乱成一团

这一段的口型其实是对的,问题在头发。原因有两个:一是我们改图时为了「随性」写过「凌乱短发」,这个造型被带进了视频,还被放大了;二是舞台灯光从侧后方扫过,逆光让发丝边缘更显眼,每一帧发丝位置不同,看起来像在乱飘。
补救:换一个天台侧脸的场景,提示词里写「发丝柔顺贴服、不被吹乱」,并把背光改成「侧后方一盏暖光打亮头发轮廓」。这一版成功了,最终用在了 MV 后半段。
这类问题改提示词是能救的,因为它不是能力问题,而是我们自己给的描述(凌乱、夜风吹动、强逆光)把模型往错误方向推了。
四、补充实验:用首尾帧把人物「钉住」
写完这篇当晚,我们又补了两次实验,专门针对跳舞。思路是:既然穿模多发生在人物「转身、变化太大」的时候,那就用「首帧 + 尾帧」把开头和结尾的姿势都定死,让模型只在中间做小动作。
实验 1:首帧和尾帧用两张不同的跳舞图。两张图是用同一个角色分别改出来的,但背景机位略有不同。结果模型为了从第一张「走」到第二张,让人物转身背对镜头,中间还出现了一段两个画面叠在一起的过渡(像叠化),完全不能用。生成 4 分 01 秒。

实验 2:首帧和尾帧用同一张图。提示词写「原地小幅舞动,举高的手随节拍左右轻摆,始终面向镜头,最后回到首帧同样的姿势」,禁止项加上「画面叠化」。结果:人物始终面向镜头,手臂动作清楚,没有穿模,5 秒视频只用了 2 分 23 秒。

五、补救顺序:先改什么,什么时候停
| 顺序 | 做什么 | 适用 |
|---|---|---|
| 1 | 删掉引入「背面」的动作词:转身、回头、环绕、旋转 | 所有人物镜头 |
| 2 | 镜头改固定或轻微推近,只保留一个主要动作 | 中景、近景 |
| 3 | 加禁止项:手臂穿过身体、肢体变形、多余的手脚、快速旋转 | 有手部动作的镜头 |
| 4 | 改外观描述:凌乱→柔顺贴服;强逆光→柔和轮廓光 | 头发、衣服飘动的问题 |
| 5 | 跳舞类:首帧和尾帧用同一张图,只做原地小幅动作 | 全身舞动 |
| 6 | 同一提示词换 2~3 个种子抽卡 | 小瑕疵 |
| 7 | 停止,换云端模型 | 大幅跳跃、旋转、奔跑改了两轮仍崩 |
第 7 条是止损线。本地生成虽然免费,但每段要 2~7 分钟,而且生成时电脑基本不能干别的。我们给自己的规定是:同一个大动作镜头,改两轮提示词还不行,就不再抽卡。

六、算一笔账
这次跳舞和奔跑两个镜头,本地一共试了 4 次,光生成时间加起来就有 13 分半,再加上看结果、改提示词,前后花了不少时间,最后一个都没用上。换到 Kling 4.0 后,两段一共 5 积分,几分钟就拿到了可用的结果。
这不是说本地模型没用——同一天它免费完成了两段对口型近景和一个烟花远景,那正是 MV 里最核心、也最花钱的部分。正确的分工是:本地做它擅长的(近景、固定机位、远景),云端做它擅长的(大动作),而不是在不擅长的地方反复抽卡。完整的分工和耗时表见 8GB 显卡对口型 MV 实测。