从「能生成」到「可控生成」：范式已经转移
两年前，衡量一段 AI 视频的标准是「它是不是真的动起来了」；今天，标准变成了「它在第 3 个镜头里还是不是同一个人」。这个变化看起来很小，却决定了整套工作流要不要推倒重来。
生成模型在运动流畅度、物理拟真、纹理细节上的进步，已经让「能不能生成」基本不再是个问题。瓶颈转移到了三个方向：
- 身份一致性：同一角色在近景、中景、侧面、逆光下是否还是同一个人，颧骨高度、眼距、发际线形状、标志性的痣或疤痕是否稳定。
- 风格一致性：不同镜头、不同模型、不同批次产出的素材，色调、颗粒、对比度、景深和镜头语言是否像出自同一部片子。
- 叙事一致性：服装、道具、时间线、空间关系是否连贯，观众能否在不被提示的情况下理解发生了什么。
这三件事都无法靠「再抽一次」解决。它们需要在生成之前就把约束建好，而不是生成之后靠剪辑去掩盖。多图融合（Multi-Image Fusion）解决的是「人不能变」，风格迁移（Style Transfer）解决的是「味道不能变」，两者合起来才构成可控生成的基础设施。
一个实用的心智模型是：参考负责约束，提示词负责语义，种子负责复现，锚点负责校准。四者缺一，产出的稳定性就会明显下滑。很多人把精力全押在提示词上，反复修改形容词，却忽略了参考图组合与锚点这两件更能决定成败的事。
多图融合：把「角色一致」拆成可执行的工程问题
单图驱动的老问题在于，一张参考图被迫同时承担身份、服装、环境、光照和构图五种职责。当这些职责彼此冲突时，模型只能做平均，结果就是脸变成一张「既像谁又不像谁」的合成脸。
多图融合的思路很直接：把职责拆开，一张图只干一件事，然后在特征空间里按权重合成。听起来简单，实际执行时有两个容易忽视的前提——参考图之间的光照方向必须一致，参考图的清晰度必须高于目标输出的最低需求。
参考图的分工表
| 参考图角色 | 内容要求 | 分辨率建议 | 数量 |
|---|---|---|---|
| 身份图 | 正面或极微侧，中性光，无遮挡，表情自然 | ≥ 1024px | 3–5 张 |
| 服装图 | 平铺或上身正面，单一光源，褶皱清晰 | ≥ 1024px | 1–3 张 |
| 场景图 | 无人或人物可忽略，视角接近目标镜头 | ≥ 1280px | 1–2 张 |
| 姿态 / 构图图 | 只提供骨架、轮廓或剪影，越抽象越好 | 不限 | 1 张 |
| 光照 / 色板图 | 只保留亮度关系与主要色相 | 不限 | 1 张 |
经验法则只有一条：任何两张参考图都不应该在同一个维度上提供信息。如果身份图里已经有明显的侧光，姿态图里又带着另一套侧光，模型就会在两者之间反复横跳，表现为脸部忽明忽暗。
特征注入的三个层级
理解注入层级，能让你在出问题时知道该动哪个旋钮：
- 低层特征：纹理、色彩、颗粒、材质手感，决定画面「像不像同一种介质拍的」。
- 中层特征：轮廓、比例、结构关系，决定人物剪影和镜头空间是否统一。
- 高层特征：身份、语义、表情倾向，决定「还是不是这个人」。
身份强度调得太低，角色会在几个镜头之间慢慢变成另一个人；调得太高，脸部会变得僵硬，像一张贴上去的图，微表情和皮肤质感都会损失。一个稳妥的起点是把身份强度放在中等偏上，再用连续两个测试镜头做 A/B 比较，而不是一次就推到极限。
还有一个常被忽略的细节：身份强度对景别很敏感。近景特写需要更保守的强度以免僵硬，中远景反而可以适当提高，因为面部像素更少，漂移更容易被察觉。
五种典型失败模式与排查顺序
- 脸部平均化：多张身份图差异过大，模型取平均。修复方式是只保留角度接近的 3 张，删掉侧脸和仰拍。
- 服装渗色：服装图的颜色污染了背景或肤色。修复方式是给服装图加白底、去掉褶皱阴影，或降低服装参考权重。
- 肢体畸变：姿态图与身份图的空间关系冲突，尤其是手部和肩线。修复方式是换成更抽象的骨架图，或干脆去掉姿态图改用纯文本描述。
- 肤色与高光漂移：参考图过曝，高光细节被裁掉。修复方式是重拍或重新导出参考图，确保直方图两端不贴边。
- 背景人物被携带：参考图角落里有路人，结果被一起生成。修复方式是裁剪干净，或使用带蒙版的参考输入。
排查顺序建议固定为：减少参考图数量 → 降低身份强度 → 检查姿态图 → 更换随机种子 → 最后才调整提示词。反过来做，你会在一堆噪声里迷失方向，浪费大量时间在无效尝试上。
风格迁移：让不同模型说同一种视觉语言
风格迁移的目标不是「把画面变成油画」，而是让整部片子在色调、对比、颗粒、镜头语言上保持同一个声音。跨模型、跨批次创作时，这几乎是最容易被忽视、也最容易翻车的一环。
风格参考的三种来源
- 单帧风格图：最直接，适合确定色板与质感。缺点是不包含运动信息。
- 参考片段：携带镜头运动、景深变化和节奏感，适合确立「这部片子的语法」。使用时建议截取 2–4 秒。
- 色板或 LUT：最稳定、最可复用，适合作为跨模型的统一出口。
实践中最有效的组合是：用参考片段定语法，用色板定色彩，两者分开管理。把运动语法和色彩关系混在一张图里，往往两边都学不到位。
强度控制与内容泄漏
风格强度存在一个明确的有效区间。低于该区间，风格几乎不生效；高于该区间，模型会开始牺牲内容——人物五官被压平、道具细节消失、背景结构被简化成色块。这就是内容泄漏。
一个可操作的做法是从中等强度起步，先在同一个镜头上做三档对比：低、中、高。选出「风格明确但细节还在」的那一档，再把这个值固定下来，作为整部片子的基准。同时把结构保护类参数保持在较高水平，它的作用是告诉模型「哪些东西不许动」。结构保护越低，风格越强，但脸和手也越容易崩。
风格漂移的四个来源
- 模型切换：每个模型的色彩先验不同，同一提示词出来的基础色调可能有明显差异。
- 提示词措辞变化：把「暖调黄昏」改成「金色夕照」，出来的可能是完全不同的两套光。
- 参考图光照变化：输入变了，输出必然变。
- 随机种子：即使前三个都不变，种子不同也会带来可见的色偏。
对策是建立风格锚点帧：从每个模型各生成一批候选，挑出最接近目标视觉的那一帧，固定为基准，之后所有镜头都以它为参照做回归测试。回归测试不需要跑完整片子，挑 3 个代表性镜头（近景、中景、远景各一）就够了。这一步花的时间很少，却能提前发现大部分跨模型漂移问题。
从脚本到成片的八步工作流
下面这套流程在短片、广告、品牌内容上都适用，核心原则是先在便宜且可控的层级把决策锁死，再进入昂贵且随机的层级。
第一步：剧本拆解与镜头表
把文本拆成可执行的镜头，而不是段落。每个镜头写清楚：时长、景别、运动方式、出场角色、道具、情绪、以及是否需要特别的光照。
| 字段 | 说明 | 为什么重要 |
|---|---|---|
| 镜头号 | 唯一编号，便于版本追踪 | 避免返工时找不到原文件 |
| 时长 | 目标秒数 | 决定用哪种模型与分辨率 |
| 景别 | 特写 / 中景 / 全景 | 决定参考图数量 |
| 运动 | 固定 / 推 / 拉 / 摇 / 跟 | 决定是否需要额外姿态参考 |
| 出场角色 | 角色 ID | 决定身份参考图组合 |
| 光照基调 | 柔光 / 硬光 / 逆光 | 决定风格锚点 |
| 备注 | 特殊要求 | 保证跨人协作不丢信息 |
第二步：建立视觉圣经
视觉圣经是整部片子的规则文档，至少包含：角色三视图与标志性特征清单、色板（主色、辅色、禁用色）、光照基调、妆容与服装设定、镜头语言偏好。它的价值在协作时体现得最明显：当三个人分别生成素材时，有视觉圣经和没有，成片差距是肉眼可见的。
第三步：关键帧优先
不要在没定稿的情况下直接生成视频。图像生成更便宜、更可控、可重试次数更多。先在图像层锁定大约八成的视觉决策——构图、光照、角色外观、色彩关系——再进入视频阶段。这一步做扎实，后面每一步的返工成本都会显著下降。
第四步：图生视频获得运动
用定稿关键帧作为首帧，配合运动描述生成视频。运动描述要具体到方向、速度和幅度，例如「镜头缓慢向右平移，人物保持原地微微转头」，而不是「动起来」。
第五步：多图融合注入身份
在需要角色稳定的镜头上开启多图融合，按前文的分工表配置参考图。同一角色的所有镜头使用同一组参考图与同一强度值，不要逐镜头随手调。
第六步：风格统一
所有镜头生成完成后，统一施加风格锚点。顺序是：先统一色彩，再统一颗粒与锐度，最后处理景深一致性。
第七步：逐镜头质检
不要等全部剪完再看。每生成一个镜头就检查三帧：开头、中段、结尾。检查项包括身份特征、手指数量、衣物连贯性、背景稳定性。
第八步：剪辑、混音与交付
按镜头表拼接，处理跳切与节奏，配上音乐与音效。声音对观感的影响经常被低估——一段干净的拟音能把画面瑕疵的注意力转移掉大半。
模型选择决策表
不同模型有不同的强项，用错场景就是浪费时间和预算。
| 镜头类型 | 优先特性 | 参考图数量 | 备注 |
|---|---|---|---|
| 产品特写 / 材质展示 | 光影、反射、微距细节 | 2–3 | 环境图必须干净 |
| 人物对话近景 | 面部稳定性、口型 | 3–5 | 身份强度需要单独测试 |
| 品牌片头 | 风格化、图形感 | 1–2 | 结构保护调高 |
| 动作与运动镜头 | 运动连贯性 | 2 | 姿态参考很有帮助 |
| 空镜与转场 | 生成速度 | 1 | 可用低成本模型 |
| 分镜预演 | 极快迭代 | 1 | 不必追求画质 |
写实与光影优先的场景
当画面里出现金属、玻璃、水面或皮肤特写时，光照的一致性比分辨率更重要。这类镜头值得用更慢、更贵的模型，并且在多图融合里额外加一张光照参考图。判断标准很简单：如果这一帧会被截屏当海报，就值得投入。
快速迭代与风格化优先的场景
分镜预演、节奏测试、风格探索阶段，速度和数量比单帧质量重要。用低成本配置跑十版，比用高成本配置跑一版更容易找到方向。
成本与时长平衡
一个常见做法是先用低分辨率、短时长试跑，确认构图与身份没问题后再放大到目标规格。反过来做，返工成本会成倍增加。另外要注意，同样的参数在 4 秒和 8 秒输出上的稳定性并不一致，长镜头更容易在中后段出现身份漂移，因此长镜头应当拆成更短的片段分别生成后再拼接。
多模型混用的收尾策略
混用模型是常态，但必须有一个统一的收尾层：统一调色、统一颗粒、统一锐化。没有这一层，观众会明显感觉到「几个片段的画质在打架」。建议把收尾层做成固定模板，新项目直接套用，只调整色板即可。
提示词工程：把融合与风格写成可执行指令
结构模板
一条稳定的提示词通常包含七段：主体与身份、动作、环境、镜头语言、光照、风格、技术参数。按这个顺序写，模型更容易正确分配注意力。把风格描述放在靠后的位置，也能减少它对主体结构的干扰。
多图融合的专用表述
不要只说「参考图 1」，而要说明角色：「角色外观参考 A，服装参考 B，环境参考 C」。有些工具支持显式角色标注，能显著减少特征串味。
风格迁移的措辞
风格描述尽量避免情绪化的形容词，换成可测量的表达：「低饱和青橙色调，高光柔化，阴影保留细节，轻微胶片颗粒」。形容词越主观，不同批次之间的方差越大。
负面约束怎么写
负面约束解决的是反复出现的问题，而不是把能想到的坏词全堆上去。堆得太多反而会削弱主体的细节表现。常见有效项包括：面部扭曲、多余手指、肢体粘连、画面闪烁、文字水印、过度锐化。
一个可复用的提示词骨架
[主体] 一位短发女工程师，身份见参考 A
[动作] 缓缓抬头看向镜头右侧，表情平静
[环境] 深夜实验室，屏幕冷光，背景虚化见参考 C
[镜头] 35mm 中景，浅景深，轻微手持
[光照] 顶部柔光，左侧冷蓝补光，见参考 D
[风格] 低饱和青橙，保留阴影细节，轻颗粒
[技术] 逐格稳定，无明显闪烁
后期与质检：判断一致性是否达标
三帧检查法
每个镜头抽取开头、中段、结尾三帧并排查看。把三帧叠在一起做闪烁检测，能立刻看出身份漂移。重点看颧骨、眼距、鼻梁宽度、发际线和标志性特征。
常用工具链
放大与去噪可以用 Topaz 类工具；调色与统一 LUT 用 DaVinci 类工具；局部修补与跟踪用 After Effects 类工具；补帧用光流插值类工具。工具不是关键，关键是顺序：先修结构问题，再调色，最后加颗粒。顺序颠倒会反复推翻前面的工作。
用剪辑掩盖残余不一致
并非所有瑕疵都需要重生成。切换景别、插入空镜、加快节奏、用声音转移注意力，都是行之有效的手段。但要判断哪些能掩盖、哪些不能：身份漂移无法掩盖，短暂的细节抖动通常可以。
常见错误清单与修复方案
- 参考图堆得太多：超过必要数量会让特征互相污染。修复：每类职责最多 3 张。
- 参考图质量低：模糊、压缩痕迹、过曝都会被放大。修复：重新导出干净版本。
- 混用不同光照的参考图：导致脸部明暗跳变。修复：统一光源方向。
- 身份强度一次拉满：脸部僵硬、失去微表情。修复：从中等值起步做对比测试。
- 风格强度过高：内容泄漏，细节被吞掉。修复：降低强度并提高结构保护。
- 忽略随机种子：无法复现满意结果。修复：记录每个成片的种子值。
- 跳过关键帧：直接生成视频，返工成本极高。修复：先定稿图像。
- 逐镜头随手调参数：一致性崩溃。修复：把参数固化成预设。
- 导出压缩过度：细节与颗粒被压平。修复：使用高质量中间格式，交付前再压缩。
- 忽视音频：画面瑕疵被放大。修复：提前做声音设计。
团队协作与资产库管理
当项目从一个人变成一支队伍，混乱往往来自资产而不是技术。
- 命名规范：角色 ID + 镜头号 + 版本号 + 日期，例如
hero-c03-v02。 - 版本策略：所有中间产物都保留，但只把「通过质检」的版本放进共享目录。
- 提示词库：把验证有效的提示词按题材分类存档，包括对应的参考图组合与强度值。
- 风格锚点库：每个模型各存 2–3 个锚点帧，新项目直接复用。
- 审片流程：固定三个检查点——关键帧定稿、单镜头质检、成片终审。每个检查点写明通过标准，避免主观争论。
常见问题解答
问：多图融合需要几张参考图才够？
答：通常 4–7 张最稳，其中身份图 3 张、环境图 1 张、光照图 1 张。少于 3 张时身份漂移概率明显上升，多于 8 张则容易出现特征平均化。
问：角色在不同镜头里慢慢变脸，最可能是什么原因？
答：优先检查参考图是否逐镜头更换过，以及身份强度是否被随手调整。其次是风格迁移强度过高，把面部结构压平了。
问：风格迁移会不会损伤画面细节？
答：会，且强度越高越明显。解决办法是把强度控制在中档，同时提高结构保护，并在调色阶段而不是生成阶段做色彩统一。
问：用多个模型混做一部片子可行吗？
答：可行，而且很常见。前提是必须有统一的收尾层：同一套 LUT、同一套颗粒、同一套锐化参数。
问：为什么我的成片总有一股「AI 味」？
答：常见原因有三个——光照过于均匀、镜头运动单调、缺少真实颗粒。加一点方向性光源、引入不完美的手持感、在后期加入细微颗粒，通常能明显改善。
问：参考图里能不能带背景人物？
答：尽量不要。多余人物很容易被携带进生成结果。裁剪干净比事后修补便宜得多。
问：怎么快速判断一致性是否达标？
答：把同一角色的所有近景镜头截帧并排放在一起。如果第一眼看不出哪一帧来自哪个镜头，基本就达标了。
问：资源有限时，应该优先把预算投在哪一步？
答：优先投在关键帧定稿和身份参考图的质量上。这两步做扎实，后续每一步的返工都会减少，综合成本反而更低。
