为什么值得把图像模型和视频模型放进同一条工作流
很多创作者第一次接触 AI 视频时，会默认一个模型可以解决所有问题：输入一句描述，期待直接得到可以交付的成片。做过两三个项目之后就会发现，这个期待很容易落空。原因并不神秘：视频生成其实是两类能力的叠加，一类负责画得像、画得准，另一类负责动得稳、动得合理。前者是图像生成模型的强项，后者是视频生成模型的强项。
以当前主流的两个方向为例。Flux 系列模型在静帧质量、文字渲染、复杂提示词遵循度上表现突出，它擅长把一段描述稳定地落到一张具体画面上，对构图、材质、光照的还原非常细。Runway 的 Gen-4 一类视频模型把重点放在时间维度：镜头怎么运动、角色在多帧之间是否长得一样、前后镜头能不能接得上。这两件事在模型架构上差别很大，指望单一模型同时做到极致并不现实。
更实用的思路是分工加接力：先用图像模型把不确定的语义确定下来，比如人物长什么样、场景是什么调性、构图怎么摆；再用视频模型让已经确定的画面动起来。这样一来，视频生成阶段的随机性被大幅压缩，返工次数明显下降，团队之间的沟通成本也会降低，因为大家讨论的是同一张首帧，而不是各自脑海里不同的想象。
这条工作流还有一个隐性收益：它把创作过程拆成了可检查的中间产物。分镜文本、关键帧图像、镜头片段、剪辑时间线，每一步都能单独审阅、单独修改。对于需要反复过稿的商业项目，这种可追溯性比单次生成的惊艳程度更重要。
先分清职责：图像模型与视频模型各解决什么
图像模型：把不确定的语义先固定下来
图像模型最大的价值是“可选择”。同一段提示词采样多次，你会得到构图相似但细节不同的若干张图，可以挑出最接近设想的那一张。这个挑选动作本身，就是在为后续的视频生成降低风险。
具体来说，图像模型适合承担四件事：确定角色外貌与服装细节；确定场景的空间关系与透视；确定光线方向与色温；确定画面里的文字、标识、材质纹理。凡是“看一眼就知道对不对”的东西，都应该在这一步敲定。
还有一点容易被忽略：首帧的质量直接决定视频的质量上限。如果首帧本身模糊、结构混乱、比例失调，视频模型只会把这些缺陷放大，并在时间维度上变成抖动和形变。
视频模型：把确定的画面变成有时间维度的镜头
视频模型的强项在于运动合理性、镜头语言和时间一致性。它需要判断物体在相邻帧之间如何位移，遮蔽关系如何变化，光影如何随运动改变，以及镜头推拉摇移时透视如何变化。这些判断依赖的是时序建模能力，而不是单帧画质。
因此，视频模型更适合承担：镜头运动设计（推、拉、摇、移、跟、升降、环绕）；主体动作的执行与节奏控制；多帧之间的角色与服装一致性维护；图生视频与视频生视频的风格迁移。
不要在错误的环节优化
实践中最常见的浪费，是在错误的环节反复调参。画面糊、细节乱、文字错，这些问题大多来自首帧，换多少个视频模型也解决不了。反过来，动作僵硬、主体融化、镜头乱飘，通常是视频模型或者提示词的运动描述出了问题，继续优化静帧没有意义。
判断方法很简单：把首帧单独拿出来看。如果首帧作为一张图片都不合格，就不要进入视频阶段。这个检查只需要几秒钟，却能省下大量等待生成的时间。
提示词工程：把一句话写成可执行的镜头脚本
五层结构
稳定的提示词通常包含五个层次：主体、动作、镜头、光线、风格。写的时候按这个顺序组织，模型更容易抓住重点，人读起来也清晰。
- 主体：谁或什么，外貌、服装、材质、状态。
- 动作：正在做什么，动作的幅度、速度、方向。
- 镜头：景别、机位、运动方式、焦段感。
- 光线：光源位置、软硬、色温、时间段。
- 风格：写实、胶片、动画、广告质感、参考影像语言。
图像提示词与视频提示词的差别
给图像模型的提示词要强调静态属性：材质、纹理、构图、细节密度、光位、镜头型号感、色彩倾向。它不需要知道你打算让画面怎么动。
给视频模型的提示词要强调动态属性：动作动词、运动方向、速度感、时间副词、节奏变化、镜头运动的起止状态。它不需要你重复描述画面里已经存在的东西，因为首帧已经提供了。
一个常见错误是把图像提示词原封不动地贴到视频模型里，结果模型把大量算力花在重新理解画面上，运动反而失控。
约束与负面提示的写法
负面描述要具体。与其写“不要奇怪的东西”，不如写“不要多余的手指、不要文字扭曲、不要面部变形、不要镜头突然跳切、不要主体缩放突变”。具体到现象，模型才有机会规避。
另外，任何一条提示词都不应该互相矛盾。既要求“静态定格感”又要求“快速运动”，模型只能随机选一个，结果就是前后帧风格不统一。
完整示例：八秒咖啡馆镜头
分镜文本可以这样写：
中景，一位三十岁上下的女性坐在靠窗位置，穿米色针织衫，手里握着白瓷咖啡杯，正缓慢抬头看向窗外。镜头从她右侧轻缓横移约半米并微微前推，窗外的自然光从左侧照入，柔和但有方向感，色温偏暖，背景有其他顾客的虚化轮廓。胶片颗粒质感，浅景深，画面整体安静、克制。
这段文本可以拆开使用。图像模型接收其中的主体、场景、光线、风格部分，生成首帧；视频模型接收运动部分：缓慢抬头、镜头向右横移并前推、动作幅度小、节奏平稳。
运动与时间轴控制：让画面稳、准、连贯
摄影机运动词汇表
掌握一套描述运动的词汇，比反复试错更有效。常用的有：推（dolly in）、拉（dolly out）、摇（pan）、移（truck）、跟（tracking）、升降（crane）、环绕（orbit）、手持（handheld）、固定（static）、变焦（zoom）、倾斜（tilt）。写提示词时尽量使用这些明确说法，再补一句幅度描述，比如“缓慢”“约三十度”“轻微”。
动作幅度与时长匹配
动作幅度要和镜头时长匹配。八秒的镜头里安排三个大幅动作，几乎必然导致中间帧崩坏。稳妥的做法是：每个镜头只承担一个主要动作，幅度控制在画面宽度的四分之一以内，速度保持均匀，除非刻意追求加速或减速的节奏。
首尾帧与关键帧策略
如果工具支持首尾帧指定，就优先使用。首帧决定起点，尾帧决定终点，中间过程交给模型插值，运动的可预测性会明显提高。对于需要精确衔接前后镜头的项目，还可以把上一个镜头的最后一帧作为下一个镜头的首帧，形成连续感。
帧率、运动模糊与快门感
高帧率会削弱运动模糊，画面更像实拍视频；低帧率会带来更强的“电影感”但可能出现抖动。如果工具提供运动模糊参数，轻微增加可以让快速运动看起来更自然。反之，如果画面出现果冻式扭曲，先把运动模糊关掉再排查。
抖动、融化、形变的排查顺序
出现问题时，按这个顺序排查：一，首帧是否清晰；二，动作描述是否过多；三，运动幅度是否过大；四，是否缺少明确的镜头运动描述；五，分辨率与时长是否超出模型的稳定区间。多数问题会在一到两步内找到原因。
一致性：角色、场景、风格的三层锚定
角色一致性
角色一致性是叙事类项目最大的痛点。可行的做法是：先建立一张“角色定妆图”，明确面部特征、发型、服装、配饰；后续每个镜头都以这张图为参考，而不是用文字重新描述。文字描述每次都会引入新的随机性，参考图不会。
如果要做同一角色的多个角度，可以先生成正面、侧面、背面三张，作为一组锚点。这样在切换到不同机位时，模型有更多依据。
场景与道具一致性
场景一致性的关键是空间关系。先画出（或生成）一张场景全景，标定门窗位置、家具摆向、光源方向；后续所有镜头都从这张全景出发取景。道具同理，重要道具要有单独的特写参考图。
风格与色彩一致性
风格一致性靠两样东西：统一的风格描述词，以及统一的调色流程。描述词方面，固定一组词汇表并复用，比如“柔和自然光、浅景深、低饱和、胶片颗粒”。调色方面，把最终成片统一过一遍色彩校正，比在每个镜头里追求风格一致更省力，效果也更稳。
用参考图与前序帧做锚点
一个被低估的技巧是使用前序帧。生成第二个镜头时，把第一个镜头的某一帧作为参考输入，画面的色调、质感、人物状态都会自然延续。整段视频看起来就像同一个摄影组拍的，而不是拼凑出来的。
画质与效率的取舍：什么时候用哪个模型
决策参考
| 任务类型 | 更合适的模型方向 | 原因 |
|---|---|---|
| 关键帧、封面、分镜静帧 | 图像模型 | 静帧细节、文字渲染、构图可控 |
| 角色定妆与多角度参考 | 图像模型 | 可多次采样挑选，输出稳定 |
| 镜头运动与图生视频 | 视频模型 | 时序建模、镜头语言理解 |
| 长镜头连贯叙事 | 视频模型加参考帧 | 帧间一致性与运动延续 |
| 批量分镜草稿 | 图像模型 | 单帧迭代快、验证成本低 |
| 最终成片精修 | 两者接力 | 先定帧再生成，再做后期 |
草稿阶段
草稿阶段的目标是快速验证创意，不要追求画质。用低分辨率、短时长、简单提示词，把分镜顺序和节奏跑通。这时候最该关心的是：这个镜头有没有必要存在，两个镜头之间能不能接上。
精修阶段
精修阶段再投入算力。方法是对确定的镜头重新生成首帧，提高分辨率，补充材质与光线细节，然后以高质量首帧重新生成视频。一次只改一个变量，才能判断是哪个改动带来了提升。
批量生产阶段
批量生产时，把提示词模板化。固定风格段落，只替换主体与动作。同时建立输出命名规范，把镜头号、版本号、参数写进文件名。看起来是小事，但当你面对上百个片段时，命名混乱会直接毁掉剪辑效率。
完整实战工作流：从创意到成片的九步
一，写分镜文本。每个镜头一句话，写清楚景别、主体、动作、镜头运动。
二，拆解提示词。把每个镜头拆成图像提示词和运动提示词两部分。
三，生成关键帧。用图像模型为每个镜头生成三到五张候选，挑选最优。
四，建立角色与场景锚点。从关键帧中选出定妆图和场景全景，作为后续参考。
五，生成视频草稿。用较低分辨率生成短片段，验证运动与衔接是否合理。
六，标注问题。给每个片段打标签：可用、需重生成、需换首帧、需删掉。
七，重生成问题镜头。只改一个变量，比如只调整运动描述，或只更换首帧。
八，补帧与延长。对需要更长时长的镜头，用首尾帧策略分段生成再拼接。
九，后期处理。统一调色、统一音效与配乐、添加字幕，最后输出成片。
这套流程的价值在于每一步都有明确产出，可以随时停下来评审。项目越大，这种结构化越重要。一个人做短片时可以跳过部分步骤，但多人协作时，省略任何一步都会在后面加倍偿还。
常见错误与排查清单
| 现象 | 可能原因 | 处理方式 |
|---|---|---|
| 画面模糊 | 首帧质量不足 | 重新生成首帧，提高分辨率 |
| 主体融化 | 动作幅度过大 | 缩短时长或减小运动幅度 |
| 镜头乱飘 | 缺少镜头描述 | 明确写出固定或指定运动 |
| 角色变脸 | 缺少参考锚点 | 加入定妆图或前序帧 |
| 色调跳变 | 风格词不统一 | 固定风格词汇表并统一调色 |
| 文字扭曲 | 由视频模型生成文字 | 文字交给图像模型或后期叠加 |
| 节奏拖沓 | 单镜头时长过长 | 拆成两个镜头，增加切换 |
| 结果随机 | 提示词互相矛盾 | 删除冲突描述，精简为单一目标 |
排查时建议一次只改一个变量。同时改三处，即便结果变好了，你也不知道是哪一处起了作用，下一次还得重新试。
团队协作、命名与资产管理
当多人协作时，规范比技巧更重要。建议约定三件事。
第一，命名规则。镜头号加版本号加用途，例如 s03_c05_keyframe_v2。任何人都能一眼看出文件属于哪个镜头、第几版。
第二，提示词库。把验证有效的提示词、风格段落、角色描述集中保存，新项目直接复用。这能显著减少重复劳动，也让新成员更快上手。
第三，版本对比。每次重生成都保留旧版本，标注改动点。生成过程有随机性，有时候旧版本反而更好，删掉就找不回来了。
另外，建议为每个项目维护一份“镜头状态表”，记录每个镜头的当前进度、已知问题、下次要改什么。这张表比任何单个文件都更能反映项目真实状态。
常见问题
图像模型和视频模型应该先学哪个？
先学图像模型。它的反馈周期短，一次生成几秒到几十秒，可以快速建立对提示词结构的直觉。等你能稳定产出满意静帧，再把这些能力迁移到视频上，学习曲线会平缓很多。
为什么同一个提示词每次生成结果都不一样？
生成过程包含随机采样。想要更稳定的结果，可以固定随机种子、使用参考图、精简提示词到单一目标，并减少互相冲突的描述。
一个镜头到底应该多长？
叙事类内容里，三到六秒是最常用的区间。动作简单、氛围为主的镜头可以到八秒；动作复杂或多主体互动的镜头建议压到三秒以内，再通过剪辑拼接完成更长的时间跨度。
生成的视频能直接商用吗？
这取决于所用工具的服务条款和训练数据来源。发布前请仔细阅读对应平台的使用协议，确认商业用途、署名要求和内容限制。涉及真实人物、品牌标识、受版权保护的角色时，风险更高，需要额外谨慎。
怎样让多个镜头看起来像同一部片子？
三件事：统一风格词汇表，统一调色流程，统一音效与配乐。画面上的一致性靠参考帧，整体观感的一致性靠后期。
要不要一开始就追求最高分辨率？
不要。分辨率越高，生成时间越长，迭代越慢。在故事结构、镜头运动、角色一致性定型之前，分辨率不是瓶颈。
视频模型能生成画面里的文字吗？
可以，但稳定性不如图像模型。需要精确文字时，更稳的做法是用图像模型生成带文字的静帧，或者干脆留白，在后期用图形工具叠加。
怎样判断一次生成是不是“能用”？
用三个标准快速判断：主体是否保持稳定，运动是否符合物理直觉，首尾帧是否能和相邻镜头接上。三条都过就可以进入下一阶段，剩下的交给后期。
结语
AI 视频生成真正的门槛，不在于背下多少个参数，而在于是否建立了一套可重复的流程。把图像模型和视频模型放在同一条流水线上，各自承担最擅长的那部分工作，再用严格的中间检查和统一的后期处理把它们缝起来，产出质量会比单点尝试稳定得多。工具会不断更新，但“先定帧、再运动、后统一”这条思路，在相当长时间里都会是可靠的基础。
