为什么 AI 视频需要“工作流思维”，而不是单次生成
很多人第一次尝试 AI 视频时，会输入一句描述，等待几十秒，然后得到一个画面漂亮却说不清在讲什么的片段。问题通常不在模型，而在于把视频当成了一张会动的图。视频的本质是时间轴上的信息编排：谁在动、动多久、镜头怎么走、下一个画面如何接上。单次生成只能解决“一个镜头长什么样”，解决不了“十个镜头怎么组成一段完整表达”。
工作流思维的核心，是把创作拆成可重复的步骤：先写清楚要讲什么，再拆成镜头，再为每个镜头准备关键帧与提示词，再进入生成、筛选、拼接、配音、调色。每一步都有明确的输入与输出，坏掉的环节可以被单独替换。这样做的直接好处有三点：返工成本下降、风格更容易统一、多人协作时有共同语言。
还有一个容易被忽略的事实：AI 生成带有明显的随机性。同一个提示词、同一个模型，跑两次得到的结果可能差异很大。工作流的价值就是把随机性关进笼子里——用固定的参考图、固定的镜头表、固定的提示词结构，让大部分变量可控，只把创作自由留给真正需要变化的地方，比如表演细节、光影氛围、节奏处理。
三种常见工作方式对比
| 工作方式 | 适用场景 | 优势 | 主要风险 |
|---|---|---|---|
| 纯文生视频 | 概念片、氛围短片、无素材起步 | 上手快，创意不受素材限制 | 角色与场景容易漂移，连续性差 |
| 纯图生视频 | 已有成图、产品展示、人物口播 | 首帧可控，风格稳定 | 依赖高质量关键帧，动作幅度受限 |
| 混合路线 | 叙事短片、广告片、系列内容 | 兼顾稳定性与灵活性 | 流程更长，需要镜头管理 |
大多数真正能交付的项目，最终都会落到混合路线上。先用文生视频快速试探镜头感觉，再把满意的画面固化为关键帧，转入图生视频做稳定输出，这是目前最实用的思路。
文生视频与图生视频：先选路线，再选工具
路线选择决定了后面所有环节的做法，所以要在开跑之前定下来，而不是做了一半再回头改。
文生视频适合什么
文生视频适合三种情况：一是手上完全没有素材，需要从零开始探索视觉方向；二是需要快速试错，用低成本跑出十几个版本做风格比对；三是需要生成现实中很难拍摄的画面，比如极端视角、超现实场景、抽象概念的可视化。
它的短板也很明确：角色长相、服装细节、场景陈设在镜头之间很难保持一致。如果内容需要同一个人反复出现，纯文生视频会迅速暴露问题，第三、第四个镜头就开始“换脸”。
图生视频适合什么
图生视频的优势是首帧确定。你先把画面构图、人物长相、光线氛围全部在静态图阶段定死，再让模型只负责让画面动起来。这样做的好处是：风格连续性大幅提升，返工次数明显减少，团队之间可以先用图片确认美术方向，避免直接生成视频后反复推翻。
局限在于动作幅度。图生视频更擅长处理自然、克制的运动——人物转头、头发飘动、水面波动、镜头缓慢推进；当动作幅度过大或涉及复杂肢体交互时，容易出现结构错乱。
混合路线怎么落地
一个可执行的做法是：
- 用文生视频快速产出 10 到 20 个短片段，只用来确定风格基调与镜头语言。
- 把其中满意的画面对应到静态图阶段，重新生成或修正关键帧，统一人物、服装、色调。
- 用图生视频批量生成正式镜头，每个镜头固定使用同一组参考图。
- 把少数运动复杂的镜头单独交给擅长动态的模型处理，作为补充。
- 进入剪辑阶段后，只替换不合格的个别镜头，而不是整体重做。
这个顺序看起来多了一步，但实际省下来的时间远超投入。因为风格决策在图片阶段解决，比在视频阶段反复推翻便宜得多。
分镜拆解：把创意变成可执行的镜头清单
从一句话创意到可执行镜头，中间隔着一次结构化的拆解。这一步做得好，后面几乎不需要靠感觉。
镜头表应该包含哪些字段
建议至少包含八个字段：镜号、时长、主体、动作、环境、镜头运动、光线氛围、转场方式。字段不多，但每个都必须写具体。
举一个 15 秒咖啡产品短片的例子：
- 镜头 1：时长 4 秒，主体为咖啡豆，动作为缓慢落下，环境为深色石台，镜头运动为低角度慢推，光线为侧逆光，转场为叠化。
- 镜头 2：时长 5 秒，主体为玻璃杯中的咖啡液面，动作为轻微晃动与热气上升，环境为木质桌面，镜头运动为特写固定微晃，光线为窗边自然光，转场为直切。
- 镜头 3：时长 6 秒，主体为手持杯子的年轻女性，动作为抬头微笑，环境为清晨厨房，镜头运动为半身慢摇，光线为暖色晨光，转场为淡出。
可以看到，写清楚之后，提示词的难度大幅下降——因为每一句都在描述一个确定的对象和一个确定的运动。
拆解时的四条原则
第一，一个镜头只允许一个主要动作。让角色同时走路、说话、转身、挥手，几乎必然导致肢体崩坏。第二，单镜头时长控制在 3 到 6 秒之间，超过之后模型对运动轨迹的把握会明显下滑。第三，不要在同一个镜头里同时更换场景和主体，连续性会瞬间断裂。第四，能用一个镜头交代清楚的信息，不要拆成两个，剪辑点越多，风格漂移的暴露机会越多。
用剪辑思维写分镜
写分镜时可以想象自己在剪辑台前：你希望观众在哪一秒看到什么？哪一秒需要停顿？哪一秒需要信息冲击？把这些想清楚再落到镜头表上，生成出来的素材天然更容易拼接。很多人做 AI 视频失败，不是画面不好，而是镜头之间没有节奏关系，拼起来像幻灯片。
提示词六要素：让模型准确理解画面意图
提示词不是形容词比赛。堆砌“绝美、震撼、电影感、超高清”并不会让画面变好，只会让模型在互相冲突的指令之间摇摆。
六要素结构
一个稳定的提示词结构包含六部分：
- 主体：谁或什么，包含外观、年龄、服装、材质等具体特征。
- 动作：正在发生什么，尽量用单一动作动词描述。
- 环境：地点、时代、天气、周围物件。
- 光线：光源方向、色温、时间感，例如黄昏侧光、室内顶光、霓虹反射。
- 镜头：景别、角度、焦距倾向、运动方式，例如中景、低角度、长焦压缩、缓慢横移。
- 风格：写实、动画、胶片颗粒、某种绘画质感，以及整体色调倾向。
按这个顺序写，模型对画面的理解通常比随意排列的句子更准确。
正向描述与负向约束
负向约束解决的是“避免出现什么”。常见需要排除的内容包括：多余手指、扭曲肢体、面部变形、文字水印、画面抖动、突然切换场景、背景人物畸变。负向提示词不是越多越好，列十项和列三项的效果差别不大，关键是把最常见的两个问题写进去。
常见错误对比
较差写法：“一个非常酷的女生在超级震撼的未来城市里做很厉害的事情，电影感，超高清，8K，杰作。”
较好写法：“一名二十多岁的女性，短发，穿灰色夹克，边走边低头看手机；环境为雨后的霓虹街道，地面积水反射招牌灯光；侧逆光，冷蓝色调；中景，低角度缓慢跟拍；写实风格，轻微胶片颗粒。”
第二种写法没有夸张的形容词，但每一句都对应画面上一个可以验证的元素。当结果不理想时，你也知道该改哪一句，而不是整段重写。
提示词模板化
把常用结构保存成模板，只替换主体、动作、环境三个变量，可以让系列内容的风格高度统一。做品牌内容时，模板化几乎是必需品，因为它把“审美一致性”从一个靠运气的目标变成了一个可复制的流程。
关键帧与多图融合：角色与场景一致性
一致性是 AI 视频里最贵的能力。观众可以接受画面不够华丽，但很难接受主角每隔三秒换一张脸。
参考图的质量标准
角色参考图最好满足几点：正面或四分之三侧面、五官清晰、光照均匀、背景干净、服装完整可见。模糊、逆光、大遮挡、夸张表情的图片，会把大量噪声带进后续生成。宁可用一张普通但干净的图，也不要用一张好看但模糊的图。
多图融合的基本思路
多图融合的本质，是把不同图片承担不同职责：一张负责角色长相，一张负责场景结构，一张负责色调与风格。生成时给每张图明确的角色定位，而不是全部丢进去让模型自己猜。
实践中，可以把参考图分为三类：
- 身份参考：决定人物长相、发型、体型。
- 场景参考：决定空间结构、材质、陈设。
- 风格参考：决定色调、对比度、颗粒感、镜头质感。
保证一致性的五条规则
第一，同一个人物在所有镜头里使用同一张身份参考图，不要每个镜头换一张“更好的图”。第二，服装与道具写进固定描述，并且不要在不同镜头里随意改变措辞。第三，尽量避免在同一组镜头里改变光照色温，除非剧情需要。第四，镜头景别跨度不要太大，从大特写直接跳到全身远景，会让模型重新“想象”整个人物。第五，多生成几个版本后固定一个基准，后续所有镜头以它为参照，而不是每次挑“最好看的那一个”。
首帧与尾帧控制
当需要两个镜头自然衔接时，可以把前一个镜头的尾帧作为后一个镜头的首帧。这样能显著提升转场的连贯感，尤其适用于同一空间内的连续动作。代价是镜头运动的选择会受到限制，需要提前规划好运动方向，避免前后矛盾。
镜头语言：把摄影术语翻译成模型指令
AI 模型对摄影术语的理解并不统一，写“希区柯克变焦”不一定有效，写“镜头推进同时背景扩张”往往更稳。
常用镜头运动的写法
- 推：镜头缓慢向主体靠近，主体在画面中逐渐变大。
- 拉：镜头缓慢远离，环境信息逐渐增加。
- 摇：机位不动，镜头水平或垂直转动。
- 移：机位平行移动，适合展示空间纵深。
- 跟：跟随主体移动，保持主体在画面中的相对位置。
- 升与降：机位上下移动，常用于开场或收尾。
写的时候同时给出速度感与幅度，例如“非常缓慢地向右横移约半米”，比只写“横移”更容易得到预期结果。
焦距与景深
想强调主体、弱化背景，可以写“长焦、浅景深、背景柔化”。想交代空间关系，可以写“广角、深景深、环境清晰”。这两个描述几乎适用于所有写实类内容，而且模型对它们的反馈相对稳定。
光线是情绪的载体
同样的场景，换一种光线就是另一种情绪。清晨侧光偏温柔，正午顶光偏硬朗，黄昏逆光偏怀旧，霓虹混合光偏都市感。把光线写进镜头表，而不是留给后期调色去救，成片质量会有明显差别。
避免运动指令冲突
“镜头快速旋转同时缓慢推进，然后突然拉远”这类描述几乎必然失败。一个镜头里只保留一种主要运动，最多加一种轻微辅助运动，是长期实践中最稳妥的原则。
工具与模型组合：按任务而非名气选择
工具选择的关键不是哪个模型“最强”，而是哪个模型最适合当前这个镜头。不同模型在写实度、运动幅度、风格化能力、文字渲染、响应速度上各有偏向。
按任务分类的思路
- 写实人物与产品：优先选择对光影和材质还原较好的模型，例如 Runway 系列、Sora 系列。
- 中文语义理解与本土化视觉：可以尝试 Kling 系列，在中文提示词的细节把控上通常更贴近预期。
- 运动幅度较大或物理效果要求高：可考虑 MiniMax Hailuo 系列，在动态表现上有明显长处。
- 精细镜头控制：PixVerse 系列提供较多镜头模拟选项，适合需要精确景深与焦距控制的镜头。
- 动画与风格化内容：Pika、Luma 等工具在风格化表达上有各自特点。
- 本地化与深度控制：Stable Diffusion 配合 ComfyUI 可以搭建高度自定义的节点流程，适合有技术背景的团队。
试跑、对比、锁定
拿到一个新项目时，不要立刻批量生成。先用同一个提示词在三个候选模型上各跑两次，比较它们在人物稳定性、运动自然度、风格贴合度上的表现，选定一个主模型，再选定一个备用模型处理特殊镜头。
组合使用而非单点依赖
成熟的流程通常会跨工具协作：用图片工具生成与修正关键帧，用视频模型完成运动，用插帧与放大工具提升流畅度与清晰度，用剪辑软件统一节奏与色调。把每个工具用在它最擅长的环节，比死磕单一工具效率高得多。
什么时候该换工具
如果同一个镜头重跑五次以上仍然无法达到要求，问题大概率不在提示词，而在于这个模型的运动处理方式与你的需求不匹配。这时候换模型比继续调参更划算。
声音、剪辑与节奏：从片段到成片
生成出来的片段只是素材，成片是在剪辑台上完成的。
先定音乐还是先定剪辑
推荐先确定音乐或节奏参考，再按节拍剪镜头。音乐决定了片子的呼吸，剪辑点落在节拍上，画面会立刻显得专业。反过来先剪再配乐，往往需要大量微调。
快剪与长镜的选择
短视频平台通常偏好两到三秒一个切换点，用来维持注意力；品牌片和叙事片则更依赖长镜头建立沉浸感。AI 素材的一个现实问题是长镜头容易暴露瑕疵，因此剪辑时可以用轻微的运动、景别变化或声音过渡来掩盖不自然的运动细节。
声音的三个层次
第一层是环境音，用来建立空间感；第二层是音效，用来强化动作与转场；第三层是音乐与人声，用来传递情绪与信息。很多 AI 视频显得“假”，就是因为只有音乐，没有任何环境层与动作层的声音。
配音与口型
如果内容需要口播，建议先用文字稿确定节奏与停顿，再选择语音合成工具生成配音，最后让画面去适配语音。反过来做会让口型与语气很难对齐。ElevenLabs 等工具在自然度上表现不错，但在多语言与情绪控制上需要逐句试听。
调色统一
不同模型生成的片段在色温、对比度、饱和度上往往不一致。进入剪辑软件后，先用统一的基础校正把白平衡和对比拉齐，再叠加同一套风格化调色。DaVinci Resolve 在色彩管理上比较适合这类统一处理，剪映则更适合快速交付的短视频。
字幕与信息层
字幕不只是辅助理解，也是节奏工具。加入字幕时要注意字号、行距与出现时机，避免遮挡主体面部。文字动画的节奏应与镜头切换节奏一致，否则会造成视觉噪声。
效率迭代与质量控制
长期做 AI 视频，拼的不是单次生成的运气，而是迭代速度与稳定性。
建立提示词与素材库
把验证过的提示词、参考图、镜头设置、参数组合整理成可检索的库。下次遇到类似需求时，从库中调用模板再微调，比从零开始快数倍。素材库还要记录失败案例，知道什么写法不奏效，同样节省大量时间。
版本命名与流程留痕
每个镜头至少保留三到五个版本，用统一命名规则标注模型、参数、日期与用途。当客户或合作方要求修改时，你能快速回到某个具体版本，而不是全部重跑。
批量生成的现实策略
与其一次生成一个镜头反复试，不如一次跑多个版本再挑选。批量生成能显著降低等待时间的浪费，但前提是提示词已经稳定，否则只会批量产出无用的失败品。
常见故障与排查
- 画面闪烁：多由运动幅度过大或参考图质量不足导致。降低运动强度，更换更清晰的参考图。
- 肢体扭曲：一个镜头里动作过多。拆成两个镜头，或把动作幅度降到最低。
- 风格漂移：参考图风格不统一，或提示词中风格描述前后矛盾。统一风格参考并固定描述。
- 人物变脸：缺少身份参考图，或每个镜头用了不同参考。固定同一张身份图重新生成。
- 文字乱码：多数模型对画面内文字处理不佳。把文字留到后期添加，不要在生成阶段解决。
- 运动漂移：镜头运动指令冲突。一个镜头只保留一种主要运动。
- 画面过于平滑像塑料：缺少颗粒与细节噪声。加入胶片颗粒、皮肤质感、次表面散射等描述。
- 场景突然跳变：切换点过于密集或缺少过渡。增加叠化或插入中间镜头。
判断“够用”的标准
不要追求每一帧都完美。判断标准应该是：在最终播放尺寸与播放环境下，观众是否会被打断注意力。手机竖屏短视频对细节的宽容度远高于大屏放映，把有限的迭代次数用在最容易被注意到的镜头上，是更理性的分配方式。
常见问题解答
完全没有基础，应该从哪一步开始？
从三镜头练习开始。选一个简单场景，写清楚每个镜头的时长与动作，只做图片到视频的转换，不做复杂运镜。完成一次完整闭环之后，再逐步增加难度。
文生视频能不能完全替代图生视频？
在需要人物反复出现的叙事内容里，很难。文生视频适合探索与氛围镜头，一旦进入需要连续性的段落，图生视频的稳定性优势就会显现。
为什么我的提示词写得越长效果越差？
长提示词里往往藏着互相冲突的指令。模型无法同时满足“安静沉思”和“激烈奔跑”，最终会给出一个折中且模糊的结果。把每条指令限定在一个可验证的视觉元素上。
同一角色在不同镜头里如何保持一致？
固定一张身份参考图、固定服装描述、固定光照方向，并尽量保持镜头景别跨度平缓。这四条做到，一致性通常能提升到可交付水平。
生成的片段太短怎么办？
不要试图用一个片段讲完一整段。把长动作拆成多个短镜头，依靠剪辑与转场连贯起来，这既是 AI 视频的现实做法，也是电影常见的语言。
如何判断该换模型还是该改提示词？
如果失败原因集中在提示词描述的具体细节上，改提示词；如果失败原因集中在运动方式、材质或风格倾向上，换模型更有效。
做系列内容如何保持统一风格？
把提示词结构、参考图、调色参数、字幕样式全部模板化，形成一份可复用的制作规范。规范越具体，第二集到第十集的风格漂移就越小。
可以在手机端完成整个流程吗？
拍摄与生成环节可以在移动端完成，但剪辑、调色与音频对齐在桌面端效率更高。移动端适合快速出片，桌面端适合需要精细控制的正式项目。
音频和视频哪一步先做？
建议先确定文字稿或音乐节奏，再生成画面。有了节奏参照，镜头长度与剪辑点就有了依据，返工明显减少。
投入时间最多的环节通常是哪一个？
多数情况下是筛选与返工，而不是生成本身。这正是分镜与关键帧需要提前做扎实的原因。
结语：把随机变成可控
文生视频与图生视频的组合，已经把视频创作的门槛降到了前所未有的程度，但门槛降低不等于质量自动提升。真正拉开差距的，是能否把创意拆成镜头、把镜头写成结构清晰的提示词、把关键帧固化成稳定的参考、把素材组织成有节奏的成片。
下一次开始新项目时，可以先问自己四个问题：这段内容要讲什么？它需要几个镜头？每个镜头的第一帧长什么样？哪些环节可以由流程代替直觉？把这四个问题的答案写下来，再去打开工具，你会发现生成环节变得简单很多，而真正需要创意的地方，反而有了更多空间。
