为什么 AI 视频创作需要一套工作流，而不是一堆工具
过去两年，文本生成视频的能力经历了几次明显的跃迁：画面更干净、镜头运动更自然、主体在几秒钟内不再轻易变形。很多创作者因此形成同一个直觉——只要找到一个足够强的模型，剩下的就是输入提示词、等待结果。真正开始做项目之后，这个直觉很快会被打破。一个 30 秒的成品往往需要几十次生成，其中只有少数几个片段能用；换了模型以后，上一个模型里调好的提示词几乎全部失效；好不容易得到满意的一帧，却无法在下一个镜头里保持同一个角色。
问题不在于模型不够好，而在于把创作当成了一次性的抽奖，而不是一条可以重复执行的流水线。工作流的意义就在于此：它把运气拆解成若干可以单独调整的环节，让每一次失败都能被定位，让每一次成功都能被复用。
一条完整的 AI 视频流水线通常包含五层：
- 创意层：主题、受众、时长、投放场景。
- 结构层：分镜表、镜头清单、节奏设计。
- 控制层：提示词、参考图、关键帧、角色设定。
- 生成层：模型选择、参数设置、批量尝试。
- 合成层：剪辑、配音、音效、调色、输出规格。
新手最常见的错误是直接跳到第四层，用一句描述性的话去生成一个完整镜头，然后在前三层反复打补丁。更高效的做法恰恰相反：先把前三层想清楚，再把生成当作填空题。本文按这条路径展开，给出可以立刻照做的方法、模板与排查清单。
第一步：把创意拆成可以执行的镜头清单
镜头表应该包含哪些字段
制作前先建一张镜头表，这是最省时间的一步。每一行代表一个镜头，至少包含这些字段：镜头编号、时长、景别（远、中、近、特写）、机位与运镜（固定、推、拉、摇、跟）、主体与动作、环境与时间、光线方向、风格参考、生成方式（文生视频、图生视频、首尾帧补间）、预计尝试次数、当前状态。
字段看似繁琐，实际作用是把“我不满意”这种模糊判断，转换成“时长不对”“运镜太乱”“光线方向错了”这类可以修改的具体问题。当你在第三个镜头卡住时，能立刻回到表格里对比它与第二个镜头的差异，而不是重新凭感觉写一条新提示词。
从一句话创意到八个镜头
假设要做一个关于“雨夜便利店”的 30 秒短片。原始创意只有一句话：一个人在深夜走进便利店，买了杯热咖啡，然后离开。
拆成镜头可以是这样：
- 全景，雨中的街道，便利店招牌发光，固定机位，3 秒。
- 中景，主角撑伞走向门口，跟拍，4 秒。
- 特写，手推开门，雨滴从伞尖滑落，2 秒。
- 全景，店内暖光，货架整齐，主角入画，3 秒。
- 中近景，主角在咖啡机前等待，轻微推镜，4 秒。
- 特写，纸杯被拿起，蒸汽上升，3 秒。
- 中景，主角站在窗边喝咖啡，雨在玻璃上流动，5 秒。
- 全景，主角出门走进雨里，背影渐远，固定机位，4 秒。
拆解完就会发现，真正需要复杂运镜的只有第 2 和第 7 个镜头，其余都是相对静态或简单动作的画面。这意味着你可以把大部分生成尝试花在两个难点镜头上，而不是平均分配。分镜的价值不只是拍摄指导，更是资源分配的依据。
另一个容易被忽略的细节是镜头时长。目前多数模型在 3 到 6 秒的区间内表现最稳，超过 8 秒后主体漂移的概率明显上升。因此更现实的做法是把长镜头拆成两三个短镜头，在剪辑台上拼成一个看起来连续的长镜头，而不是硬生成一个 15 秒的连续画面。
第二步：模型选择的决策标准
三个核心维度
选择模型时，把注意力放在三个维度上，比记住一长串型号更有用。
第一是一致性：在同一个镜头内部，主体的外形、服装、五官是否保持稳定；跨镜头时，同一角色是否还能被认出来。第二是运动质量：动作是否自然，是否存在肢体变形、多余手指、物体穿透。第三是可控性：能否指定首帧、尾帧、镜头运动方向、物体出现的位置，以及提示词是否听话。
这三个维度很少能同时达到最优。擅长宏大场景和长镜头叙事的模型，往往在精细动作控制上不如某些偏向风格化的模型；速度极快的模型，往往在细节稳定性上需要更多妥协。因此更实用的做法是按镜头分配模型，而不是全片只用一个模型。
如何用一个下午做完模型筛选
准备五条固定的测试提示词，覆盖你项目中最常出现的场景类型：一个静态人物特写、一个中等幅度的行走动作、一个包含液体或烟雾的动态场景、一个快速摇镜、一个需要文字或标志出现的画面。同一组提示词在每个候选模型上跑两到三次，把结果按“可直接使用”“需剪辑补救”“不可用”三档标注。
两小时后你会得到一张非常个人化的模型能力表，它比任何排行榜都更适合你的项目。更重要的是，这张表可以长期复用：半年后新增了模型，只要用同一组测试提示词跑一遍，就能立刻判断它值不值得进入你的工具箱。
商用托管模型与本地部署的取舍
商用托管的模型优势在于开箱即用、迭代快、不需要显存，适合交付周期紧、对画质要求高的商业项目。代价是每次生成都要计入成本，且对生成过程的控制深度有限。开源与本地部署的模型优势在于可以自由微调、批量测试几乎不产生额外费用、素材不出本地，适合风格统一的长线项目或有数据合规要求的工作。代价是部署与调优的时间成本，以及硬件投入。
一条实用的折中路线是：用本地模型做前期探索，确定提示词结构和风格方向；用商用托管模型完成最终交付镜头。这样既保留了试错空间，又保证了成片质量。对于预算有限的个人创作者，还可以进一步细分：静态空镜用本地模型，人物特写和复杂运镜用商用模型。
把迭代次数算进排期
任何模型都不可能一次生成就得到可用镜头。经验值是：简单静态镜头平均 2 到 4 次尝试，含人物动作的镜头 5 到 10 次，复杂运镜或多人互动 10 次以上。排期时把“每个镜头的尝试次数”写进表格，你就不会再为超出预期的开销感到意外，也能在项目中期判断是否需要降低某些镜头的复杂度。
一个真实的教训是：很多项目不是因为某个镜头做不到而失败，而是因为把 80% 的时间耗在了那个镜头，导致剩下的镜头只能草草收尾。提前设定“单个镜头最多尝试多少次，超了就换方案”的规则，能有效避免这种失衡。
第三步：提示词结构——把不确定性收进可控范围
五段式提示词模板
一个稳定可复用的结构是：主体 + 动作 + 镜头 + 光线与氛围 + 风格与技术。写成中文同样成立：
“一位穿深蓝色风衣的中年男性，缓慢抬手推开玻璃门，中景，轻微跟随，暖黄色室内光与冷蓝雨夜光形成对比，写实电影质感，浅景深，35mm 镜头，画面稳定。”
顺序本身不重要，重要的是每一段只描述一件事。把主体和动作混在一句话里，模型很容易在两者之间摇摆；把镜头与风格拆开写，调整时可以单独替换。建议把常用描述整理成一个文本片段库，写提示词时直接复制、修改其中一两项，而不是每次从零开始。
负面描述与常见失败模式
大多数模型支持负面词，或至少对否定语义有一定反应。常见的需要排除项包括：多指、肢体扭曲、面部漂移、画面闪烁、镜头突然跳切、文字乱码、背景物体重复、过度锐化。注意负面词不要堆太多，超过十个以后，模型往往会牺牲画面细节来满足约束，得不偿失。
更有效的做法是按症状对症下药。画面闪烁，就加强“稳定、固定机位、无闪频”；主体糊掉，就减少画面中同时出现的动作数量；颜色脏，就把光源描述收敛到一到两种；镜头莫名其妙地切换，就把运镜写成“固定机位，无剪辑，单镜头”。
首尾帧与关键帧控制
如果模型支持指定首帧与尾帧，一定优先使用。它把“生成一个镜头”变成“在两个已知画面之间补间”，可控性会显著提升。实践中可以先用图像模型生成首帧和尾帧，确认构图与光线，再交给视频模型补间。这样做的另一个好处是：即便补间结果不理想，你仍然拥有两张可用于剪辑的高质量静帧。
对于不支持尾帧的模型，可以退一步只锁定首帧，并在提示词中明确写出镜头结束时的状态，例如“最终停在角色的背影上，人物位于画面右侧”。这类描述能显著降低镜头“跑偏”的概率。
单变量迭代法
改提示词时一次只改一个变量。同时改了光线、镜头和动作，你无法判断是哪一项让画面变好。把每次尝试的提示词版本号和结果截图记录在同一张表里，三轮之后你会清楚地知道自己这套素材的敏感项是什么——有时是镜头词，有时是光线词，有时只是一个不该出现的形容词。
记录还有一个副作用：它会迫使你把“这次看起来还行”变成“这一版的运动比上一版稳，但光线偏冷”。当你能用语言精确描述问题时，问题通常就已经解决了一半。
第四步：一致性的四种实现方式
参考图与多图融合
保持一致性的第一手段是参考图。用同一张角色正面照贯穿所有镜头，并在提示词中重复相同的服饰与发型描述。如果工具支持多图输入或主体融合，把角色正面、侧面、全身三张图一起提供，模型对角色的理解会明显更稳。
使用参考图时有一个常见误区：参考图本身风格太强。如果参考图是高对比度的插画，模型会倾向于把插画风格带到所有画面里，哪怕你的提示词写的是写实电影质感。因此尽量选择光线中性、背景干净、表情中立的参考图。
角色设定卡
为每个主要角色写一张设定卡：姓名、年龄区间、发型、服装颜色与材质、标志性细节（一枚戒指、一道疤、一副圆框眼镜）、说话方式、常见姿态。设定卡不是文学创作，而是为了在每次写提示词时直接复制粘贴同一段描述。描述越固定，跨镜头的一致性越好。
设定卡还有一个隐藏价值：它让团队协作成为可能。当第二个人接手某个镜头时，他不需要看几十个已生成的片段去猜角色长什么样，只要读设定卡就够了。
场景与道具复用
场景比人物更容易保持一致，因为大部分场景本身是静态的。把关键场景渲染成一张高分辨率概念图，之后所有镜头都以它为参考，能大幅减少“同一间屋子看起来像两间”的问题。道具同理：桌上那杯咖啡的杯型、颜色、位置，一旦确定就写进设定卡。
对于经常出现的场景，可以进一步建立场景包：一张全景概念图、两张局部细节图、一段固定的环境描述文字。后续项目如果复用同一世界观，这些资产可以直接迁移。
剪辑层面的补救
当技术手段无法完全解决一致性时，剪辑可以帮助掩盖。常用手法包括：在角色变形最严重处切走、用短暂的特写或手部动作打断视线、用雨、烟雾、光斑、镜头光晕等元素做转场、把两个不连续的画面放在一起但中间插一个空镜。观众对连续性的容忍度比创作者想象的更高，只要节奏不断，细节瑕疵很容易被忽略。
一个实用技巧是“遮挡转场”：让某个物体从画面前方划过，或者让人物走入黑暗，在遮挡的瞬间完成镜头切换。这类转场既自然又能掩盖跳变。
第五步：后期合成与声音设计
配音与口型对齐
如果画面中有说话的人物，最好在生成阶段避免大段正面台词特写——这是目前最容易暴露问题的地方。更稳的做法是用侧脸、背影、过肩镜头或环境中景来承载对白，或者干脆用旁白替代同期声。需要口型对齐时，先锁定最终配音，再根据音频节奏生成或选择画面。
顺序不能颠倒。先做画面再配音，会陷入“为了匹配口型不断重做画面”的循环；先定声音再配画面，工作量至少减少一半。
音效与音乐
AI 生成的视频通常没有声音，而声音对成片感的贡献往往被低估。一个基础的声音层包括：环境底噪（雨声、风声、室内空调声）、动作音效（脚步、开门、杯子放下）、音乐。三层的音量关系大致是底噪最轻、音效居中、音乐视情绪起伏。没有环境底噪的画面会显得塑料感很重，加上一层雨声往往立刻改善。
音效还有一个实用功能：它可以盖住轻微的视觉瑕疵。角色手部动作不自然时，一个短促的碰撞音或布料摩擦声，能把观众的注意力从画面细节转移到事件本身。
放大、补帧与色彩统一
不同模型、不同批次生成的片段，色调、锐度、噪点水平往往不一致。统一流程是：先放大到交付分辨率，再补帧到统一帧率，最后统一调色。调色时不要逐个片段凭感觉调，而是先选定一个基准镜头，把它调到你想要的样子，再让其他镜头向它对齐。这样成片才会有整体感。
补帧要注意分寸。把 24 帧补到 60 帧会让某些风格化画面失去质感，尤其是模仿胶片或手绘风格的作品。如果目标是电影感，宁可保持 24 帧，也不要一味追求高帧率。
第六步：批量生产与团队协作
命名与版本管理
采用固定命名规则：项目_场次_镜头_版本_日期。版本用三位数字递增，不要用“最终版”“最终版二”这类命名。每个镜头保留最近三个版本即可，其余归档。当客户或导演说“还是上一版好”时，你能在十秒内找到它。
版本管理还包括提示词。把每次生成的提示词原文与对应文件名放在一起，形成可检索的记录。三个月后你想复现某个效果时，这份记录的价值会远超你的预期。
审核节点
把审核分成三次：分镜审核（确认结构与节奏）、粗剪审核（确认镜头可用性）、精剪审核（确认细节与声音）。不要在生成阶段就反复征求所有人意见，那会让工作流陷入停滞。明确每个节点谁说最后一句话，比多开三次会议更有效。
如果必须频繁沟通，用带时间码的批注代替模糊的口头反馈。“第 2 秒角色转头太快”比“这里感觉不对”有用得多。
常见错误与排查清单
画面层面的高频问题
- 主体变形：减少画面中的动作数量，加入“解剖结构正确、五官稳定”的描述。
- 画面闪烁：明确固定机位，减少高动态背景，必要时降低分辨率重试。
- 运动僵硬：拆成两个短镜头，用剪辑连接，不要硬生成复杂的连续动作。
- 光线跳变：把光源描述收敛到一到两种，并固定色温词。
- 背景物体繁殖：缩短时长，减少画面元素数量。
流程层面的高频问题
- 没有镜头表就开始生成，导致后期发现缺镜头，只能勉强拼凑。
- 一次改多个变量，无法判断哪一步起了作用。
- 只保存成片，不保存提示词与参考图，无法复现。
- 把所有镜头押在同一个模型上，遇到短板时无路可退。
- 先做画面再配音，导致反复返工。
- 忽略声音层，成片显得单薄。
预算层面的高频问题
- 把预算平均分给所有镜头，重点是难点镜头反而投入不足。
- 没有设定单镜头尝试上限，一个镜头吃掉整个项目的时间。
- 临时更换模型，导致之前的提示词全部作废。
如何评估一次生成的投入产出
两个简单指标
第一个指标是可用率：可用秒数除以总生成次数。新手通常在 5% 到 10%，熟练之后可以稳定在 25% 以上。这个指标提升的关键不是换模型，而是前一节的提示词结构与一致性方法。
第二个指标是每小时产出可用秒数。它把前期准备和后期时间都算进来，更接近真实效率。很多创作者发现自己生成很快，但交付很慢，原因通常在后期的声音与调色环节。
什么时候该停下来换方案
当某个镜头尝试次数超过预设上限，且每一版的失败原因都不相同时，说明方案本身有问题，而不是参数没调好。这时应该做的是回到分镜表，判断这个镜头能否换一种拍法：改成特写、改成背影、拆成两个镜头，或者用环境空镜加音效来暗示。
经验法则是：如果一个镜头在换了三种提示词结构后依然无法达标，就不要继续加负面词了，换思路。
常见问题解答
新手应该先学提示词还是先学分镜？
先学分镜。分镜决定了你要生成什么，提示词只是把需求翻译给模型。没有分镜，提示词写得再漂亮也只是零散的漂亮画面。
一个项目应该用几个模型？
两到三个是常见配置：一个负责静态与人物，一个负责复杂运动，一个作为备用。模型越多，风格统一的难度越大，后期调色压力也越大。
为什么同一个提示词每次结果都不一样？
生成过程本身带有随机性，这是扩散类方法的固有特性。想减少波动，可以固定随机种子、使用参考图、缩短镜头时长，并减少画面中的元素数量。
生成多少秒的片段最划算？
多数项目在 4 到 6 秒的片段上收益最高：足够容纳一个完整的动作，又不至于让主体漂移。需要更长时，用剪辑拼接比硬生成更可靠。
没有美术基础能做吗？
可以。你需要的不是绘画能力，而是描述能力与审美判断。多用参考图、多记录有效描述，进步速度会超出预期。
怎么判断一个片段能不能用？
问三个问题：它是否完成了这个镜头在叙事上的任务？它是否与前后镜头的色调和节奏相容？它是否在观众会注视的中心区域出现问题？三个答案都是肯定，就可以进入剪辑。
手机端能完成整套流程吗？
可以完成大部分生成与剪辑工作，但调色、音效合成与分辨率放大在桌面上效率更高。建议用手机做素材收集与快速验证，用桌面做最终交付。
如何避免风格不统一？
在项目开始时就确定一份风格说明：色调、对比度、镜头语言、节奏。把所有生成结果都对照这份说明判断，而不是凭当天的感觉决定留或删。
写在最后：把工作流变成资产
AI 视频工具的更新速度会一直很快，模型会不断被替换，参数面板会不断变化。真正能沉淀下来的，是你的镜头表模板、角色设定卡、提示词片段库、排查清单，以及那套“先结构、后生成、再合成”的判断顺序。
把这些东西整理成文档，下一次项目开始时，你面对的不再是一片空白，而是一条已经铺好的轨道。工具换了几轮，轨道还在。这才是工作流真正的价值：它不保证每一次生成都完美，但它保证你不会从零开始。
