很多人开始做AI视频时，第一步是打开模型榜单，挑一个名字最响的，把脚本粘进去按生成。两天后硬盘里躺着八十条五秒片段，却没有一条能连成片子。问题几乎从不在「模型够不够强」，而在工作流：没人先定义交付目标，没人把创意拆成可执行的镜头任务，也没人处理一致性、声音和节奏这些真正决定成片质量的部分。
这篇文章不讲某个平台的排名，而是给出一套可以迁移到任意工具组合的AI视频创作流程。你可以把它当成一张检查表：每一步做完了再进入下一步，出问题就回到对应环节定位原因，而不是反复重抽同一条提示词。
为什么「模型清单」救不了你的AI视频项目
生成模型大约每隔两三个月就会换一茬：画质更好、时长更长、动作更稳。如果你的项目周期是两周，那么在这两周里模型很可能又更新了一次。把工作流建立在「某个模型当前最强」之上，等于把项目的稳定性交给别人的发布节奏。
更稳的做法是把流程分层：上层是创意与叙事，中层是镜头任务与一致性资产，下层才是具体模型。下层可以随时替换，上两层几乎不用改。下面三个误区，是我见过的项目里最常反复出现的。
误区一：用「最强的模型」处理所有镜头
不同镜头对模型的要求完全不同。一个三秒的产品特写，需要的是干净的质感、稳定的边缘和准确的材质反射；一个十秒的人物对白镜头，需要的是口型、微表情和视线方向；一段航拍推进镜头，需要的是运动轨迹的连续性和画面不撕裂。把这些任务全部丢给同一个模型，结果通常是：特写过度锐化、对白镜头脸部漂移、航拍镜头中途变形。
正确的做法是先写镜头清单，标注每个镜头的「关键要求」，再决定由哪一类能力来承担。很多时候，一个擅长图生视频的模型加上一张精修过的起始帧，效果比反复抽文生视频好得多。
误区二：没有分镜就直接生成
分镜的作用不是「给客户看」，而是把模糊的创意转换成可验证的任务。没有分镜，你在生成时就没有判断标准：一条素材看起来挺漂亮，但它到底该不该进片子里？有分镜时你心里有明确的画面、景别、时长和动作，一眼就能判断「对」或「不对」。
分镜不需要画得多漂亮。用文字表格、火柴人草图、参考图拼贴都可以，只要能回答四个问题：这个镜头讲什么、镜头里有什么、摄影机怎么动、持续多久。
误区三：忽略声音与剪辑，把生成当成终点
观众对视频质量的感知，很大一部分来自声音和节奏。同样一组画面，配上干净的对白、贴合动作的音效和合理的切点，观感会提升一个档次；反之，即使画质很好，声音空洞、节奏拖沓，也会显得业余。把生成当作终点，就等于放弃了最容易提升成片感的那部分工作。
先定交付目标：把创意翻译成技术约束
在打开任何工具之前，先写一份一页纸的项目定义。它决定了你后面所有的技术选择，也决定了什么时候该停止优化。
四个必须先回答的问题
- 时长与结构：是十五秒的社交短片，还是三分钟的品牌故事？前者容忍镜头碎、节奏快，后者需要镜头呼吸和叙事铺垫。
- 投放渠道与画幅：竖屏九比十六、横屏十六比九，还是方形。画幅一旦定了，分镜构图就不能再随意跨越。
- 风格坐标：写实电影感、二维动画、黏土质感、复古录像带。风格描述越具体，模型越容易命中。
- 一致性要求：同一个人物是否要在多个镜头出现？是否要在不同场景重复出现同一件服装或道具？如果答案是「是」，你就必须提前准备参考素材，而不是边生成边找。
技术约束清单
把上面的答案转换成可执行参数：分辨率与帧率、单条素材的目标时长、允许的生成次数上限、必须保留的镜头细节、交付格式与字幕规范。这个清单会在后期反复用到，尤其是当你要说服合作方「这个镜头已经够好了」。
把预算与时间换算成生成次数
一个实用做法是给每个镜头分配「尝试次数预算」。例如人物特写给八次，空镜给三次，群像给十二次。这样你可以迅速判断：某个镜头已经超出预算三倍还没出片，说明问题不在运气，而在提示词结构或参考素材，必须停下来改方案，而不是继续抽。
剧本与分镜：结构化提示词的写法
分镜表和提示词是同一个东西的两个版本：一个给人看，一个给模型看。把两者对齐，能省掉大量试错。
分镜表应该包含的字段
建议至少包含：镜头编号、景别（远/全/中/近/特）、画面描述、主体动作、环境与光线、摄影机运动、目标时长、音频要点、参考图编号、备注。字段多看起来麻烦，但它让你在生成时不至于边想边写。
提示词的五段式结构
把提示词固定成五个部分，写起来会快很多，也更容易排查问题：
- 主体：谁或什么，外貌、服装、年龄感、材质。第一句就把主体钉死。
- 动作：主体在做什么，动作幅度多大，是持续还是单次。避免同时写三个动作。
- 环境与光线：地点、时间、天气、主光方向、色调。光线描述对成片质感的影响非常大。
- 摄影机：景别、机位高度、运动方式、镜头焦段感、是否手持。
- 风格与画质：媒介（实拍、动画、三维）、质感（胶片颗粒、数码锐利）、情绪词。
一个常见的错误是把风格词写在最前面。模型对提示词前段的权重通常更高，先写风格会导致主体的具体细节被稀释。把主体放在开头，风格放在末尾，命中率会明显提升。
负面提示与失败预判
负面提示不需要很长，但要有针对性。针对人物镜头，重点是多余肢体、面部变形、手指异常；针对产品镜头，重点是文字错乱、反光过曝、边缘闪烁；针对场景镜头，重点是透视混乱、重复纹理、结构坍塌。每次出现新问题，就把它补进你的负面清单，形成项目级的复用资产。
模型分工：不同镜头该交给谁
下面是按「镜头类型」而不是按「品牌」来划分的分工思路。具体产品名会变，但能力类型相对稳定。
| 镜头类型 | 关键要求 | 更适合的能力方向 | 常见替代方案 |
|---|---|---|---|
| 产品特写 | 材质准确、边缘干净 | 图生视频，从精修静帧出发 | 静态图加轻微运镜 |
| 人物对白 | 口型、微表情、视线 | 支持音频或首尾帧控制的模型 | 分段短镜加剪辑 |
| 大场景空镜 | 运动连续、无撕裂 | 擅长长镜头运动的模型 | 分两段生成后剪辑 |
| 动作场面 | 速度感、不崩形 | 短时长高帧率生成 | 拆成多个半秒碎镜 |
| 转场元素 | 形态可控 | 图生视频配合遮罩 | 合成软件里做 |
| 局部修改 | 不改动其他区域 | 局部重绘与补帧工具 | 回退到上一版重做 |
文生视频：适合探索，不适合定稿
文生视频最大的价值是快速试风格。同一个分镜用不同风格词生成六条，你能很快判断哪种方向更像你想要的。但它很难精确控制构图和细节，所以通常作为「找方向」的第一轮，而不是最终交付的来源。
图生视频：定稿的主力
当画面构图和人物外貌很重要时，先做静帧，再让模型动起来。静帧可以用图像生成工具做，也可以用实拍照片、三维渲染图。这样做的好处是：构图、服装、五官在你手里，模型只负责运动和氛围。一致性问题一大半在这里被解决。
首尾帧与关键帧控制
如果模型支持首帧和尾帧，你就可以把一段运动「框」起来：起始构图和结束构图由你决定，中间的运动交给模型。这在产品展示、机械运动、人物走位这类镜头里非常好用，也大幅减少重抽次数。
长叙事与对白场景
涉及对白和情绪递进的场景，建议拆成三到六个短镜，而不是指望一条长镜头讲完。短镜可以分别优化表情和灯光，剪辑时用视线和动作方向衔接，观众依然会感知为连贯的一场戏。
一致性工程：角色、服装与场景锁定
一致性是AI视频最容易被低估的部分。观众可以接受画面不够精致，但很难接受主角的脸在两秒之内换了个人。
建立参考图集，而不是只有一张图
单一参考图往往只能锁住一个角度。更有效的做法是给每个主要角色准备四到八张参考图：正面、四分之三侧、侧面、特写、全身，尽量统一光线和色调。生成时按需调用，转身镜头用侧面参考，对话镜头用正面参考。
角色卡与风格卡
把角色描述写成固定的文字块，包括年龄感、发型、发色、面部特征、体型、服装材质和配色。每次生成都原样复制这段文字，不要临时改写同义词。风格卡同理：把媒介、质感、色调、光线风格的描述固定下来，在所有镜头末尾统一附加。
场景与道具锁定
同一场景的多个镜头，最好先做一张「场景主视图」，后续镜头都以它为参考。道具（杯子、车、背包）可以用局部重绘单独处理，确保标志性细节在不同镜头里一致。
一致性失败的四种表现与修复顺序
第一种是五官漂移，通常是参考图不足或角色描述前后不一致；第二种是服装变化，问题多出在提示词里没有明确材质和颜色；第三种是色调跳变，需要在后期统一；第四种是场景结构变化，属于参考图缺失。修复顺序建议从参考素材开始，再到提示词，最后才考虑后期补救，因为后期补救成本最高。
导演控制：运镜、构图与表演
很多人把画面交给模型之后就完全放手，结果镜头语言平淡，看起来像随机素材拼接。你不需要专业摄影背景，但需要掌握几个可复用的控制手段。
运镜词表
常用的有：缓慢推进、缓退、横移、跟随、环绕、升降、手持轻晃、固定机位。使用时加一个速度副词（极缓、缓慢、中速），并说明是否有稳定器感。不要在同一句里叠加三种运动，模型会各做一半，最终变成混乱的漂移。
构图与焦段
写清主体在画面中的位置（居中、左三分之一、右三分之一）、机位高度（平视、略低、俯视）以及焦段感（广角、标准、长焦压缩）。长焦压缩能让背景更紧、更聚焦；广角则适合交代空间和环境关系。这两句话往往比十个形容词更有用。
表演与微表情
如果镜头里有人物，明确写出情绪和微动作：轻微点头、眼神从画面外移到镜头、嘴角放松、呼吸起伏。不要写「自然地表演」，模型对「自然」没有具体概念。越具体的微动作，生成结果越可控。
转场设计
转场最好在分镜阶段就想好。可用的方式包括动作衔接（同一动作跨镜完成）、视线引导、形状匹配（圆形轮廓到圆形物体）、光线过渡（闪白、熄灭）、运动方向延续。提前设计转场，剪辑时就不需要靠花哨特效来掩盖断层。
声音与节奏：让画面活起来的最后一段路
画面生成完成后，很多人马上进入剪辑，把声音留到最后。更有效率的顺序是：先确定旁白或对白，再按语速排镜头长度，最后做音乐和音效。
配音
旁白文本要按口语写，短句为主，避免书面语长句和生僻词。语速、停顿和重音决定了镜头节奏。如果使用合成语音，建议先导出音频，确认总时长后再定每个镜头需要几秒，这样能避免「画面很好但塞不下文案」的尴尬。
音效
环境底噪（风声、室内空调、远处车流）能让画面立刻有空间感。动作音效（脚步、开关、布料摩擦）能让画面里的动作落到实处。这些通常只需几轨，但收益非常明显。
音乐与节拍
音乐的作用是给剪辑提供节奏锚点。先把音乐铺在时间线上，标记出重音和段落变化，再把镜头切点对齐到重音附近，成片的完成度会立刻提升。注意留出呼吸段落，不要每一秒都在峰值。
字幕与避让
字幕要考虑安全区和行数，竖屏视频尤其要注意底部信息遮挡。字幕出现和消失的时间点最好比语音提前一两帧，观感会更跟手。
后期整合：剪辑、修复与调色
剪辑阶段的目标不是「把素材用完」，而是让每个镜头只承担它擅长的部分。
粗剪顺序
建议顺序是：先按旁白或音乐铺出骨架，再放主体镜头，然后补空镜与细节镜头，接着做转场，最后统一处理声音。先做画面再加音频，很容易导致节奏被画面绑架。
常见瑕疵的修复思路
画面闪烁通常来自逐帧生成的不稳定，可以用补帧或统一帧处理削弱；人脸在运动中变形，最有效的办法是缩短该镜头时长，让变形发生在观众来不及注意的瞬间；局部穿模可以用遮罩加替换素材覆盖；色调跳变则在调色层统一处理。记住一个原则：能用剪辑解决的，不要用重抽解决。
调色统一
把所有镜头放在同一条时间线上，先统一白平衡和曝光，再统一对比与饱和度，最后加同一套风格化处理（颗粒、暗角、色调倾向）。统一调色是让不同来源、不同模型的素材看起来像同一部片子最有效的一步。
流程沉淀：版本管理、命名规范与批量生产
如果只做一条片子，流程可以随意；如果要做十条、二十条，流程本身就是最值钱的资产。
命名与目录
推荐结构：项目名／分镜号／镜头号_版本号_状态。状态包括草稿、候选、定稿。命名混乱的代价是重复劳动，尤其是在你需要回到三天前那一版的时候。
版本管理
每个镜头的提示词、参考图编号、参数设置和模型类型都记录在一张表里。这个记录看起来枯燥，但当你需要重做一个相似镜头时，它能直接复用，而不必靠记忆摸索。
批量生产
把可复用的部分固定下来：片头模板、字幕样式、调色预设、音效包、角色卡、风格卡。之后做新内容，你只需要替换分镜表和主体素材，产出速度会成倍提升。
一个两分钟短片的排期示例
| 阶段 | 主要产出 | 建议投入占比 |
|---|---|---|
| 目标与分镜 | 一页项目定义、分镜表 | 百分之十五 |
| 素材准备 | 参考图集、场景主视图 | 百分之十 |
| 镜头生成 | 候选素材与定稿镜头 | 百分之三十五 |
| 声音制作 | 配音、音效、音乐 | 百分之十五 |
| 剪辑与调色 | 成片初版 | 百分之二十 |
| 复盘归档 | 复用资产更新 | 百分之五 |
这个比例不是铁律，但如果你发现自己在「镜头生成」上花了八成时间，基本可以断定前置工作没有做够。
常见问题解答
AI视频生成一条片子大概需要多久？
十五秒的社交短片，熟练之后通常两到四小时可以出一版可看的初稿；三分钟左右的叙事短片，包含分镜、参考素材、配音和调色，通常需要两到五天。时间差异主要来自一致性要求和镜头数量，而不是模型速度。
为什么同一个提示词每次结果都不同？
生成过程带有随机性，这是正常的。这也是为什么强调「先定结构再抽」：结构化的提示词能缩小结果分布的方差，让你在几次尝试内就拿到可用的候选。如果十次都没有可用结果，问题一定在提示词或参考素材，而不是随机种子。
人物脸总在变怎么办？
按顺序检查：参考图是否覆盖了当前角度；角色描述文字是否每次都一致；镜头是否太长导致模型在中途丢失特征；景别是否太远导致面部信息不足。多数情况下，把镜头缩短到三秒以内，并补一张对应角度的参考图，就能解决大半问题。
生成出来的动作太慢或太夸张怎么办？
在提示词里明确动作幅度和速度，并减少同时出现的动作数量。如果模型仍然过度，可以缩短镜头时长，只保留动作最关键的一段，剩下的交给剪辑。
竖屏和横屏能不能用同一套分镜？
不能直接套用。竖屏的信息密度集中在中部，需要更近的景别和更强的中心构图；横屏更适合交代空间关系。如果两个版本都要做，建议先做横屏版本，再把关键镜头重新构图做竖屏，而不是简单裁切。
需要多少参考图才算够？
主要角色建议四到八张，覆盖正面、侧面和特写；次要角色两到三张即可；场景一张主视图加两到三个角度。数量不是越多越好，光线和色调不一致的参考图反而会干扰生成结果。
生成的素材可以直接用还是必须后期处理？
几乎都需要处理。至少要做统一调色和声音铺设，通常还要做局部修复和节奏调整。把后期当成流程的一部分而不是补救手段，成片质量会稳定得多。
团队协作时最容易出问题的地方在哪？
在命名和版本混乱，以及角色描述被不同成员随意改写。解决办法是把角色卡、风格卡和命名规范写成文档，任何人改动都要在版本记录里体现，这样交接成本会低很多。
把流程走完，比找到最强模型更重要
回头看，AI视频创作的难点从来不是「哪个模型更好」，而是能否把创意翻译成一系列可执行、可验证、可复用的任务。模型会继续更新，工具会继续替换，但只要你手里有清晰的分镜表、稳定的参考图集、固定的角色与风格描述，以及一套自己的剪辑和调色习惯，换工具只是换一个零件。
下一次开始新项目时，先花半小时写那一页项目定义，再花一小时整理分镜和参考素材，然后才打开生成工具。你会发现，重抽次数下降了，素材可用率上升了，最重要的是，你终于能把时间花在讲故事上，而不是花在筛素材上。
