先厘清概念：什么才算“非虚拟形象”的 AI 视频
在 AI 视频领域，“虚拟形象”通常指一套预先建好的数字替身：固定的面部绑定、固定的骨架、固定的表情库与口型库。它的优势是稳定、可控、成本可预估；代价是画面与真实世界之间始终隔着一层动画感。与之相对的“非虚拟形象”路径并不是某种单一技术，而是一种创作立场：不依赖任何预制的人格资产，直接根据文本描述、参考图像与少量条件约束，生成看起来属于真实世界的画面——真实的人、真实的场景、真实的光线。
这个差别决定了整个工作流程的重心不同。虚拟形象路线的核心是“驱动”：先有资产，再让资产动起来，写台词、配动作、调口型。非虚拟形象路线的核心是“锁定”：在没有骨架绑定的前提下，把一个人的面孔、体型、服装、气质稳定地锁定在十几个甚至几十个镜头里。前者比拼的是驱动能力，后者比拼的是约束能力。理解了这一点，后面的所有技巧都会变得顺理成章：你做的每一件事，本质上都是在给模型增加约束。
两条路线的实际差异
| 维度 | 虚拟形象路线 | 非虚拟形象路线 |
|---|---|---|
| 人物来源 | 预制替身或真人扫描资产 | 从文本与图像条件生成 |
| 一致性保障 | 骨骼、材质与表情绑定 | 参考图集、提示词锚定、首尾帧接续 |
| 场景自由度 | 受限于既有资产库 | 随时新增场景、服装与动作 |
| 主要风险 | 皮肤质感与微表情僵硬 | 跨镜头身份漂移、物理穿帮 |
| 典型用途 | 口播、课程、客服、虚拟主播 | 短片、广告、纪录片质感内容、剧情片段 |
什么时候该放弃虚拟形象路线
可以用三个问题快速判断。第一，片中人物是否需要连续正面说话超过三十秒？第二，是否出现大量需要精确肢体交互的动作，例如握手、打斗、递物？第三，项目周期是否短到无法支撑多轮迭代？如果前两个问题的答案都是“否”，那么走非虚拟形象路径往往能换来明显更高的画面可信度。反之，如果内容以长时间口播为主，虚拟形象路线依然更省力，因为它把“稳定”这件事交给了绑定系统，而不是交给你的提示词功力。
选择路线的另一个判断依据是内容的叙事密度。需要人物在空间里移动、与环境互动、依靠镜头语言传递情绪的片子，几乎一定要走非虚拟路径；而信息播报型内容是反过来的。两条路径不是对立的阵营，而是两种成本结构。
真实感的两道坎：运动连贯性与身份漂移
无论用哪一种生成模型，写实类 AI 视频的失败几乎都集中在两个地方。第一是运动，第二是身份。把这两件事解决了，画面质量的短板就会从“不可用”跳到“可以接受”，再通过后期补齐到“能用”。
运动连贯性：帧与帧之间的逻辑
运动连贯性指的不仅是“物体在动”，而是运动符合它在现实中的惯性、重量与因果关系。真实世界里的动作是有前因后果的：人转身之前重心会先移动，杯子被拿起之前手指会先接触，风吹过头发时头发的摆动会滞后于头部转动。生成模型最容易出问题的地方恰恰是这些过渡帧：手指穿模、脚底打滑、物体凭空出现、人物走路时腿部节奏与位移速度不匹配。
处理这类问题的最有效手段不是写更长的提示词，而是缩短单个镜头的时长并把复杂动作拆开。一个三秒钟的镜头里塞进“起身、转身、走向门口、开门”四个动作，模型几乎必然在某个过渡帧崩掉。把同样的内容拆成四个镜头，每个镜头只负责一个动作，成功率会显著提高，而观众通过剪辑逻辑依旧会理解这是一段连续的段落。换句话说，连续性不一定由模型负责，也可以由剪辑负责。
身份漂移是怎么发生的
身份漂移指的是同一个人物在不同镜头里“看起来还是那个人”，但细节全部变了：眉间距变宽、鼻梁变短、脸型变圆、发型走向改变、服装颜色偏移。造成漂移的原因有三个层次。
第一层是描述层：提示词写得过于笼统，只说“三十岁男性、短发、黑色外套”，那么每次生成都是在同一个巨大的人脸空间里随机抽样，自然每次都不一样。
第二层是条件层：没有把参考图作为硬条件输入，或者只给了一张正面参考图，模型在侧面、仰视、逆光等角度下缺少约束依据。
第三层是流程层：每个镜头都从头生成，镜头之间没有首尾帧接续，也没有把上一镜的最后一帧作为下一镜的起点。这等于每一镜都重新掷一次骰子。
一致性为什么比分辨率更重要
很多创作者把精力全花在提升分辨率上，结果得到一条高画质却处处“换脸”的片子。观众对画面的容忍度其实很高，轻微模糊、少量噪点、柔和的高光都不会让人出戏；但一个人物的脸在两秒内发生变化，会立刻破坏沉浸感。因此在实际项目中，优先级排序应该是：身份一致性 > 运动连贯性 > 光照合理 > 分辨率与锐度。把时间和精力按这个顺序分配，成片质量会明显更好。
模型选型的决策框架：按镜头任务而不是按排行榜
模型排行榜能说明整体水平，却很难回答“这个镜头该用哪个模型”。更实用的做法是先给镜头分类，再为每一类镜头准备一到两个主力模型，并在项目开始前做一次小规模对比测试。
四类镜头，四种选型思路
人物近景与特写。 这类镜头要求面部细节、皮肤质感和微表情到位，同时对运动幅度要求低。选型时应优先考察模型在参考图条件下的面部保真度，以及在小幅动作下是否会出现面部融化或五官错位。
中景动作与走位。 这类镜头最考验运动连贯性与人体比例。选型时优先看模型处理大幅度肢体动作时的稳定性，尤其是四肢与躯干的连接处。
空镜与环境。 这类镜头没有人物，容错率最高。可以大胆使用风格化更强、动态更华丽的模型，用来做气氛铺垫和转场。
需要精确控制起止的过渡镜头。 例如画面从室内推向窗外，或者从人物背影切到正面。这类镜头需要模型支持首尾帧约束，否则很难接上前后镜。
评估模型时真正该看的七个指标
- 参考图条件能力。 是否支持多张参考图，是否支持把“人物保持”与“风格保持”分开控制。
- 首尾帧支持。 能不能给定起始帧和结束帧，让模型补全中间过程。
- 单镜头时长上限。 通常在几秒之间，这个上限决定了你要把分镜拆到多细。
- 镜头运动可控性。 推、拉、摇、移、跟、升降能否用参数或提示词明确指定。
- 迭代速度。 一次试错的等待时间直接决定你一天能试多少版本，也决定项目能否按期交付。
- 分辨率与比例支持。 是否原生支持竖屏、方形、宽银幕，避免后期裁切损失构图。
- 输出与元数据。 是否保留种子与参数，方便复现成功的镜头。
工具组合的常见形态
一个成熟的写实 AI 视频流程通常不是单一模型包打天下，而是分工协作。关键帧与角色设计阶段，常用扩散类工作流（例如 Stable Diffusion 生态、ComfyUI 节点式流程、Flux 系列模型）来打磨人物与场景的静态画面；动态生成阶段，用 Runway、Kling、Luma、Pika、Veo、Sora 这一类视频模型把静帧推成运动；细节增强阶段用超分与去噪工具补足画质；最后交给剪辑软件统一节奏与声音。重点不在于用哪个品牌，而在于每一段流程都有明确的输入标准与输出标准：关键帧阶段交付的是构图正确、人物正确的静帧；动态阶段交付的是身份一致、动作合理的短片段。
选型还要考虑“失败成本”。有些模型出片效果惊艳，但平均要试七八次才能成功一次；另一些模型永远只是中上水平，却几乎每次都能用。在长项目里，后者往往更划算，因为你的时间预算是固定的。
从脚本到分镜：把文字变成可生成的镜头表
直接从剧本跳到生成，是新手最常见的翻车点。剧本的语言是叙事语言，模型需要的却是视觉与物理语言。中间必须经过一层“翻译”，也就是镜头表。
分镜粒度的三条硬规则
规则一：一个镜头一个动作。 如果一句话里出现了两个动词，就拆成两镜。
规则二：单镜时长控制在三到六秒。 超过六秒的镜头，模型维持细节稳定的难度会陡增；低于两秒的镜头，观众来不及读取信息，除非是刻意做快切。
规则三：为每个镜头指定一个视觉锚点。 锚点可以是人物的某个特征（左眉上的疤痕）、场景的某个物件（桌角的台灯）、或者一个固定的光照方向。锚点的作用是在剪辑时让观众确认“这还是同一个空间、同一个人”。
一份可用的镜头表长什么样
| 镜号 | 时长 | 景别 | 机位与运动 | 动作 | 参考图 | 光照 | 备注 |
|---|---|---|---|---|---|---|---|
| 01 | 4s | 中景 | 固定，略低于视线 | 人物推门进入，停步 | 角色A_全身_正面 | 侧逆光，暖色，傍晚 | 门轴声 |
| 02 | 3s | 近景 | 缓慢推近 | 人物抬眼看向窗外 | 角色A_面部_正面 | 同上，左脸受光 | 呼吸声 |
| 03 | 5s | 空镜 | 横移 | 窗外街灯依次亮起 | 场景_街道_夜景 | 冷蓝主调 | 用于转场 |
把这样的表格填满，创作就从“抽卡”变成了“施工”。你会发现大部分返工都发生在表格里信息缺失的镜头，而不是模型不听话的镜头。
提示词的结构化写法
一个可复用的提示词结构是：主体 + 动作 + 环境 + 镜头语言 + 光照与时间 + 材质与风格 + 技术参数。举例来说，“一名三十岁出头的男性，深色短发，灰色针织衫，坐在木质书桌前抬头看向窗外，中近景，固定机位略微仰视，傍晚侧逆光，暖色轮廓光，皮肤有细微纹理，写实纪录片风格，浅景深”。结构化提示词的好处是便于逐项替换：换环境不换人物，换光照不换机位，这样对比实验才有效。如果一次改了三项，你永远不知道是哪一项带来了改善。
角色身份锚定：让同一个人贯穿全片
这一节是整个流程中最重要的部分。身份锚定做得扎实，后面的一切都会变简单。
第一步：建立角色设定表
用文字把人物的可量化特征写下来：年龄段、脸型、眉形、眼型、鼻梁高度、嘴唇厚度、肤色与肤质、发型与发色、身高体型、常穿服装与配饰、惯常姿态。这些描述不需要文学性，需要的是可重复性。写完之后，把它保存成项目级别的“人物档案”，所有镜头共用同一份档案，不允许临时改词。
第二步：准备参考图集
至少准备六到十张参考图，覆盖正面、四分之三侧面、正侧面、背面，覆盖顺光与逆光两种光照，覆盖平静与微笑两种表情。参考图的质量比数量更重要：模糊、过度美颜、强滤镜的图片会污染生成结果。如果有条件，用同一套设定先批量生成角色定妆照，再从中挑选最符合设想的一组作为后续所有镜头的参考基准。
第三步：写可复用的角色提示词模板
把人物档案压缩成一段三十到六十个词的固定描述块，每次生成都原样粘贴，只替换动作、环境与镜头部分。这是防止身份漂移最廉价也最有效的手段。很多人失败的原因不是模型不行，而是每个镜头都重新写了一遍人物描述，措辞不同，抽样的区域自然不同。
第四步：用首尾帧与接续生成跨镜头
对于连续动作，把上一个镜头的最后一帧导出，作为下一个镜头的起始帧输入。这样人物、光照、服装、背景会自动延续，模型只需要补全中间的运动。这一招在处理“人物从门口走到桌前”这类跨镜头动作时效果极好，也能顺带解决背景变化的问题。同理，如果下一个镜头是反打，可以用同一场景的另一张参考图加相同的光照描述来维持空间感。
第五步：建立一致性检查清单
每完成一组镜头，逐条核对：脸型是否一致、发型走向是否一致、服装颜色与材质是否一致、配饰是否还在、身高比例是否一致、惯用哪只手是否一致。发现偏差就回到参考图与提示词模板，而不是靠后期修脸硬救。后期修脸的成本远高于重生成一次，而且修过的脸在运动中往往会再次失稳。
物理与光照一致性：让画面“站得住”
写实感来自细节的合理，而不是画面的华丽。物理与光照是两条最容易被忽略、却最影响可信度的线索。
光照的连续性
同一场戏里的所有镜头，主光方向、色温、明暗对比都应该来自同一个设定。如果镜头一是傍晚暖色侧逆光，镜头二突然变成正午顶光，即使人物一致，观众也会觉得“这不是同一场戏”。建议在镜头表里为每场戏写一行光照设定，包含时间、天气、主光方向、色温倾向、是否有人造光源。人造光源还要注意“光源在画面内”的原则：如果画面里出现台灯，人物脸上就应该有来自台灯方向的光。
材质与皮肤
写实人物最容易被识破的地方是皮肤。过度光滑的皮肤会立刻暴露合成痕迹。提示词里加入“可见毛孔、细微皮肤纹理、轻微瑕疵、自然油光”这类描述，通常能显著提升可信度。衣服的材质同样重要：针织、皮革、牛仔、丝绸在同一光照下的高光形态完全不同，明确指出材质名称比说“深色外套”有效得多。环境的材质也一样，木桌、水泥墙、玻璃幕墙对光的反应各有性格，写清楚材质能省下大量后期调色时间。
重力、惯性与风吹
让人物动起来之后，还要检查运动是否符合物理直觉。衣摆是否随步伐摆动，头发是否在转身时滞后，手里拿的物体是否有重量感。这些细节单看很微小，叠加起来却是“真实”与“塑料感”的分界线。如果模型在此类细节上反复失败，最实用的办法是把镜头拆短，只保留动作最关键的两秒。
镜头语言的一致性
同一场戏里，镜头运动风格也要统一。如果前三个镜头都是固定机位，第四个突然大幅手持晃动，观众会感到断裂。可以在项目开始前定义一套简单的镜头语言规则：对话用固定或缓慢推进，情绪高潮用手持，转场用横移或升降。规则一旦定下，就不要在单个镜头里破例。
逐镜头生成工作流：草稿、评审、锁定
把生成过程拆成五个阶段，可以让返工变得可控，也能让团队协作有共同语言。
阶段一：低保真草稿
每个镜头先出两到四个低分辨率版本，只看构图、动作走向与人物是否符合预期，不看画质。这一阶段的目标是快速排除明显错误的方向，不要因为细节锐利就提前锁定。很多人误把清晰度当作质量的信号，结果在错误的方向上反复精修。
阶段二：结构化评审
用同一套标准给每个草稿打分：身份一致性、动作合理性、光照合理、构图可用、有没有穿帮。五项里有两项不达标就重来，其余的在下一阶段修补。避免“感觉不太对但说不上哪里不对”这种模糊判断，因为它无法指导下一步。
阶段三：条件化重生成
把通过的草稿作为参考图或首尾帧，重新生成高分辨率版本，并把镜头表里的提示词完整粘贴进去。这一步的关键是“少改”，只调整一个变量，例如只改光照或只改机位，这样才知道哪个变量带来了改善。
阶段四：局部修补
对局部瑕疵使用局部重绘或图像修补：手部、面部、边缘穿帮、多余物件。修补时扩大选区并留出过渡余量，避免出现明显的修补痕迹。如果同一个镜头修补三次以上仍然别扭，说明这一镜的设计本身有问题，应该回到分镜阶段重新拆解。
阶段五：锁定与归档
镜头一旦通过，立刻导出并归档，同时记录提示词、种子、参考图编号、模型版本与生成时间。项目素材往往有几十上百条，没有归档的后果就是三天后你再也复现不出那个最满意的镜头。归档建议按“场次-镜号-版本号”命名，并把最终采用版本单独放进一个交付文件夹。
剪辑与后期：把素材接成一条真正的片子
AI 素材单独看往往都有瑕疵，但剪辑可以让它们互相掩护。
剪辑点的选择
在动作中切、在遮挡时切、在光线变化处切，是最有效的三种掩护方式。动作中切指的是在人物抬手、转头、迈步的过程中切换镜头，观众的注意力被动作吸引，不会注意到前后两帧的不连续。遮挡切指的是利用前景物体遮住画面时切换，例如路人经过、门框遮挡、镜头掠过柱子的瞬间。光线变化处切则是利用观众对明暗变化的宽容度，在剪辑点前后做一次轻微的曝光或色温过渡。
色彩与质感统一
不同模型生成的素材在色彩倾向、噪点结构、锐度上差异明显。统一处理的做法是：先做一次整体降噪与色彩匹配，再叠加同一套调色，最后统一加入极轻微的颗粒。颗粒的作用是把不同的合成痕迹“盖”在同一层质感之下，让拼接变得不明显。
声音让画面可信
声音对可信度的贡献经常被低估。为每个场景铺一层环境音（室内空调声、街道远处车流、风声），为每个动作配上拟音（脚步声、衣物摩擦、杯子放下的轻响），画面的真实感会立刻上升一个层级。相反，一条写实画面配上完全静默的音轨，会显得格外假。如果画面在动作上还有轻微瑕疵，一层准确的声音往往能把观众的注意力从瑕疵上移开。
交付与规格
输出前确认三项：分辨率与项目需求匹配，帧率与素材一致避免抖动，码率足够避免暗部出现色块。如果成片要在竖屏平台播放，从分镜阶段就用竖屏构图，不要用横屏生成后再裁切，否则人物动线会被裁掉一半。
常见错误与排查清单
| 症状 | 常见原因 | 处理办法 |
|---|---|---|
| 人物每换一镜就变脸 | 缺少参考图条件，提示词措辞不统一 | 固定角色提示词模板，加入多角度参考图 |
| 手部畸形 | 手在画面中占比过大或动作过快 | 缩短镜头，让手部离开画面中心，局部重绘 |
| 走路像滑行 | 位移与步频不匹配 | 降低运动幅度，改为中景或远景，减少行走帧数 |
| 背景忽明忽暗 | 未锁定光照设定 | 在镜头表写明光照，跨镜头复用同一光照描述 |
| 物体凭空出现 | 单镜头动作过多 | 拆分镜头，一镜一动作 |
| 画面质感塑料 | 皮肤与材质描述缺失 | 补充毛孔、纹理、材质名称等描述 |
| 素材无法复用 | 未记录参数 | 建立项目档案，记录提示词、种子与参考图 |
常见问题
完全不用参考图，能不能生成写实人物？
可以，但一致性会很差。没有参考图时，模型只能依据文字在庞大的人脸空间里抽样，每个镜头都是一次新的抽样。适合一次性的空镜或远景人群，不适合需要贯穿全片的主角。
一个镜头最长能生成多久？
多数模型的稳定区间在三到六秒。超过这个长度，细节会开始漂移，动作也容易失控。与其追求长镜头，不如把长镜头拆成多个短镜头再剪辑连接，成片效果通常更好。
需要会画画吗？
不需要绘画功底，但需要视觉描述能力和耐心。能把画面拆成主体、动作、环境、镜头、光照、材质六项分别描述，就已经足够。真正的门槛在于迭代次数，而不是美术基础。
口型对不上怎么办？
非虚拟形象路径本身不擅长精确口型。实用的做法是避免正面大特写说话，改用侧脸、背影、中景，或者用旁白与画外音承载台词，让画面只负责氛围与动作。
整个过程要花多少时间？
以一条一分钟的片子、约十五到二十个镜头计算，从分镜到成片通常需要两到五天的集中工作，其中大部分时间花在迭代与筛选上。拆短镜头、固定提示词模板、及时归档，是压缩时间最有效的三个习惯。
什么时候应该回到虚拟形象路线？
当内容以长时间口播为主、需要人物精确念出台词、或者需要同一个角色稳定持续更新时，虚拟形象路线的成本与稳定性更划算。两条路线并不互斥，很多项目会把口播段落交给虚拟形象、把氛围与叙事段落交给非虚拟生成，用同一套色彩与声音把它们缝合在一起。
