なぜAI動画でキャラクターが「別人」になるのか
AI動画生成の現場で最もよく聞く悩みは「同じキャラクターのはずなのに、カットが変わるたびに顔が変わる」というものだ。1カットだけを見れば高品質でも、シーンをつなげた瞬間に別人に見えてしまう。これはモデルの性能不足というより、生成の仕組みそのものに由来する構造的な問題である。テキストから映像を生成するモデルは、プロンプトという短い条件から潜在空間上の点をサンプリングし、ピクセルを復元する。サンプリングは毎回わずかに異なる結果を返すため、髪の分け目、目の間隔、顎のライン、肌の質感といった「その人らしさ」を決める細部がフレームごとに揺らぐ。
マルチ画像フュージョンは、この揺らぎをテキストではなく画像で固定するアプローチだ。複数の参照画像からキャラクターの不変な特徴を取り出し、生成時の制約として与えることで、カットをまたいでも同じ人物として認識される映像を作る。本記事では、参照画像セットの設計から生成パイプラインの組み方、プロンプト設計、トラブルシューティング、品質チェックの運用までを一通り扱う。
拡散モデルの確率的性質とフレーム間ドリフト
拡散モデルはノイズから画像を復元する過程で、学習した分布に沿ってピクセルを配置していく。この過程は決定的ではなく確率的であり、同じプロンプトと同じシード値を使っても、解像度・フレーム数・フレーム補間の有無によって結果は変わる。動画生成ではさらに、時間方向の一貫性を保つためにフレーム間で情報を伝播させるが、この伝播は「直前のフレーム」を基準にするため、小さなズレが累積して大きなドリフトになる。10フレーム目では気にならなかった目の位置のズレが、100フレーム目では明確な別人として現れる。
ドリフトを完全にゼロにすることは現実的ではない。目指すべきは「視聴者が同一人物だと認識し続けられる範囲に収める」ことだ。その許容範囲を決めるのは、映像の用途である。SNS向けの短尺広告なら数フレームの揺れは許容されるが、連続ドラマやブランドの顔として登場するキャラクターでは、衣装のディテールや髪型のシルエットまで安定している必要がある。
一貫性が崩れる3つの典型パターン
現場で観察される崩れ方は、大きく3つに分類できる。
1つ目は顔立ちのドリフトだ。目鼻立ちのバランス、頬骨の位置、年齢感がカットごとに変わる。特に横顔や俯瞰のカットで顕著になる。
2つ目は衣装・小物の変化である。ロゴの位置、ボタンの数、アクセサリーの有無、髪留めの色などが勝手に変わる。視聴者は言語化できない違和感として受け取るが、シリーズ作品では致命的になる。
3つ目は照明と色温度の揺れである。同じ室内の会話シーンなのに、カットごとに肌の色味が寒色寄りになったり暖色寄りになったりする。これは一貫性の問題というよりグレーディングの問題に見えるが、原因は生成時の参照条件の不足であることが多い。
これら3つは原因が異なるため、対処も分ける必要がある。顔立ちは参照画像の質と数、衣装は固定語彙と参照の追加、照明はシーン単位の条件固定で改善する。
マルチ画像フュージョンの仕組み：参照画像をどう統合するか
マルチ画像フュージョンの基本原理は、複数の入力画像から「変えてはいけない情報」を抽出し、それを生成プロセスの制約として渡すことにある。単純な平均化ではない点が重要だ。3枚の参照画像を平均すると、輪郭がぼやけ、誰でもない顔ができあがる。必要なのは、どの特徴をどの強度で保持するかを重み付けし、空間的な整合性を保ちながら統合する処理である。
特徴量抽出と重み付け
参照画像はそれぞれ情報量が異なる。正面の明るいポートレートは顔の構造を伝える力が強いが、髪の毛の流れや耳の形は伝えにくい。斜め45度のカットは輪郭と立体感に優れるが、目の配置は曖昧になりやすい。したがって、参照ごとに「この画像からは何を取るか」を意識して役割を割り当てる。
実務では、基準となる正面カットに最も高い重みを与え、表情のバリエーション用、衣装確認用、ヘアスタイル確認用の参照を中程度の重みで追加する。重みをすべて均等にすると、モデルはどの画像を優先すべきか判断できず、結果が平均的な「似ているようで似ていない」顔に落ち着く。
空間整合性とポーズ・照明の分離
参照画像を統合する際に避けたいのは、ポーズや照明まで一緒に固定してしまうことだ。正面を向いた参照だけを与えると、生成されるキャラクターが常に正面を向き、カメラワークの自由度が失われる。逆に、ポーズの異なる参照を混ぜすぎると、モデルが「どれが本来の形か」を判断できず、関節の位置が破綻する。
有効なのは、同一人物の異なるアングルを2〜3枚用意し、照明条件をそろえることだ。照明がそろっていれば、モデルは照明を「キャラクターの属性」ではなく「撮影環境の属性」として扱いやすくなる。結果として、シーンごとに照明を変えても顔の構造が保たれる。
テキスト条件との優先順位設計
マルチ画像フュージョンはテキストプロンプトを置き換えるものではなく、補完するものだ。役割分担を明確にすると安定する。画像参照は「誰であるか」を担当し、テキストは「何をしているか」「どこにいるか」「どう撮るか」を担当する。この分担を崩し、テキストで顔の細部まで指定しようとすると、参照画像とテキストが矛盾し、どちらも中途半端に反映される。
参照画像セットの作り方：失敗しない選定の実践手順
参照画像の質は、最終的な一貫性の上限を決める。どれだけ優れた生成設定を使っても、参照が不適切であれば結果は不安定になる。
必要なカット数とアングル
最小構成は3枚だ。正面のバストアップ、斜め45度のバストアップ、そして全身または膝上までのカット。この3枚で、顔の構造、立体感、体型の比率が伝わる。
余裕があれば5〜8枚に増やす。追加するなら、真横のプロフィール、やや俯瞰、ややあおり、表情違い（笑顔・無表情）、衣装違いを1枚ずつ。ただし数を増やせば良くなるわけではない。品質の低い参照を混ぜると、かえってノイズになる。判断基準は「この1枚を外したらキャラクターの何が分からなくなるか」に答えられるかどうかだ。
照明・背景・解像度の条件をそろえる
参照画像は、できれば同じ照明環境で撮影または生成する。背景は無地かシンプルなものが望ましい。背景に強いテクスチャがあると、その模様がキャラクターの一部として混入することがある。解像度は生成解像度以上を確保し、顔が小さすぎる写真は避ける。顔のピクセル数が少ない参照は、細部の情報を持たないため制約として機能しない。
避けたい参照画像の例
- 強い逆光やフィルター加工で肌の色が実際と異なるもの
- 顔の半分が髪や手で隠れているもの
- 極端な広角で顔が歪んでいるもの
- 低解像度を無理に拡大したもの
- 生成AI特有の手指や耳の破綻を含むもの
特に最後の項目は見落としやすい。参照画像自体に破綻があると、その破綻がキャラクターの特徴として学習され、全カットに引き継がれる。参照を作る段階で、手・耳・歯・瞳のハイライトを必ず確認したい。
生成パイプラインの設計：絵コンテから最終書き出しまで
一貫性は、生成時のパラメータだけで決まるものではない。制作フローの設計が結果の8割を決める。以下は、短尺から中尺の映像制作でそのまま使える標準的な流れである。
ステップ1：キャラクター仕様書を作る
最初にやるべきは、生成ではなく言語化だ。キャラクターの年齢感、骨格、髪型、髪色、瞳の色、肌のトーン、体型、基本衣装、アクセサリーを箇条書きにする。これはプロンプトの固定語彙の元になり、同時に品質チェックの基準にもなる。
仕様書には「変えてよい項目」と「絶対に変えない項目」を明記する。衣装はシーンごとに変わるが、瞳の色と骨格は変えない、といった具合だ。この線引きがないと、後工程で判断がぶれる。
ステップ2：ショットリストと参照の割り当て
各カットに対して、どの参照画像を何枚使うかを事前に決める。正面カットは全ショットの基準として常に含め、アクションカットでは動きの方向に近いアングルの参照を追加する。
この段階で、カット間の距離も確認する。同一シーン内で連続するカットは参照条件を完全に統一し、シーンが変わる場合のみ照明条件を調整する。
ステップ3：テスト生成と差分検証
本番前に、各シーンの代表カットを低解像度・短尺でテスト生成する。ここで確認するのは見た目の美しさではなく、カット間の差分だ。同じキャラクターが並べたときに同一人物に見えるかを、静止画を並べて確認する。動画で確認すると動きに注意が向き、ドリフトを見落としやすい。
ステップ4：本番生成とシード管理
本番では、採用したシード値を必ず記録する。シードは再現性の鍵であり、修正が入ったときの差分検証を可能にする。参照画像、プロンプト、シード、解像度、フレーム数の5点セットをカットごとに記録しておくと、後から「なぜこのカットだけ崩れたのか」を追跡できる。
プロンプトと制御パラメータの実践テクニック
キャラクター記述を「固定語彙」にする
キャラクターに関する記述は、表現を変えずにコピー＆ペーストする。1カット目で「短い黒髪」と書き、5カット目で「黒いショートヘア」と書くと、モデルは別の指示として解釈する可能性がある。表記ゆれは一貫性の敵だ。
固定語彙は10〜20語程度に抑える。長すぎる記述は、後半の語が軽視されやすい。優先度の高い項目を前に置き、補助的な項目を後ろに回す。
カメラ・動き・表情の分離指示
1つのプロンプトに「ゆっくり歩きながら微笑み、カメラが回り込む」と複数の動きを詰め込むと、モデルはどれかを犠牲にする。動きの指示は1カットにつき1つか2つまでに絞る。カメラワークは別項目として記述し、被写体の動きと混ぜない。
ネガティブ条件とノイズ制御
ネガティブ条件には、崩れの具体的な形を書く。「顔が変わる」「別人」「顔の歪み」「指の本数の誤り」「ロゴの変形」など、実際に起きた問題を記録して追加していく運用が効果的だ。ただし項目を増やしすぎると、逆に生成が不安定になる。10項目前後を目安に、効果の薄いものは削除する。
シーン別の応用：会話・アクション・衣装チェンジ
対話シーンの視線とリップシンク
会話シーンでは、視線の方向が一貫性の印象を左右する。2人の会話でカットを切り返す場合、話し手と聞き手の視線が噛み合っていないと、視聴者は顔の違い以上に強い違和感を覚える。参照画像に加えて、視線方向をテキストで明示し、カット間で目線の高さをそろえる。
リップシンクは音声と映像を別々に作る場合、口の動きだけが滑らかでも顔が揺れると破綻して見える。口元のクローズアップカットでは、参照画像の重みを上げ、動きの量を控えめにする。
アクションとモーションブラー
アクションカットではモーションブラーが発生し、顔の情報量が落ちる。このとき参照の拘束力が弱まり、ドリフトが起きやすい。対策は2つある。1つはモーションブラーを後工程で加え、生成時は比較的シャープに作ること。もう1つは、アクション中でも顔が画面に大きく映るカットを1つ挟み、視聴者に「同じ人物だ」と再認識させることだ。
衣装・年代・傷などのバリエーション管理
衣装チェンジや時系列の変化を扱う場合、変化させる要素を1つに絞る。衣装と髪型を同時に変えると、視聴者は同一人物を追えなくなる。変化の前後で共通する要素（瞳の色、骨格、声、歩き方）を必ず残す。
よくある失敗とトラブルシューティング
| 症状 | 主な原因 | 対処 |
|---|---|---|
| カットごとに顔が変わる | 参照が少ない、重みが均等 | 正面参照を追加し重みを集中させる |
| 常に正面しか映らない | 正面参照のみ使用 | 斜め・横の参照を追加 |
| 衣装のロゴが変形する | テキスト記述が曖昧 | 固定語彙化し、参照画像で補う |
| 色味がカットごとに違う | 照明条件の不統一 | シーン単位で照明語を固定 |
| 指や耳が崩れる | 参照自体に破綻がある | 参照を作り直す |
| 動きが速いと顔が溶ける | モーションブラーで情報不足 | シャープに生成し後処理で付加 |
| 特定カットだけ別人 | プロンプトの表記ゆれ | 記述をコピー＆ペーストで統一 |
表の症状の多くは、参照画像の問題とプロンプトの問題に二分される。切り分けの手順は単純だ。まず参照画像を1枚に減らしてテスト生成する。それでも崩れるなら参照の問題、安定するなら参照の組み合わせ方の問題である。次にプロンプトを最短の固定語彙だけに絞る。それで安定するなら、削った記述の中に悪さをしていた語がある。
ツール選定の判断基準
マルチ画像フュージョンに対応するツールを選ぶときは、機能一覧ではなく次の観点で比較する。
- 参照画像を何枚まで同時に扱えるか。3枚で足りる用途もあれば、8枚必要な用途もある
- 参照ごとに重みを調整できるか。均等割りしかできないツールは表現の幅が狭い
- シード値を固定して再現できるか。再現性がないと修正が効かない
- 出力解像度と縦横比の自由度。縦型と横型を同じキャラクターで作れるか
- 生成ログや履歴が残るか。チーム制作では必須に近い
- 書き出し形式と編集ソフトへの受け渡しやすさ
特に重要なのは再現性だ。一貫性の問題は「一度うまくいった状態を再現できるか」に帰着する。シードとプロンプトを保存できないツールは、たとえ1回の出力が美しくても、シリーズ制作には向かない。
また、複数モデルを併用する場合は、モデルごとに参照の効き方が異なる点に注意する。同じ参照セットでも、あるモデルでは忠実に反映され、別のモデルでは照明の影響を強く受ける。モデルを変えたら、必ず参照セットの再調整を行う。
品質チェックリストと運用のKPI
一貫性は主観的に語られがちだが、チェック項目を決めれば運用できる。
カット単位のチェック
- 顔の輪郭と目鼻の位置が基準カットと一致しているか
- 髪型のシルエットと分け目が同じか
- 衣装の主要な要素（色、素材感、ロゴ位置）が同じか
- 肌のトーンと照明の方向がシーン内で統一されているか
- 手・耳・歯・瞳のハイライトに破綻がないか
シーケンス単位のチェック
- カットをつなげたときに同一人物として認識できるか
- 視線の方向が会話の文脈と一致しているか
- シーン間の移動で体型や身長の比率が変わっていないか
運用KPIの例
制作を継続するなら、感覚ではなく数値で管理したい。たとえば「1カットあたりの再生成回数」を記録すれば、参照設計の改善効果が数字で見える。初期は1カット3〜4回の再生成が発生しても、参照セットと固定語彙を整えることで1〜2回まで下がることが多い。
「人物差し戻し率」も有効だ。最終書き出し後に「別人に見える」と判断されたカットの割合を測る。この数値が下がらない場合、参照画像の品質そのものを見直す必要がある。
FAQ
Q. 参照画像は何枚が最適ですか
用途によります。単発のSNS動画なら3枚、連続するシリーズなら5〜8枚が目安です。ただし枚数より重要度が高いのは一貫性です。照明条件と解像度がそろっていない参照を10枚集めるより、条件のそろった3枚のほうが結果は安定します。
Q. 実写の人物写真を参照にしてもよいですか
技術的には可能ですが、肖像権と利用許諾の確認が前提になります。実在の人物に似たキャラクターを無断で生成すると、法的にも倫理的にも問題が生じます。商用利用では、権利処理の済んだ素材か、自分で生成した架空のキャラクターを使うのが安全です。
Q. 衣装だけをカットごとに変えたい場合は
キャラクターの不変要素を固定語彙で明示したうえで、衣装の記述だけを差し替えます。参照画像は顔と髪の基準カットを共通で使い、衣装はテキストで指定する方法が最も安定します。衣装の参照画像を混ぜると、その画像の顔まで引っ張られることがあります。
Q. 動画の途中で顔が崩れたときの応急処置は
崩れた区間だけを切り出し、その直前の安定したフレームを参照に加えて再生成します。全編を作り直すよりコストが低く、修正範囲も限定できます。恒久対策としては、シーンを短いカットに分割し、1カットあたりのフレーム数を減らしてドリフトの累積を抑えます。
Q. 低予算でも一貫性は出せますか
出せます。予算よりも効くのは、参照画像の設計と固定語彙の運用です。無料枠のあるツールでも、参照3枚とシード固定、そしてカット間の差分チェックを徹底すれば、短尺であれば実用品質に到達します。逆に高価なツールを使っても、参照がばらばらで表記が揺れていれば結果は不安定になります。
Q. 一貫性を保ったまま別アングルに挑戦するコツは
新しいアングルは、まず静止画で試します。動画で試すと動きの評価が混ざり、判断が遅れます。静止画で同一人物と確認できたアングルだけを動画に展開する。この順序を守るだけで、手戻りの回数が大きく減ります。
まとめ：一貫性は技術ではなく工程でつくる
マルチ画像フュージョンは強力な技術だが、魔法ではない。参照画像の設計、固定語彙の運用、シード管理、そして差分検証という地味な工程が積み上がったときにはじめて、カットをまたいで同じ人物が立ち続ける。まずは1シーン、3カットから試してほしい。参照3枚、固定語彙10語、シード固定、そして並べて確認する習慣。この4点だけで、生成結果の安定感は目に見えて変わる。安定した基準を作ってから、アングルや表情のバリエーションへ広げていくほうが、結果的に最短で目的に到達できる。
