AI動画でキャラクターが別人になる3つの原因
AI動画生成を始めた人が最初にぶつかる壁は、ほぼ例外なく「キャラクターの同一性」です。1カット目では魅力的だった人物が、2カット目では目の間隔が変わり、3カット目では髪の色がわずかにずれ、4カット目ではまったくの別人になっている。この現象は、モデルの性能不足というより、生成の仕組みそのものに由来します。
第一の原因は、テキストから動画を生成するモデルの多くが、各フレームを独立したサンプリングとして扱う点にあります。人間は「さっきまで映っていた人物」を記憶として持ち越せますが、モデルは基本的に、与えられたプロンプトと参照情報だけを手がかりに絵を作り直します。時系列方向の参照が弱いため、フレーム間で顔のパーツ配置が少しずつ揺れ、それが積み重なって別人化します。
第二の原因は、プロンプトの解釈が毎回わずかに変わることです。「30代の男性、短髪、黒いコート」という記述は、モデルにとっては無数の解釈を含む抽象的な指示です。生成のたびに異なるサンプルが選ばれるため、カットごとに顔立ちが変わります。シード値を固定しても、カメラアングルや照明条件が変われば内部表現は変質します。
第三の原因は、参照情報の絶対量が足りないことです。1枚のポートレート写真だけを渡して「この人物を動かして」と指示しても、モデルはその人物の横顔、後頭部、体のシルエット、歩行時の重心移動を知りません。情報が欠けた部分は、モデルが統計的な平均で埋めてしまいます。これが「似ているようで似ていない」映像の正体です。
マルチ画像フュージョンは、この第三の原因に対して直接的に働きかけるアプローチです。複数の参照画像を入力し、それらを統合してキャラクターの表現を作り上げることで、モデルが推測で埋める領域を減らします。本記事では、この考え方を軸に、AIキャラクター動画を安定して量産するためのワークフローを段階的に整理します。
マルチ画像フュージョンの基本原則
マルチ画像フュージョンとは、簡単に言えば「複数の画像から共通する人物像を抽出し、生成時にその人物像を固定する」技術です。重要なのは、単に画像を何枚も渡せばよいわけではないという点です。モデルは入力された画像の情報を統合する際、どれが「同一人物の別角度」で、どれが「別人物」なのかを判断しきれません。したがって、入力する画像セットの設計そのものが成果を左右します。
融合される4つのレイヤー
参照画像から抽出される情報は、大きく4つのレイヤーに分かれます。アイデンティティ（顔の骨格、目鼻立ちの比率、肌のトーン）、コスチューム（服の形、色、素材感、アクセサリー）、ライティング（光源の方向、色温度、コントラスト）、スタイル（写実かイラストか、フィルムルックかデジタルクリーンか）。この4つは互いに干渉します。たとえばスタイルを強く反映させると、アイデンティティが抽象化されて崩れやすくなります。
実務では、この4層を意識して参照画像を割り当てるのが有効です。アイデンティティ層には素の顔がはっきり写った画像を、コスチューム層には衣装が全身で確認できる画像を、ライティング層には目標とする照明条件に近い画像を、スタイル層には絵柄の基準となる画像を用意します。1枚で全部を兼ねようとすると、どれも中途半端になります。
参照画像は「多いほど良い」わけではない
参照画像を増やせば精度が上がるというのは半分だけ正しい話です。情報の重複が多い画像を10枚追加しても、アイデンティティの推定精度はほとんど変わりません。逆に、矛盾する情報（別人の写真、極端なレタッチ、強いフィルター）が混ざると、融合結果が平均化されて「誰でもない顔」になります。目安としては、8枚から12枚程度で、角度・表情・距離感を意図的に散らすのが実用的です。
一貫性は「制約」ではなく「設計」で作る
一貫性を保つとは、自由度を落とすことではありません。どの要素を固定し、どの要素を可変にするかを先に決めることです。顔と衣装は固定、ポーズと背景は可変。あるいは同一シーン内では照明と焦点距離を固定し、シーンをまたぐときだけ変更を許す。この設計を先に決めておくと、生成後の修正コストが大幅に下がります。
参照画像セットの作り方
参照画像の品質は、最終映像の品質をほぼ決めます。ここでは、実際に手を動かす際の手順と基準を整理します。
角度は4方向を最低ラインにする
正面、左右の斜め45度、横（プロフィール）、後ろ姿。この5方向が揃うと、モデルは顔の奥行きと頭部の立体形状を推定しやすくなります。特に後ろ姿は見落とされがちですが、カメラが回り込むカットや、人物が振り返るカットで決定的に効いてきます。正面と斜めだけで構成すると、横を向いた瞬間に顔の輪郭が崩れます。
表情とポーズのバリエーションを入れる
無表情の正面写真だけを並べると、モデルはその表情を「この人物の標準状態」として学習し、笑顔を指示しても口元だけが不自然に変形します。ニュートラル、微笑み、口を開けた会話中、眉をひそめた表情を各1枚ずつ入れると、表情変化の許容範囲が広がります。ポーズも、直立、腕を組む、歩行中、座った状態を混ぜると、動きのあるカットでの破綻が減ります。
背景・解像度・トリミングのルール
背景は無地か、少なくとも人物と明確に分離できるものを選びます。複雑な背景は人物のシルエット抽出を妨げ、輪郭が背景に溶け出す原因になります。解像度は長辺1024ピクセル以上を確保し、顔が画面の1/4以上を占めるようにトリミングします。全身ショットは別途1〜2枚用意し、頭部アップとは役割を分けます。
避けるべき画像も明確です。強い逆光で顔が暗いつぶれている写真、美肌フィルターや色彩強調がかかった写真、サングラスやマスクで顔の主要パーツが隠れている写真、集合写真から切り出した低解像度の写真。これらは一見使えそうでも、融合結果を平均化させます。
参照画像の管理表を作る
実務では、どの画像をどの役割で使ったかを記録しておくことが重要です。ファイル名に役割を埋め込む（例：char01_face_front、char01_body_walk）だけでも、後の再生成時に迷いません。同じキャラクターを別プロジェクトで再利用する場合、この管理表がそのまま資産になります。
プロンプト設計：固定ブロックと可変ブロックを分ける
参照画像を整えても、プロンプトが毎回ばらばらでは一貫性は保てません。効果的なのは、プロンプトを「固定ブロック」と「可変ブロック」に物理的に分けて書く方法です。
固定ブロックに書くべき要素
固定ブロックには、参照画像で定義しきれない属性を言語で補います。年齢感、体格、髪質、瞳の色、肌の質感、衣装の素材と色、そして「同一人物である」という指示です。たとえば次のように書きます。
「30代前半の女性。身長は平均よりやや高め。肩までの黒髪を後ろで一つに束ねている。切れ長の濃い茶色の瞳。薄いそばかすが頬にある。生成り色のリネンシャツ、濃紺のテーパードパンツ、革のショートブーツ。参照画像と同じ人物、同じ顔立ち、同じ髪型を維持すること。」
このブロックは全カットで一字一句変えません。変更すると、モデルは別人物として解釈し始めます。テンプレート化してテキストファイルに保存しておくのが実務的です。
可変ブロックに書くべき要素
可変ブロックには、そのカット固有の情報を書きます。カメラの高さと角度、レンズの焦点距離感、被写体の動作、背景の状況、照明の方向、時間帯。たとえば「ローアングルから見上げる構図。35mm相当。彼女が歩きながら左手で髪をかき上げる。背景は夕方の駅前通り。逆光気味で髪の輪郭が光る。」という具合です。
ネガティブ指定の実践的な使い方
ネガティブプロンプトは、破綻のパターンを潰すために使います。「顔の歪み、左右非対称な目、余分な指、指の融合、二重の輪郭、顔の入れ替わり、急激な頭部の回転、過度なスローモーション」などが定番です。ただし長すぎるネガティブ指定は、モデルが萎縮して動きの乏しい映像を返すことがあります。破綻が出た項目だけを都度追加する運用が現実的です。
ショット設計とシーン遷移のワークフロー
一貫性は生成の段階だけでなく、編集設計の段階で守ることもできます。むしろ、ショット設計の工夫でカバーできる問題は少なくありません。
絵コンテをショットリストに変換する
まず物語をショットに分解し、表形式のショットリストを作ります。列は「カット番号／尺／アングル／焦点距離／動作／背景／照明／参照画像／使用モデル」とします。この表があると、生成時に何を変えて何を固定すべきかが一目で分かります。
同じシーン内では、照明と焦点距離をできるだけ固定します。カットごとに太陽の位置が変わると、視聴者は無意識に違和感を覚えます。シーンをまたぐときだけ照明条件を変える、というルールを最初に決めておくと、後戻りが減ります。
カット間の連続性チェック
生成後は、カットをつなげて通しで確認します。チェックするのは、顔の同一性、衣装のディテール（ボタンの数、袖の長さ、靴の色）、髪型（分け目、束ね方）、体のシルエット、そして光の方向です。静止画で見ると気づかない差異も、動画として連続再生すると目立ちます。
破綻を見つけたときの対処は、原因によって変わります。顔だけが崩れているなら参照画像の追加、衣装が変わるなら固定ブロックの記述強化、動きが破綻するなら可変ブロックの動作記述を簡素化します。やみくもに再生成を繰り返すより、原因を切り分けたほうが速く解決します。
カメラワークは控えめから始める
急激なパンやズーム、大きな回り込みは、キャラクターの崩壊を最も招きやすい操作です。まずは固定カメラか、ゆっくりしたプッシュインから始め、一貫性が安定してから複雑なカメラワークに挑戦します。ドリーや手持ち風の揺れを加えると、多少の顔の揺らぎが「リアルな手持ち感」として吸収されるという副次効果もあります。
スタイル変更とキャラクター保持の両立
作品によっては、同一キャラクターを実写風、アニメ風、水彩風など複数のスタイルで描き分けたいことがあります。これは技術的には難度が高い作業ですが、設計次第で両立できます。
スタイル参照とキャラクター参照を分離する
鍵は、参照画像をスタイル用とキャラクター用に分けることです。キャラクター参照画像は素の状態に近いものを残し、スタイル参照画像には別の素材を使います。両者を混ぜた画像を参照にすると、モデルはスタイルとアイデンティティを分離できず、結果としてどちらも中途半端になります。
スタイル強度と同一性のトレードオフ
スタイルの反映強度を上げると、キャラクターの同一性は下がる傾向があります。この関係は、スタイル強度を0.3、0.5、0.7と段階的に変えてテスト生成し、どの値で許容できるバランスになるかを見つけるのが実践的です。多くの場合、0.4から0.6の範囲に実用的な落としどころがあります。
実写とイラストでは戦略が変わる
写実的なスタイルでは、肌の質感や毛穴、髪の一本一本の情報が同一性に寄与します。一方、イラストやアニメ調では、輪郭線の太さ、目の形と配置、髪のシルエットが支配的です。したがって、写実用に作った参照画像セットをそのままイラスト調に流用すると、情報の優先順位がずれて崩れやすくなります。スタイルごとに参照画像セットを用意するのが結局は近道です。
ツールとモデルの選び方
動画生成の領域は選択肢が多く、どれを使うべきか迷いやすい分野です。ここでは、機能カテゴリごとに判断基準を整理します。
生成方式の4分類
第一に、テキストから動画を直接生成する方式。プロンプトだけで完結する手軽さがありますが、キャラクターの固定は最も苦手です。第二に、画像から動画を生成する方式。起点となる1枚の画像が強い制約になるため、一貫性の土台として最も扱いやすい方式です。第三に、動画から動画へ変換する方式。既存の動きを保ったままスタイルを変換でき、モーションの制御に優れます。第四に、キャラクター参照機能を持つ方式。複数の参照画像を登録し、複数カットにまたがって同一人物を維持できます。
実務的な結論としては、画像から動画を生成する方式を主軸にし、キャラクター参照機能で同一性を補強し、必要に応じて動画から動画への変換でスタイルを整える、という組み合わせが安定します。
選定の判断基準
ツールを選ぶときは、次の観点で比較します。参照画像を何枚まで受け付けるか。参照の重みを調整できるか。出力の最大解像度と尺はどの程度か。シード値を固定できるか。同じ入力を再現できるか。生成にかかる待ち時間は実用的か。ウォーターマークや利用条件は用途に合うか。
特に重要なのは、シード値の固定と再現性です。同じ設定で同じ結果が得られなければ、一貫性の検証も改善もできません。次に重要なのは参照画像の枚数上限で、これが少ないと角度のバリエーションを十分に与えられません。
1つのツールに固執しない
キャラクターの顔を決める工程、動きをつける工程、スタイルを整える工程では、それぞれ得意なツールが異なります。顔の確定は画像生成モデルで行い、動きは画像から動画への生成で加え、仕上げは編集ソフトで整える。この分業体制を最初から想定しておくと、ツールが入れ替わってもワークフローを維持できます。
よくある失敗と対処法
顔は一致するが衣装が変わる
原因は、コスチュームの記述が弱いか、参照画像に衣装情報が不足していることです。対処は、衣装を全身で確認できる参照画像を追加し、固定ブロックに素材・色・シルエットを具体的に書き込むことです。「シャツ」ではなく「生成り色のリネンシャツ、大きめの白いボタンが5つ、袖口は折り返し」という粒度まで落とします。
手や指が破綻する
まだ広く見られる問題です。対処としては、手が画面に大きく映るカットを減らす、手をポケットや髪に入れる動作に変える、ネガティブ指定に指の融合や本数の誤りを追加する、などがあります。撮影設計の段階で手のアップを避けるのが最も確実です。
動きが速いと顔が崩れる
フレーム間の変化量が大きいほど、モデルは補間を誤ります。対処は、動作の速度を落とす、カットを分割して1カットあたりの動作を減らす、モーションブラーを軽く加えて差異を吸収する、の3つです。
背景だけが毎回変わる
背景の一貫性は見落とされがちですが、シリーズ作品では重要です。対処は、背景単体の参照画像を用意し、固定ブロックに背景の記述を加えることです。同一シーン内では背景の記述を変更しないというルールも有効です。
解像度を上げたら別人になった
低解像度で確定した顔を高解像度化すると、モデルが細部を再解釈して顔立ちが変わることがあります。対処は、最初から目標解像度で顔を確定し、高解像度化は同一性が安定してから最後の工程として行うことです。
品質チェックリストと量産のための運用
一貫性を保ったまま本数を増やすには、属人的な勘ではなく、チェック手順を仕組みにする必要があります。
生成前チェック
参照画像セットが5方向以上をカバーしているか。矛盾する画像が混ざっていないか。固定ブロックの記述が全カットで同一か。可変ブロックにカメラと照明の情報が入っているか。シード値とモデル設定を記録する準備ができているか。
生成後チェック
顔の比率が前カットと一致しているか。衣装の細部が同一か。髪型の分け目が変わっていないか。光の方向がシーン内で揃っているか。手と指に破綻がないか。動きの速度が自然か。音声や字幕とタイミングが合っているか。
量産のための運用設計
カット数を増やすほど、1カットあたりの確認コストが効いてきます。有効なのは、通しで確認する回数を減らし、代表カットだけを詳細に検証する方法です。また、成功した設定をテンプレートとして保存し、次のプロジェクトの初期値にします。失敗した設定も理由つきで記録しておくと、同じ罠を踏まなくなります。
チームで作業する場合の分担
参照画像の選定、プロンプトの管理、生成、編集という4工程は、別々の人が担当できます。ただし、固定ブロックの文面を複数人が編集すると一貫性が壊れます。固定ブロックは1人が管理し、他のメンバーは可変ブロックのみを触る、という権限設計が有効です。
よくある質問
参照画像は何枚が最適ですか
8枚から12枚が実用的な目安です。内訳は、角度違いが4〜5枚、表情違いが2〜3枚、全身が1〜2枚、衣装のディテールが1〜2枚です。これを超えて増やしても精度は頭打ちになり、矛盾画像が混入するリスクだけが上がります。
参照画像にAI生成画像を使ってもよいですか
問題ありません。むしろ、実在人物の写真を使う場合の権利処理を避けられる利点があります。ただし、AI生成画像は肌や髪の細部が平滑化されていることが多く、その平滑さがそのまま反映される点には注意が必要です。
一貫性が完全に保たれることはありますか
完全な一致は現実的ではありません。目標は、視聴者が違和感を覚えない水準に収めることです。顔のアップが続くシーンでは厳密さが求められますが、引きのショットや短いカットでは許容範囲が広がります。カットの尺と画角に応じて、必要な精度を変えるのが合理的です。
既存の映像にキャラクターを登場させられますか
動画から動画への変換を使えば、元映像の動きや構図を保ったまま人物を置き換えるアプローチが可能です。ただし、元映像の照明条件と参照画像の照明条件が大きく異なると、置き換えた人物だけが浮きます。事前にカラーグレーディングで条件を近づけておくと成功率が上がります。
一貫性を保つために避けるべき編集はありますか
強い色変更、極端なコントラスト調整、過度なシャープ化、画面の一部だけを拡大するデジタルズームは、キャラクターの印象を変えます。特に肌の色相を大きく動かすと、同一人物に見えにくくなります。グレーディングは控えめに、シーン単位で統一するのが安全です。
学習コストはどの程度見積もるべきですか
最初の1本は、参照画像の準備と試行錯誤に最も時間がかかります。2本目以降は、固定ブロックとショットリストのテンプレートが効いて、作業時間は大きく短縮されます。目安として、最初の1本に要した時間の3割程度で2本目が作れるようになれば、ワークフローが機能していると考えてよいでしょう。
まとめ：一貫性は技術ではなく手順で作る
AI動画におけるキャラクターの一貫性は、特定のツールを導入すれば自動的に解決する問題ではありません。参照画像を役割ごとに設計し、プロンプトを固定ブロックと可変ブロックに分け、ショット単位で何を変えて何を守るかを決める。この手順の積み重ねが、結果として「同一人物がずっと映っている」映像を生みます。
マルチ画像フュージョンは、その手順の中で最も強力な部品のひとつです。複数の視点から人物の情報を与えることで、モデルが推測で埋める領域を減らし、カットをまたいだ安定性を高めます。ただし、参照画像の設計が雑であれば効果は限定的です。逆に言えば、参照画像とプロンプトの設計を丁寧に行えば、導入するツールが変わっても一定の品質を再現できます。
まずは短い1シーンから始めてください。同じ人物が3カット続くだけの映像で十分です。参照画像を5方向に増やし、固定ブロックをテンプレート化し、通しで確認する。この小さな成功を再現できるようにすることが、長編やシリーズ作品への最短ルートになります。
