マルチモーダル生成AIが変えた動画制作の前提
ここ数年で、動画制作の工程は静かに、しかし確実に組み替えられた。以前は「企画をテキストで書き、絵コンテを描き、撮影し、編集し、音を載せる」という直列的な流れが前提だった。マルチモーダル生成AIは、この流れのうち企画・絵・動き・音の多くを、同じ文脈を持ったまま並行して試せるようにした。テキストで書いたトーンを参照画像の色調に反映させ、そのまま動画の動きに引き継ぐ。こうした往復が、数日ではなく数分単位で回せるようになったのが本質的な変化である。
ただし誤解を避けたい。マルチモーダル生成AIは、指示を一度入れると完成品が出てくる魔法ではない。むしろ、演出や編集の判断を人間がどれだけ細かく言語化できるかが、出力の質をそのまま決める。生成の速さは試行錯誤の回数を増やし、回数が増えるほど「何を良しとするか」の基準が必要になる。つまりAIは、ディレクションという仕事の重要度を下げるのではなく、引き上げている。
効果が出やすいのは、「実写撮影のコストが見合わないが、動きと音は欲しい」という条件の仕事だ。SNS向けの縦型ショート、商品紹介の15秒カット、教育コンテンツの図解アニメーション、ゲームや映像作品のコンセプトムービー、社内研修のシナリオ再現、イベントのティザーなどが典型例である。逆に、正確な製品形状の再現や法規制に触れる表現が求められる広告では、生成結果をそのまま使うのではなく、撮影素材や3D素材と組み合わせる前提で設計したほうが安全だ。
もう一つの前提として、モデルの進化速度がある。数か月前に最適だった選択が、今日も最適とは限らない。したがって、特定のツール名を前提にした属人的なワークフローではなく、「どの工程で何を判断し、どの条件を満たすモデルを選ぶか」という抽象度で手順を組み立てておくほうが長持ちする。本記事はその抽象度を保ちながら、現場でそのまま使える具体策を並べていく。
モデル選定の判断基準
ツールを比べるとき、多くの人はデモ映像の派手さに引かれる。しかし実際の制作では、派手さよりも再現性と制御性が効いてくる。ここでは、モデルを選ぶ前に言語化しておくべき判断軸を整理する。
出力仕様（解像度・尺・フレームレート）
まず確認すべきは、求められる最終解像度と尺である。SNSの縦型なら1080×1920、横型のプレゼン動画なら1920×1080が基準になることが多い。生成側が短い尺しか扱えない場合、複数ショットを繋いで尺を確保する必要があり、その時点でカット間の色と動きの連続性を管理する工程が発生する。フレームレートも重要だ。24fpsは映画的、30fpsは配信向け、60fpsはゲームやスポーツ表現に向く。生成側が24fps相当でしか出せないのに60fpsの動きを期待すると、編集段階で補間が必要になり、指や輪郭に破綻が出やすい。
動きの物理的な自然さ
次に見るべきは、動きの物理整合性である。人が歩く、物が落ちる、水が跳ねる、布が揺れる。こうした動きが不自然だと、視聴者は理由を説明できなくても違和感を覚える。評価のコツは、同じプロンプトで「歩行」「振り向き」「手を伸ばす」「液体を注ぐ」の4種類を生成し、破綻の出方を比較することだ。モデルごとに得意・不得意がはっきり分かれる。
プロンプト追従性と制御の細かさ
モデルが指示にどれだけ従うかは、二つの層で測る。一つは「言われた被写体が出るか」、もう一つは「カメラワークやライティングまで従うか」である。前者だけ優れているモデルは、構図の自由度が低く、同じ絵の量産になりがちだ。後者が強いモデルは、ショットリスト通りに寄りと引きを切り替えられる。テストとしては、同じ被写体で「ローアングル」「俯瞰」「肩越し」の3種を指定し、どれだけ意図通りになるかを確認する。
参照画像の反映度と一貫性
マルチモーダルな制作で最も差が出るのがここである。参照画像を渡したとき、構図だけを借りるのか、人物の顔立ちや衣装まで引き継ぐのか。キャラクターを複数ショットに登場させる企画では、この性能が成否を分ける。参照を複数枚渡せるモデルなら、正面・斜め45度・横顔の3枚を用意するだけで安定度が大きく変わる。
待ち時間と反復コスト
生成の待ち時間は、そのまま試行回数に影響する。1本30秒で返ってくるモデルと、5分かかるモデルでは、同じ作業時間で比較できる案の数が10倍違う。序盤のラフ検討は速いモデル、最終的な見せ場は高品質なモデル、という役割分担が現実的だ。
運用面（外部連携・権利・共有）
最後に忘れがちなのが運用面である。外部システムから呼び出せるか、生成物の利用条件はどうなっているか、チームで履歴を共有できるか。個人の検証なら気にならないが、複数人で回す制作ではここが詰まると手戻りが大きい。
生成タイプごとの使い分け
一口に動画生成といっても、入力の種類によって適した工程が異なる。ここを混同すると、不必要な手戻りが発生する。
テキストから動画
最も自由度が高い反面、再現性は最も低い。ラフなアイデア出し、絵コンテにない意外なカットの発見、Bロールの補充に向く。コツは、文章を短く区切ること。被写体、動作、カメラ、照明、雰囲気の5要素を1文ずつに分けると、意図が通りやすい。長い美文を書くほど、モデルはどこを優先すべきか迷う。
画像から動画
構図と質感を固定できるため、本番工程の主力になる。特にキャラクターもの、商品もの、特定の世界観を保つ企画では、まずキーフレームを画像で確定させ、それを動かす順序が定石だ。画像側で色調を整えておけば、カット間のトーンも揃いやすい。
動画から動画・スタイル変換
既存の撮影素材に対して、質感の変換、アニメ調への変更、フレームレートの調整を行う工程である。実写と生成を混ぜる企画では、この工程が橋渡しになる。注意点は、元動画の手ぶれや圧縮ノイズが変換結果に増幅されること。前処理として手ぶれ補正とノイズ除去を軽くかけておくと、仕上がりが安定する。
音声生成とリップシンク
ナレーション、環境音、効果音、そして口の動きの同期。音声は映像より後に作られがちだが、実は先に仮の音声を当ててから映像を調整したほうが、口の動きや間の取り方が自然になる。仮の音声で尺を確定し、その尺に合わせて動画を生成する順序を推奨する。
実践ワークフロー：企画から納品までの8ステップ
ここからは、実際に手を動かす順序を整理する。ポイントは、後戻りが大きい工程を先に固めることだ。
ステップ1：目的と尺を確定する
最初に決めるのは、誰に、どこで、何秒見せるかである。縦型15秒と横型90秒では、必要なショット数も情報量も別物になる。ここを曖昧にしたまま生成を始めると、尺に合わせるための切り詰めが発生し、物語が壊れる。
ステップ2：脚本とトーンを言語化する
脚本は台詞よりも「感情の推移」を書くほうが役に立つ。加えて、色温度、光の硬さ、質感、テンポを言葉にしておく。「朝の柔らかい光」「粒子感のあるフィルム調」「ゆっくりした寄り」など、後の工程で判断に迷ったときの基準になる。
ステップ3：ショットリストを作る
ショットリストは、生成の設計図である。次のような表で管理すると、抜け漏れが減る。
| カット | 内容 | 尺 | カメラ | 参照素材 | 担当モデル | 状態 |
|---|---|---|---|---|---|---|
| 01 | 朝の街並み | 3秒 | 固定・俯瞰 | なし | テキスト生成 | 承認 |
| 02 | 主人公の後ろ姿 | 4秒 | 肩越し・寄り | キャラ3枚 | 画像生成 | 修正 |
| 03 | 手元のアップ | 2秒 | マクロ | 商品写真 | 画像生成 | 未着手 |
表の「状態」列が重要である。承認・修正・未着手の3段階だけでも、チーム内の認識が揃う。
ステップ4：キーフレームを画像で固める
動画をいきなり生成するより、先に静止画で構図と色を決めるほうが、結果的に速い。1カットにつき2〜3案を作り、いちばん意図に近いものを選ぶ。選んだ画像は、色調・ライティング・衣装の基準として保存しておく。
ステップ5：動画生成とテイク管理
同じプロンプトでも結果は毎回異なる。したがって、1カットにつき3〜5テイクを生成し、番号を振って保存する。命名規則は「カット番号_テイク番号_日付」のように機械的にする。主観的な名前を付けると、後から探せなくなる。
ステップ6：音声・BGM・効果音
映像が8割方固まった段階で、仮の音を当てる。ナレーションは一度読んで尺を測り、必要なら文言を削る。BGMは最初から最後まで通すのではなく、感情の山に合わせて2〜3ブロックに分けると編集しやすい。効果音は「見える音」と「雰囲気の音」を分けて考えると整理できる。
ステップ7：編集・カラー・仕上げ
カットを繋いだら、色を揃える。カットごとに色温度が違うと、同じ世界の出来事に見えなくなる。編集ソフトのカラーマッチ機能を使うか、基準カットの色を手動で合わせる。動きが速すぎる箇所は、フレーム補間ではなく尺の調整で解決するほうが破綻が少ない。
ステップ8：書き出しと記録
最終書き出しの前に、解像度・フレームレート・音声レベル・ファイル名を確認する。同時に、使用したプロンプト、参照素材、テイク番号を一覧で残しておく。次回の類似案件で、この記録が最も価値のある資産になる。
キャラクター一貫性を保つテクニック
複数ショットに同じ人物を登場させる企画では、一貫性が最大の難所になる。ここでは実務で効果の大きい順に整理する。
参照画像は「3方向」以上そろえる
正面、斜め45度、横顔の3枚を最低ラインとする。可能なら全身と表情違いも加える。照明条件はできるだけ揃える。逆光の写真と順光の写真を混ぜると、肌の色が揺れて別人に見えやすい。
キャラクターシートを作る
年齢、髪型、髪色、瞳の色、服装、アクセサリー、体格を文章で固定する。これをプロンプトの冒頭に毎回貼るだけで、揺れが減る。シートは変更履歴付きで管理し、途中で勝手に変えないことが重要だ。
シードと生成条件を固定する
同じモデルでシード値を固定すると、同じ人物が出やすくなる。ただしシード固定は構図の自由度も下げるため、カットのバリエーションが必要な場面では、参照画像の重み付けを調整するほうが現実的である。
位置とフレーミングを揃える
人物がフレーム内のどこに立つかを決めておく。毎回中央に置くと単調になるが、逆に左右に振りすぎると同一人物に見えにくい。基本のポジションを決め、見せ場だけ崩す設計が扱いやすい。
破綻したときの戻し方
顔が崩れたテイクは修正しようとせず、捨てる。部分修正を重ねると、別の破綻が生まれる。参照画像を1枚追加する、プロンプトから余計な形容詞を削る、尺を短くする。この3つで改善することが多い。
プロンプトとショット設計の実践
生成品質の差は、モデルよりもプロンプトの構造で説明できることが多い。ここでは、そのまま流用できる型を示す。
5要素に分解する
被写体、動作、カメラ、照明、雰囲気。この5つを順番に書く。日本語で書いた後、必要に応じて英語に置き換えると、意図が伝わりやすくなる。
例：「若い女性が振り向く。カメラは肩越しの寄り。窓から差し込む柔らかい朝光。落ち着いた空気感、粒子感のある質感」
動きは1ショット1動作に絞る
「歩きながら話し、同時に振り向く」のような複合動作は破綻しやすい。歩行と振り向きは別カットに分け、編集で繋ぐ。生成の得意分野を分解して組み合わせるのが、結果的に速い。
ネガティブ指定を活用する
避けたい要素を明示する。指の過剰な本数、文字の混入、余計な人物、ロゴ、ぼやけた輪郭など。テロップを後から載せる前提なら、映像内に文字を出さない指定は必須である。
カメラワークの語彙を増やす
固定、パン、ティルト、ドリー、ズーム、ハンドヘルド、クレーン。この7つを使い分けるだけで、同じ素材でも単調さが消える。ただし1ショットに複数のカメラワークを指示すると破綻しやすいので、欲張らない。
照明の言語化
順光、逆光、サイド光、トップライト、リムライト、ゴールデンアワー、ブルーアワー、実用的な光源（窓、街灯、モニター）。照明は感情を作る要素なので、脚本の感情の推移と対応させて指定すると統一感が出る。
複数モデルを組み合わせるオーケストレーション
単一のモデルで全カットを賄おうとすると、どこかで妥協が生まれる。得意分野が異なるためだ。そこで、工程ごとに役割を割り当てる。
役割分担の基本形
ラフ検討は高速なモデル、キーフレームは構図に強いモデル、動きの見せ場は物理表現に強いモデル、音声は発音の明瞭なモデル、リップシンクは同期精度の高いモデル。この分担により、全体の待ち時間を抑えつつ、見せ場の質を上げられる。
モデルをまたぐときの整合
異なるモデルで作ったカットを繋ぐと、質感や色がずれる。対策は三つ。基準カットを決めて色を合わせる、同一の参照画像を全モデルに渡す、動きの速度を編集で揃える。特に色はずれが目立ちやすいので、後工程でのカラーマッチを前提にしておく。
テイク管理と命名規則
複数モデルを使うと、ファイルが急速に増える。プロジェクト名、カット番号、モデル略称、テイク番号、日付を組み合わせた命名を機械的に適用する。フォルダ構成も「素材」「生成」「編集」「書き出し」の4階層で固定すると迷わない。
判断を記録する
なぜそのモデルを選んだのか、なぜそのテイクを採用したのかを一行で残す。この記録は、数か月後の自分とチームを助ける。
よくある失敗とトラブルシューティング
手や指が崩れる
手を使うショットは、手元だけのアップに分割するか、手をフレーム外に出す構図に変える。どうしても必要なら尺を短くし、編集でテンポよく見せる。
顔が別人になる
参照画像の追加、キャラクターシートの貼り付け、シード固定の3点を順に試す。それでも改善しない場合は、そのカットを後ろ姿やシルエットで処理する演出に切り替える。
映像内に文字が混入する
ネガティブ指定に「文字」「看板」「ロゴ」を加える。それでも出る場合は、構図を寄りにする。テロップ前提の企画では、余白を広めに設計しておくと後工程が楽になる。
カメラが勝手に動く
「固定カメラ」を明示し、動きの記述を削る。動きを指定していないのに動く場合は、被写体の動作記述が原因になっていることが多い。
カット間で色が跳ぶ
基準カットを決め、他のカットを合わせる。生成時点で色温度を指定しておくと、後工程の負担が減る。
音と口の動きがずれる
音声を先に確定し、その尺に合わせて映像を生成する。逆順にすると、どうしても妥協が生じる。
動きが速すぎる・遅すぎる
生成し直す前に、編集で速度調整を試す。可能なら0.9倍から1.1倍の範囲で微調整すると、不自然さが目立ちにくい。
反復しても改善しない
同じプロンプトを10回試して改善しないなら、プロンプトではなく設計を見直す。参照素材、構図、尺のいずれかを変えるほうが早い。
品質チェックとチーム運用
最後に、属人的な作業を再現可能な運用に変えるための観点を整理する。
チェックリストを固定する
解像度、フレームレート、音声レベル、テロップの安全領域、色の統一、カットの繋がり、権利表記。この7項目を毎回同じ順序で確認する。チェックリストは増やしすぎないほうが機能する。
レビューを階層化する
構成のレビュー、映像のレビュー、細部のレビューを分ける。一度に全部を指摘すると、修正が衝突する。まず構成、次に質感、最後に細部。この順序を守るだけで手戻りが減る。
バージョンを残す
最終版だけでなく、主要な分岐点の版を残す。特にクライアント承認を得た版は、後から差し戻されたときの基準になる。
生成ログを資産化する
使用したプロンプト、参照画像、採用テイク、却下理由。これらをまとめた記録は、次の案件のスタート地点を大きく前進させる。
よくある質問（FAQ）
マルチモーダル生成AIは実写撮影を置き換えますか
置き換えるのではなく、役割が変わる。撮影が必要な場面は残るが、企画検討、絵コンテ、Bロール、仮編集の多くは生成で代替できる。
初めて取り組む場合、どの工程から始めるべきですか
キーフレームの静止画生成から始めるのがおすすめだ。費用も時間も小さく、構図と色を決める練習になる。動画生成はその次の段階で十分間に合う。
モデルは一つに絞ったほうがよいですか
用途が単一なら絞る利点はある。ただし動きの見せ場とラフ検討では要求が異なるため、二つ以上の選択肢を持っておくほうが結果的に速い。
一貫性がどうしても出ないときの最終手段は
カットを分ける、後ろ姿にする、シルエットで見せる、尺を短くする。この4つは演出として成立するため、技術的な解決より有効なことが多い。
音声はどの段階で作るべきですか
尺を確定させる目的で、映像より先に仮の音声を作る。本番の音声は、映像の確定後に入れ替える。
生成物の管理で最低限必要なことは
命名規則、フォルダ構成、採用理由の記録。この3つだけで、数か月後の作業効率が大きく変わる。
チームに展開するときの注意点は
ツールの使い方より先に、判断基準を共有する。どの状態を承認とするか、誰が最終判断をするかを決めておかないと、生成の速さが混乱の速さに変わる。
どこまで自動化すべきですか
企画、生成、編集、書き出しのうち、判断を伴う工程は人間が握る。反復作業と初稿作成を自動化するのが現実的な線引きである。
以上のように、マルチモーダル生成AIの活用は、ツールの選定よりも工程の設計で差がつく。小さく試し、記録を残し、判断基準を共有する。この積み重ねが、結果として最短距離になる。
