GraphCutがAI映像合成で再評価される理由
生成モデルによる映像制作が一般化したことで、フルスクラッチで生成する以外の選択肢がむしろ重要になっている。実際の案件では、撮影済みの人物を別の背景に置く、既存の2ショットから片方だけを別テイクに差し替える、AIで生成したキャラクターを実写カットに混ぜる、といった合成工程が全体の工数の大半を占める。ここで問題になるのは生成モデルの性能そのものではない。前景と背景の境界線を、どこで、どの画素から、どう切り替えるかという境界設計の問題である。
GraphCutは、この境界設計をエネルギー最小化として定式化する手法群の総称だ。輪郭を手でなぞってマスクを作る作業を人間の直感に頼るのではなく、境界のコストが最小になる画素の集合を計算で求める問題に置き換える。古典的なアルゴリズムでありながら、生成AIの時代にこそ出番が増えている。
理由は大きく3つある。
第一に、生成モデルは境界の連続性を保証しない。テキストから動画を生成するモデルはフレーム全体の整合性を最適化するが、特定の物体の輪郭が指定したマスクとピクセル単位で一致する保証はない。マスクの縁に半端な中間色が残り、背景に前景の色がにじむ。このにじみは、動画ではフレームごとに位置が揺れるため、静止画以上に目立つ。
第二に、マスクをぼかすだけでは不十分なケースが多い。髪の毛、木の枝、金網、煙、ガラス越しの人物のように、前景と背景が高周波で混ざり合う領域では、ガウスぼかしによるグラデーションは透明な物体ではなく二重に写った物体に見えてしまう。境界を確率的に決めるのではなく、画素ごとにどちら側へ割り当てるかを決め切る必要がある。
第三に、複数素材を並べると色調、ノイズ、被写界深度の差が境界に集中して現れる。境界の位置を数画素ずらすだけで不自然さが大きく変わるため、境界位置そのものを最適化対象にできる手法の価値が高い。
GraphCutは魔法ではない。マスクの設計、入力の正規化、パラメータ調整、後処理を組み合わせて初めて効果を発揮する。本稿では、理論の骨格を押さえたうえで、実際の合成ワークフローに落とし込む手順まで踏み込んで整理する。
グラフカットの基礎：ノード・エッジ・エネルギー最小化
画像をグラフとして表現する
GraphCutの出発点は、画像をグラフとして見なすことにある。各画素を頂点（ノード）とし、隣接する画素同士を辺（エッジ）で結ぶ。加えて、前景を表す終端ノードと背景を表す終端ノードを用意し、すべての画素をどちらか一方の終端につなぐ。このとき、画像の分割はグラフを2つの集合に切り分ける問題に置き換わる。
切り分けの良し悪しは辺の重みで決まる。重みが大きい辺を切るほどコストが高く、重みが小さい辺を切るほどコストが低い。つまり、切った辺の重みの合計が最小になる分割を求めればよい。これが最小カットであり、最大流アルゴリズムによって多項式時間で解けるというのがGraphCutの強みである。
データ項と平滑化項
典型的なエネルギー関数は、データ項と平滑化項の2つで構成される。
- データ項は、各画素が前景らしいか背景らしいかを表す。色ヒストグラム、事前に用意したマスク、セグメンテーションモデルの確率出力などがここに入る。
- 平滑化項は、隣接画素が異なるラベルを持つ場合のペナルティを表す。色が似ている画素同士は同じラベルになりやすく、色が大きく異なる画素の間ではラベルが変わってもペナルティが小さい。
この設計により、ノイズの多い境界でも、色の変化が大きい場所に境界線が吸着する。手描きマスクをそのまま使うより、輪郭が物体のエッジに沿って自然に整うのはこのためだ。
最小カット・最大流でラベルを決める
エネルギー最小化は、グラフの最小カットを求める問題として解かれる。実装としては、増加パス法やプッシュリラベル法といった最大流アルゴリズムが使われる。画素数が数百万を超えると計算量が問題になるが、実務では以下の工夫で対応する。
- 画像を縮小して大局的な境界を決め、元解像度で境界周辺だけを再計算する
- 前景らしさの確率が極端に高い領域と低い領域を固定し、曖昧な帯域だけを最適化する
- 帯域を境界から一定距離の範囲に限定したナローバンドGraphCutを使う
これらは後述の最適化の節で詳しく扱う。
テクスチャ合成への応用：3つの定式化
GraphCutは単なる切り抜きツールではない。テクスチャを貼り合わせる際の継ぎ目設計にも使える。代表的な定式化は3つある。
シーム最適化としての定式化
2枚の画像を重ねて合成するとき、単純なアルファブレンドでは重なり領域にゴーストが出る。そこで、重なり領域の中に最適な縫い目を1本引き、その縫い目の左右で画像を切り替える。縫い目のコストは、両画像の画素値の差とする。差が小さい場所を縫い目が通れば、切り替えが目立たない。
この問題は、重なり領域をグラフにして最小カットを求めることに等しい。縫い目は、コストが最小になる経路として自動的に決まる。手で縫い目を引く作業が不要になり、しかもゴーストの少ない結果が得られる。
ラベル割り当てとしての定式化
3枚以上の素材を同時に合成する場合、各画素にどの素材を割り当てるかという多ラベル問題になる。ペアワイズな平滑化項を持つマルコフ確率場は、α拡張法やαβスワップ法を使うことで、二値のGraphCutを繰り返して近似的に解ける。
実務では、背景プレート、前景人物、エフェクト要素、テクスチャパッチという4種類の素材を同時に扱う場面がある。ラベル割り当てとして定式化すると、素材間の優先順位と境界のなめらかさを1つのエネルギー関数で表現できる。
マスク境界のリファインとしての定式化
粗いマスクを入力として、その境界だけを最適化する使い方も重要である。セグメンテーションモデルが出力するマスクは大局的には正しいが、輪郭が数画素ずれることが多い。このマスクをデータ項の初期値として与え、色の類似性に基づく平滑化項を加えると、輪郭が実際のエッジに吸着する。
生成AIのマスクをそのまま使うのではなく、GraphCutで1回リファインするだけで、合成の印象は大きく変わる。これは現在の映像制作で最も費用対効果の高い使い方のひとつだ。
生成AIパイプラインへの組み込み方
前処理：素材の正規化とマスク生成
合成の品質は前処理でほぼ決まる。まず解像度、色空間、ガンマ、フレームレートを統一する。次に、セグメンテーションモデルや手描きで初期マスクを作り、GraphCutで境界をリファインする。最後に、マスクの内側を数画素収縮させて半透明の縁を除去し、そのうえで境界帯だけを再計算する。
この順序を守ることで、生成モデルに渡す前に境界の曖昧さを減らせる。曖昧なマスクを生成モデルに渡すと、モデルは曖昧さを創造性で埋めようとし、結果が不安定になる。
生成中：領域指定と制約の与え方
インペイントやリージョン指定生成では、マスクの形状がそのまま生成結果の輪郭になる。ここでも境界の設計が効く。マスクを広めに取り、GraphCutで内側に境界を寄せると、生成領域と既存領域の間に不自然な帯が残りにくい。
逆に、マスクを狭く取りすぎると、生成結果と周囲の色調がつながらない。境界の外側に数画素の余白を確保し、その余白で色調をなじませるのが定石である。
後処理：継ぎ目、色調、ノイズの統合
生成後の工程は3つに分かれる。第一に継ぎ目の処理で、GraphCutによる縫い目最適化かグラデーションマスクを使う。第二に色調の統合で、前景と背景の平均色とコントラストを合わせる。第三にノイズの統合で、前景に背景と同程度のグレインを加える。
色調とノイズを揃えないまま境界だけをどれだけ最適化しても、合成は破綻する。境界処理は仕上げの一部であり、全体工程の一部として設計する必要がある。
動画への拡張と時間方向の一貫性
フレーム単位処理が抱える問題
静止画で完璧な境界も、動画では破綻することがある。フレームごとに独立してGraphCutを適用すると、境界の位置が1フレームごとに揺れ、輪郭がちらつく。これは動画合成で最も多い失敗のひとつだ。
原因は、各フレームのエネルギー最小解が微妙に異なることにある。ノイズや圧縮ノイズがわずかに変わると、境界が隣のエッジに飛び移る。人間の目はこの揺れに極めて敏感で、画質が高いほど目立つ。
時間方向をグラフに含める
解決策は、時間方向の辺をグラフに追加することだ。前フレームの同じ位置の画素との間に辺を張り、ラベルが変わった場合のペナルティを設定する。これにより、境界が動くコストが明示的に扱われ、境界は必要なときだけ動くようになる。
実装上の注意点は以下である。
- 動きが速いカットでは時間方向の重みを弱め、静止カットでは強める
- オプティカルフローで前フレームの対応点を推定し、対応点間に辺を張る
- カットの切り替わりでリセットし、シーンをまたいで一貫性を要求しない
オプティカルフローとの併用
フローを併用する場合、フローの誤りが境界の誤りに直結する。オクルージョン領域やフロー信頼度が低い領域では、時間方向の重みをゼロに近づけるのが安全だ。信頼度マップを使って重みを画素ごとに変える実装が実務的である。
また、時間方向の一貫性を強くしすぎると、被写体が大きく動いたときにマスクが追従できず、輪郭が遅れて見える。強さは被写体の動き量に応じて調整する。
実践ワークフロー：素材から最終書き出しまで
ここからは具体的な手順を示す。短編カットで、実写の人物を生成背景に合成するケースを想定する。
手順1：素材の棚卸しと正規化
前景素材、背景素材、必要なら追加のテクスチャ素材を集める。すべてを同じ解像度、同じ色空間、同じガンマに変換する。カラーマネジメントを後回しにすると、後工程の判断がすべて狂う。
手順2：初期マスクの作成
セグメンテーションモデルで初期マスクを作る。輪郭が甘い部分、髪や指の隙間は手描きで補正する。この段階では完璧を目指さない。GraphCutでリファインする前提で、大局的に正しければよい。
手順3：GraphCutによる境界リファイン
初期マスクをデータ項に変換し、色の類似性による平滑化項を加えて最小カットを解く。パラメータは平滑化の強さ、前景確率の重み、反復回数の3つが中心になる。平滑化を強くしすぎると細部が消え、弱すぎるとノイズに反応して穴が開く。
手順4：マスクの形態処理
得られたマスクに収縮と膨張を適用し、孤立した小領域を除去する。髪の毛のような細部は、収縮しすぎると失われる。境界を1画素単位で確認しながら調整する。
手順5：生成領域の指定と生成
必要に応じてインペイントやリージョン生成を行う。マスクの内側だけでなく、境界の外側に余白を確保して生成すると、色調のつながりが良くなる。生成結果は複数候補を出し、境界のなじみで選ぶ。
手順6：縫い目と色調の統合
重なり領域に縫い目最適化を適用する。次に前景と背景の色調を合わせる。ヒストグラムマッチング、カーブ調整、カラーバランスを組み合わせ、境界の前後で色が連続するようにする。
手順7：時間方向の安定化
動画の場合はここで時間方向の一貫性処理を行う。フレームごとのマスクを時間方向にフィルタリングする、あるいは時間方向の辺を含むグラフで再計算する。境界の揺れが残る場合は、揺れの大きい区間だけを再処理する。
手順8：グレインと最終調整
前景と背景に同じグレインを加え、必要ならごく浅い被写界深度を適用して境界の硬さを隠す。最後に再生速度を落として全フレームを確認する。等倍で見て違和感がなければ、実用上はほぼ完成である。
計算コストを抑える最適化テクニック
GraphCutは画素数に対して計算量が増えるため、4Kや8Kの素材では素直に適用すると時間がかかる。実務で使える最適化を整理する。
階層化とダウンサンプリング
まず画像を4分の1程度に縮小して大局的な境界を求め、その結果を初期値として元解像度で境界帯のみを再計算する。多くの場合、これだけで計算時間が大幅に短縮され、結果も安定する。
ナローバンド処理
境界から一定距離の範囲だけをグラフに含める方法。前景と背景が明確な領域はラベルを固定してしまうため、最適化する変数の数が大きく減る。境界の移動幅が小さいリファイン用途では特に有効だ。
GPU実装と近似解法
大規模なグラフでは、並列化しやすいプッシュリラベル法や、L1距離に基づく近似解法が使われる。厳密解にこだわらず、実用上十分な解を短時間で得る発想が重要である。
キャッシュと差分処理
動画では前フレームの結果を初期値として再利用する。変化が小さいフレームでは反復回数を減らし、変化が大きいフレームだけフルに計算する。これにより、長尺素材でも現実的な処理時間に収まる。
よくある失敗と対処法
| 症状 | 主な原因 | 対処 |
|---|---|---|
| 輪郭が背景ににじむ | マスクの縁に中間色が残っている | マスクを数画素収縮し、境界帯のみ再計算する |
| 境界がちらつく | フレーム独立処理による解の揺れ | 時間方向の辺を追加し、フロー信頼度で重みを調整する |
| 細部が消える | 平滑化項が強すぎる | 平滑化の重みを下げ、高解像度で再処理する |
| 穴が開く | 前景の内部に背景と似た色がある | 内部領域を前景に固定し、境界のみ最適化する |
| 色がつながらない | 色調とグレインの不一致 | ヒストグラムマッチングとグレイン統合を追加する |
| 処理が遅い | 全画素を同時に最適化している | 階層化とナローバンド処理を併用する |
失敗の多くは境界の設計ではなく前処理に起因する。マスクを丁寧に作り、色を揃え、解像度を統一するだけで、症状の半分以上は消える。
評価・チェックリストとツール選定
仕上がりを判断するチェック項目
- 境界を拡大せずに等倍で見て、線が見えないか
- 動画を0.5倍速で再生して、輪郭の揺れがないか
- グレースケールに変換して、境界に輝度の段差がないか
- 背景を単色に置き換えて、前景の縁に色残りがないか
- 別のディスプレイで確認して、暗部の段差が見えないか
最後の項目は見落とされやすい。境界処理の誤りは、明るい画面では見えず、暗い画面やコントラストの強い環境で露呈する。
ツール選定の判断基準
手法を選ぶ際は、次の基準で考える。
- 境界の移動量が小さいリファインなら、帯域限定のGraphCutが最も速く安定する
- 複数素材の同時合成なら、ラベル割り当てとして定式化できる実装を選ぶ
- 長尺動画なら、時間方向の一貫性処理が組み込まれたツールを優先する
- 手作業の介入量を減らしたいなら、初期マスクの品質を上げる方向に投資する
画像処理ライブラリのGrabCut系機能、汎用のコンポジットソフト、動画編集ソフトのマスク機能はいずれも内部的に同種の最適化を使っている。名前やUIは違っても、考え方は共通だ。
FAQ
GraphCutと深層学習ベースのセグメンテーションはどちらを使うべきか
両者は競合しない。深層学習モデルは大局的なマスクを高速に作るのが得意で、GraphCutは境界を画素単位で詰めるのが得意である。モデルで初期マスクを作り、GraphCutでリファインする併用が現在の標準的な流れだ。
マスクをぼかすだけではなぜだめなのか
ぼかしは境界を確率的な混合にする。前景と背景が高周波で混ざる領域では、混合が二重写しに見え、透明感ではなく不自然さを生む。画素ごとにどちらかへ割り当てを決める処理と組み合わせる必要がある。
動画で境界がちらつくときの最短の対処は
まず時間方向の平滑化を試す。それで不足する場合は、時間方向の辺をグラフに追加する。前フレームの結果を初期値として与えるだけでも揺れは減る。
4K素材でも現実的な時間で処理できるか
階層化とナローバンド処理を組み合わせれば可能である。全画素を一度に最適化しようとすると時間がかかるため、大局を低解像度で決め、境界帯だけを高解像度で詰める二段構えが実務的だ。
パラメータ調整の勘所は
平滑化の強さを最初に決める。輪郭の細部が消えるなら下げ、ノイズで穴が開くなら上げる。次に前景確率の重みを調整し、最後に反復回数で収束を確認する。この順序で進めると、調整のやり直しが減る。
生成AIの出力にそのまま適用しても効果があるか
ある。生成モデルの出力は輪郭が甘いことが多く、マスクの境界を詰めるだけで合成の印象が改善する。特に人物の髪や指先など、生成が苦手な領域で効果が大きい。
まとめ：境界の設計が合成品質を決める
生成モデルの進歩によって、素材を作るコストは大きく下がった。しかし、素材をつなぐコストはそれほど下がっていない。むしろ、生成物の品質が上がるほど、境界のわずかな不自然さが目立つようになった。
GraphCutは、この境界の問題を明示的な最適化として扱うための道具である。画像をグラフとして見る、データ項と平滑化項を設計する、最小カットで解く、動画では時間方向の辺を加える。この4点を押さえれば、理論の細部を暗記しなくても実務に応用できる。
重要なのは、GraphCutを単体の魔法のボタンとして使わないことだ。素材の正規化、マスクの設計、境界のリファイン、色調とグレインの統合、時間方向の安定化という一連の工程の中に位置づけたときに初めて効果を発揮する。境界を数画素単位で制御できるようになると、合成の自由度は大きく変わる。
