Karakterconsistentie in AI-video: multi-image fusie uitgelegd

Waarom karakterconsistentie het lastigste probleem blijft

Een losse AI-videoclip genereren is tegenwoordig bijna routine. Je typt een beschrijving, kiest een model, en binnen een minuut heb je een shot dat er verbluffend uitziet. De echte moeilijkheid begint pas wanneer je een korte film van twee tot vijf minuten wilt maken waarin hetzelfde personage in twintig of dertig shots terugkomt. Dan blijkt dat een generatief model geen geheugen heeft. Elke generatie is een nieuwe interpretatie van wat jij hebt beschreven, en kleine verschillen in prompt, seed, resolutie of camerabeweging leiden tot een ander gezicht.

Dat fenomeen heet identiteitsdrift. Het uit zich zelden als een dramatische verandering. Meestal gaat het om subtiele verschuivingen: de kaaklijn wordt iets ronder, de oogkleur schuift van donkerbruin naar hazelnoot, het haar wordt twee centimeter langer, het personage lijkt plots vijf jaar jonger. In een enkel shot valt dat niet op. In een montage van twintig shots voelt de kijker onmiddellijk dat er iets niet klopt, ook al kan hij niet benoemen wat.

Er zijn eigenlijk twee soorten consistentie die je uit elkaar moet houden. De eerste is temporeel: blijft het beeld stabiel binnen één shot, zonder flikkering, morfing of wegsmeltende handen? De tweede is cross-shot: is het personage in shot zeven nog herkenbaar als hetzelfde personage uit shot twee? De meeste modellen zijn inmiddels redelijk goed in het eerste en opvallend zwak in het tweede. Dat komt doordat een model bij elke generatie opnieuw een beroep doet op zijn algemene kennis van gezichten in plaats van op een specifiek gezicht.

Tekstprompts alleen lossen dat niet op. Natuurlijke taal is inherent ambigu. De beschrijving "een vrouw van rond de dertig met donker haar en een rustige uitstraling" is van toepassing op miljoenen mensen. Het model vult de ontbrekende informatie in met wat statistisch waarschijnlijk is, en die keuze verschilt per generatie. Je hebt dus een anker nodig dat buiten de tekst ligt: visuele referenties die het model dwingen dezelfde persoon te blijven renderen.

Hoe multi-image fusie identiteit vasthoudt

Multi-image fusie is de techniek waarbij je meerdere referentiebeelden van hetzelfde personage tegelijk aan het model geeft. Het model analyseert die beelden, haalt de gedeelde kenmerken eruit en bouwt een interne representatie van de identiteit. Die representatie wordt vervolgens gecombineerd met je tekstprompt. De prompt bepaalt dan vooral pose, kleding, expressie, licht en cameravoering, terwijl de identiteit uit de referenties komt.

Je kunt het vergelijken met een traditionele filmset. Vroeger had je een castingbureau dat één acteur koos, en een continuity-afdeling die foto's maakte van kapsel, kleding en make-up, zodat elke scène op elkaar aansloot. Multi-image fusie doet beide in één stap: de referenties zijn je castingbeslissing én je continuity-dossier.

Het helpt om je generatie op te splitsen in drie lagen:

• Identiteitslaag – wie is dit personage? Bepaald door de referentiebeelden.
• Stijllaag – hoe ziet de wereld eruit? Bepaald door kleur, lens, korrel en belichtingskeuzes.
• Bewegingslaag – wat gebeurt er in dit shot? Bepaald door de prompt, keyframes of motion guidance.

De meeste problemen ontstaan wanneer je twee lagen tegelijk verandert. Als je in één iteratie zowel de belichting als de gezichtsreferentie aanpast, weet je nooit welke wijziging de drift heeft veroorzaakt.

Wat het model wel betrouwbaar overneemt

Bij een goede set referenties neemt een model doorgaans het volgende consistent over:

• gezichtsstructuur en onderlinge verhoudingen, zoals oogafstand en kaakbreedte;
• haarkleur, haarlengte en grofweg de textuur;
• huidskleur en algemene gezichtsbelichting;
• kledingstijl, mits die in vrijwel alle referenties hetzelfde is;
• leeftijdssignalen, zoals rimpels of juist een jeugdige huid.

Wat het model niet betrouwbaar overneemt

Er zijn ook grenzen waarmee je moet rekenen:

• exacte gelijkenis met een bestaand, herkenbaar persoon;
• kleine details zoals sieraden, tekst op kleding of littlekens, zeker bij klein formaat in het kader;
• asymmetrieën in het gezicht;
• identiteit bij extreme camerahoeken, sterke vervorming of snelle beweging;
• kleding die tussen referenties wisselt, want dan kiest het model per generatie opnieuw.

Een referentiebibliotheek opbouwen die je personage vastzet

De kwaliteit van je referenties bepaalt voor een groot deel de kwaliteit van je consistentie. Een bibliotheek van tien willekeurige screenshots werkt slechter dan vijf zorgvuldig gekozen beelden. Het doel is niet zoveel mogelijk variatie, maar een set die het gezicht vanuit meerdere hoeken ondubbelzinnig vastlegt.

De vijf verplichte beelden

1. Frontaal, neutrale expressie. Recht in de camera, gelijkmatig licht, geen glimlach. Dit is je ankerbeeld.
2. Driekwart aanzicht. Ongeveer 45 graden gedraaid. Dit leert het model hoe het gezicht van opzij leest.
3. Profiel. Volledig zijaanzicht, zodat neuslijn, kin en kaaklijn vastliggen.
4. Volledig lichaam in de standaardoutfit. Nodig om kleding en lichaamsverhoudingen consistent te houden.
5. Expressievariant. Een lachende of juist ernstige versie, zodat emotionele scènes niet ineens een ander gezicht opleveren.

Een zesde beeld met het personage in beweging of in een andere houding is nuttig als je veel actiescènes hebt, maar voeg het pas toe als de eerste vijf stabiel werken.

Technische afspraken die je beter één keer vastlegt

• Kortste zijde minimaal 1024 pixels, liever 1500 of meer.
• PNG of een ander verliesvrij formaat, in sRGB, zonder compressie-artefacten.
• Geen filters, geen zware kleurcorrectie, geen harde slagschaduwen over het gezicht.
• Een rustige of effen achtergrond, zodat het model het gezicht niet verwart met elementen eromheen.
• Hetzelfde brandpunt en perspectief in alle beelden; een groothoekportret naast een telefotoportret verwart het model.
• Ogen scherp en goed zichtbaar, want daar leest een model veel identiteitsinformatie uit.

Naamgeving en versiebeheer

Gebruik een vaste conventie, bijvoorbeeld char_naam_v01_front.png, char_naam_v01_three-quarter.png, en verhoog het versienummer zodra je iets structureels wijzigt. Bewaar daarnaast een logbestand met per versie de gebruikte prompt, seed, resolutie en het model. Wanneer een scène later niet meer lukt, kun je terugvinden welke combinatie eerder werkte. Zonder dat logboek wordt consistentie een kwestie van geluk.

Keyframes, cameravoering en stijlankers

Begin- en eindframe per shot

Beschrijf elk shot voordat je genereert: het beginframe, het eindframe, de beweging daartussen en de duur. Sommige modellen accepteren begin- en eindbeelden als expliciete invoer, wat de controle aanzienlijk vergroot. Modellen die dat niet doen, vragen om een zeer specifieke bewegingsprompt met richting, snelheid en camerastandpunt.

Houd shots kort. Hoe langer een clip, hoe groter de kans dat het gezicht gaandeweg verschuift. Een reeks shots van drie tot vijf seconden die je in de montage aaneenrijgt, is vrijwel altijd consistenter dan één clip van vijftien seconden.

Stijlankers vastleggen

Maak een stijlblok van twintig tot veertig woorden dat je letterlijk in elke prompt plakt. Daarin staan zaken als kleurtemperatuur, contrast, korrel, lenskeuze, kleurpalet en filmformaat. Bijvoorbeeld: warm daglicht, licht korrelige textuur, 50mm-lens, laag contrast in de schaduwen, gedempt groen en oker in het palet.

Dit blok is je stijlanker. Het zorgt ervoor dat scènes op verschillende locaties en tijdstippen toch als één film voelen. Zonder zo'n anker krijg je per scène een andere visuele toon, en dat versterkt het gevoel dat het personage ook anders is.

Personage en stijl gescheiden houden

Verander per iteratie één variabele. Wil je een scène bij zonsondergang? Houd de referentiebeelden en het personagegedeelte van de prompt identiek en wijzig alleen het lichtgedeelte. Wil je een andere outfit? Pas alleen het kledinggedeelte aan en laat licht en cameravoering staan. Zo bouw je een mentaal model op van wat wel en niet tot drift leidt.

Van script naar montage: de complete workflow

Stap 1: personageblad en promptsjabloon

Maak eerst een personageblad: de vijf referentiebeelden, een korte beschrijving, een vaste promptsjabloon en een stijlblok. De sjabloon heeft vaste blokken in deze volgorde: personage, kleding, actie, cameravoering, licht, stijl, negatieve instructies. Door de volgorde nooit te wisselen, blijft het gedrag van het model voorspelbaar.

Stap 2: scène voor scène genereren

Werk in volgorde van belang, niet in volgorde van het script. Genereer eerst de shots waarin het gezicht groot en duidelijk in beeld is. Die bepalen of de consistentie werkt. Pas daarna de shots waarin het personage klein, van achteren of in beweging te zien is, want daar is drift minder zichtbaar en dus minder riskant.

Genereer per shot meerdere varianten met dezelfde instellingen. Vier tot zes pogingen is gebruikelijk voor een bruikbaar resultaat. Bewaar alles, ook de mislukkingen, want soms blijkt een afgekeurd shot later precies het ontbrekende tussenbeeld te zijn.

Stap 3: selecteren en gericht hergenereren

Beoordeel varianten naast je ankerbeeld, niet los. Leg het gegenereerde frame naast de frontale referentie en vergelijk oogpositie, neuslengte, kaaklijn en haarlijn. Werkt een shot bijna? Hergenereer dan niet vanaf nul, maar gebruik het bijna-goede frame als extra referentie. Zo verschuif je het zwaartepunt van de identiteit richting het beeld dat al bijna klopte.

Stap 4: montage, kleur en geluid

In de montage kun je veel corrigeren. Kleurcorrectie per scène gelijktrekken, een lichte korrel of grain-laag over alles leggen en het geluid als bindmiddel gebruiken maken een reeks losse clips tot één film. Een consistente atmosfeer en muziek verbergen kleine visuele afwijkingen effectiever dan welke nabewerking ook.

Veelgemaakte fouten en hoe je ze herstelt

Fout	Wat er gebeurt	Oplossing
Referenties met tegenstrijdige kenmerken	Het model kiest per generatie een andere mix	Maak de set intern consistent en verwijder afwijkende beelden
Prompt die de referentie tegenspreekt	Het tekstgedeelte wint en de identiteit verschuift	Beschrijf het uiterlijk niet opnieuw; verwijs alleen naar het personage
Wisselende resolutie of beeldverhouding	Gezicht wordt anders uitgerekt en herinterpreteerd	Kies één formaat voor de hele productie
Te lange clips	Geleidelijke morfing halverwege het shot	Knip op in shots van drie tot vijf seconden
Alles in één keer genereren	Geen referentiepunt om tegen af te wijken	Genereer eerst de close-ups, daarna de rest
Geen logboek	Je kunt een geslaagde instelling niet reproduceren	Noteer prompt, seed, model en versie per shot

Tools en modellen kiezen: beslisscriteria

Niet elk model is even geschikt voor karakterwerk. Let bij het kiezen op de volgende punten:

• Ondersteuning voor meerdere referentiebeelden. Sommige modellen accepteren één referentie, andere meerdere. Voor serieuze consistentie heb je meerdere nodig.
• Keyframe-invoer. Kunnen begin- en eindbeeld worden meegegeven? Dat geeft je regiecontrole in plaats van geluk.
• Maximale clipduur. Kort is niet erg, zolang de kwaliteit binnen die duur hoog blijft.
• Herhaalbaarheid. Kunnen identieke instellingen hetzelfde resultaat opleveren, of is elke generatie een verrassing?
• Bewegingscontrole. Richting, snelheid en camerabeweging moeten stuurbaar zijn.
• Exportkwaliteit. Resolutie en beeldverhouding moeten passen bij je montage.
• Iteratiesnelheid. Hoe sneller je varianten kunt bekijken, hoe sneller je leert wat werkt.

In de praktijk werk je vaak met een combinatie. Modellen als Sora, Kling, Runway, Luma en Pika zijn sterk in het genereren van beweging; beeldmodellen zoals Midjourney, Flux of Stable Diffusion zijn sterk in het maken van haarscherpe referenties en keyframes. Voor wie pipelines wil automatiseren, biedt een node-gebaseerde omgeving zoals ComfyUI de ruimte om referentieverwerking, generatie en selectie in één stroom te zetten.

Kwaliteitscontrole en iteratiesnelheid

Beoordeel je werk op een groot scherm en op honderd procent zoom. Op een telefoonscherm zie je identiteitsdrift vaak niet, terwijl het op een monitor meteen opvalt.

Werk met een vaste controlelijst per shot:

1. Klopt de oogkleur en oogvorm met het ankerbeeld?
2. Is de haarlijn en haarlengte identiek?
3. Zijn kaaklijn en kinverhoudingen gelijk?
4. Is de kleding hetzelfde als in eerdere scènes?
5. Past de belichting bij het stijlblok?
6. Zijn handen en ogen vrij van artefacten?
7. Blijft het gezicht stabiel van begin tot eind van het shot?

Houd daarnaast een foutenlog bij: welke prompt gaf drift, welke combinatie werkte wel. Na tien shots heb je een persoonlijke handleiding die meer waard is dan welke algemene tip ook.

Veelgestelde vragen

Hoeveel referentiebeelden heb ik nodig?
Vijf tot acht zorgvuldig gekozen beelden dekken de meeste situaties. Meer beelden helpen alleen als ze consistent zijn; tien tegenstrijdige referenties werken slechter dan vier goede.

Kan ik een bestaand persoon als personage gebruiken?
Technisch kan veel, maar wees terughoudend met het nabootsen van herkenbare personen zonder toestemming. Voor de meeste producties is een zelf ontworpen personage eenvoudiger, consistenter en juridisch veiliger.

Waarom verandert mijn personage zodra ik een andere achtergrond gebruik?
Omdat achtergrond en belichting het kleurenpalet van het gezicht beïnvloeden. Los dit op met een vast stijlblok en door het gezichtsgedeelte van de prompt nooit te wijzigen.

Werkt een enkel startbeeld ook?
Soms, voor korte shots. Maar zodra je het personage van een andere hoek laat zien, valt het model terug op algemene kennis. Meerdere referenties zijn vrijwel altijd beter.

Moet ik in één model blijven werken?
Niet per se, maar wissel niet per scène. Het is verstandiger om referenties, keyframes en beweging in een vaste combinatie te genereren, en pas van model te wisselen als een hele scène structureel niet lukt.

Hoe lang mag een korte film zijn?
Er is geen harde grens, maar de kans op drift groeit met het aantal shots. Reken op twintig tot veertig shots voor een film van twee tot drie minuten, en gebruik kortere, strak gemonteerde beelden om de druk op consistentie te verlagen.

Checklist voor je volgende korte film

• Vijf referentiebeelden per personage, vanuit vaste hoeken en met gelijkmatig licht.
• Eén vaste promptsjabloon met onveranderlijke blokvolgorde.
• Een stijlblok van twintig tot veertig woorden dat in elk shot terugkomt.
• Eén beeldverhouding en één resolutie voor de hele productie.
• Shots van drie tot vijf seconden, met close-ups eerst.
• Vier tot zes varianten per shot, beoordeeld naast het ankerbeeld.
• Een logboek met prompt, seed, model en versie per gegenereerd shot.
• Kleurcorrectie en geluid als laatste stap om de reeks tot één geheel te smeden.

Karakterconsistentie is geen kwestie van één magisch model, maar van discipline: vaste referenties, vaste sjablonen, korte shots en een zorgvuldig bijgehouden logboek. Wie die routine opbouwt, kan met dezelfde generatieve tools een personage over een hele korte film geloofwaardig laten terugkomen – en dat is precies het verschil tussen een verzameling mooie clips en een film die ergens over gaat.