KI-Videosynthese: Der komplette Workflow von der Idee zum Clip

Warum KI-Videosynthese die Produktionskette neu ordnet

Videosynthese mit KI ist kein einzelner Knopf, den man drückt, bis ein fertiger Clip herausfällt. Sie ist eine Kette aus Entscheidungen: Was erzähle ich? Welche Einstellung brauche ich wirklich? Welches Modell kann diese Einstellung liefern? Und wie bringe ich zehn generierte Fragmente so zusammen, dass sie wie ein zusammenhängender Film wirken?

Wer heute anfängt, merkt schnell: Die klassische, lineare Produktion – Drehbuch, Dreh, Schnitt, Ausspielung – wird durch einen iterativen Zyklus ersetzt. Prompting, Modellwahl, Parameteranpassung, Review und erneutes Prompting wechseln sich ab. Der Schnitt kommt nicht am Ende, er ist ständig präsent. Und das Storyboard ist nicht mehr nur ein Plan für den Dreh, sondern gleichzeitig das Prompt-Gerüst für die Synthese.

Das klingt nach mehr Arbeit, ist in der Praxis aber deutlich schneller – vorausgesetzt, man arbeitet strukturiert. Wer unstrukturiert arbeitet, produziert Hunderte von Takes, von denen keiner zusammenpasst. Wer strukturiert arbeitet, produziert wenige, gezielte Varianten und hat am Ende einen Clip, der einen klaren Look, eine lesbare Handlung und einen sauberen Schnittrhythmus hat.

Dieser Leitfaden beschreibt den kompletten Weg: von der ersten Idee über die Auswahl der Synthese-Pipeline, die Vorbereitung der Eingabedaten, das Konsistenzmanagement über mehrere Einstellungen, die iterative Generierung bis hin zu Upscaling, Ton und Export. Am Ende steht eine Checkliste, mit der du deinen ersten vollständigen Clip in einem Durchgang produzieren kannst.

Wichtig bleibt: Regie ist menschlich. Modelle liefern Bilder und Bewegung, aber Rhythmus, Spannung und Auswahl entstehen durch dich. Die KI übernimmt Fleißarbeit und Variantenbildung – nicht die dramaturgische Entscheidung.

Vom Treatment zum synthesefähigen Konzept

Der häufigste Grund, warum KI-Clips beliebig wirken, ist ein zu unklares Konzept. „Ein schöner Clip über Kaffee“ führt zu austauschbaren Bildern. Ein synthesefähiges Konzept ist dagegen eng genug, dass jedes Modell weiß, was es zeigen soll.

Die Idee in drei Sätzen fixieren

Schreibe vor jedem Prompt drei Sätze:

1. Logline: Wer oder was ist zu sehen, und was passiert? Beispiel: „Eine Barista öffnet morgens das Café und zieht den ersten Espresso.“
2. Ort und Zeit: Innenraum, Morgengrauen, warmes Licht durch Milchglas. Kein „irgendwo“, sondern ein konkreter Raum mit konkreter Lichtsituation.
3. Kernbewegung: Die eine Handlung, die den Clip zusammenhält – dampfender Espresso, der in die Tasse läuft.

Diese drei Sätze sind der Kern. Alles andere ist Ausgestaltung.

Shot-Liste statt vager Bildideen

Eine Shot-Liste ist im KI-Workflow wichtiger als ein klassisches Storyboard. Sie enthält pro Zeile: Einstellungsgröße, Kamerabewegung, Motiv, Dauer, Funktion im Schnitt. Beispiel:

#	Größe	Bewegung	Motiv	Dauer	Funktion
1	Weit	langsam vorwärts	Café-Fassade im Morgengrauen	3 s	Einstieg/Setting
2	Nah	statisch	Hände öffnen Tür	2 s	Handlung startet
3	Detail	langsam nach oben	Espressostrahl in Tasse	2 s	Kernmoment
4	Halbnah	seitlich mitziehend	Barista stellt Tasse auf Theke	3 s	Abschluss

Diese Tabelle ist gleichzeitig deine Prompt-Vorlage. Jede Zeile wird später zu einem Prompt mit denselben Attributen.

Das Storyboard als Prompt-Gerüst

Ein grobes Storyboard – vier bis acht Skizzen, auch als Strichmännchen – hilft, weil du damit Bildkomposition und Blickrichtung festlegst, bevor du Modelle bemühst. Als Referenzbilder für Bild-zu-Video-Pipelines sind diese Skizzen erstaunlich nützlich: Sie geben dem Modell eine Kompositionsvorgabe, ohne den Look festzunageln.

Die passende Synthese-Pipeline wählen

Nicht jedes Modell kann jede Aufgabe. Die wichtigste Entscheidung zu Beginn ist die Pipeline – also die Abfolge von Werkzeugen, nicht das einzelne Tool.

Text-zu-Video, Bild-zu-Video, Video-zu-Video

• Text-zu-Video: Schnellster Weg zur ersten Bildidee. Stark für Stimmungsbilder, Establishing Shots und Konzepttests. Schwächer bei präziser Komposition und wiederkehrenden Figuren.
• Bild-zu-Video: Der Standard für ernsthafte Arbeit. Du kontrollierst Komposition, Figur und Licht im Standbild – oft mit einem Bildgenerator – und lässt die Bewegung animieren. Deutlich konsistenter über mehrere Shots.
• Video-zu-Video: Ideal für Stilisierung, Umfärbung, Zeitlupen, Bildraten-Anpassung und Reparatur einzelner Takes. Auch für Bewegungstransfer aus Referenzaufnahmen.

In der Praxis kombiniert man: Standbilder erzeugen, animieren, einzelne Takes mit Video-zu-Video nachschärfen, anschließend hochskalieren.

Entscheidungskriterien

Kriterium	Frage, die du dir stellst
Einstellungslänge	Reicht ein 4-Sekunden-Take oder brauche ich eine längere, ruhige Einstellung?
Bewegungskomplexität	Reicht langsame Kamerafahrt oder braucht es Körperbewegung über mehrere Sekunden?
Kontinuität	Muss dieselbe Person durchgehend erkennbar bleiben?
Durchlaufzeit	Wie viele Varianten kann ich in meinem Zeitfenster realistisch prüfen?
Endformat	Hochkant für Social, 16:9 für Web, quadratisch für Anzeigen?

Hybrid-Pipelines

Die stärksten Ergebnisse entstehen fast immer hybrid. Ein typisches Setup:

1. Referenzbilder mit einem Bildmodell erzeugen oder fotografieren.
2. Basisbewegung mit einem Videomodell animieren.
3. Probleme einzelner Frames mit Video-zu-Video oder Inpainting korrigieren.
4. Auflösung mit einem Upscaler erhöhen, Bildrate interpolieren.
5. Ton separat erzeugen: Atmosphäre, Geräusche, Musik, Sprachaufnahme.

Wer nur ein einziges Modell nutzt, stößt schnell an Grenzen – besonders bei Konsistenz und Detailtreue.

Eingabedaten vorbereiten: Prompt, Referenz, Stil

Die Qualität der Ausgabe hängt fast vollständig von der Qualität der Eingabe ab. Das ist unspektakulär, aber der größte Hebel.

Aufbau eines belastbaren Prompts

Ein Prompt für Videosynthese funktioniert nach derselben Logik wie eine Regieanweisung. Bewährte Reihenfolge:

• Subjekt: Wer oder was, mit zwei bis drei unterscheidenden Merkmalen.
• Aktion: Genau eine Handlung, nicht drei gleichzeitig.
• Umgebung: Ort, Tageszeit, Wetter, Hintergrundelemente.
• Kamera: Einstellungsgröße, Brennweite, Bewegung (statisch, Schwenk, Fahrt, Handkamera).
• Licht: Lichtquelle, Richtung, Härte, Farbe.
• Stil: Realismusgrad, Filmkorn, Farbpalette, Referenzästhetik.
• Negativangaben: Was nicht vorkommen soll – unscharfe Hände, lesbare Schrift, zusätzliche Personen, Objektivfehler.

Ein Beispiel: „Halbnah, 50 mm, langsame seitliche Fahrt. Barista in dunkelblauer Schürze stellt eine weiße Tasse auf eine hellgraue Theke. Warmes Morgenlicht von links durch Milchglas, weiche Schatten, leichtes Filmkorn, realistische Fotografie. Keine lesbaren Logos, keine zusätzlichen Personen im Bild.“

Referenzbilder und Stilanker

Für jede Figur und jeden Schauplatz lohnt sich ein Stilanker: ein Referenzbild, das Licht, Farbwelt und Materialität definiert. Wird dieses Bild bei jedem Shot als Referenz mitgegeben, driften Farben und Kontrast deutlich weniger.

Für Figuren empfiehlt sich zusätzlich ein Charakterblatt: ein Ganzkörperbild, ein Porträt, eine Detailaufnahme von Händen oder Kleidung. Damit kann ein Modell die Person über verschiedene Einstellungen hinweg stabil halten.

Auflösung, Seitenverhältnis, Zielformat

Generiere möglichst in dem Seitenverhältnis, in dem du ausspielst. Ein Hochkant-Clip, der aus einem 16:9-Take beschnitten wird, verliert Bildinformation und Bildkomposition. Arbeite in der finalen Zielauflösung oder knapp darunter, damit der Upscaler sauber arbeiten kann.

Konsistenz über mehrere Einstellungen managen

Konsistenz ist das schwierigste Problem der Videosynthese. Sie zerfällt in drei Ebenen, die man getrennt behandeln sollte.

Charakterkonsistenz

• Nutze dasselbe Referenzbild oder dieselbe Bildserie für alle Shots mit dieser Figur.
• Halte Kleidung, Frisur und Accessoires in allen Prompts identisch formuliert.
• Vermeide Modellwechsel innerhalb einer Figur-Szene. Wenn du wechseln musst, generiere zuerst ein neues Standbild im neuen Modell und prüfe die Ähnlichkeit, bevor du bewegst.

Szenen-, Licht- und Requisitenkontinuität

Lichtrichtung ist der häufigste Kontinuitätsfehler. Wenn in Shot 2 das Licht von links kommt, muss es in Shot 3 ebenfalls von links kommen – es sei denn, ein Schnitt über die Achse ist bewusst gewollt. Notiere pro Shot die Lichtrichtung im Prompt, auch wenn es redundant wirkt.

Dasselbe gilt für Requisiten: Tasse, Stuhl, Fenster, Uhrzeit. Ein Objekt, das auftaucht und verschwindet, zerstört die Illusion schneller als ein unscharfer Frame.

Seeds, Referenzframes und eigene Stil-Modelle

Fixe Seeds helfen, wenn du innerhalb einer Einstellung Variationen willst, ohne den Look zu verlieren. Referenzframes helfen über Einstellungsgrenzen hinweg. Wer regelmäßig mit einer eigenen Figur oder einem eigenen Look arbeitet, sollte trainierte Stil- oder Charakter-Modelle einsetzen – das ist der zuverlässigste Weg zu Wiedererkennbarkeit.

Generieren, prüfen, iterieren

Die Generierungsphase ist ein Screening-Prozess, kein Glücksspiel. Wer wahllos Varianten erzeugt, verliert Zeit im Sichten.

Der Take-Vergleich

Erzeuge pro Einstellung zunächst eine kleine, definierte Anzahl an Varianten – drei bis fünf sind meist ausreichend. Prüfe jede Variante nach denselben Kriterien:

1. Ist die Figur erkennbar und anatomisch plausibel?
2. Stimmt die Kamerabewegung mit dem Plan überein?
3. Passt Licht und Farbe zum Stilanker?
4. Ist der erste und letzte Frame als Schnittpunkt brauchbar?
5. Gibt es Artefakte, die man nicht wegschneiden kann?

Halte die Bewertung schriftlich fest. Nach dem zwanzigsten Take erinnert man sich nicht mehr, warum Take 4 ausgeschlossen wurde.

Typische Fehlerbilder und Gegenmaßnahmen

Fehlerbild	Wahrscheinliche Ursache	Gegenmaßnahme
Figur verändert sich im Take	Zu wenig Referenz, zu langer Prompt-Zeitraum	Kürzerer Take, Referenzbild erzwingen
Gesichter verschwimmen	Zu viel Bewegung, zu geringe Auflösung	Bewegung reduzieren, Upscaling vor Interpolation
Hände und Finger deformiert	Komplexe Interaktion im Bild	Detailaufnahmen trennen, Hände teilweise verdecken
Flackerndes Licht	Inkonsistente Lichtbeschreibung	Lichtbeschreibung vereinheitlichen, Stilanker nutzen
Objekte erscheinen oder verschwinden	Keine Requisitenliste im Prompt	Requisiten in jedem Prompt erneut nennen
Text im Bild ist unlesbar	Modell kann Schrift nicht rendern	Schrift nachträglich als Grafik einfügen

Wann man mit dem Iterieren aufhört

Setze vorher ein Limit: maximal X Varianten pro Einstellung und maximal Y Korrekturrunden. Wenn ein Take nach drei Runden nicht trägt, ist es fast immer günstiger, die Einstellung neu zu planen – andere Größe, andere Bewegung, anderer Bildausschnitt – statt weiter am selben Prompt zu feilen.

Nachbearbeitung: vom Rohclip zum Master

Generierte Takes sind Rohmaterial. Der Unterschied zwischen „KI-Clip“ und „fertigem Clip“ entsteht in der Nachbearbeitung.

Upscaling, Frame-Interpolation, Rauschreduktion

Reihenfolge beachten: erst Rauschen und Artefakte reduzieren, dann Auflösung erhöhen, dann Bildrate interpolieren. Wer zuerst interpoliert, verstärkt bestehende Artefakte. Für Zeitlupe eignet sich optische Fluss-Interpolation; für ruhige Einstellungen reicht oft eine moderate Erhöhung der Bildrate.

Schnitt, Farbanpassung, Ton

• Schnitt: Auf Bewegung schneiden, nicht auf Frame-Nummern. Ein Schnitt mitten in einer Kamerafahrt wirkt nur, wenn die Bewegung weiterläuft.
• Farbe: Alle Takes in einer gemeinsamen Farbkorrektur auf denselben Look ziehen. Ein LUT über die gesamte Sequenz hilft mehr als perfekte Einzelaufnahmen.
• Ton: Atmosphäre, Geräusche und Musik tragen mehr zur Wahrnehmung von Qualität bei als zusätzliche Auflösung. Unterlegt man Umgebungsgeräusche passend zur Szene, wirken generierte Bilder sofort realistischer.
• Tempo: Generierte Takes sind oft leicht zu langsam. Kleine Tempokorrekturen – fünf bis zehn Prozent – machen den Schnittrhythmus merkbar straffer.

Exportformate

Exportiere pro Plattform getrennt, statt einen Master überallhin zu laden. Hochkant 1080 × 1920, Querformat 1920 × 1080, Bitrate passend zur Plattform, dazu eine Version mit und ohne Untertitel. Untertitel sollten aus Gründen der Lesbarkeit nachträglich als Text eingebrannt oder als separate Datei mitgeliefert werden.

Typische Fallstricke im Workflow

• Zu viele Modelle gleichzeitig: Fünf Tools parallel testen kostet mehr Zeit als drei, die man beherrscht.
• Zu lange Takes planen: Kurze Einstellungen sind konsistenter, leichter zu korrigieren und im Schnitt flexibler.
• Kein Stilanker: Ohne Referenzbild driftet die Farbwelt über die Sequenz.
• Ton zu spät planen: Wer den Ton erst nach dem Schnitt beginnt, schneidet oft neu.
• Perfektion pro Shot: Ein einzelner perfekter Shot hilft nicht, wenn die Sequenz nicht trägt.
• Keine Namenskonvention: Ohne saubere Dateibenennung (Szene, Einstellung, Version) verliert man den Überblick nach wenigen Stunden.

Checkliste für den ersten kompletten Clip

1. Logline, Ort und Kernbewegung in drei Sätzen notiert.
2. Shot-Liste mit Größe, Bewegung, Motiv und Dauer erstellt.
3. Zielseitenverhältnis und Endauflösung festgelegt.
4. Stilanker und Charakterblatt als Referenzen vorbereitet.
5. Pro Einstellung einen vollständigen Prompt mit Subjekt, Aktion, Kamera, Licht, Stil und Negativangaben geschrieben.
6. Drei bis fünf Varianten pro Einstellung erzeugt und dokumentiert bewertet.
7. Konsistenzcheck über alle Takes: Lichtrichtung, Requisiten, Kleidung, Farbe.
8. Upscaling, Rauschreduktion, Interpolation in dieser Reihenfolge durchgeführt.
9. Schnitt auf Bewegung, gemeinsame Farbkorrektur, Ton und Untertitel ergänzt.
10. Export in allen benötigten Formaten, Dateien sauber benannt und archiviert.

FAQ

Wie viele Einstellungen brauche ich für einen 30-Sekunden-Clip?
Bei durchschnittlich drei Sekunden pro Einstellung sind es etwa acht bis zwölf. Für Social-Feeds funktionieren kürzere Einstellungen von zwei Sekunden meist besser.

Kann ich denselben Charakter über mehrere Szenen hinweg halten?
Ja, mit Referenzbildern, konsistent formulierten Beschreibungen und – bei wiederkehrenden Projekten – mit einem trainierten Charaktermodell. Ohne diese drei Maßnahmen driftet das Aussehen schnell.

Sollte ich zuerst das Skript oder zuerst die Bilder planen?
Beides parallel. Schreibe das Skript in Shot-fähigen Zeilen, damit jede Zeile direkt zu einem Prompt werden kann. Ein literarisches Skript muss für die Synthese fast immer umgeschrieben werden.

Warum sehen meine Takes trotz gleichem Prompt unterschiedlich aus?
Generative Modelle sind stochastisch. Ohne festen Seed, ohne Referenzbild und ohne identische Formulierung entstehen Unterschiede. Vereinheitliche zuerst die Beschreibung, dann den Seed, dann die Referenz.

Wie lang darf eine einzelne generierte Einstellung sein?
Als Faustregel gilt: Je länger der Take, desto höher das Risiko von Konsistenzverlust. Vier bis sechs Sekunden sind ein guter Arbeitsbereich; längere Einstellungen lassen sich aus mehreren Takes zusammensetzen.

Brauche ich unbedingt ein Upscaling-Tool?
Wenn du in Hochkant für Social ausspielst, oft nicht. Für Querformat auf größeren Bildschirmen oder für Archivmaterial ist Upscaling die einfachste Qualitätsverbesserung, die du vornehmen kannst.

Was ist der wichtigste Hebel für bessere Ergebnisse?
Die Shot-Planung. Wer genau weiß, was eine Einstellung zeigen soll, schreibt bessere Prompts, erzeugt weniger Varianten und verbringt weniger Zeit mit der Suche nach dem brauchbaren Take.

Fazit: Der Workflow ist das Produkt

Der Weg von der Idee zum fertigen Clip mit KI-Videosynthese ist kein einzelner Schritt, sondern eine Kette aus klar trennbaren Phasen: Konzept, Pipeline-Wahl, Eingabevorbereitung, Konsistenzmanagement, iterative Generierung und Nachbearbeitung. Jede Phase hat eigene Fehlerquellen und eigene Werkzeuge.

Wer diese Kette einmal vollständig durchlaufen hat, arbeitet danach deutlich schneller – nicht weil die Modelle besser werden, sondern weil die Entscheidungen sitzen. Die eigentliche Fähigkeit ist nicht das Prompt-Handwerk allein, sondern die Fähigkeit, eine Sequenz zu denken: Welche Einstellung trägt welche Information, wie schneidet sie sich, wie bleibt die Figur erkennbar, und wann ist ein Take gut genug.

Beginne mit einem kurzen Projekt: eine Szene, vier Einstellungen, ein Zielformat. Optimiere den Ablauf, nicht die einzelne Aufnahme. Wenn die Kette steht, skalieren längere Projekte fast von selbst – und der Sprung von der Idee zum fertigen Clip wird zur Routine statt zum Experiment.