Text zu Video mit KI: Workflow, Regie und Modellwahl

Wie aus Text ein Film wird: die Grundidee

Text-zu-Video ist kein Knopf, den man drückt, wenn einem nichts mehr einfällt. Es ist Übersetzungsarbeit. Aus Sprache werden Licht, Kamera, Bewegung, Material und Zeit. Wer diesen Übersetzungsschritt bewusst gestaltet, bekommt Ergebnisse, die man zeigen kann. Wer ihn überspringt, bekommt hübsche Zufallsbilder, die in der zweiten Szene schon nicht mehr zusammenpassen.

Die zweite Grundidee betrifft die Werkzeugauswahl. Generative Videosysteme sind unterschiedlich gut, und zwar nicht nur in der allgemeinen Qualität, sondern in sehr konkreten Dingen: Wie stabil bleibt ein Gesicht über drei Sekunden? Wie überzeugend ist eine Hand, die eine Tasse hält? Wie gut funktioniert eine langsame Kamerafahrt an einer Hausfassade entlang? Wie sieht eine Produktoberfläche aus, wenn sich das Licht darauf bewegt? Diese Fragen beantwortet jedes System anders. Wenn du nur ein einziges System nutzt, erhältst du zwangsläufig eine sehr einheitliche Bildsprache. Für einen einzelnen Clip ist das kein Problem. Für eine Serie, einen Markenauftritt oder eine Kampagne mit mehreren Formaten wird es eines.

Deshalb beschreibt dieser Leitfaden keinen Hersteller, sondern eine Arbeitsweise. Er zeigt, wie du Text in Szenen zerlegst, wie du Prompts aufbaust, wie du Modelle anhand nachvollziehbarer Kriterien auswählst, wie du Konsistenz über mehrere Einstellungen hältst und welche Fehler dich am meisten Zeit kosten. Alles lässt sich mit gängigen Text-zu-Video-Systemen umsetzen, unabhängig davon, welchen Anbieter du bevorzugst.

Eine Regel steht dabei über allem: Eine Einstellung, eine Aussage. Sobald eine Szene zwei Dinge gleichzeitig erklären soll, verliert sie in der Generierung fast immer an Klarheit – und in der Nachbearbeitung an Schnittbarkeit.

Der Workflow in sechs Phasen

Der häufigste Grund für enttäuschende Ergebnisse ist nicht ein schlechtes Modell, sondern eine fehlende Struktur vor der Generierung. Ein belastbarer Ablauf besteht aus sechs Phasen. Sie dauern zusammen oft nur wenige Minuten mehr als der direkte Sprung ins Promptfeld – sparen aber Stunden beim Aussortieren.

Phase 1: Auftrag, Zielgruppe, Format

Bevor irgendein Prompt entsteht, müssen die harten Randbedingungen klar sein. Für welchen Kanal entsteht der Clip? Hochformat für den Feed, Querformat für eine Website, quadratisch für Anzeigen, oder ein Masterformat, aus dem später alles abgeleitet wird? Wie lang darf das Ergebnis sein? Welche Auflösung und Bildrate werden gebraucht? Gibt es Untertitelpflicht oder eine Tonspur, die später ersetzt wird?

Diese Antworten bestimmen, welche Systeme überhaupt in Frage kommen. Wer später auf 9:16 beschneidet, muss beim Bildaufbau von Anfang an daran denken: Wichtige Motive gehören in die mittlere Bildzone, nicht an den Rand.

Ein nützliches Hilfsmittel ist ein kurzer Auftragszettel mit fünf Zeilen:

• Aussage in einem Satz
• Zielgruppe und Ort der Ausspielung
• Länge und Seitenverhältnis
• Ton: Voice-over, Musik, O-Ton oder stumm verständlich
• Deadline und verfügbare Arbeitszeit

Phase 2: Szenenplan statt Prompt-Bastelei

Zerlege die Aussage in visuelle Belege. Frage dich: Was muss man sehen, um den Satz zu glauben? Aus jedem Beleg wird eine Szene. Ein 30-Sekunden-Clip besteht typischerweise aus vier bis sieben Einstellungen von je zwei bis fünf Sekunden.

Führe den Szenenplan als Tabelle mit diesen Spalten: Nummer, Dauer, Einstellungsgröße, Motiv, Handlung, Kamerabewegung, Licht, Stimmung, Modell, Status. Diese Tabelle ist dein Steuerpult. Sie erlaubt es, nach einem Modellwechsel nur einen Teil der Szenen neu zu erzeugen, statt alles neu zu bauen. Sie zeigt außerdem sofort, ob der Clip zu viele Totalen oder zu wenig Abwechslung hat.

Ein bewährter dramaturgischer Bogen für kurze Formate: Einstieg (Neugier), Kontext (Situation oder Problem), Wendepunkt (Lösung), Detail (Beweis), Abschluss (Marke oder Handlungsaufruf). Bei sehr kurzen Clips kannst du Kontext und Wendepunkt zusammenlegen – aber streiche nie das Detail, denn genau dort entsteht Glaubwürdigkeit.

Phase 3: Stilrahmen definieren

Sammle zwei bis vier Referenzbilder, die Lichtstimmung, Farbwelt und Bildaufbau festlegen. Diese Referenzen sind die gemeinsame Sprache aller Szenen. Notiere dazu in Worten, was sie ausmacht: weiches Seitenlicht, entsättigte Blautöne, flache Schärfentiefe, ruhige Kamera, viel Negativraum.

Der Stilrahmen verhindert den häufigsten Konsistenzbruch: dass jede Szene für sich gut aussieht, aber keine zur anderen passt. Er ist auch die Grundlage für Diskussionen im Team, weil er Geschmacksfragen in überprüfbare Kriterien übersetzt.

Phase 4: Generieren und auswählen

Erzeuge pro Szene drei bis fünf Varianten. Auswahl ist Teil der Arbeit, nicht ein Zeichen von Unsicherheit. Wer nur einmal generiert, akzeptiert zwangsläufig Kompromisse, die später im Schnitt auffallen.

Arbeite in zwei Durchgängen: erst grob (Stimmt Motiv, Stimmung, Perspektive?), dann fein (Bewegung, Details, Übergänge). Sortiere früh aus. Eine Variante, die grundsätzlich stimmt, aber unscharf ist, lässt sich oft hochskalieren. Eine Variante mit falscher Kamerafahrt lässt sich fast nie retten.

Phase 5: Konsistenz prüfen

Bevor du weitergenerierst, vergleiche alle Szenen nebeneinander: Figuren, Produkte, Lichtrichtung, Farbtemperatur, Schärfentiefe, Bewegungsintensität. Genau hier entscheidet sich der professionelle Eindruck. Ein einzelnes schönes Bild beeindruckt niemanden; eine stimmige Sequenz überzeugt.

Phase 6: Ton, Schnitt, Export

Voice-over, Musik, Schnittrhythmus, Farbanpassung, Untertitel und die Ausgabeformate. Diese Phase ist kein Anhängsel, sondern der Ort, an dem aus Material ein Video wird. Mehr dazu weiter unten.

Wichtig: Behandle die sechs Phasen als Schleife. Wenn ein Modell in Phase 4 wiederholt an derselben Einstellung scheitert, ist der richtige Reflex nicht ein noch längerer Prompt, sondern eine Rückkehr zu Phase 2 oder 3. Meist ist die Szene zu komplex oder der Stilrahmen widersprüchlich.

Prompts schreiben, die sich steuern lassen

Ein Text-zu-Video-Prompt ist kein Drehbuch und keine Wunschliste. Er beschreibt, was in wenigen Sekunden sichtbar sein soll. Das erzwingt Prioritäten: Alles, was nicht in den ersten zwei Sätzen steht, wird oft nur schwach gewichtet.

Die vier Ebenen eines Prompts

• Motiv: Wer oder was ist zu sehen? Alter, Kleidung, Material, Textur, Zustand, Anzahl der Personen.
• Umgebung: Wo findet die Handlung statt? Innen oder außen, Tageszeit, Wetter, Hintergrundelemente, Geräusche als visuelle Hinweise.
• Kamera: Einstellungsgröße, Perspektive, Bewegung, Brennweite, Schärfentiefe, Bildstabilisierung.
• Licht und Stil: Lichtrichtung, Farbtemperatur, Kontrast, Filmcharakter, Referenzbegriffe.

Schreibe in dieser Reihenfolge und halte jeden Bereich kurz. Ein Prompt mit 60 präzisen Wörtern schlägt fast immer einen mit 200 ungeordneten.

Bewegung dosieren

Der häufigste Prompt-Fehler ist eine überladene Bewegungsangabe. „Die Kamera fliegt schnell um die Person, während sie sich dreht und der Hintergrund explodiert“ ergibt selten etwas Brauchbares. Formuliere genau eine primäre Bewegung pro Einstellung, maximal eine sekundäre. Klare Beispiele: langsames Heranfahren, seitlicher Mitlauf, statische Kamera mit subtiler Handbewegung, Aufsteigen aus der Nähe in die Totale, feste Kamera mit Bewegung nur im Bild.

Wenn die Bewegung nicht gelingen will, hilft ein Trick: Beschreibe zuerst eine statische Einstellung, die du zufriedenstellend findest, und füge dann eine einzige Bewegungsanweisung hinzu. So siehst du direkt, welche Bewegung das Modell verträgt.

Negativangaben und Text im Bild

Negativangaben sind nützlich, aber nur in kleinen Dosen. Fünf bis acht präzise Punkte reichen: unscharfe Gesichter, zusätzliche Gliedmaßen, Wasserzeichen, Schrift im Bild, überbelichtete Fenster, doppelte Personen. Zu viele Verbote verunsichern die Steuerung und machen das Ergebnis weicher statt präziser.

Text im generierten Bild ist ein Sonderfall. Schriftzeichen werden selten korrekt gerendert, besonders bei kleinen Größen und in Bewegung. Formuliere ausdrücklich, dass keine Schrift erscheinen soll, und setze alle Texte in der Nachbearbeitung. Das hat zusätzlich den Vorteil, dass sich Formulierungen jederzeit ändern lassen, ohne neu zu generieren.

Modelle auswählen: Kriterien statt Hype

Neue Systeme erscheinen im Wochenrhythmus, und jede Ankündigung verspricht den Durchbruch. Für die Praxis ist eine ruhige Bewertung anhand fester Kriterien deutlich wertvoller als das Nachjagen von Ranglisten.

Sieben Kriterien

1. Stilkompetenz: Realismus, Animation, Illustration, abstrakte Übergänge – welches System trifft deinen Stilrahmen am nächsten?
2. Personenstabilität: Bleibt ein Gesicht über mehrere Sekunden und über mehrere Szenen hinweg erkennbar?
3. Bewegungsqualität: Fließen Bewegungen natürlich, oder entstehen Artefakte bei schnellen Wechseln und bei Händen?
4. Länge pro Generierung: Reicht die maximale Einstellungslänge für deine Schnittidee, oder musst du künstlich stückeln?
5. Auflösung und Seitenverhältnisse: Werden Hoch-, Quer- und Quadratformate nativ unterstützt oder nur beschnitten?
6. Kontrollmöglichkeiten: Referenzbilder, Keyframes, feste Seeds, Bewegungssteuerung, Masken.
7. Geschwindigkeit und Durchsatz: Wie lange dauert eine Variante, und wie viele Varianten kannst du in einer Stunde prüfen? Bei Projekten mit vielen Szenen ist dieser Punkt oft wichtiger als die Spitzenqualität.

Eine Testmatrix in 20 Minuten

Nimm eine einzige repräsentative Szene deines Projekts – nicht irgendein Testmotiv, das im Alltag nie vorkommt – und generiere sie mit jedem Kandidaten in zwei Varianten: einem ruhigen Prompt und einem dynamischen. Bewerte anschließend mit Schulnoten nach den sieben Kriterien. Nach 20 Minuten hast du eine Rangliste, die sich direkt auf dein Projekt bezieht.

Wiederhole die Übung bei jedem größeren Projekt, denn die Stärken verschieben sich je nach Motivklasse. Ein System, das bei Porträts glänzt, kann bei Innenräumen mit Tageslicht schwächeln, und umgekehrt.

Allrounder plus Spezialisten

In der Praxis funktioniert eine Kombination am besten: ein zuverlässiges Allround-System für den Großteil der Szenen und zwei bis drei Spezialisten für Problemfälle wie Produktmakro, schnelle Kamerafahrten, animierte Übergänge oder dokumentarische Aufnahmen mit vielen Menschen.

Diese Aufteilung hält den Workflow planbar und verhindert, dass du für jede Kleinigkeit neue Systeme lernst. Sie hat außerdem einen wirtschaftlichen Nebeneffekt: Du kannst teure Ressourcen dort einsetzen, wo sie wirklich sichtbar werden, und den Rest effizient produzieren.

Wann sich ein Wechsel lohnt

Wechsle das Modell nicht, weil ein neues verfügbar ist, sondern wenn ein messbares Problem auftritt: Figuren brechen bei jedem dritten Lauf, Bewegungen ruckeln bei genau der Kamerafahrt, die dein Konzept braucht, oder das Format wird nur per Beschnitt unterstützt. Solche Signale sind belastbar. Ein Trend ist es nicht.

Konsistenz über Szenen hinweg sichern

Konsistenz ist das schwierigste Problem in der generativen Videoproduktion. Nicht die Qualität einzelner Bilder entscheidet über den professionellen Eindruck, sondern die Frage, ob alle Szenen glaubwürdig zur selben Welt gehören.

Figuren: maximal fünf Merkmale

Definiere für jede wiederkehrende Figur ein Merkmal-Set aus höchstens fünf Punkten: Frisur, Kleidung, Accessoire, Altersspanne, Grundstimmung. Je mehr Merkmale du variierst, desto geringer die Chance, dass die Figur über Szenen hinweg wiedererkannt wird. Halte die Liste schriftlich fest und kopiere sie wörtlich in jeden Prompt – nicht sinngemäß neu formuliert.

Wechsle außerdem die Einstellungsgröße nicht zu stark. Ein Sprung von der Großaufnahme in die weite Totale mit derselben Figur ist für viele Systeme eine harte Prüfung. Baue lieber eine Zwischengröße ein.

Produkte und Materialien

Bei Produkten gilt Ähnliches: Fixiere Perspektive, Material, Oberflächenglanz und Lichtrichtung, und ändere nur den Hintergrund. Produktaufnahmen leben von Textur. Ein Modell, das Metall und Glas glaubwürdig rendert, ist hier wertvoller als eines mit schöner Landschaftsmalerei.

Für Makroaufnahmen lohnt sich zusätzlich eine feste Bildkomposition: gleicher Winkel, gleicher Abstand, gleiche Schärfentiefe. So wirken mehrere Einstellungen wie eine Serie und nicht wie Fundstücke.

Referenzbilder, Keyframes, Seeds

Drei Werkzeuge helfen besonders:

• Referenzbilder als Stil- und Motivanker für jede Szene.
• Keyframes als Start- und Endzustand einer Einstellung, damit Bewegung nicht aus dem Nichts entsteht.
• Feste Seeds, um Varianten kontrolliert zu vergleichen, statt bei jedem Lauf neu zu würfeln.

Wenn eine Szene trotzdem ausbricht, prüfe zuerst Lichtrichtung und Farbtemperatur. Abweichendes Licht ist der häufigste Grund, warum Schnitte falsch wirken, selbst wenn Motiv und Bewegung stimmen.

Der wichtigste Anker: Lichtrichtung

Licht ist stärker als Stil. Ein Wechsel von Seitenlicht auf Gegenlicht verändert die Wirkung einer Figur mehr als ein Wechsel des Farblooks. Lege deshalb für jedes Projekt eine Lichtlogik fest – etwa „durchgehend weiches Licht von links, leicht warm“ – und prüfe sie am Ende über alle Szenen in einer gemeinsamen Ansicht.

Ton, Schnitt und Nachbearbeitung

Der Ton entscheidet über die wahrgenommene Qualität stärker, als die meisten erwarten. Ein visuell hervorragender Clip mit schlechtem Ton wirkt wie ein Entwurf.

Voice-over

Sprich Voice-over-Text langsam ein und kürze ihn danach um 15 bis 20 Prozent. Kürzere Sätze passen besser zu kurzen Einstellungen und lassen Luft für Atem und Bildwechsel. Nimm mehrere Durchgänge auf und wähle satzweise die beste Version, statt einen ganzen Take zu wiederholen.

Musik und Rhythmus

Musik sollte den Schnittrhythmus stützen: ein ruhiger Track für atmosphärische Szenen, ein rhythmischer für schnelle Abfolgen. Lass die Musik die Sprachverständlichkeit nie überdecken. Wenn du unsicher bist, senke die Musik während der Sprache um drei bis sechs Dezibel ab und ziehe sie in den bildstarken Passagen wieder an.

Schnitt und Farbe

Schneide hart auf Bewegung oder auf Satzenden. Ein Schnitt mitten in einer ruhigen Handbewegung wirkt sauber, ein Schnitt im Stillstand wirkt zufällig. Prüfe danach die Farbtemperatur aller Szenen in einer gemeinsamen Ansicht und gleiche sie an – zuerst die Helligkeit, dann den Weißabgleich, zuletzt die Sättigung.

Export und Masterfile

Exportiere immer zuerst ein Masterfile in hoher Qualität und leite daraus die Formate für die einzelnen Kanäle ab. So kannst du später weitere Varianten erzeugen, ohne alles neu zu berechnen. Danach: Upscaling auf die Zielauflösung, dezente Nachschärfung, Kompression nach Vorgabe der Plattform. Prüfe jeden Export einmal auf einem kleinen Bildschirm und einmal auf dem größten verfügbaren Gerät.

Typische Fehler und Qualitätssicherung

Die meisten Zeitverluste entstehen nicht durch Technik, sondern durch übersprungene Prüfschritte.

Fehlerkatalog

• Szenenüberladung: zu viele Handlungen in einer Einstellung. Lösung: eine Aussage pro Szene.
• Stilbruch: pro Szene eine andere Licht- oder Farbwelt. Lösung: Stilrahmen schriftlich fixieren.
• Text im Bild: Schriftzeichen werden selten korrekt gerendert. Lösung: Text in der Nachbearbeitung setzen.
• Erwartung an lange Einstellungen: statt einer langen Aufnahme besser mehrere kurze schneiden.
• Zu wenige Varianten: wer einmal generiert, akzeptiert Kompromisse.
• Kein Masterexport: fehlende Ausgangsqualität rächt sich bei jeder Formatänderung.
• Unklare Figurenmerkmale: jedes Neuformulieren verändert die Figur.
• Bewegungsinflation: drei Bewegungen gleichzeitig ergeben meist keine.
• Ignorierte Tonplanung: nachträglich eingesprochene Texte passen selten zur Bildlänge.
• Keine Puffer-Szenen: im Schnitt fehlt Material für Übergänge und Korrekturen.

Checkliste vor dem Export

1. Bleibt jede Figur über alle Szenen erkennbar?
2. Ist die Lichtrichtung in aufeinanderfolgenden Szenen konsistent?
3. Sind alle Bewegungen motiviert und ruhig genug?
4. Versteht man ohne Ton, was das Video sagt?
5. Ist das Seitenverhältnis korrekt und sind alle Ränder sauber?
6. Enthält keine Szene unbeabsichtigte Schrift oder Wasserzeichen?
7. Liegt ein Masterfile in hoher Qualität vor?

Drei Beispiel-Workflows

Social-Clip in 15 bis 30 Sekunden

Vier Szenen, eine Aussage, ein Hook in den ersten zwei Sekunden. Nutze das Allround-System, halte die Kamera ruhig und setze auf Großaufnahmen, die sofort funktionieren. Text kommt aus der Nachbearbeitung, damit er jederzeit änderbar bleibt. Prüfe die Lesbarkeit auf einem kleinen Bildschirm – wenn du die Untertitel dort nicht in zwei Sekunden erfassen kannst, sind sie zu lang.

Produkt- oder Erklärvideo in 60 bis 90 Sekunden

Zehn bis vierzehn Szenen mit klarer Dramaturgie: Problem, Lösung, Anwendung, Detail, Ergebnis. Für Produktmakro-Aufnahmen lohnt sich ein spezialisiertes System mit starker Texturwiedergabe. Voice-over trägt die Information, Bilder illustrieren sie. Plane hier bewusst Zeit für die Konsistenzprüfung ein, denn Produkte verzeihen keine Materialbrüche.

Atmosphärischer Markenfilm in 30 bis 45 Sekunden

Wenige, längere Einstellungen mit konsistenter Lichtstimmung. Hier zählt Kohärenz mehr als Abwechslung: gleiche Brennweite, gleiche Farbwelt, ruhige Bewegungen. Musik und Ton übernehmen die Führung, der Text bleibt sparsam. Der häufigste Fehler in diesem Format ist zu viel Abwechslung – wer drei Locations in 40 Sekunden presst, verliert die Stimmung.

Dokumentarischer Ausschnitt

Mehrere kurze Einstellungen mit ruhiger Kamera, natürlichem Licht und wenig Text. Achte auf glaubwürdige Details in Kleidung und Umgebung, denn Dokumentarisches wird an kleinen Ungenauigkeiten gemessen. Verzichte auf dramatische Kamerafahrten, die im Dokumentarischen selten vorkommen.

Zeit, Aufwand und Arbeitsteilung

Ein realistischer Zeitrahmen hilft, Enttäuschungen zu vermeiden. Plane grob nach dieser Faustregel:

• Skript und Szenenplan: 15 bis 20 Prozent der Gesamtzeit
• Generierung und Auswahl: 30 bis 40 Prozent
• Konsistenzkorrekturen: 10 bis 15 Prozent
• Ton, Schnitt, Farbe: 20 bis 25 Prozent
• Export und Abnahme: 5 bis 10 Prozent

Wer die Generierung unterschätzt, überschätzt meist die Nachbearbeitung. Wer umgekehrt zu lange generiert, hat am Ende kein Zeitbudget für Ton – und Ton ist der Hebel, der den größten Qualitätssprung pro investierter Minute bringt.

Bei Teamarbeit empfiehlt sich eine klare Trennung: Eine Person verantwortet Szenenplan und Stilrahmen, eine weitere die Generierung und Auswahl, eine dritte Ton und Schnitt. Wichtig ist, dass Szenenplan und Stilrahmen nicht parallel entstehen, sondern nacheinander – sonst arbeitet das Team an zwei verschiedenen Filmen.

FAQ: Häufige Fragen zum KI-Video-Workflow

Wie viele Szenen sollte ich pro Projekt planen?
Als Faustregel eine Szene pro zwei bis vier Sekunden fertiger Laufzeit, zusätzlich zwei Reserve-Szenen für den Schnitt. Reserve ist kein Luxus, sondern die Voraussetzung für einen entspannten Feinschliff.

Was tun, wenn eine Einstellung partout nicht gelingt?
Vereinfachen. Reduziere auf eine Handlung, eine Bewegung und einen Fokuspunkt. Danach wieder erweitern. Wenn es dann noch nicht klappt, ist die Szene für dieses System ungeeignet – wechsle das Werkzeug, statt weiter zu feilen.

Brauche ich für jede Szene ein neues Modell?
Nein. Die meisten Szenen sollten mit ein bis zwei Standardsystemen entstehen. Spezialisten kommen nur für Szenen mit besonderen Anforderungen zum Einsatz, etwa Produktmakro oder animierte Übergänge.

Wie halte ich Figuren über Szenen hinweg stabil?
Durch ein festes Merkmal-Set aus maximal fünf Punkten, konsistente Referenzbilder, wörtlich wiederholte Formulierungen und gleiche Lichtrichtung in allen Szenen.

Wie wichtig ist Schrift im generierten Bild?
Sehr heikel. Formuliere ausdrücklich, dass keine Schrift erscheinen soll, und setze alle Texte in der Nachbearbeitung. Das spart Korrekturschleifen und hält den Text änderbar.

Wie oft sollte ich meine Modellauswahl überprüfen?
Bei jedem größeren Projekt neu, mit der kurzen Testmatrix. So bleibst du anschlussfähig an neue Entwicklungen, ohne jeden Trend mitzunehmen.

Was ist der wichtigste Hebel für bessere Ergebnisse?
Ein präziser Szenenplan. Er entscheidet, ob die Generierung zielgerichtet arbeitet oder Material produziert, das im Schnitt nicht zusammenpasst. Alles andere – Modellwahl, Prompt-Technik, Nachbearbeitung – baut darauf auf.

Wie gehe ich mit Kritik im Team um, wenn Geschmäcker auseinandergehen?
Übersetze Geschmacksurteile in Kriterien: Lichtrichtung, Farbtemperatur, Einstellungsgröße, Schnittrhythmus. Überprüfbare Kriterien beenden Diskussionen schneller als Begriffe wie „cineastisch“ oder „modern“.