La génération vidéo par IA ne récompense pas les prompts les plus longs, mais les plus précis. Une image fixe peut pardonner une description vague; une scène animée, non. Dès que le modèle doit inventer un mouvement, maintenir un visage, gérer une transition et respecter une durée, chaque ambiguïté devient une erreur visible. Le prompt engineering vidéo consiste donc à traduire une intention de mise en scène en instructions que le modèle peut exécuter plan par plan.
Pourquoi le prompt engineering vidéo est une compétence de mise en scène
La vidéo générée par IA n’est pas une simple suite d’images. Le modèle doit comprendre une action, la décomposer dans le temps, conserver une cohérence entre les instants et produire un mouvement crédible. Un prompt vidéo efficace ressemble moins à une légende d’image qu’à une note d’intention de réalisateur. Il indique qui agit, où, comment, avec quelle caméra, dans quelle lumière, à quel rythme et dans quel style.
Cette différence change la méthode. Pour une image, on peut écrire une longue liste d’adjectifs et laisser le modèle composer. Pour une vidéo, il faut hiérarchiser. Le sujet principal doit être identifiable en quelques mots. L’action doit être formulée avec un verbe précis. La caméra doit être décrite comme un mouvement, pas comme un objet. La lumière doit soutenir l’émotion. Le style doit rester stable d’un plan à l’autre. Enfin, la durée et le format doivent être compatibles avec l’outil utilisé.
Les générateurs récents progressent sur la physique, les visages et les mouvements de caméra, mais ils restent sensibles aux contradictions. Si le prompt demande à la fois un plan large et un gros plan, une lumière douce et des ombres dures, un mouvement rapide et un ralenti, le modèle choisit une moyenne imprévisible. La clarté n’est pas une option esthétique: c’est une condition de contrôle.
Un autre point distingue la vidéo: la continuité. Une image isolée peut être jugée sur sa beauté. Une séquence est jugée sur sa capacité à faire oublier la génération. Si un personnage change de veste entre deux plans, si la lumière saute d’une scène à l’autre ou si un objet disparaît, le spectateur décroche. Le prompt engineering vidéo doit donc anticiper le montage, même si vous générez chaque plan séparément.
Les composants essentiels d’un prompt vidéo
Un prompt vidéo complet peut se lire comme une courte fiche technique. Tous les composants ne sont pas obligatoires, mais chacun répond à une question précise. Plus la scène est complexe, plus il faut les expliciter.
Le sujet et l’action
Le sujet est l’élément que le spectateur doit suivre. Il peut être un personnage, un objet, un animal, un paysage ou une abstraction. L’action doit être décrite avec un verbe concret: marche, ouvre, tourne, saute, regarde, soulève, traverse. Les verbes vagues comme évolue ou interagit donnent des résultats mous. Les actions composées doivent être limitées à une ou deux par plan. Si un personnage doit entrer, s’asseoir et parler, mieux vaut découper en plusieurs plans ou accepter que le modèle simplifie.
Exemple faible: une femme dans une ville.
Exemple utile: une femme en manteau rouge marche sous la pluie, elle tient une mallette, elle regarde vers la caméra à la fin du plan.
La formulation de l’action doit inclure un début et une fin perceptibles. Le modèle a besoin de savoir ce qui change pendant le plan. Un personnage qui marche peut simplement traverser le cadre. Un personnage qui s’arrête, tourne la tête et pose sa valise raconte déjà une micro-histoire. Plus l’action a une progression claire, plus la vidéo paraît intentionnelle.
La caméra et le mouvement
La caméra est l’un des plus grands leviers créatifs. Un plan fixe, un travelling avant, un travelling latéral, une grue, un drone, une caméra portée, un zoom lent ou un plan subjectif ne racontent pas la même chose. Les modèles répondent mieux aux indications simples et physiques. Préférez « travelling avant lent » à « caméra dramatique ». Précisez si la caméra suit le sujet, si elle tourne autour de lui ou si elle reste immobile pendant que le sujet s’éloigne.
Il faut aussi penser à la vitesse. Un mouvement trop rapide peut créer du flou ou des déformations. Un mouvement trop lent peut être interprété comme une image presque fixe. Pour les plans d’action, indiquez un mouvement de caméra minimal et laissez le sujet produire l’énergie. Pour les plans d’ambiance, le mouvement de caméra peut porter la scène. Un léger panoramique peut révéler un décor, un travelling avant peut créer de l’intimité, un recul peut produire un sentiment de solitude.
La lumière et la palette
La lumière structure la profondeur et l’émotion. Les descriptions utiles incluent la source, la direction, la qualité et la couleur. Par exemple: lumière naturelle de fin d’après-midi, soleil bas à gauche, ombres longues, reflets dorés sur le sol. Ou: néons bleus et roses, contraste élevé, nuit urbaine humide, reflets sur l’asphalte.
Évitez les termes trop subjectifs seuls. « Belle lumière » ne donne pas d’indication. « Lumière chaude et douce » est déjà plus exploitable. « Lumière chaude de fenêtre, côté droit, poussière visible dans le faisceau » est encore meilleur. La palette doit rester cohérente avec le style et l’émotion. Une palette trop large produit souvent des couleurs instables entre les plans.
Le style et le grain
Le style peut être cinématographique, documentaire, publicitaire, animation, argile, aquarelle, néon, rétro, VHS, argentique ou hyperréaliste. Là encore, un terme précis vaut mieux qu’une accumulation. « Rendu argentique 16 mm, grain fin, halation légère, contraste doux » est plus contrôlable que « style cinéma ». Le style doit être répété dans chaque prompt d’une même séquence, sinon le modèle peut changer de rendu au plan suivant.
Pour les séries de plans, créez une formule de style fixe. Par exemple: « cinématographique, objectif 35 mm, grain fin, couleurs désaturées, contraste moyen, lumière naturelle ». Cette formule devient un verrou. Vous ne la modifiez que si vous changez volontairement d’ambiance.
Le rythme et la durée
La durée est une contrainte technique et narrative. Certains modèles produisent quelques secondes, d’autres permettent des plans plus longs. Un plan de deux secondes ne peut pas raconter une action complexe. Un plan de dix secondes peut sembler lent s’il n’y a pas de progression. Indiquez si le plan doit être un moment suspendu, une action continue ou une transition. Pour une scène dialoguée, mieux vaut générer des plans séparés et les monter ensuite.
Le rythme se joue aussi dans la description: un mouvement de caméra lent, un personnage qui s’arrête, un objet qui tombe, une porte qui se ferme. Les micro-événements donnent au modèle des points d’appui temporels. Sans eux, la vidéo peut rester jolie mais vide.
L’audio et l’ambiance
Lorsque l’outil gère l’audio, l’ambiance sonore peut être décrite séparément: pluie fine, pas sur le gravier, bourdonnement de néon, vent lointain, foule étouffée. Il ne faut pas confondre description visuelle et description sonore. Si le modèle ne prend pas en charge l’audio, ces indications sont inutiles et peuvent même polluer le prompt. Vérifiez toujours les capacités de l’outil avant d’ajouter une couche sonore.
Exemple de prompt complet
Plan moyen, une horlogère âgée ajuste un rouage minuscule sur un établi en bois. Travelling avant très lent. Lumière chaude de lampe, poussière dans l’air, ombres douces. Style documentaire, objectif 50 mm, grain fin, couleurs légèrement désaturées. Arrière-plan atelier, outils en laiton, fenêtre floue à droite. Mouvement subtil des mains, reflets sur le métal, aucune coupure brutale.
Ce prompt contient un sujet, une action, une caméra, une lumière, un style, un décor et une contrainte de mouvement. Il est assez court pour être testé, assez précis pour être contrôlé. C’est le type de base à adapter pour chaque plan.
Structurer un prompt : grammaire, ordre et pondération
La structure d’un prompt vidéo influence le résultat. Les modèles ne lisent pas comme un humain; ils pondèrent les tokens et les concepts. Un ordre clair réduit les conflits.
L’ordre de lecture
Une structure fiable consiste à commencer par le plan et le sujet, puis l’action, puis la caméra, puis la lumière, puis le style, puis les contraintes. Par exemple: « Plan moyen, une horlogère âgée ajuste un rouage minuscule. Travelling avant très lent. Lumière chaude de lampe, poussière dans l’air. Style documentaire, objectif 50 mm, grain fin. Arrière-plan atelier, outils en laiton. »
Cet ordre place l’information la plus importante au début. Si le modèle tronque ou simplifie, il conserve au moins le sujet et l’action. Les détails secondaires viennent ensuite. Pour les scènes d’action, inversez légèrement: action d’abord, puis caméra, puis style.
Séparateurs et pondération
Les virgules, les points et les retours à la ligne aident à distinguer les blocs. Certains outils acceptent des poids comme (mot:1.2) ou des syntaxes équivalentes. Utilisez-les avec parcimonie. Une pondération excessive rend le prompt fragile et difficile à réutiliser. Préférez répéter un concept important dans deux formulations complémentaires plutôt que d’ajouter des symboles.
Les parenthèses et crochets peuvent avoir des significations différentes selon les modèles. Vérifiez la documentation de l’outil. Dans le doute, une phrase simple et bien ordonnée fonctionne souvent mieux qu’une syntaxe complexe mal comprise.
Formuler les négations
La négation est utile mais délicate. Dire « pas de texte » ou « sans logo » peut aider à éviter des artefacts. Cependant, certains modèles interprètent mal les négations et intègrent quand même l’élément indésirable. Une stratégie plus robuste consiste à décrire positivement ce que vous voulez: « arrière-plan propre et uniforme » plutôt que « pas de détails ». Si vous devez nier, placez la négation en fin de prompt et limitez-vous à deux ou trois éléments.
L’itération contrôlée
Ne changez qu’une variable à la fois. Si vous modifiez la lumière, la caméra et le style en même temps, vous ne saurez pas ce qui a produit l’amélioration. Générez plusieurs variantes avec la même graine ou le même prompt de base, puis comparez. Notez les formulations qui fonctionnent. Un bon prompt vidéo est souvent le résultat de cinq à dix itérations courtes, pas d’un seul texte parfait.
Cohérence et continuité : le vrai défi
La cohérence est ce qui sépare une démo impressionnante d’une séquence utilisable. Un personnage doit rester reconnaissable, un décor doit évoluer logiquement, une lumière doit rester stable. Les modèles n’ont pas de mémoire parfaite. Il faut donc construire des ancrages.
Fiches personnages et éléments
Créez une fiche pour chaque personnage: âge apparent, morphologie, coiffure, couleur des yeux, vêtements, accessoires, posture, voix éventuelle. Réutilisez les mêmes termes dans chaque prompt. Si possible, utilisez une image de référence ou un entraînement léger. Évitez les descriptions contradictoires comme « cheveux courts » dans un plan et « longue queue de cheval » dans le suivant.
Pour les objets, faites de même. Une valise en cuir brun avec une éraflure sur le coin, une montre à cadran bleu, une voiture rouge des années 1960. Plus l’objet est précis, plus il est facile à retrouver. Les objets génériques changent de forme et de couleur entre les plans.
Verrous de style
Le verrou de style est une phrase répétée dans chaque prompt. Il peut inclure le format, l’objectif, la palette, le grain, le contraste et le type de lumière. Par exemple: « format 16:9, objectif 35 mm, palette désaturée, grain fin, lumière naturelle, contraste moyen ». Ce verrou réduit les variations involontaires. Il ne remplace pas la direction artistique, mais il stabilise la base.
Transitions et rythme
Les transitions ne sont pas seulement un travail de montage. Elles peuvent être préparées dans le prompt. Un plan qui se termine par un mouvement de caméra vers le ciel peut faciliter une transition vers un plan aérien. Un personnage qui regarde hors champ peut appeler le plan suivant. Un objet qui sort du cadre peut réapparaître ailleurs. Pensez en continuité visuelle: mouvement, direction, couleur, forme.
Le rythme se construit au montage, mais aussi dans la génération. Alternez plans larges et serrés, mouvements lents et actions nettes, silence et ambiance. Une séquence entièrement composée de travellings avant peut devenir monotone. Une séquence entièrement composée de gros plans peut perdre le contexte. La variété des échelles de plan est un outil simple et puissant.
Image-to-video, références et contrôle visuel
Le texte seul a des limites. Les références visuelles apportent une précision que les mots ne peuvent pas toujours atteindre.
Image de départ
L’image-to-video part d’une image fixe et la met en mouvement. C’est idéal pour contrôler la composition, le personnage et la palette. Le prompt doit alors décrire le mouvement, pas redécrire l’image. Par exemple: « la caméra avance lentement, les cheveux bougent dans le vent, la fumée s’élève, les reflets scintillent ». Si vous redécrivez trop l’image, le modèle peut la modifier inutilement.
Choisissez une image de départ nette, bien éclairée et cohérente avec le mouvement souhaité. Une image floue ou ambiguë produira une vidéo instable. Évitez les images avec trop de détails contradictoires ou de texte. Si l’image contient déjà un visage, le modèle peut le préserver ou le déformer selon le mouvement demandé.
Références de style et de mouvement
Certains outils acceptent une image de style, une vidéo de référence ou un contrôle de mouvement. Utilisez-les pour transmettre une texture, une palette, un type de caméra ou une chorégraphie. Ne mélangez pas trop de références: une référence de style et une référence de mouvement suffisent souvent. Si les références sont contradictoires, le résultat devient imprévisible.
Masques et zones de contrôle
Les masques permettent de limiter le mouvement à une zone. Par exemple, animer seulement un visage, une fumée ou un reflet, tout en gardant le décor fixe. C’est utile pour les portraits, les produits et les plans composites. Le masque doit être net et suivi d’un prompt simple: « mouvement subtil des lèvres, clignement des yeux, aucune déformation du visage ». Pour un produit, « rotation lente sur un socle, reflets qui glissent, arrière-plan immobile ».
Workflow créatif pas à pas
Un workflow reproductible vaut mieux qu’une inspiration unique. Voici une méthode en sept étapes.
1. Brief et intention
Écrivez en une phrase ce que la scène doit faire ressentir ou comprendre. Par exemple: « montrer la solitude d’une voyageuse dans une gare vide ». Cette intention guide toutes les décisions. Si le prompt ne sert pas cette phrase, il est probablement trop chargé.
2. Moodboard et découpage
Rassemblez des références visuelles: lumière, cadre, costume, décor, mouvement. Découpez la scène en plans. Un plan par idée. Pour chaque plan, notez l’échelle, l’action, la caméra et la durée approximative. Ce découpage évite de demander à un seul plan de tout raconter.
3. Rédaction du prompt
Rédigez un prompt par plan avec la structure sujet, action, caméra, lumière, style, contraintes. Utilisez la même formule de style pour tous les plans. Ajoutez les références visuelles si l’outil les accepte. Gardez une version courte et une version longue: la courte pour les tests, la longue pour les rendus finaux.
4. Tests rapides
Générez plusieurs variantes en basse résolution ou en version rapide. Comparez la composition, le mouvement et la cohérence du personnage. Ne jugez pas seulement la beauté de l’image: vérifiez si l’action demandée est compréhensible. Un plan magnifique mais sans action utile ne sert pas le montage.
5. Sélection et itération
Sélectionnez la meilleure variante. Identifiez le problème principal: mouvement trop fort, visage instable, lumière incohérente, style trop différent. Modifiez une seule variable et relancez. Conservez un journal des prompts et des paramètres. Après quelques cycles, vous obtenez une recette fiable.
6. Post-production
Même les meilleures générations demandent un montage. Stabilisez si nécessaire, ajustez la vitesse, coupez les frames faibles, étalonnez les couleurs, ajoutez du son. Pour les séquences avec personnages, vérifiez la continuité des vêtements et des accessoires. Un raccord invisible vaut mieux qu’une correction logicielle complexe.
7. Archivage et réutilisation
Sauvegardez les prompts qui fonctionnent, les images de référence, les réglages et les notes. Créez une bibliothèque de formules: portrait, paysage, action, produit, transition. La réutilisation accélère les projets suivants et améliore la cohérence globale.
Exemples de prompts par type de plan
Portrait: plan rapproché, une musicienne ferme les yeux, respiration lente, lumière de fenêtre sur la joue gauche, fond sombre flou, objectif 85 mm, grain fin, mouvement presque imperceptible.
Paysage: plan large, brume sur une vallée au lever du jour, travelling latéral très lent, lumière froide et diffuse, oiseaux lointains, style naturaliste, contraste doux.
Action: plan moyen, un cycliste franchit une flaque, caméra fixe, éclaboussures au ralenti, lumière grise d’après-pluie, contraste élevé, mouvement net.
Produit: gros plan, une montre en acier tourne lentement sur un socle noir, éclairage en bande, reflets contrôlés, fond uniforme, aucune main, rendu publicitaire net.
Transition: plan large, une porte s’ouvre vers une lumière blanche, caméra avance, surexposition progressive, mouvement continu, style épuré.
Choisir le bon modèle selon le plan
Tous les modèles ne sont pas équivalents. Certains excellent dans le réalisme, d’autres dans le mouvement, l’animation, la durée ou le contrôle par image. Le choix dépend du plan, pas de la marque.
Pour un plan photoréaliste avec un visage, cherchez un modèle fort en cohérence d’identité et en image-to-video. Pour un plan d’action rapide, privilégiez un modèle qui gère bien le mouvement et la physique. Pour une animation stylisée, choisissez un modèle qui respecte les formes et les couleurs. Pour un plan produit, vérifiez la netteté, les reflets et la stabilité du cadre.
Critères de décision:
- Contrôle de la caméra: le modèle comprend-il travelling, panoramique, zoom, grue ?
- Cohérence du sujet: le personnage reste-t-il stable sur plusieurs secondes ?
- Durée utile: quelle est la longueur maximale sans dérive ?
- Références: accepte-t-il une image de départ, un masque, une vidéo de mouvement ?
- Style: le rendu correspond-il à votre direction artistique ?
- Itération: le coût en temps et en essais est-il compatible avec votre projet ?
- Export: format, résolution, fréquence d’images et intégration au montage.
Il est souvent plus efficace de combiner plusieurs outils. Un modèle pour les plans d’ambiance, un autre pour les visages, un troisième pour les transitions. Le montage final masque les différences si la lumière et le style sont harmonisés. L’important n’est pas d’utiliser le plus grand nombre d’outils, mais de choisir celui qui répond le mieux au plan que vous devez produire.
Erreurs fréquentes et corrections
Erreur 1: prompt trop long. Correction: réduisez à un sujet, une action, une caméra et un style. Ajoutez les détails ensuite.
Erreur 2: contradictions. Correction: vérifiez que la lumière, le mouvement et le style ne s’opposent pas.
Erreur 3: action multiple dans un plan. Correction: découpez en plusieurs plans ou choisissez l’action principale.
Erreur 4: absence de mouvement de caméra. Correction: ajoutez un mouvement simple ou assumez le plan fixe.
Erreur 5: personnage incohérent. Correction: fiche personnage, image de référence, formule répétée.
Erreur 6: négations excessives. Correction: décrivez positivement l’arrière-plan et les éléments voulus.
Erreur 7: style qui change. Correction: verrou de style identique dans chaque prompt.
Erreur 8: jugement sur une seule génération. Correction: testez plusieurs variantes et itérez.
Erreur 9: audio demandé à un modèle qui ne le gère pas. Correction: vérifiez les capacités avant.
Erreur 10: format oublié. Correction: précisez 16:9, 9:16, 1:1, 24 i/s ou 30 i/s selon le besoin.
Une erreur fréquente consiste aussi à confondre précision et accumulation. Un prompt n’est pas une liste de courses. Chaque adjectif doit avoir une fonction. Si vous retirez un mot et que le résultat ne change pas, ce mot n’était probablement pas nécessaire. À l’inverse, si un plan échoue toujours de la même manière, ajoutez une contrainte ciblée plutôt que de réécrire tout le prompt.
FAQ
Combien de mots doit contenir un prompt vidéo ?
Il n’y a pas de nombre magique. Un prompt utile fait souvent entre 20 et 80 mots. Les scènes complexes peuvent demander plus, mais chaque mot doit apporter une information exploitable. Si vous dépassez 120 mots, vérifiez que vous ne répétez pas ou ne contredisez pas.
Faut-il écrire les prompts en anglais ?
Certains modèles sont optimisés pour l’anglais, mais beaucoup comprennent le français. Testez les deux. Si vous écrivez en français, utilisez des termes visuels précis et évitez les expressions trop littéraires. Vous pouvez aussi rédiger en français puis traduire les termes techniques de caméra et de lumière.
Comment garder un visage stable ?
Utilisez une image de référence, une fiche personnage détaillée et des mouvements de caméra modérés. Évitez les rotations rapides, les gros plans extrêmes et les changements d’éclairage brutaux. Générez des plans courts et assemblez-les.
Pourquoi mon personnage change-t-il de vêtements ?
Le modèle n’a pas de mémoire persistante. Répétez la description des vêtements dans chaque prompt, utilisez la même référence et évitez les prompts trop longs où le vêtement se perd. Pour les séquences longues, générez d’abord des images de référence cohérentes.
Comment créer une transition fluide ?
Préparez la fin du plan A et le début du plan B avec un mouvement, une direction ou une couleur commune. Par exemple, un mouvement de caméra vers la droite peut se poursuivre dans le plan suivant. Au montage, coupez sur le mouvement.
Quel modèle choisir pour un court-métrage ?
Il n’existe pas de réponse unique. Combinez les forces: un modèle pour les portraits, un autre pour les paysages, un autre pour l’action. Le plus important est de standardiser le style et le format pour que les plans se ressemblent.
Comment éviter les artefacts sur les mains ?
Réduisez l’action des mains, cadrez plus large ou utilisez une image de départ nette. Les modèles progressent, mais les mains restent un point sensible. Si une main est essentielle, générez plusieurs variantes et choisissez la plus propre.
Peut-on générer une scène complète en un seul prompt ?
Parfois, pour un plan unique et simple. Pour une scène avec plusieurs actions, personnages ou transitions, découpez. Le montage vous donnera plus de contrôle et un meilleur rythme.
Conclusion
Le prompt engineering vidéo est une discipline de précision. Il ne s’agit pas de trouver une formule magique, mais de construire un vocabulaire commun avec le modèle: sujet, action, caméra, lumière, style, contraintes. Plus ce vocabulaire est stable, plus les résultats sont reproductibles. La cohérence vient de la répétition et de la méthode, pas de la chance. En travaillant plan par plan, en testant une variable à la fois et en gardant des références visuelles, vous transformez un générateur imprévisible en véritable outil de réalisation.
