Montage vidéo IA avec ComfyUI : prompts, LoRA et workflows

Pourquoi ComfyUI change la donne en montage vidéo assisté par IA

La génération vidéo par IA a longtemps ressemblé à une boîte noire : on saisissait une phrase, on recevait un clip, et on recommençait jusqu'à obtenir quelque chose d'acceptable. Le problème n'était pas le manque de puissance des modèles, mais l'absence de contrôle. Impossible de corriger uniquement le mouvement de caméra sans casser le style, impossible de conserver le même visage d'un plan à l'autre, impossible de reproduire un rendu précis deux semaines plus tard.

Les environnements graphiques basés sur des nœuds ont renversé cette logique. ComfyUI, en particulier, transforme la génération vidéo en une chaîne d'opérations explicites : chargement du modèle, encodage du texte, conditionnement du mouvement, échantillonnage, décodage, interpolation, remontage. Chaque maillon est visible, modifiable et sauvegardable dans un fichier de workflow réutilisable. C'est la différence entre piloter une voiture et démonter le moteur pour comprendre pourquoi elle tire à droite.

Cette approche convient particulièrement au montage vidéo, parce qu'un montage n'est pas une succession de clips indépendants. C'est une continuité. Un plan doit prolonger le précédent en termes de lumière, de colorimétrie, de grain, de direction de regard et de rythme. Un pipeline à nœuds permet d'imposer ces contraintes de manière systématique, au lieu de les espérer à chaque génération.

Dans ce guide, nous allons construire une méthode complète : comprendre l'architecture d'un workflow vidéo, écrire des prompts réellement contrôlables, intégrer des LoRA pour le style et la cohérence de personnage, choisir ses modèles selon des critères clairs, puis industrialiser la production d'une séquence entière. L'objectif n'est pas de collectionner des astuces, mais de mettre en place un système reproductible.

Comprendre l'architecture d'un workflow ComfyUI pour la vidéo

Un workflow vidéo se lit de gauche à droite, mais se conçoit de l'intérieur vers l'extérieur. Avant de relier des nœuds, il faut savoir quelles décisions doivent être prises à quel moment.

Du nœud au rendu : le chemin d'un plan

Un pipeline typique comporte six zones fonctionnelles :

1. Entrées : image de départ, vidéo de référence de mouvement, masque, carte de profondeur, prompt positif et négatif.
2. Encodage : conversion du texte en embeddings, conversion des images en tenseurs latents, alignement des dimensions.
3. Conditionnement : application du mouvement, des contraintes de pose, du contrôle de caméra, des LoRA.
4. Échantillonnage : le modèle génère les latents image par image ou en bloc, selon le nombre de frames et le décodeur temporel.
5. Décodage : conversion des latents en pixels, souvent avec un VAE dédié à la vidéo.
6. Sortie : interpolation des images, correction de la colorimétrie, export en séquence PNG ou en fichier vidéo.

La plupart des échecs viennent de la confusion entre ces zones. Par exemple, changer le seed pour corriger un visage déformé alors que le problème vient d'un LoRA trop pondéré ne produira qu'une longue série d'essais frustrants.

Chargement, échantillonnage, décodage : les trois zones critiques

Trois zones concentrent 80 % des réglages utiles :

• Le chargement du modèle détermine la résolution native, la longueur maximale de séquence et la fidélité temporelle. Un modèle entraîné sur des clips courts tolère mal des séquences longues sans découpage.
• L'échantillonnage contrôle le compromis entre netteté, mouvement et temps de calcul. Les planificateurs de bruit et les paramètres de pas ont un impact direct sur la stabilité du mouvement.
• Le décodage est souvent négligé. Un décodeur inadapté produit des artefacts de couleur ou un scintillement que l'on attribue à tort au modèle de génération.

Prenez l'habitude de tester ces trois zones séparément, avec une image fixe et un prompt simple. Une fois qu'un plan de référence stable est obtenu, vous pouvez introduire le mouvement, puis les LoRA, puis les contraintes de style.

Ingénierie de prompt : structurer la description d'un plan

Un prompt vidéo n'est pas une phrase littéraire. C'est une spécification technique écrite dans un langage que le modèle comprend partiellement. La meilleure approche consiste à le traiter comme un formulaire structuré.

Le squelette en cinq blocs

Organisez chaque prompt selon cinq blocs, toujours dans le même ordre :

• Sujet : qui ou quoi, avec ses attributs physiques stables (âge apparent, morphologie, vêtements, matière).
• Action : ce qui se passe, au présent, avec un verbe principal unique.
• Cadrage : plan large, plan moyen, gros plan, contre-plongée, épaule.
• Lumière et ambiance : source principale, direction, dureté, température, heure implicite.
• Rendu : style visuel, support simulé (argentique, numérique, animation), grain, palette.

Exemple concret : « Astronaute en argile, combinaison texturée, marchant lentement vers la droite, plan moyen en légère contre-plongée, lumière rasante dorée venant de la gauche, rendu argile photographié, grain fin, palette ocre et bleu profond. »

Cette structure évite les prompts fourre-tout où le modèle choisit arbitrairement l'élément auquel se raccrocher.

Mouvements de caméra et vocabulaire cinématographique

Le mouvement de caméra est souvent mal compris par les modèles, car il se confond avec le mouvement du sujet. Trois techniques améliorent nettement le contrôle :

• Séparer les deux : décrivez d'abord le sujet immobile, puis le mouvement de caméra dans une clause distincte.
• Utiliser un vocabulaire stable : travelling avant, travelling arrière, panoramique horizontal, élévation, orbite, caméra portée, plan fixe. Évitez les métaphores poétiques.
• Renforcer par le conditionnement : un nœud dédié au contrôle de caméra ou une carte de profondeur donne un résultat plus fiable que le texte seul.

Pour un plan d'ouverture, la combinaison la plus robuste reste le plan fixe ou le lent travelling avant. Les mouvements complexes se réservent aux plans courts, où le modèle a moins de temps pour dériver.

Erreurs fréquentes de prompt

• Empiler les adjectifs contradictoires (« réaliste, cartoon, pictural, photoréaliste »). Le modèle moyenne et produit un rendu boueux.
• Décrire plusieurs actions successives dans un seul plan. Un plan égale une action.
• Oublier le prompt négatif alors qu'il corrige efficacement les mains déformées, les visages flottants et les textes parasites.
• Changer trop de variables à la fois. Modifiez un bloc par itération.

Intégrer des LoRA pour le style et la cohérence de personnage

Les LoRA (Low-Rank Adaptation) sont de petits modules d'adaptation qui modifient le comportement d'un modèle sans le réentraîner entièrement. En vidéo, ils servent surtout à deux choses : imposer un style visuel et verrouiller l'apparence d'un personnage.

Créer et entraîner un LoRA de personnage

Un LoRA de personnage utile repose sur un jeu d'images cohérent : 20 à 40 images du même visage, sous des angles et des éclairages variés, avec des expressions différentes, mais sans accessoires changeants. Nettoyez les images, recadrez sur le visage et le buste, et évitez les arrière-plans trop chargés.

L'entraînement demande de choisir un mot déclencheur rare, qui n'existe pas déjà dans le vocabulaire courant du modèle. Ce mot servira à activer le personnage dans le prompt, ce qui évite de décrire le visage à chaque plan.

Poids, déclencheurs et effets de bord

Un LoRA de style appliqué à un poids trop élevé produit un rendu rigide, saturé, avec des textures répétitives. Un poids trop faible ne se voit pas. La zone utile se situe souvent entre 0,5 et 0,8, avec des variations selon les modules.

Deux effets de bord à surveiller :

• La contamination de style : un LoRA de personnage entraîné sur des images très colorées impose sa palette à toute la scène.
• Le gel du mouvement : au-delà d'un certain poids, le LoRA réduit la diversité temporelle et la vidéo ressemble à une succession d'images presque identiques.

Testez toujours un LoRA sur un plan fixe de dix secondes avant de l'intégrer à un workflow de montage complet. Notez le poids, le mot déclencheur et le modèle de base dans un fichier de projet : c'est ce qui garantit la reproductibilité.

Choisir ses modèles : critères de décision

Le paysage des modèles vidéo est devenu très fragmenté. Plutôt que de chercher « le meilleur », définissez vos contraintes.

Qualité maximale vs vitesse

Quatre critères structurent la décision :

• Fidélité temporelle : le modèle conserve-t-il la cohérence des visages et des objets sur plusieurs secondes ?
• Résolution native : générer en basse résolution puis suréchantillonner coûte souvent plus de temps qu'une génération native correcte.
• Contrôlabilité : le modèle accepte-t-il la profondeur, la pose, les masques, les LoRA ?
• Débit de production : combien de plans utilisables par heure de calcul ?

Pour un plan héros, privilégiez la fidélité et la contrôlabilité. Pour des plans de remplissage, de transition ou d'arrière-plan, un modèle plus léger suffit largement.

Cohérence entre les modèles

Mélanger plusieurs modèles dans une même séquence est possible, mais chaque changement introduit une rupture de grain, de colorimétrie et de netteté. Trois pratiques limitent ce risque :

• Verrouiller la colorimétrie en sortie avec une étape d'étalonnage commune à tous les plans.
• Conserver la même résolution et le même cadrage avant le passage d'un modèle à l'autre.
• Utiliser un modèle de référence pour les gros plans et un modèle rapide pour les plans larges, où les détails du visage comptent moins.

Workflow pratique : produire une séquence de dix plans cohérents

Voici une méthode éprouvée pour passer d'une idée à une séquence montée.

Étape 1 : préparer le dossier de projet

Créez une arborescence claire : storyboard, images de référence, workflows exportés, séquences brutes, rendus finaux. Chaque plan reçoit un identifiant stable (P01, P02) qui servira à nommer les fichiers et à retrouver la version correspondante.

Étape 2 : générer le plan pilote

Choisissez le plan le plus représentatif de la séquence, souvent un plan moyen avec le personnage principal. Verrouillez le prompt, le seed, le LoRA et le modèle. Une fois ce plan validé, il devient la référence de style pour tous les autres.

Étape 3 : industrialiser avec contrôle

Ne changez qu'un paramètre par plan : l'action, le cadrage ou la lumière. Réutilisez le même prompt négatif, le même LoRA et le même décodeur. Générez trois variantes par plan et conservez la meilleure dans un dossier de sélection.

Étape 4 : assembler et post-traiter

Montez les plans dans un logiciel classique. Appliquez une correction colorimétrique commune, une légère réduction de bruit si nécessaire, puis une interpolation cohérente. L'objectif est d'effacer les micro-différences entre les plans plutôt que de les accentuer.

Optimiser les performances matérielles et les temps de rendu

La génération vidéo est gourmande. Quelques réglages changent radicalement le confort de travail :

• Découper les séquences longues en blocs de frames avec chevauchement, puis recomposer. Cela réduit la mémoire requise et limite la dérive du mouvement.
• Précalculer les embeddings de texte lorsque le prompt est stable sur plusieurs plans.
• Réutiliser les latents d'un plan à l'autre quand seule la caméra change, pour conserver la scène.
• Baisser la résolution pendant les tests, puis remonter uniquement sur les plans validés.
• Surveiller la mémoire vidéo : un dépassement provoque souvent un rendu tronqué sans message d'erreur explicite.

Conservez un journal des réglages. Un workflow enregistré sans note sur la version du modèle et le poids des LoRA devient inutilisable quelques semaines plus tard.

Contrôle du mouvement : caméra, profondeur et interpolation

Le mouvement est la dimension la plus difficile à maîtriser. Trois leviers se combinent :

1. Le texte, qui donne l'intention générale.
2. Les cartes de profondeur ou de pose, qui imposent la structure spatiale.
3. L'interpolation d'images, qui lisse le mouvement en fin de chaîne.

Un ordre de priorité utile : commencez par la structure (profondeur, pose), ajoutez ensuite le texte pour l'ambiance et le rendu, et terminez par l'interpolation. Si le mouvement est faux dans la structure, aucun prompt ne le sauvera.

Attention à l'interpolation excessive : elle crée des artefacts de dédoublement sur les contours nets et sur les mains. Mieux vaut un mouvement un peu moins fluide qu'un plan parsemé de fantômes.

Dépannage : les problèmes les plus courants

Le visage change entre les plans. Vérifiez le LoRA de personnage, le mot déclencheur et le seed. Si le problème persiste, réduisez le nombre de plans par génération et verrouillez le cadrage.

Le mouvement tremble ou scintille. Réduisez les pas d'échantillonnage, changez de planificateur, ou découpez la séquence. Le scintillement vient souvent d'une longueur de clip supérieure à ce que le modèle a appris.

Les couleurs dérivent d'un plan à l'autre. Le décodeur ou le LoRA de style est probablement en cause. Testez avec le LoRA désactivé pour isoler le problème.

Le rendu est net mais figé. Le poids du LoRA est trop élevé ou la contrainte de profondeur est trop stricte. Assouplissez l'un des deux.

La génération plante sans message. La mémoire est saturée. Diminuez la résolution, la longueur ou le nombre de nœuds chargés simultanément.

FAQ

Faut-il savoir coder pour utiliser un workflow à nœuds ? Non. Comprendre la logique des étapes (encodage, conditionnement, échantillonnage, décodage) suffit pour construire et modifier un pipeline.

Combien d'images de référence pour un LoRA de personnage ? Entre 20 et 40 images propres, variées en angle et en lumière, donnent généralement un résultat exploitable.

Peut-on mélanger plusieurs LoRA dans un même plan ? Oui, mais avec parcimonie. Un LoRA de personnage et un LoRA de style suffisent souvent ; au-delà, les effets se neutralisent et le rendu devient instable.

Quelle longueur de plan viser ? Commencez par des plans de trois à cinq secondes. Les plans plus longs demandent un découpage et une recomposition soignée.

Comment garantir la cohérence d'une séquence entière ? En figeant tout ce qui peut l'être : modèle, décodeur, LoRA, prompt négatif, résolution et étalonnage final. Ne variez qu'un paramètre à la fois.

Le prompt suffit-il pour contrôler la caméra ? Rarement. Le texte donne l'intention, mais les contraintes de profondeur, de pose ou de trajectoire donnent la précision.

Faut-il interpoler tous les plans ? Non. L'interpolation est utile pour les mouvements continus ; sur un plan fixe, elle apporte peu et peut introduire des artefacts.

Comment progresser rapidement ? Reproduisez un workflow existant, modifiez un seul nœud, observez l'effet, notez le résultat. La maîtrise vient de l'itération documentée, pas de l'accumulation d'outils.