Le problème de la voiture en montagne est l'un des exercices les plus instructifs de l'apprentissage par renforcement. Un véhicule, placé dans une vallée, doit gravir une pente raide, mais son moteur est trop faible pour y parvenir directement. La seule solution est d'utiliser l'élan : reculer pour prendre de la vitesse, puis remonter la pente en accumulant suffisamment d'énergie cinétique. Ce problème, rendu célèbre par l'environnement MountainCar d'OpenAI Gym, aujourd'hui maintenu dans Gymnasium, condense en quelques lignes de code les défis fondamentaux de la robotique et de la conduite autonome : exploration, crédit temporel, physique non linéaire et compromis entre sécurité et performance.
Pourquoi ce problème est un cas d'école
La conduite autonome a beaucoup progressé sur autoroute, où les scénarios sont réguliers et prévisibles. Les environnements difficiles, comme les routes de montagne avec leurs pentes, leurs virages serrés et leurs conditions variables, restent un goulet d'étranglement. Le problème de la voiture en montagne est une version miniaturisée de cette difficulté : l'agent doit apprendre un comportement contre-intuitif, reculer avant d'avancer, et planifier sur plusieurs pas de temps. C'est un banc d'essai idéal pour comparer des algorithmes, valider des fonctions de récompense et mesurer la robustesse d'une politique apprise avant de l'envoyer dans un véhicule réel.
En 2026, l'importance de ce type d'analyse est renforcée par la pression réglementaire sur la sécurité des systèmes autonomes. Les autorités demandent des preuves de généralisation, pas seulement des démonstrations sur des scénarios favorables. Savoir formaliser un problème, choisir le bon algorithme, et évaluer la politique avec des métriques pertinentes est devenu une compétence centrale pour toute équipe qui travaille sur l'IA appliquée à l'automobile.
Modéliser l'environnement montagneux
La première étape consiste à définir rigoureusement l'espace d'états, l'espace d'actions et la fonction de récompense dans le cadre Gym. La qualité de cette modélisation détermine tout le reste.
Espace d'états
Dans la version classique, l'état est composé de deux variables continues : la position du véhicule le long de la pente et sa vitesse. C'est volontairement minimaliste. Ce choix pédagogique permet d'isoler la difficulté de l'apprentissage, mais pour une analyse plus réaliste, on peut enrichir l'état avec l'inclinaison locale de la route, l'adhérence estimée, ou la présence d'obstacles. La règle d'or est de n'ajouter que des variables observables et pertinentes pour la décision : chaque dimension supplémentaire augmente la dimensionnalité de l'espace et rend l'apprentissage plus lent, sans garantie de bénéfice.
Espace d'actions et contraintes physiques
L'action classique est discrète : pousser à gauche, ne rien faire, pousser à droite. Cette discrétisation simplifie l'apprentissage mais limite la finesse du contrôle. Les variantes continues, où l'action est une force appliquée dans un intervalle borné, se rapprochent davantage de la physique réelle d'un véhicule. Les contraintes physiques doivent être explicites : la force maximale, l'inertie, le frottement et la pente déterminent si la tâche est réalisable et comment. Un bon modèle conserve ces contraintes dans le code de l'environnement plutôt que dans la tête de l'ingénieur, pour que l'agent apprenne la dynamique réelle et pas une version idéalisée.
Fonction de récompense
La récompense par défaut de MountainCar pénalise chaque pas de temps et ne récompense que l'atteinte du drapeau. Cette formulation éparse est pédagogiquement intéressante, mais elle rend l'apprentissage lent. Pour accélérer la convergence, on peut ajouter une récompense de forme (potential-based shaping) qui encourage le véhicule à s'approcher du sommet. La prudence s'impose : une fonction de récompense mal conçue produit des comportements opportunistes, comme un véhicule qui oscille au sommet sans jamais terminer la tâche. Il faut tester la politique apprise et vérifier qu'elle correspond bien à l'intention, pas seulement que la somme des récompenses augmente.
Les algorithmes qui fonctionnent
Le problème de la voiture en montagne est un excellent comparatif d'algorithmes, car il est assez simple pour être résolu rapidement mais assez difficile pour révéler les faiblesses des méthodes.
PPO pour les politiques stables
Proximal Policy Optimization est le choix par défaut pour ce type de tâche. Il est stable, relativement robuste aux hyperparamètres, et fonctionne aussi bien avec des actions discrètes que continues. L'astuce pratique est de prêter attention à l'exploration initiale : avec une récompense éparse, l'agent doit découvrir par hasard que reculer produit un gain d'élan. Un taux d'exploration initial suffisant, ou un pré-entraînement avec une récompense de forme, accélère considérablement l'apprentissage.
SAC pour les variantes continues
Soft Actor-Critic brille lorsque l'action est continue et que l'on veut une politique robuste à l'aléa. Son objectif inclut un terme d'entropie qui maintient l'exploration, ce qui donne des politiques plus lisses, souvent plus faciles à transférer vers une simulation ou un véhicule réel. Le coût est une plus grande sensibilité aux hyperparamètres et une utilisation mémoire plus élevée. Pour une analyse comparative, SAC est un excellent point de référence pour évaluer le plafond de performance d'un environnement continu.
Approches tabulaires et variantes discrètes
Pour les versions discrètes à petit état, des méthodes simples comme Q-Learning avec approximation de fonction, ou même des approches tabulaires sur un état discrétisé, suffisent souvent. C'est une étape utile pour valider la modélisation avant d'investir dans des algorithmes plus lourds : si une méthode simple ne converge pas, le problème vient probablement de la modélisation, pas de l'algorithme.
Multi-objectifs et transfert sim-to-real
La conduite en montagne ne se résume pas à atteindre le sommet. Une politique utile doit respecter plusieurs objectifs : consommation d'énergie, usure mécanique, confort des passagers, et surtout sécurité. L'apprentissage multi-objectifs consiste à pondérer ces objectifs dans la fonction de récompense ou à apprendre plusieurs politiques sur un front de Pareto, puis à choisir le compromis adapté au contexte.
Le transfert sim-to-real est l'étape suivante. Une politique apprise sur une simulation propre échoue souvent dans le monde réel à cause de l'écart de modélisation : frottement différent, latence des capteurs, bruit. Les techniques de domain randomization, qui varient aléatoirement les paramètres physiques pendant l'entraînement, rendent la politique robuste à ces écarts. On peut aussi entraîner dans plusieurs environnements simulés avec des dynamiques différentes, et vérifier que la politique reste performante sur l'ensemble. L'objectif est de mesurer la robustesse avant le déploiement, pas de la découvrir après un accident.
Sécurité et apprentissage sous contraintes
Une politique qui atteint le sommet en fonçant à pleine vitesse n'est pas forcément acceptable. La sécurité intrinsèque doit être intégrée au processus d'optimisation, pas ajoutée après coup. L'apprentissage par renforcement sous contraintes (constrained RL) formalise ce compromis : maximiser la performance sous réserve que certaines violations, comme un dépassement de vitesse ou une accélération excessive, restent sous un seuil donné.
Concrètement, cela revient à maintenir une estimation du coût cumulé de la politique et à pénaliser ou rejeter les mises à jour qui violent la contrainte. Des méthodes comme les approches primal-dual ou les variantes de PPO avec pénalité de contrainte sont bien adaptées. Le point clé est de choisir les contraintes avec les experts du domaine : quelles grandeurs physiques sont réellement dangereuses, et quels seuils sont acceptables. Une contrainte mal formulée dégrade la performance sans apporter de sécurité réelle.
Métriques de performance spécifiques aux pentes
Les métriques classiques, comme la récompense moyenne, ne suffisent pas pour évaluer une politique de conduite en montagne. Il faut des indicateurs contextuels : le taux de réussite sur les pentes raides, le temps moyen pour gravir une section donnée, la consommation d'énergie par mètre de dénivelé, la variance de la trajectoire, et le nombre de violations de contraintes par épisode. Pour la descente, on mesurera le contrôle de la vitesse et la capacité à négocier des virages en pente sans perte d'adhérence.
Une bonne pratique est de constituer un jeu d'évaluation fixe : une centaine de scénarios représentatifs avec des pentes, des conditions d'adhérence et des points de départ variés. Chaque candidature d'algorithme est évaluée sur ce jeu complet, et les résultats sont comparés sur un tableau de bord. Cela évite les conclusions tirées d'un seul épisode chanceux et rend les décisions d'ingénierie audibles.
De l'expérimentation à la production
OpenAI Gym et Gymnasium sont des environnements de recherche, pas des plateformes de production. Passer de la simulation à un système réel demande de réfléchir à l'infrastructure : capture des expériences, versionnement des environnements et des politiques, surveillance en continu des performances, et mécanisme de rollback. Une politique qui fonctionnait en laboratoire peut dériver en production, soit parce que l'environnement a changé, soit parce que les données d'entraînement ne représentent plus la réalité. Un pipeline d'évaluation automatisé, relancé régulièrement sur le jeu de scénarios fixes, est la meilleure protection.
Un workflow pas à pas
Pour reproduire l'analyse complète, le chemin le plus simple est le suivant. Premièrement, installer Gymnasium et charger l'environnement MountainCar. Deuxièmement, écrire un environnement personnalisé si l'on veut enrichir l'état ou les contraintes physiques. Troisièmement, commencer par une méthode simple pour valider la modélisation. Quatrièmement, passer à PPO ou SAC avec une récompense de forme bien calibrée. Cinquièmement, évaluer sur un jeu de scénarios fixes avec les métriques de pente. Sixièmement, ajouter des contraintes de sécurité et mesurer leur impact. Septièmement, appliquer la randomisation de domaine pour préparer le transfert. Chaque étape produit un artefact vérifiable, ce qui rend le projet auditable et réutilisable.
Réglages pratiques et pièges à éviter
Quelques réglages font souvent la différence entre un apprentissage qui converge et un apprentissage qui tourne en rond. Le taux d'apprentissage est le premier suspect : trop élevé, la politique oscille et diverge ; trop bas, l'apprentissage devient interminable. Une bonne pratique consiste à tester une plage logarithmique, par exemple de 1e-4 à 3e-3 pour PPO, et à conserver la valeur qui donne la meilleure stabilité sur le jeu d'évaluation. La taille du lot détermine le bruit des mises à jour : des lots plus grands stabilisent mais ralentissent ; des lots plus petits explorent davantage mais risquent de diverger. Le facteur d'actualisation (discount factor), noté gamma, contrôle l'horizon de planification : proche de 1, il encourage la planification longue, indispensable dans un problème où l'agent doit reculer avant d'avancer ; trop bas, l'agent devient myope et n'apprend jamais la stratégie d'élan.
Ne sous-estimez pas non plus la graine aléatoire : un même algorithme peut réussir avec une graine et échouer avec une autre, surtout avec des récompenses éparses. Lancez toujours plusieurs répétitions avec des graines différentes et rapportez la médiane des performances, pas la meilleure course. Cette discipline de reporting est ce qui sépare une analyse scientifique d'un coup de chance. Enfin, visualisez régulièrement les trajectoires de la politique apprise : un agent qui oscille sans progresser, ou qui trouve un raccourci non prévu, se détecte beaucoup plus vite sur une animation que sur une courbe de récompense. Ces contrôles simples prennent peu de temps et évitent des semaines de travail sur une modélisation défectueuse.
FAQ
Pourquoi le véhicule doit-il d'abord reculer pour atteindre le sommet ?
Parce que la force du moteur est inférieure à la force de gravité sur la pente raide. En reculant, le véhicule accumule de l'énergie cinétique, puis la convertit en énergie potentielle en remontant la pente. C'est l'essence du problème : l'agent doit apprendre à planifier sur plusieurs pas de temps et à utiliser la dynamique du système plutôt que de la subir.
Quel algorithme choisir pour commencer ?
PPO est le meilleur point de départ : stable, documenté et efficace sur les espaces d'actions discrets comme continus. Si l'environnement est continu et que vous voulez une politique lisse, comparez avec SAC. Réservez les méthodes plus exotiques aux cas où ces deux références échouent.
La récompense éparse est-elle un problème ?
Oui, elle ralentit l'apprentissage, mais elle est pédagogiquement utile. Une récompense de forme bien conçue accélère la convergence sans changer le comportement final. Vérifiez toujours la politique apprise, pas seulement la courbe de récompense.
Comment intégrer la sécurité dans l'apprentissage ?
En formulant des contraintes explicites sur les grandeurs physiques dangereuses, puis en utilisant un apprentissage sous contraintes. Les métriques de violation doivent être suivies en continu, comme la performance elle-même.
Le transfert vers un vrai véhicule est-il réaliste ?
Oui, à condition de préparer la robustesse : randomisation de domaine, évaluation sur des scénarios variés, et surveillance en production. La simulation ne remplace pas les essais réels, mais elle permet de réduire considérablement les risques avant le déploiement.
Conclusion
Le problème de la voiture en montagne, malgré sa simplicité apparente, contient tous les ingrédients des défis réels de la conduite autonome : exploration difficile, récompense éparse, physique non linéaire, compromis entre performance et sécurité. Le maîtriser, c'est apprendre une méthode complète, de la modélisation à l'évaluation, en passant par le choix d'algorithme et la préparation au transfert. C'est un investissement modeste qui rapporte gros, car les mêmes réflexes s'appliquent à des problèmes infiniment plus complexes.
