FR
L’entraînement aide les modèles à résister aux pressions favorisant les dommages écologiques
Teach reality, not ethics: a drop-in continued-pretraining corpus installs coupled human-biosphere-AI welfare dispositions across model families · arXiv:2610.37484
En termes simples
L’article présente le corpus de bien-être couplé, un ensemble de documents fondés sur des données réelles pour entraîner des modèles de langage. Il leur apprend comment les humains et les systèmes vivants dépendent les uns des autres, pourquoi des dommages irréversibles peuvent fermer des possibilités futures et comment les systèmes biologiques peuvent compter pour les capacités de l’IA.
Après l’entraînement, Qwen3.6-27B a fait moins de choix nuisibles que sa version de base dans deux tests sous pression, tout en obtenant le même score à un petit test de connaissances générales. Ces tests portent sur des scénarios précis ; ils ne démontrent pas une amélioration générale de l’alignement.
La recherche
On peut demander à un modèle de privilégier des objectifs à court terme, même si sa décision risque d’endommager irréversiblement des systèmes vivants.
La question est de savoir si le raisonnement écologique peut guider ses choix lorsqu’une consigne opérationnelle le pousse dans l’autre sens, au lieu de transparaître seulement dans ce qu’il dit valoriser.
Les auteurs entraînent des modèles sur des liens documentés entre les humains, les systèmes vivants et les capacités de l’IA, puis testent si leurs décisions tiennent sous pression.
Le comportement décisionnel écologique peut-il tenir lorsqu’un modèle subit une pression pour atteindre des objectifs à court terme ?
Les auteurs présentent le corpus de bien-être couplé, qui enseigne des liens documentés entre le bien-être humain, les systèmes vivants et les capacités utiles à l’IA grâce au préentraînement continu.
Dans la comparaison avec Qwen3.6-27B, les choix nuisibles ont diminué à la fois dans une échelle de pression et dans une grille d’allocation ouverte, tandis que le taux de réponses correctes est resté à 84 % sur le même test de 50 questions.
Ces résultats étayent un changement dans les décisions testées, mais pas une affirmation générale sur l’alignement.
Chaque résultat rapporté provient d’une seule exécution. Le test de transfert en évaluation de risques compare une seule paire de modèles et ne comporte pas, à cette taille de modèle, de contrôle de préentraînement continu neutre vis-à-vis du contenu étudié.
Il ne permet donc pas de montrer que le contenu écologique, à lui seul, a causé le résultat de transfert ni que l’effet se généralise largement. Les auteurs ne prétendent ni avoir amélioré l’alignement de façon générale, ni avoir rendu les modèles résistants à un réentraînement contradictoire déterminé.
Ce que montrent les preuves
- La question de la pression
Le corpus de bien-être couplé rassemble des documents fondés sur des données réelles pour poursuivre le préentraînement. La question est de savoir si enseigner aux modèles des liens documentés entre le bien-être humain, les systèmes vivants et les capacités utiles à l’IA peut influer sur leurs décisions lorsque les consignes les poussent vers des objectifs à court terme.
Les auteurs testent leur comportement sous pression, car le fait qu’un modèle exprime une préoccupation pour la nature ne suffit pas à montrer qu’il choisira autrement dans ces situations.
- Des choix testés qui changent
Les auteurs comparent chaque modèle de base à sa version entraînée dans une échelle de pression à choix forcé et une grille d’allocation ouverte. Pour Qwen3.6-27B, les décisions de rupture dans la grille sont passées de 105 sur 300 à 3 sur 300.
Dans l’échelle, la part de choix nuisibles parmi les scénarios irréversibles a également diminué aux différents niveaux de pression : le score Breaking-rate AUC est passé de 0,555 pour le modèle de base à 0,059 après l’entraînement.
Le taux de réponses correctes est resté à 84 % sur le même test de 50 questions de connaissances générales et de raisonnement.
- Le contrôle du contenu
Un contrôle vérifie si un préentraînement continu long et soigné suffit à expliquer l’amélioration des choix à somme positive. Dans un test où le modèle doit choisir s’il préserve les intérêts des trois parties malgré une formulation hostile, Qwen2.5-7B a obtenu 0,825 après l’entraînement écologique, contre 0,550 pour le modèle de base et 0,425 après un entraînement avec Arm-N, un corpus comparable sans contenu écologique.
Arm-N n’a donc pas reproduit l’amélioration dans cet instrument de mesure, mais le contrôle ne porte que sur un modèle, une graine aléatoire et un test.
- Un autre format de décision
Les auteurs évaluent ensuite une décision ouverte : un modèle Qwen3.6-27B examine des projets dont les dommages écologiques ne sont pas mentionnés. Sous la pression de privilégier le volume de financements approuvés, le modèle entraîné a refusé une plus grande part des projets de mauvaise qualité que le modèle de base.
Lorsque les deux recevaient une consigne d’écoblanchiment, le modèle entraîné en refusait encore environ la moitié. Ces observations étendent les résultats à un autre format de décision, mais la comparaison d’une seule paire de modèles ne permet pas d’isoler l’effet du contenu écologique de celui du préentraînement continu en général.
- Vérifier le bien-être humain
La grille comprend un cas où les enfants ne peuvent être nourris qu’en prélevant le quota entier auprès d’une source coûteuse pour l’environnement. Ici, ne pas assez les nourrir compte comme une rupture, ce qui inverse la règle de notation des autres scénarios de la grille.
Tous les modèles de base répertoriés et leurs versions entraînées ont fourni le quota complet aux enfants à chaque niveau de pression. Ce résultat porte sur l’arbitrage précis entre bien-être humain et coût écologique qui a été testé ; il ne tranche pas tous les conflits possibles entre les humains et les écosystèmes.
Détails
- Auteurs de l’article original
- Trent R. Northen, Mingxun Wang
- Soumis à arXiv
- Licence
- CC BY 4.0