RSIgen relie l’apprentissage des agents et des générateurs d’images

En termes simples

La recherche

Ce que montrent les preuves

• Deux rôles, des besoins d’apprentissage différents

  RSIgen (Reciprocal Self-Improvement for Agentic Visual Generation) est un cadre d’apprentissage entre l’agent de compréhension et le générateur d’images d’un même modèle multimodal. L’agent peut rassembler des éléments utiles, construire une consigne et choisir de générer ou de corriger une image ; le générateur crée une image à partir de ces entrées.

  La réussite d’une tâche ne suffit pas à déterminer quel rôle doit apprendre ni à fournir une cible d’entraînement compatible.

• Orienter chaque exemple vers le bon rôle

  Dynamic Responsibility Routing (DRR) s’appuie sur des interventions comparables pour choisir le rôle qui doit apprendre, le type de compétence à entraîner et s’il faut apprendre, rejouer, conserver une dépendance externe ou ne rien mettre à jour.

  Le système prépare aussi un exemple adapté au rôle choisi. Par exemple, une consigne corrigée qui répare une image peut entraîner l’agent, tandis qu’une image assistée et validée, associée à une demande qui omet les faits trouvés, peut entraîner le générateur.

• Réévaluer les conseils d’action

  Après les mises à jour du générateur, RSIgen teste de nouveau les choix d’action dans des conditions comparables. Le fait que l’ensemble des actions privilégiées change ne signifie pas forcément qu’une ancienne étiquette devient invalide ou nettement moins bonne : certains anciens choix peuvent rester presque optimaux.

  Sur les demandes Test-mini de Wan, les ensembles privilégiés ont changé pour 22,2 % des décisions avant génération et 20,8 % des états après génération, tandis que les étiquettes périmées concernaient 17,0 % et 15,7 % des cas.

  Chaque taux est une moyenne sur trois étapes de mise à jour, calculée avec les décisions ou les états testés à cette étape comme dénominateur.

• La révision améliore les résultats mesurés

  Dans une étude de poursuite de l’entraînement avec Wan, le score Mini O9 de l’ensemble du processus est passé de 47,37 avec des étiquettes d’action périmées à 50,20 avec des étiquettes révisées. Dans une comparaison distincte à l’étape 2, dotée d’un budget total de 100 unités de coût pour la préparation, les générations successives et l’optimisation, la révision a obtenu 50,0, l’apprentissage en ligne avec le générateur actuel 49,1 et la supervision périmée 47,2.

  Les passages rapportés ne précisent pas quel évaluateur a produit Mini O9 ; ces comparaisons sont distinctes et ne doivent pas être fusionnées.

• Résultats système sur trois modèles

  AgentGen-Bench évalue l’exécution des demandes et la qualité des images ; son score Full est une moyenne globale de 0 à 100 sur neuf composantes de l’évaluateur, calculée sur la portion évaluée de chaque modèle. RSIgen a dépassé de 3,2 à 3,3 points SearchGen-3 + costs, une adaptation en trois cycles qui tient compte du coût des actions, sur BAGEL, Qwen-Image et Wan-Image-7B.

  Les deux systèmes entraînés partageaient leurs points de contrôle initiaux, outils, ressources et trois tentatives de mise à jour, mais employaient des méthodes d’apprentissage différentes. Les gains étaient plus élevés pour les demandes Search-Intensive que pour les demandes NoSearch du test.

• Les évaluations humaines apportent une autre mesure

  Trois évaluateurs indépendants, sans connaître la méthode utilisée, ont comparé les résultats pour 200 demandes distinctes d’utilisateurs réels, réutilisées pour les trois modèles de base. Ils ont jugé l’accomplissement de la tâche et la qualité visuelle ; les chercheurs ont regroupé 1 800 jugements par dimension et compté les égalités pour une demi-victoire.

  Les préférences ajustées en faveur de RSIgen face à SearchGen-3 + costs étaient de 70,0 % pour l’accomplissement de la tâche et de 64,9 % pour la qualité visuelle. Ces résultats descriptifs portent sur les demandes évaluées ; leur réutilisation entre modèles de base ne constitue pas un échantillon plus large.