RSIgen coordina l’apprendimento tra chi pianifica e chi genera immagini

In parole semplici

La ricerca

Cosa mostrano le prove

• Due ruoli, esigenze di apprendimento diverse

  RSIgen (Reciprocal Self-Improvement for Agentic Visual Generation) è un framework per far apprendere insieme l’agente di comprensione e il generatore di immagini all’interno di un unico modello multimodale. L’agente può raccogliere informazioni, formulare una richiesta e scegliere se generare o correggere un’immagine; il generatore crea l’immagine a partire da quegli input.

  Il successo dell’attività, da solo, non indica quale ruolo debba imparare né fornisce un obiettivo di addestramento compatibile.

• Assegnare gli esempi al ruolo adatto

  Dynamic Responsibility Routing (DRR) usa interventi abbinati per scegliere chi deve imparare, quale tipo di competenza addestrare e se imparare, riprodurre un esempio, mantenere una dipendenza esterna o non apportare aggiornamenti.

  Prepara inoltre un esempio di addestramento adatto al ruolo destinatario. Per esempio, una richiesta corretta che risolve il problema di un’immagine può addestrare l’agente, mentre un’immagine verificata creata con assistenza, abbinata a una richiesta che omette i fatti recuperati, può addestrare il generatore.

• Ricontrollare le indicazioni sulle azioni

  Dopo gli aggiornamenti del generatore, RSIgen verifica di nuovo le scelte d’azione in condizioni abbinate. Un cambiamento nell’insieme di azioni preferite non equivale a rendere non valida o molto peggiore un’etichetta precedente; alcune vecchie scelte possono restare quasi ottimali.

  Nelle richieste Test-mini su Wan, gli insiemi preferiti sono cambiati nel 22.2% delle decisioni prima della generazione e nel 20.8% degli stati successivi, mentre le etichette obsolete si sono verificate nel 17.0% e nel 15.7% dei casi.

  Ogni tasso è una media sui tre stadi di aggiornamento e usa come denominatore le decisioni o gli stati testati nel rispettivo caso.

• Le indicazioni aggiornate migliorano i risultati misurati

  In uno studio di continuazione su Wan, il punteggio Mini O9 dell’intero workflow è salito da 47.37 con etichette d’azione obsolete a 50.20 con etichette aggiornate. In un confronto distinto dello Stage-2, con 100 unità di costo complessive per preparazione, esecuzioni e ottimizzazione, l’aggiornamento ha ottenuto 50.0, l’apprendimento on-policy con il generatore corrente 49.1 e l’addestramento con indicazioni obsolete 47.2.

  I passaggi riportati non specificano l’evaluatore Mini O9; i confronti sono distinti e non vanno combinati.

• Punteggi di sistema su tre modelli

  AgentGen-Bench valuta il rispetto delle richieste e la qualità delle immagini; il suo punteggio Full è una media globale da 0 a 100 di nove componenti dell’evaluatore per i casi valutati di ciascun modello. Su BAGEL, Qwen-Image e Wan-Image-7B, RSIgen ha ottenuto 3.2–3.3 punti in più di SearchGen-3 + costs, un adattamento di tre cicli con costi associati alle azioni.

  I due gruppi addestrati condividevano checkpoint iniziali, strumenti, risorse e tre tentativi di aggiornamento, ma usavano procedure di apprendimento diverse. I vantaggi erano maggiori per le richieste Search-Intensive rispetto a quelle NoSearch.

• Le valutazioni umane aggiungono un’altra misura

  Tre valutatori indipendenti, senza sapere quale metodo avesse prodotto i risultati, hanno confrontato le immagini per 200 richieste distinte di utenti reali, riutilizzate sulle tre architetture. Hanno giudicato il completamento dell’attività e la qualità visiva; i ricercatori hanno aggregato 1,800 giudizi per dimensione e hanno contato le parità come mezza vittoria.

  Le preferenze corrette per le parità a favore di RSIgen sono state del 70.0% per il completamento dell’attività e del 64.9% per la qualità visiva rispetto a SearchGen-3 + costs. Questi risultati descrivono le richieste valutate: il riutilizzo sulle diverse architetture non crea un campione più ampio.