IT
Select-TTT concentra gli aggiornamenti di memoria sul testo rilevante
In parole semplici
Quando un modello linguistico legge una conversazione lunga, può aggiornare la propria memoria temporanea man mano che procede. Select-TTT dà aggiornamenti più intensi alle parti della conversazione che sembrano collegate alla domanda dell’utente, e più deboli alle altre.
Nei test su conversazioni lunghe, Select-TTT ha ottenuto punteggi medi più alti dell’approccio che assegna la stessa intensità di aggiornamento a ogni parte, per entrambi i modelli valutati. I risultati riguardano quei modelli e quei test, non tutti i modelli o tutte le conversazioni.
La ricerca
Quando un modello legge una conversazione lunga, aggiornare la memoria temporanea da ogni blocco con la stessa intensità può dare ai dettagli irrilevanti la stessa influenza delle informazioni che rispondono alla domanda dell’utente.
Può concentrare gli aggiornamenti più intensi sui blocchi utili senza sapere già quali contengono la risposta?
Select-TTT stima quali blocchi di contesto sono collegati a una domanda e regola gli aggiornamenti di memoria di ciascun blocco prima che il modello risponda.
LongMemEval-S verifica se un modello di chat sa rispondere usando informazioni distribuite in conversazioni passate; l’accuratezza riportata è la media sulle domande. Per ciascun modello, i ricercatori hanno confrontato Select-TTT con In-Place TTT uniforme sullo stesso checkpoint potenziato con TTT.
Select-TTT ha ottenuto una media del 37.4% contro il 33.6% per Llama-3.1-8B-Instruct, e del 28.8% contro il 25.4% per Qwen3-4B.
Poiché all’interno di ciascun confronto checkpoint e test erano gli stessi, i risultati sostengono l’utilità degli aggiornamenti guidati dalla domanda in questa valutazione durante l’inferenza.
Anche un secondo test di ragionamento su conversazioni lunghe ha mostrato punteggi complessivi più alti con Select-TTT per entrambi i modelli.
Il primo checkpoint riportato per l’addestramento continuo fa eccezione: in quel punto Select-TTT ha ottenuto un punteggio inferiore a In-Place TTT con aggiornamenti uniformi, mentre nei checkpoint successivi lo ha raggiunto o superato.
Il punteggio di rilevanza è un’euristica e la valutazione copre solo due modelli di base e due test in inglese.
Cosa mostrano le prove
- Perché conta l’intensità degli aggiornamenti
Select-TTT è un metodo per In-Place test-time training che modifica l’intensità con cui ogni blocco di contesto aggiorna i parametri temporanei del modello. La domanda è se questa distribuzione selettiva aiuti quando il modello risponde basandosi su conversazioni lunghe.
LongMemEval-S verifica se i modelli di chat sanno rispondere a domande su informazioni presenti in conversazioni passate e riporta l’accuratezza media sulle domande. In una delle configurazioni valutate, gli aggiornamenti uniformi hanno cambiato appena la media: da qui l’analisi più approfondita di come i blocchi contribuiscono agli aggiornamenti.
- Una diagnosi con etichette delle risposte
I ricercatori hanno usato le annotazioni dei blocchi con risposte nelle sessioni di LongMemEval-S per variare separatamente l’intensità degli aggiornamenti per quei blocchi e per gli altri. Mantenendo fissa l’intensità per gli altri blocchi, aggiornamenti più intensi per quelli con risposte hanno portato l’accuratezza dal 33.6% al 37.8%.
In una variazione separata, aumentare l’intensità per i blocchi irrilevanti ha ridotto l’accuratezza dal 34.8% al 29.6%, mentre l’intensità per i blocchi con risposte restava fissa. Poiché le etichette delle risposte provenivano dalle sessioni, questi risultati chiariscono l’effetto degli aggiornamenti selettivi, ma non mostrano che il metodo sappia trovare da solo i blocchi con risposte.
- Dalla rilevanza agli aggiornamenti
Select-TTT stima la rilevanza dei blocchi in base a quanto bene le rappresentazioni interne del modello predicono le parole della domanda dell’utente. Usa poi quei punteggi per rendere più intenso o più debole l’aggiornamento di memoria temporanea associato a ciascun blocco.
Il punteggio è una stima euristica, non un controllo diretto del fatto che il blocco contenga una risposta. Così il metodo può distribuire gli aggiornamenti in base alla rilevanza per la domanda senza affidarsi alle etichette delle risposte usate nell’esperimento diagnostico.
- Risultati su due test
Nella valutazione limitata all’inferenza, i ricercatori hanno confrontato Select-TTT con In-Place TTT uniforme usando lo stesso checkpoint potenziato con TTT per ciascun modello di base. Su LongMemEval-S, Select-TTT ha ottenuto un’accuratezza media sulle domande superiore per Llama-3.1-8B-Instruct e Qwen3-4B.
Anche su LoCoMo, un test di ragionamento su conversazioni molto lunghe, ha avuto un punteggio complessivo più alto per entrambi i modelli. I risultati sostengono la regola di aggiornamento guidata dalla domanda in questi due test e per questi modelli.
- I risultati dell’addestramento dipendono dal checkpoint
I ricercatori hanno anche addestrato Qwen3-4B con Select-TTT attivo durante l’addestramento continuo e la valutazione. A 5,000 passi, l’accuratezza media su LongMemEval-S era del 37.4%, contro il 35.6% di In-Place TTT uniforme.
Al checkpoint di 1,000 passi, però, Select-TTT ha ottenuto 32.0%, meno del 33.2% di In-Place TTT uniforme e del 32.4% del preaddestramento continuo standard. Il vantaggio nei checkpoint successivi non descrive quindi il primo checkpoint riportato.
Dettagli
- Autori del paper originale
- Yue Wu, Yang Zhang, Weinan Gan, Chongming Gao, Xinsen Guo
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive