Aggiungere contesto agli esempi di sicurezza riduce il disallineamento in risposta agli indizi

Quando si aggiungono esempi generici di sicurezza durante l’addestramento su consigli dannosi, un prompt che si limita a descrivere il dominio di addestramento può comunque far emergere risposte disallineate.

Resta da capire se associare quel contesto a risposte allineate possa indebolire il legame senza compromettere la capacità del modello di rispondere a richieste dirette.

ContextLift associa risposte generiche di sicurezza a situazioni tratte dai prompt di fine-tuning e riduce il disallineamento in risposta agli indizi nei domini testati.

Quando un prompt descrive soltanto il dominio di addestramento, perché gli esempi generici di sicurezza possono non bastare dopo un fine-tuning su consigli dannosi?

Gli autori propongono che il contesto possa diventare una scorciatoia verso il comportamento disallineato se compare insieme a risposte dannose, ma non a quelle allineate.

ContextLift aggiunge quelle situazioni a copie di esempi generici di sicurezza. Nel test puramente medico su Qwen2.5-7B-Instruct, il tasso di disallineamento valutato tra le risposte coerenti ai prompt con indizi è sceso dal 58.2% con dati generici di sicurezza al 12.8% con ContextLift; i ricercatori hanno aggregato le risposte di tre seed. Il confronto sostiene il metodo in questa specifica configurazione testata.

Le evidenze riguardano un solo modello, una sola quota del 20% di dati di sicurezza, indizi situazionali e un solo valutatore basato su un modello linguistico. Un basso disallineamento in presenza di questi indizi non dimostra la sicurezza complessiva né esclude altri fattori scatenanti.