Le classifiche dei jailbreak cambiano con valutatori e tentativi

Quando si dice che un attacco jailbreak funziona meglio di un altro, che cosa indica davvero quella classifica? Un test conta le richieste secondo una regola di successo e le risposte generate con un protocollo specifico: modificare uno dei due può cambiare il risultato. Questo studio misura l’entità di questi cambiamenti nei casi esaminati.

Gli autori confrontano le valutazioni dei jailbreak e rilevano che la regola di successo e il numero e l’organizzazione dei tentativi possono cambiare le classifiche degli attacchi.

Sugli stessi 150 casi richiesta-modello, l’attacco in una lingua con poche risorse ha avuto un tasso di successo del 96.0% con il keyword matching e del 2.7% con SR-Q. La sua posizione è passata dal primo all’ultimo posto tra otto attacchi: la regola di valutazione cambia ciò che il confronto indica.

In un approfondimento separato su Vicuna, la modifica dei protocolli di risposta di due attacchi ne ha invertito l’ordine. Nel complesso, questi risultati mostrano che le classifiche riportate dipendono da come le risposte vengono valutate e generate.

Questi risultati sono osservazioni ottenute con tre piccoli modelli open-weight e un sottoinsieme di 50 richieste. La pipeline completa non è stata ripetuta, SR-Q non è stato convalidato in modo indipendente in questo contesto e i punteggi dei valutatori non misurano i danni effettivi. I risultati non stabiliscono classifiche generali né garantiscono la sicurezza.