Le classement des jailbreaks varie selon l’évaluateur et les tentatives

Quand une attaque par jailbreak est présentée comme plus efficace qu’une autre, que nous apprend réellement ce classement ?

Un test compte les requêtes selon une règle de réussite et les réponses générées par un protocole donné ; modifier l’un ou l’autre peut donc changer le résultat. Cette étude mesure l’ampleur de ces variations dans les cas qu’elle a testés.

Les auteurs comparent plusieurs évaluations de jailbreaks et constatent que la règle de réussite ainsi que le nombre et l’organisation des tentatives peuvent modifier le classement des attaques.

Sur les mêmes 150 cas associant une requête à un modèle, l’attaque dans une langue à faibles ressources affiche un taux de réussite de 96,0 % avec la correspondance de mots-clés et de 2,7 % avec SR-Q. Elle passe de la première à la dernière place parmi huit attaques, ce qui montre que la règle d’évaluation change le résultat de la comparaison.

Un suivi distinct sur Vicuna a modifié les protocoles de réponse de deux attaques et inversé leur ordre. Ensemble, ces résultats montrent que les classements rapportés dépendent de la façon dont les réponses sont évaluées et générées.

Ces résultats portent sur trois petits modèles à poids ouverts et un sous-ensemble de 50 requêtes. Le protocole complet n’a pas été répété, SR-Q n’a pas été validé indépendamment dans ce contexte et les scores des évaluateurs ne mesurent pas les dommages réels. Ces résultats n’établissent ni un classement général ni une garantie de sécurité.