Las clasificaciones de jailbreak cambian según el evaluador y los intentos

Cuando se dice que un ataque de jailbreak funciona mejor que otro, ¿qué indica realmente esa clasificación? Una prueba cuenta las solicitudes según una regla de éxito y las respuestas generadas con un procedimiento determinado, así que cambiar cualquiera de los dos puede alterar el resultado. Este estudio mide el alcance de esos cambios en los casos evaluados.

Los autores comparan evaluaciones de jailbreak y encuentran que tanto la regla para juzgar el éxito como la cantidad y organización de los intentos pueden cambiar la clasificación de los ataques.

En los mismos 150 casos de solicitud y modelo, el ataque en un idioma con pocos recursos tuvo una tasa de éxito del 96,0% según la coincidencia de palabras clave y del 2,7% según SR-Q. Pasó del primer al último puesto entre ocho ataques, lo que muestra que la regla de evaluación cambia el resultado de la comparación.

En un seguimiento independiente con Vicuna, modificar los procedimientos de respuesta de dos ataques invirtió su orden. En conjunto, estos resultados muestran que las clasificaciones publicadas dependen de cómo se juzgan y generan las respuestas.

Estos resultados se observaron con tres modelos pequeños de pesos abiertos y un subconjunto de 50 solicitudes. No se repitió el procedimiento completo, SR-Q no se validó de forma independiente en este contexto y las puntuaciones del evaluador no miden daños reales. Los hallazgos no establecen clasificaciones generales ni garantías de seguridad.