ES
La búsqueda jurídica mejora al conservar la estructura de las secciones
StrucChunk: Structure-Aware Retrieval for Legal Document RAG · arXiv:2610.26313
En palabras sencillas
Las normas jurídicas suelen estar organizadas en secciones y remitir a otras secciones. Si una ley se divide en fragmentos de texto del mismo tamaño, una norma puede quedar separada de ese contexto y ser más difícil de encontrar mediante una búsqueda.
El artículo presenta StrucChunk, un método que mantiene juntas las secciones cuando es posible y añade su ubicación en la ley y resúmenes de las secciones citadas. En 501 consultas sobre el Código de Procedimiento Penal de la India, encontró una sección pertinente entre los cinco primeros resultados en una proporción mayor de consultas que la división habitual. El estudio evaluó la recuperación, no la corrección de las respuestas finales.
La investigación
Cuando un sistema de búsqueda jurídica recupera una disposición incorrecta o incompleta, el generador de respuestas que la use tiene menos material útil.
El artículo pregunta si la búsqueda puede mejorar cuando los fragmentos de texto conservan el lugar que ocupa cada disposición e incluyen contexto de las disposiciones que cita.
StrucChunk mantiene juntas las secciones jurídicas y su contexto en fragmentos que se pueden buscar, y evalúa si esto mejora la recuperación en distintos corpus jurídicos.
Los autores comparan StrucChunk con la división recursiva en 501 consultas sobre el Código de Procedimiento Penal de la India. Ambos métodos usan la misma búsqueda híbrida, que combina resultados por palabras clave y semánticos.
Recall@5, la proporción de consultas con una sección pertinente entre los cinco primeros resultados, sube de 0,557 a 0,804 con StrucChunk.
Una comparación independiente de cuatro variantes determina que el cambio de los fragmentos explica el 88 % de la ganancia total entre los fragmentos recursivos con búsqueda densa y StrucChunk con búsqueda híbrida. Esto respalda que la estructura de las secciones contribuye al resultado del CrPC, mientras que una prueba con documentos jurídicos tailandeses muestra que StrucChunk no supera en el resultado general a un método que tiene en cuenta la jerarquía.
Estas evaluaciones miden la recuperación de secciones jurídicas pertinentes, no si las respuestas jurídicas finales de un sistema son correctas.
Los resultados corresponden a los documentos estructurados y los conjuntos de consultas evaluados; no demuestran el rendimiento con documentos jurídicos sin estructura.
Qué muestran las pruebas
- El problema de la búsqueda jurídica
StrucChunk es un método para dividir documentos jurídicos, diseñado para leyes cuyas disposiciones dependen de la estructura de las secciones y de referencias cruzadas. La división habitual por cantidad de tokens puede separar una disposición de su jerarquía o del texto citado, mientras que la búsqueda por palabras clave y la búsqueda semántica pueden pasar por alto distintos tipos de coincidencias.
El artículo pregunta si conservar esa estructura en los fragmentos que se buscan puede mejorar la recuperación de secciones jurídicas pertinentes.
- Conservar el contexto jurídico en los fragmentos
El método conserva una sección intacta cuando cabe, añade un breadcrumb que indica su lugar en el documento y puede incorporar resúmenes breves de las disposiciones citadas. Los autores combinan estos fragmentos con búsquedas por palabras clave y semántica.
Esta combinación atiende dos necesidades distintas: encontrar citas exactas y reconocer expresiones relacionadas. Los componentes de división y búsqueda se evalúan por separado y también en conjunto.
- Estructura y recuperación en el CrPC
En el Código de Procedimiento Penal de la India, los autores comprobaron primero si los límites de los fragmentos coincidían con los límites documentados de las secciones. StrucChunk alineó todos los límites medidos, frente al 7,7 % de la división recursiva.
En una evaluación de recuperación separada, las secciones pertinentes aparecieron entre los cinco primeros resultados en 0,804 de 501 consultas con StrucChunk y búsqueda híbrida, frente a 0,557 con fragmentos recursivos y la misma configuración de búsqueda.
- Separar las contribuciones en el CrPC
Una comparación de cuatro variantes del CrPC cambió el método de división y el de búsqueda. Al mantener fija la búsqueda híbrida, el cambio de fragmentos recursivos a StrucChunk representó el 88 % de la ganancia total en Recall@5 entre los fragmentos recursivos con búsqueda densa y StrucChunk con búsqueda híbrida.
En las condiciones de la prueba del CrPC, esto atribuye a la división la mayor parte de esa ganancia medida, pero no establece que su contribución sea igual en otros casos.
- Un resultado distinto en el derecho tailandés
Una prueba independiente usó 3.730 consultas sobre derecho financiero tailandés y comparó StrucChunk con fragmentos de tamaño fijo y un método que tiene en cuenta la jerarquía. En el resultado general, StrucChunk superó a los fragmentos de tamaño fijo, pero quedó ligeramente por debajo de los fragmentos que tienen en cuenta la jerarquía. Los fragmentos de tamaño fijo no pueden representar las secciones esperadas en 1.105 consultas (el 29,6 % del conjunto), por lo que esas consultas obtienen una tasa de aciertos de cero, independientemente de la calidad de recuperación. Dentro del conjunto tailandés, StrucChunk obtuvo puntuaciones más altas en las consultas con anotaciones de referencias y algo más bajas en las consultas simples.
Por tanto, el contexto adicional de las referencias tuvo un resultado limitado y dependiente de la consulta.
Detalles
- Autores del paper original
- Surya Deep Singh, Ashutosh Tripathi, Gaurav Deep Singh
- Enviado a arXiv
- Licencia
- CC0