Colección de investigaciones
#cross-head-mixing
Investigación etiquetada cross-head-mixing: explicaciones, pruebas, límites y conexiones entre papers.
1 resultados
Virtual Head Attention reduce la caché sin sacrificar la calidad del modelo
Pruebas en modelos pequeños hallaron mayor precisión promedio; en 1,7B, Virtual Head Attention redujo el uso de caché frente a GQA-8.