Colección de investigaciones
#2-4-sparsity
Investigación etiquetada 2-4-sparsity: explicaciones, pruebas, límites y conexiones entre papers.
1 resultados
En inferencia de LLM, menor precisión supera a 2:4 por encima del límite
Una comparación de dispersidad 2:4 y cuantización encuentra que, en dos modelos de 8B, los formatos densos son más precisos por encima de la menor precisión admitida.