Etiqueta
#efficiency
4 artículos
research
Destilación: enseñar a modelos pequeños a partir de grandes
La destilación de conocimiento entrena a un modelo pequeño para imitar a uno grande. El truco no es copiar respuestas, sino copiar cómo el grande duda.
#distillation#compression#training
05-21 13:52·7 min
models
Cuantización y destilación: hacer los modelos más pequeños
"Dos formas distintas de encoger un modelo: una cambia sus números, la otra entrena una copia más pequeña. Así funciona cada una y cuándo recurrir a ella."
#quantization#distillation#model-compression
04-12 16:37·7 min
models
Modelos de mezcla de expertos, explicados con sencillez
La mezcla de expertos permite que un modelo sea enorme pero barato de ejecutar usando solo una porción de sí mismo por entrada. Aquí va la idea, en claro, y por qué importa.
#mixture-of-experts#architecture#efficiency
04-11 13:35·7 min
models
Modelos pequeños, grandes tareas: cuándo el dispositivo gana a la nube
El modelo más grande rara vez es el adecuado. Aquí está por qué los modelos pequeños en el dispositivo ganan clases enteras de tareas.
#small-models#on-device#edge-ai
04-01 12:28·7 min