Etiqueta
#distillation
2 artículos
research
Destilación: enseñar a modelos pequeños a partir de grandes
La destilación de conocimiento entrena a un modelo pequeño para imitar a uno grande. El truco no es copiar respuestas, sino copiar cómo el grande duda.
#distillation#compression#training
05-21 13:52·7 min
models
Cuantización y destilación: hacer los modelos más pequeños
"Dos formas distintas de encoger un modelo: una cambia sus números, la otra entrena una copia más pequeña. Así funciona cada una y cuándo recurrir a ella."
#quantization#distillation#model-compression
04-12 16:37·7 min