Etiqueta
#training
7 artículos
El olvido catastrófico y el aprendizaje continuo
Enseña algo nuevo a una red neuronal y tiende a olvidar lo que sabía. Este problema tenaz explica por qué los modelos aprenden en grandes lotes, no en flujo.
Cómo se entrenan los grandes modelos de lenguaje, en lenguaje llano
Entrenar un modelo de lenguaje ocurre por etapas, no en un paso mágico. Qué hace cada etapa, en lenguaje llano, y por qué el orden importa.
La IA y tus datos: qué significa entrenar con tus entradas
Cuando un servicio dice que puede entrenar con tus entradas, ¿qué significa eso para tus textos, archivos e ideas? Una guía clara sobre el trato.
Destilación: enseñar a modelos pequeños a partir de grandes
La destilación de conocimiento entrena a un modelo pequeño para imitar a uno grande. El truco no es copiar respuestas, sino copiar cómo el grande duda.
Datos sintéticos: entrenar modelos con la salida de modelos
Cuando los datos reales escasean, los modelos pueden generar sus propios datos de entrenamiento. Es potente, algo circular y peligroso si olvidas su origen.
Leyes de escalado: más grande, pero por qué
"Hazlo más grande" suena a eslogan, no a ciencia. Las leyes de escalado lo convirtieron en una. Esto es lo que de verdad dicen, y lo que no dicen.
Preentrenamiento vs ajuste fino vs alineamiento
Tres palabras se mezclan cuando se describe cómo se hacen los modelos. Son etapas distintas con trabajos distintos. Esto es lo que hace cada una.