Etiqueta
#fine-tuning
5 artículos
El olvido catastrófico y el aprendizaje continuo
Enseña algo nuevo a una red neuronal y tiende a olvidar lo que sabía. Este problema tenaz explica por qué los modelos aprenden en grandes lotes, no en flujo.
Cómo se entrenan los grandes modelos de lenguaje, en lenguaje llano
Entrenar un modelo de lenguaje ocurre por etapas, no en un paso mágico. Qué hace cada etapa, en lenguaje llano, y por qué el orden importa.
Qué hace de verdad el RLHF
El RLHF es el paso que convierte un predictor de texto en algo con lo que hablar. Esto es lo que cambia de verdad, y lo que no, que importa igual.
Fine-tuning vs RAG vs prompting: una guía de decisión
Tres formas de hacer que un modelo haga lo que quieres, y casi todos los equipos recurren primero a la más pesada. Así se elige en el orden correcto.
Preentrenamiento vs ajuste fino vs alineamiento
Tres palabras se mezclan cuando se describe cómo se hacen los modelos. Son etapas distintas con trabajos distintos. Esto es lo que hace cada una.