Preentrenamiento vs ajuste fino vs alineamiento

Cuando se describe cómo se hace un modelo de lenguaje moderno, tres palabras se usan casi de forma intercambiable: preentrenamiento, ajuste fino y alineamiento. No son lo mismo. Son tres etapas distintas, hechas en orden, cada una con un objetivo distinto, un tipo de datos distinto y un efecto distinto sobre el modelo final. Confundirlas lleva a expectativas confusas sobre lo que un modelo puede hacer y por qué se comporta como lo hace.

Esta es la forma de la cosa: el preentrenamiento le da al modelo conocimiento y fluidez en bruto, el ajuste fino le enseña a realizar tareas específicas de forma útil, y el alineamiento moldea cómo se comporta y qué rechaza. Conocimiento, habilidad, comportamiento: tres cosas distintas, construidas en tres pasadas.

Preentrenamiento: aprender el mundo a partir del texto

El preentrenamiento es la primera y, con diferencia, la etapa más grande. Al modelo se le muestra una cantidad enorme de texto y se le da un trabajo engañosamente simple: predecir lo que viene a continuación. Una y otra vez, a través de una cantidad inimaginable de material, adivina la siguiente porción de texto y se ajusta cuando se equivoca.

Esto suena trivial, pero para predecir bien la siguiente palabra en todo lo que los humanos han escrito, un modelo tiene que absorber por el camino una cantidad asombrosa de cosas: gramática, hechos, estilos, patrones de razonamiento, la estructura de los argumentos, el ritmo del diálogo. La predicción de la siguiente palabra es la tarea, pero la competencia amplia es el subproducto. Aquí es donde el modelo obtiene su fluidez y el grueso de lo que sabe.

Lo clave del preentrenamiento es que es desenfocado a propósito. El modelo no está aprendiendo a ser útil, ni a responder preguntas, ni a seguir instrucciones. Está aprendiendo a continuar texto de todo tipo. Un modelo recién preentrenado es enormemente conocedor y casi inutilizable: hazle una pregunta y podría continuar con más preguntas, porque esa es una continuación plausible del texto que vio. Tiene la materia prima de la inteligencia pero ninguno de los modales.

Ajuste fino: convertir el conocimiento en habilidad utilizable

El ajuste fino toma el modelo preentrenado, ampliamente capaz pero desenfocado, y le enseña a comportarse de una manera particular y útil. En lugar de océanos de texto indiferenciado, al modelo se le muestra un conjunto más pequeño y curado de ejemplos que demuestran el comportamiento deseado: preguntas emparejadas con buenas respuestas, instrucciones emparejadas con respuestas correctas, tareas emparejadas con la forma correcta de salida.

El modelo ya sabe mucho gracias al preentrenamiento. El ajuste fino no le enseña tanto hechos nuevos como le enseña a poner a trabajar lo que sabe. Aprende que cuando el texto parece una pregunta, la continuación esperada es una respuesta; que una instrucción debe seguirse en lugar de repetirse; que una petición de resumen pide un resumen. La capacidad en bruto ya estaba ahí. El ajuste fino la canaliza hacia una forma utilizable.

Esta etapa es mucho más pequeña y barata que el preentrenamiento porque está dirigiendo un modelo existente en lugar de construir uno. También es donde ocurre la mayor parte de la adaptación específica a tareas. La misma base preentrenada puede ajustarse en direcciones distintas —hacia un asistente útil, hacia una herramienta de programación, hacia un especialista estrecho— sin rehacer la costosa primera etapa.

Alineamiento: moldear comportamiento, valores y criterio

El alineamiento trata de cómo se comporta el modelo una vez que es capaz y útil. Un modelo ajustado puede responder preguntas y seguir instrucciones, pero eso no basta. También queremos que sea honesto sobre lo que no sabe, que rechace peticiones dañinas, que evite inventar hechos con confianza y que responda en un tono que sea genuinamente útil en lugar de simplemente plausible. El alineamiento es la etapa que trabaja sobre estas cualidades.

El reto definitorio del alineamiento es que el comportamiento deseado es difícil de especificar solo con ejemplos. Es fácil escribir una respuesta correcta a una pregunta de matemáticas; es mucho más difícil escribir, ejemplo a ejemplo, exactamente cómo debería manejar un modelo una petición ambigua, sensible o adversaria. Por eso el alineamiento a menudo depende de una señal distinta: juicios humanos sobre cuál de dos respuestas es mejor, usados para enseñarle al modelo un sentido general del comportamiento preferido en lugar de una clave de respuestas fija.

El resultado es un modelo cuyas disposiciones —su utilidad, su cautela, su honestidad sobre la incertidumbre— han sido moldeadas, no solo sus habilidades. El alineamiento es la razón por la que un asistente bien hecho rechaza ayudar con algo peligroso, admite cuando no está seguro y se mantiene en la tarea en lugar de divagar. Es la diferencia entre un modelo que puede hacer cosas y un modelo en el que realmente confiarías para hacerlas.

Por qué importa el orden

Estas etapas no son intercambiables, y tienen que ocurrir en esta secuencia. No puedes alinear un modelo que todavía no tiene habilidades, y no puedes dar habilidades a un modelo que no tiene conocimiento. Cada etapa se construye sobre la capa de debajo.

El preentrenamiento aporta el sustrato en bruto de conocimiento y fluidez. El ajuste fino, trabajando sobre eso, lo moldea para que sea una herramienta que hace cosas útiles. El alineamiento, trabajando sobre eso, gobierna cómo se comporta la herramienta en las situaciones abiertas y desordenadas que lanza el uso real. Sáltate los cimientos y las etapas posteriores no tendrán nada con qué trabajar; sáltate las etapas posteriores y tendrás capacidad en bruto sin modales ni criterio.

Por qué tanto conocimiento proviene de la primera etapa

Un error común es creer que un modelo aprende hechos durante el ajuste fino o el alineamiento. En su mayoría no es así. La abrumadora mayoría de lo que un modelo sabe se asienta durante el preentrenamiento, cuando ve el grueso vasto de sus datos. Las etapas posteriores son comparativamente diminutas y tratan del comportamiento y la forma, no de cargar información nueva.

Esto tiene una consecuencia práctica. Si a un modelo le falta conocimiento —sobre eventos recientes o sobre tus documentos privados— el ajuste fino y el alineamiento normalmente no son la solución, porque no son por donde entra el conocimiento. Las mejores herramientas son darle al modelo la información en el momento en que preguntas o, a un gran coste, rehacer partes de la primera etapa intensiva en conocimiento. Entender qué hace cada etapa te dice qué palanca accionar.

Qué no garantiza ninguna de estas etapas

Vale la pena ser claro sobre los límites de las tres. Ninguna hace infalible a un modelo. El preentrenamiento puede absorber errores y sesgos presentes en sus datos. El ajuste fino puede hacer que un modelo sea fluido en una tarea sin hacerlo correcto. El alineamiento puede moldear el comportamiento en los casos para los que fue entrenado mientras deja vacíos en los casos para los que no lo fue. Las etapas reducen los problemas; no los eliminan.

En particular, un modelo bien alineado y bien ajustado puede aun así producir respuestas seguras, fluidas y erróneas, porque la fluidez y la verdad son cosas distintas y solo la primera se entrena directamente. El proceso de tres etapas es como se construyen hoy los modelos más capaces y mejor comportados, pero es un proceso de moldear tendencias, no de instalar garantías. Tratar su salida como fiable por construcción es el error que el propio proceso no puede prevenir.

En resumen

Preentrenamiento, ajuste fino y alineamiento son tres etapas con tres trabajos: conocimiento, habilidad y comportamiento. El preentrenamiento inunda al modelo de texto hasta que es fluido y conocedor pero desenfocado. El ajuste fino moldea esa capacidad en bruto en comportamiento útil para tareas. El alineamiento gobierna cómo se conduce el modelo en las situaciones abiertas que exige el uso real. Se construyen una sobre otra en orden, y la mayor parte de lo que un modelo sabe llega en la primera etapa. Mantén las tres distintas, y mucha confusión sobre lo que los modelos pueden y no pueden hacer se disuelve.