Datos sintéticos: entrenar modelos con la salida de modelos

El aprendizaje automático siempre ha tenido hambre de datos, y durante un tiempo el suministro pareció infinito. Pero los datos de alta calidad para una tarea específica —ejemplos etiquetados, instrucciones limpias, demostraciones cuidadosas— son caros, escasos y a veces están vetados por motivos legales o éticos. Así que el campo se ha inclinado hacia una idea que suena casi paradójica: dejar que los modelos generen los datos usados para entrenar modelos. Esto son los datos sintéticos, y se han convertido en silencio en uno de los ingredientes más importantes de cómo se construye la IA moderna.

La premisa se siente circular, y en cierto sentido lo es. El arte está en hacer que la circularidad sea productiva en lugar de degenerativa —en sacar más de la salida de un modelo de lo que pusiste en producirla, sin envenenar lentamente el pozo.

Por qué generar datos en absoluto

Los datos reales tienen limitaciones reales, y cada una es una razón para considerar los datos sintéticos.

• Algunos datos apenas existen. Los eventos raros, los casos límite inusuales, los idiomas con pocos recursos y los escenarios poco comunes son exactamente las situaciones que más quieres que un modelo maneje —y exactamente las que tienen menos ejemplos naturales.
• El etiquetado es caro. Incluso cuando existen datos en bruto, convertirlos en la forma etiquetada e instructiva de la que un modelo puede aprender requiere un esfuerzo humano que no escala de forma barata.
• Los datos reales acarrean restricciones. Pueden contener información privada, caer bajo restricciones de uso o ser imposibles de compartir. Los datos sintéticos pueden diseñarse para esquivar esos problemas.
• Puedes apuntar exactamente a lo que necesitas. En lugar de esperar que los ejemplos correctos aparezcan en un corpus, puedes pedir a un modelo que produzca muchos ejemplos precisamente de la habilidad o situación que quieres enseñar.

Ese último punto es la motivación más profunda. Los datos sintéticos te permiten fabricar el currículo. Si un modelo es flojo en cierto tipo de razonamiento, puedes generar una avalancha de problemas de práctica enfocados para él, en lugar de rastrear el mundo en busca de los que aparecen de forma natural.

Las formas que adoptan los datos sintéticos

"Datos sintéticos" cubre un abanico de técnicas que difieren en cuánto se apoyan en un modelo.

El toque más ligero es la aumentación: tomar ejemplos reales y transformarlos para crear variaciones —reformular una frase, alterar ligeramente una imagen— de modo que un pequeño conjunto de datos cunda más. Los datos son en su mayoría reales, solo que multiplicados.

Un enfoque más fuerte es la generación completa: pedir a un modelo capaz que produzca ejemplos desde cero. Generar preguntas y respuestas, escribir instrucciones y respuestas ideales, crear soluciones desarrolladas para problemas. Aquí el modelo es la fuente de los datos, no solo un transformador de ellos.

Un patrón particularmente eficaz usa un modelo fuerte para enseñar a uno más débil o más pequeño. El modelo fuerte genera demostraciones de alta calidad, y esas se convierten en datos de entrenamiento para el alumno. Esto se solapa mucho con la destilación, y es una de las principales razones por las que un comportamiento capaz puede comprimirse en modelos más pequeños y baratos. El modelo caro hace el pensamiento difícil una vez; su salida se convierte en un corpus de enseñanza reutilizable.

Un patrón más sutil usa un modelo para generar y luego filtrar su propia salida: producir muchas respuestas candidatas, quedarse solo con las buenas según algún criterio, y entrenar con las supervivientes. El modelo se autoarranca aprendiendo de su propio mejor trabajo mientras descarta el resto.

Por qué funciona siquiera

Es justo ser desconfiado. Si un modelo solo sabe lo que aprendió, ¿cómo puede su salida enseñarle algo nuevo? La resolución es que la generación y el aprendizaje no son la misma operación, y varios mecanismos reales hacen productivo el bucle.

Un modelo a menudo puede reconocer una buena respuesta de forma más fiable de lo que puede producirla al primer intento. Generando muchos intentos y quedándose solo con los que pasan una comprobación —una prueba que se ejecuta, un verificador que confirma, una señal de recompensa—, destilas una competencia dispersa en datos de entrenamiento limpios y consistentes. El modelo sabía cómo acertar a veces; el filtrado convierte ese "a veces" en "de forma fiable".

La generación también puede reestructurar el conocimiento existente en una forma más aprendible: convertir texto en bruto en pares limpios de pregunta y respuesta, o una solución escueta en una explicación paso a paso. La información estaba latente; la generación sintética la hace explícita y fácil de aprender. Y un modelo fuerte puede transferir su competencia a muchos más pequeños, difundiendo una capacidad que fue cara de crear.

El peligro: el colapso del modelo

La historia optimista tiene un límite afilado, e ignorarlo es como los datos sintéticos salen mal. Si entrenas un modelo puramente con la salida de modelos, generación tras generación, sin un anclaje en datos reales, la calidad puede degradarse en un proceso que a menudo se llama colapso del modelo.

La intuición es que la salida de un modelo es un reflejo con pérdidas de la realidad. Entrena con esa salida y aprendes el reflejo, no el original. Los casos raros y las colas de la distribución —lo inusual, lo sorprendente, lo difícil— son exactamente lo que un modelo subrepresenta en su salida, así que se desvanecen un poco con cada generación. Repite el bucle y el mundo del modelo se estrecha hacia el centro común y soso, perdiendo la diversidad que lo hacía capaz. Como una fotocopia de una fotocopia, cada pasada pierde detalle que nunca podrá recuperarse desde dentro del bucle.

Este es el relato de advertencia central de los datos sintéticos. La salida de un modelo no es un sustituto del contacto con la realidad; es un derivado de ella. Corta del todo la conexión con datos reales, diversos y anclados en lo humano y arriesgas drenar lentamente del sistema exactamente lo que lo hacía bueno.

Usar datos sintéticos sin envenenar el pozo

Los profesionales que usan bien los datos sintéticos los tratan como un suplemento, no un reemplazo, y mantienen una atadura a la realidad.

• Mezcla datos reales. Mantén datos genuinos y diversos en la mezcla de entrenamiento para que el modelo siga anclado y las colas no desaparezcan.
• Filtra agresivamente. Los datos sintéticos son tan buenos como su control de calidad. Generar mucho y quedarse con la fracción verificablemente buena es donde reside gran parte del valor.
• Ancla la generación en algo real. Haz que el generador trabaje a partir de documentos reales, restricciones reales o una señal comprobable, en lugar de hilar texto de la nada.
• Vigila el estrechamiento. Monitoriza la diversidad, no solo la calidad media. Un conjunto de datos que parece limpio pero ha perdido su variedad es una señal de alarma de que la dinámica de colapso está tomando fuerza.

Hecho así, los datos sintéticos son un amplificador de los datos reales en lugar de un reemplazo de ellos —y la diferencia entre esos dos planteamientos es la diferencia entre una técnica potente y un fracaso lento.

En resumen

Los datos sintéticos son la práctica de usar modelos para generar los datos que entrenan modelos, y se han vuelto esenciales porque los datos reales, etiquetados y de alta calidad son escasos, caros y restringidos. Funcionan porque reconocer, filtrar y reestructurar puede extraer un conocimiento más fiable que la generación en bruto por sí sola, y porque la salida de un modelo fuerte puede enseñar a muchos más pequeños. Pero acarrean un peligro real: aislado de los datos reales y enrollado sobre sí mismo, un modelo entrenado con la salida de modelos deriva hacia la sosería en el colapso del modelo. La disciplina consiste en mantener los datos sintéticos atados a la realidad —mezclados con ejemplos reales, filtrados con dureza y anclados en algo comprobable— para que amplifiquen lo que tienes en lugar de erosionarlo lentamente.