Investigación
Artículos y técnicas, explicados con claridad
Generación aumentada por recuperación (RAG), desde primeros principios
RAG suele explicarse como una pila de herramientas. Quita eso y queda una idea simple: deja que el modelo lea el material correcto antes de responder. Así funciona.
Por qué es difícil escalar la longitud del contexto
Una ventana de contexto más larga suena como un mando simple de girar. Por debajo lucha contra un coste que crece más rápido que el texto, y una atención que se reparte.
El olvido catastrófico y el aprendizaje continuo
Enseña algo nuevo a una red neuronal y tiende a olvidar lo que sabía. Este problema tenaz explica por qué los modelos aprenden en grandes lotes, no en flujo.
Cadena de pensamiento: por qué ayudan los pasos de razonamiento
Pedirle a un modelo que "piense paso a paso" lo vuelve mucho mejor en problemas difíciles. Es extraño si lo piensas. Aquí está por qué funciona.
Qué hace de verdad el RLHF
El RLHF es el paso que convierte un predictor de texto en algo con lo que hablar. Esto es lo que cambia de verdad, y lo que no, que importa igual.
Destilación: enseñar a modelos pequeños a partir de grandes
La destilación de conocimiento entrena a un modelo pequeño para imitar a uno grande. El truco no es copiar respuestas, sino copiar cómo el grande duda.
Evaluación más allá de los benchmarks: jueces humanos y modelos
Los benchmarks miden lo fácil de puntuar. Para el trabajo abierto necesitas criterio: de personas, o de un modelo que las sustituye. Ambos pueden engañar.
Cómo se evalúan los modelos: los benchmarks, y por qué mienten
Las puntuaciones de benchmark parecen mediciones, pero son argumentos. Cómo funciona de verdad la evaluación de modelos, y por qué un número alto puede engañarte.
Los tokenizadores y por qué importan para los idiomas
Un modelo de lenguaje nunca ve palabras. Ve tokens. Cómo se trocea el texto en tokens decide en silencio el coste, la velocidad y la equidad entre idiomas.
La atención, en lenguaje claro
La atención suena técnica, pero la idea es algo que haces cada vez que lees. Esto es lo que significa de verdad dentro de un modelo, sin matemáticas.
La alucinación, explicada sin el pánico
Un modelo de lenguaje que se inventa cosas no está fallando: hace exactamente aquello para lo que se construyó. Por qué ocurre la alucinación y cómo gestionarla.
Datos sintéticos: entrenar modelos con la salida de modelos
Cuando los datos reales escasean, los modelos pueden generar sus propios datos de entrenamiento. Es potente, algo circular y peligroso si olvidas su origen.
Fine-tuning vs RAG vs prompting: una guía de decisión
Tres formas de hacer que un modelo haga lo que quieres, y casi todos los equipos recurren primero a la más pesada. Así se elige en el orden correcto.
Leyes de escalado: más grande, pero por qué
"Hazlo más grande" suena a eslogan, no a ciencia. Las leyes de escalado lo convirtieron en una. Esto es lo que de verdad dicen, y lo que no dicen.
La arquitectura transformer, explicada sin matemáticas
El transformer suele dibujarse como un muro de ecuaciones. Quítalo y queda una idea elegante: que cada palabra decida qué otras importan.
Preentrenamiento vs ajuste fino vs alineamiento
Tres palabras se mezclan cuando se describe cómo se hacen los modelos. Son etapas distintas con trabajos distintos. Esto es lo que hace cada una.
Habilidades emergentes: ¿reales o espejismo?
Los modelos grandes parecen "captar" de repente habilidades que les faltan a los pequeños. ¿Es un cambio de fase real o un truco de cómo medimos? La respuesta honesta: ambas cosas.