Evaluación más allá de los benchmarks: jueces humanos y modelos

Durante mucho tiempo, el progreso en aprendizaje automático se midió mediante benchmarks: conjuntos de datos fijos con respuestas correctas conocidas, donde la puntuación de un modelo es simplemente cuántas veces las acierta. Los benchmarks son maravillosos cuando aplican. Son objetivos, repetibles y comparables. El problema es que las cosas más interesantes que hacen ahora los modelos —escribir un ensayo, explicar un concepto, redactar código, mantener una conversación útil— no tienen una única respuesta correcta con la que contrastar. Evaluar ese tipo de trabajo requiere criterio, y el criterio es desordenado.

Este artículo trata de cómo el campo se las arregla: cuando los benchmarks se agotan, recurres a jueces. A veces esos jueces son personas. Cada vez más, son otros modelos. Ambos enfoques son útiles, y ambos pueden desviarte en silencio.

Por qué los benchmarks dejan de bastar

Un benchmark funciona cuando la corrección está bien definida. ¿Etiquetó el modelo la imagen correctamente? ¿Resolvió la ecuación? Puedes puntuar eso automáticamente y confiar en el número.

Las tareas abiertas rompen esto. Supón que dos modelos escriben cada uno un resumen de un artículo. ¿Cuál es mejor? "Mejor" depende ahora de exactitud, completitud, claridad, tono, longitud y de si dejó fuera algo importante: un manojo de cualidades que ninguna puntuación de coincidencia exacta captura. Podrías inventar una métrica indirecta, como el solapamiento con un resumen de referencia, pero eso premia la similitud superficial más que la calidad genuina, y un gran resumen que resulta estar redactado de otra forma puntúa mal.

Hay también un fallo más sutil: los benchmarks pueden manipularse y saturarse. Una vez que un benchmark se vuelve objetivo, los sistemas se optimizan para esa prueba específica, y las puntuaciones altas dejan de reflejar capacidad general. Un modelo puede arrasar en un benchmark y aun así ser desagradable o poco fiable en el uso real. Así que el campo recurre a métodos de evaluación que se parecen más a cómo juzgaría realmente la salida una persona.

Evaluación humana: el estándar de oro, con salvedades

La forma más directa de juzgar la calidad abierta es preguntarle a la gente. Muestra a humanos la salida del modelo y haz que la valoren, o muéstrales dos salidas y pregunta cuál prefieren. Las comparaciones de preferencia son populares porque "¿cuál de estas es mejor?" es una pregunta mucho más fácil y fiable para una persona que "puntúa esto del uno al diez".

El criterio humano es lo más cercano que tenemos a una verdad de referencia para la calidad subjetiva, y sustenta gran parte de cómo se alinean los modelos modernos para ser útiles. Pero no es una señal limpia:

• Es lento y caro. Las personas son mucho más costosas que una métrica automática, lo que limita cuánto puedes evaluar.
• Es inconsistente. Personas distintas discrepan; la misma persona discrepa consigo misma en días distintos. Necesitas muchas valoraciones para promediar el ruido.
• Está sesgado de formas predecibles. Los evaluadores pueden favorecer respuestas más largas, de sonido más seguro o mejor formateadas, aunque no sean realmente mejores. Pueden dejarse seducir por una prosa fluida que está sutilmente equivocada.

Así que la evaluación humana es el estándar de oro y un instrumento defectuoso al mismo tiempo. La disciplina está en diseñar bien las preguntas, recopilar suficientes valoraciones y vigilar los sesgos que sabes que acechan.

El modelo como juez

Como la evaluación humana es tan costosa, ha cuajado una idea natural: usar un modelo capaz para hacer de juez. Dale a un modelo fuerte la tarea, la respuesta candidata (o dos respuestas a comparar) y una rúbrica, y pídele que puntúe o elija un ganador. A esto se le suele llamar LLM-as-judge.

El atractivo es obvio. Un juez modelo es rápido, barato, está disponible las 24 horas y es perfectamente consistente en el sentido estrecho de que sigue las mismas instrucciones cada vez. Puede evaluar miles de salidas en el tiempo que un panel humano maneja un puñado, lo que hace práctico probar cambios que de otro modo serían demasiado caros de medir. Para muchas tareas abiertas, las preferencias de un modelo fuerte se alinean razonablemente bien con lo que la gente prefiere, lo bastante bien para ser genuinamente útil en iteración rápida.

Esto se ha vuelto un caballo de batalla de la evaluación moderna precisamente porque desbloquea el cuello de botella. Pero viene con su propio catálogo de peligros, y tratar a un juez modelo como un oráculo es una receta para engañarte a ti mismo.

Cómo te engañan los jueces modelo

Un juez modelo tiene sesgos, y como está automatizado, esos sesgos aplican sistemáticamente a cada juicio, lo que puede ser peor que el ruido humano que al menos se promedia.

• Efectos de posición y orden. Al comparar dos respuestas, un juez puede favorecer la que se mostró primero (o última), sin importar el contenido. Intercambiar el orden y promediar es una precaución estándar.
• Sesgo de verbosidad y estilo. Los jueces modelo a menudo prefieren respuestas más largas, más elaboradas y de sonido más seguro, incluso cuando una respuesta corta y correcta es mejor. La forma pulida puede vencer al fondo correcto.
• Autopreferencia. Un juez puede favorecer salidas que se parecen a su propio estilo o que él mismo habría producido, lo que sesga las comparaciones entre modelos.
• Susceptibilidad al encuadre de la pregunta. Cómo se redacte la rúbrica puede inclinar el veredicto, así que el prompt al juez es en sí mismo un artefacto de diseño que tienes que acertar.

El riesgo más profundo es la circularidad: si usas un modelo para juzgar un modelo, y ambos comparten los mismos puntos ciegos, el juez valorará felizmente las tonterías seguras como excelentes porque comparte las mismas ideas equivocadas. La evaluación parece rigurosa y mide lo equivocado.

Hacer los jueces dignos de confianza

Ninguno de estos problemas significa que debas abandonar los jueces modelo; significan que debes tratar su salida como evidencia, no como veredicto. Prácticas que ayudan:

• Valida el juez contra humanos. Comprueba periódicamente que los veredictos del juez modelo coinciden con un juicio humano cuidadoso sobre una muestra. Si divergen, confía en los humanos y recalibra.
• Controla los sesgos conocidos. Aleatoriza el orden de las respuestas, vigila si el juez solo premia la longitud y diseña rúbricas que pidan criterios específicos en lugar de un vago ambiente general.
• Usa rúbricas claras y concretas. Un juez al que se le dice exactamente qué buscar es más fiable que uno al que se le pregunta un abierto "¿cuál es mejor?".
• Mantén humanos en el bucle para lo de alto riesgo. Usa el juicio barato del modelo para iterar rápido, y reserva la evaluación humana para las decisiones que de verdad importan.

El objetivo es un sistema por capas: juicio automatizado para velocidad y escala, anclado por juicio humano periódico para la verdad de referencia.

En resumen

Los benchmarks miden lo que es fácil de puntuar, y las cosas más valiosas que hacen los modelos no son fáciles de puntuar. Eso empuja la evaluación hacia el criterio: de personas, que son el estándar de oro pero lentas, inconsistentes y silenciosamente sesgadas, y de modelos actuando como jueces, que son rápidos y baratos pero cargan con sesgos sistemáticos propios y arriesgan una trampa circular donde un modelo premia sus propios puntos ciegos. Ningún juez es un oráculo. El camino fiable es usar jueces modelo para la escala, validarlos contra humanos, controlar los sesgos que sabes que existen y mantener el juicio humano anclando las decisiones que cuentan. Una buena evaluación no es un solo número: es saber cuánto confiar en el número que tienes.