Qué son de verdad los "parámetros" de un modelo

Cada anuncio de un modelo parece venir con una cifra: tantos miles de millones de parámetros. El dato se cita como los caballos de fuerza en la ficha técnica de un coche, como si más significara automáticamente mejor. Pero la mayoría de quienes repiten la cifra no sabrían decir qué es realmente un parámetro, y ese vacío lleva a malas intuiciones: perseguir recuentos de parámetros, asumir que un modelo más grande siempre es más listo, o malinterpretar lo que la cifra te dice sobre coste y capacidad. Este artículo explica qué es de verdad un parámetro, en lenguaje llano, y qué predice y qué no su recuento.

Un parámetro es un número aprendido

En su forma más simple: un parámetro es un único número que el modelo ajusta durante el entrenamiento. Eso es todo. Un modelo es, mecánicamente, una colección muy grande de números dispuestos en una estructura, más reglas para combinar la entrada con esos números y producir una salida. Los parámetros son esos números. "Siete mil millones de parámetros" significa aproximadamente siete mil millones de valores ajustables individuales dentro del modelo.

Estos números no los escriben ingenieros. Empiezan esencialmente aleatorios y se empujan, un poquito cada vez, a lo largo del entrenamiento: cada vez que la predicción del modelo se equivoca, muchos parámetros se desplazan ligeramente para hacer ese tipo de error menos probable la próxima vez. Tras suficientes ajustes de este tipo sobre cantidades enormes de datos, los parámetros se asientan en valores que codifican los patrones que el modelo ha aprendido. El "conocimiento" de un modelo no se almacena como hechos legibles; está distribuido entre estos miles de millones de números de una forma que ningún humano escribió directamente.

Los pesos y la analogía que ayuda

A los parámetros se les suele llamar pesos, y el nombre sugiere una imagen útil. Piensa en el modelo como una vasta red de conexiones, donde cada conexión tiene una fuerza: cuánto influye una pieza de información interna sobre otra. Esas fuerzas son los pesos. Un peso alto significa una influencia fuerte; uno bajo o negativo, una influencia débil u opuesta.

Cuando el texto fluye por el modelo, se combina repetidamente con estos pesos —amplificado aquí, atenuado allá— y el efecto acumulado de todas esas combinaciones ponderadas es lo que produce la predicción del siguiente token. El entrenamiento es el proceso de encontrar las fuerzas correctas: qué conexiones deben importar mucho y cuáles apenas, para que el modelo prediga bien. Así que cuando oyes "el modelo aprendió", lo que físicamente ocurrió es que un número tremendo de estos pesos se desplazó hacia mejores valores.

Por eso no puedes abrir un modelo y encontrar el hecho "París es la capital de Francia" escrito en algún sitio. Ese hecho, en la medida en que el modelo lo posea, vive como un patrón particular repartido entre muchos pesos trabajando juntos. El conocimiento en un modelo es difuso, no archivado.

Qué te dice realmente el recuento

El recuento de parámetros es una medida aproximada de la capacidad de un modelo: cuánto puede, en principio, aprender y representar. Más parámetros significan más espacio para almacenar patrones y más flexibilidad para modelar relaciones complejas. En igualdad de condiciones, un modelo más grande tiene un techo más alto.

Pero "en igualdad de condiciones" hace mucho trabajo, y la capacidad no es lo mismo que la capacidad realizada. Algunas cosas que el recuento no te dice directamente:

• Cuán bueno es el modelo de verdad. La capacidad es potencial. Un modelo más grande entrenado con datos pobres, o entrenado de forma insuficiente, puede ser superado por uno más pequeño bien entrenado. El recuento te dice el tamaño del recipiente, no la calidad de lo que hay dentro.
• En qué es bueno. Dos modelos de tamaño similar pueden tener fortalezas muy distintas según sus datos de entrenamiento y su ajuste. La cifra calla sobre esto.
• Si es la opción adecuada para ti. Un modelo más pequeño, más rápido y más barato puede servir perfectamente a tu tarea. La frontera de la capacidad en bruto rara vez es donde debería vivir la mayoría del trabajo práctico.

Así que el recuento de parámetros es información genuina, pero está más cerca de "cilindrada del motor" que de "cuán rápido te llevará este coche al trabajo": relevante, pero lejos de ser la historia completa.

Por qué más grande no es automáticamente mejor

Existe una intuición persistente de que el modelo con más parámetros debe ser el más listo. En la práctica la relación es mucho más floja, por varias razones.

Los datos y el entrenamiento importan enormemente. La calidad de un modelo depende de cuántos buenos datos vio y de cuán bien fue entrenado, no solo de su tamaño. La capacidad que nunca se llena bien se desperdicia.

La técnica mejora con el tiempo. Mejores métodos de entrenamiento y mejor curación de datos hacen que un modelo más nuevo y pequeño pueda igualar o superar a uno más viejo y grande. El tamaño de hace un año no compra lo que compra el tamaño de hoy.

Más grande cuesta más de operar. Cada parámetro adicional suma al cómputo, la memoria y la latencia necesarios para usar el modelo. Un modelo más grande es por lo general más lento y más caro por petición. Para muchas aplicaciones ese coste no compensa una mejora marginal de capacidad, y a veces no hay ninguna mejora para la tarea en cuestión.

La conclusión: el recuento de parámetros es una entrada para un juicio, no el juicio en sí. Comparar dos modelos puramente por su tamaño es una buena forma de elegir mal.

Parámetros activos frente a totales

Un matiz que conviene conocer, porque confunde a quienes leen fichas técnicas de modelos. Algunas arquitecturas modernas no usan todos sus parámetros para cada entrada. En estos diseños el modelo puede tener un recuento total de parámetros muy grande mientras solo activa una fracción de ellos para procesar un token dado.

Esto importa porque rompe el vínculo simple entre tamaño y coste. Un modelo podría anunciar un enorme recuento total de parámetros y aun así operar a un coste más cercano al de uno mucho más pequeño, porque la mayoría de los parámetros permanecen inactivos en cualquier petición concreta. Así que al comparar modelos vale la pena saber si un recuento citado es el número total de parámetros o el realmente usado por entrada: pueden contar historias muy distintas sobre capacidad y coste.

Cómo leer los recuentos de parámetros en la práctica

La próxima vez que veas una cifra de parámetros, unos pocos hábitos te mantienen honesto. Trátala como un indicador aproximado de capacidad, no como una puntuación de calidad. Recuerda que los datos y el método de entrenamiento pueden importar más que el tamaño en bruto, sobre todo al comparar modelos de eras distintas. Asume que más grande generalmente significa más lento y más caro de operar, y sopésalo frente a tus necesidades reales. Y comprueba si la cifra se refiere a parámetros totales o activos antes de sacar conclusiones sobre el coste. Con esas salvedades, el recuento es contexto útil. Sin ellas, es una cifra que invita a las conclusiones equivocadas.

En resumen

Un parámetro es un número aprendido: uno de los miles de millones de valores ajustables, normalmente llamados pesos, que un modelo afina durante el entrenamiento para capturar los patrones de sus datos. El recuento total es una medida aproximada de capacidad: cuánto puede, en principio, representar el modelo. Es información real, pero no es una puntuación de capacidad, ni una garantía de calidad, ni un veredicto sobre qué modelo deberías usar. Los datos de entrenamiento, el método, la edad del modelo y cuántos parámetros están realmente activos por entrada moldean el resultado al menos tanto como la cifra del titular. Lee el recuento como leerías el tamaño del motor en una ficha técnica: una pista sobre el potencial, nunca la historia completa.