Etiqueta
#scaling
5 artículos
Por qué es difícil escalar la longitud del contexto
Una ventana de contexto más larga suena como un mando simple de girar. Por debajo lucha contra un coste que crece más rápido que el texto, y una atención que se reparte.
Qué son de verdad los "parámetros" de un modelo
"Miles de millones de parámetros" se cita como si fueran caballos de fuerza. Esto es qué es un parámetro, por qué importa el recuento y por qué más no es mejor.
La economía de la inferencia: por qué la "IA barata" igual suma
Una sola llamada de IA parece casi gratis. Entonces, ¿por qué se disparan las facturas? Un recorrido sencillo por la economía que convierte céntimos en dinero de verdad.
Modelos de mezcla de expertos, explicados con sencillez
La mezcla de expertos permite que un modelo sea enorme pero barato de ejecutar usando solo una porción de sí mismo por entrada. Aquí va la idea, en claro, y por qué importa.
Habilidades emergentes: ¿reales o espejismo?
Los modelos grandes parecen "captar" de repente habilidades que les faltan a los pequeños. ¿Es un cambio de fase real o un truco de cómo medimos? La respuesta honesta: ambas cosas.