Etiqueta
#transformers
3 artículos
research
Por qué es difícil escalar la longitud del contexto
Una ventana de contexto más larga suena como un mando simple de girar. Por debajo lucha contra un coste que crece más rápido que el texto, y una atención que se reparte.
#context-window#attention#scaling
06-08 18:48·7 min
research
La atención, en lenguaje claro
La atención suena técnica, pero la idea es algo que haces cada vez que lees. Esto es lo que significa de verdad dentro de un modelo, sin matemáticas.
#attention#transformers#context
04-30 11:26·7 min
research
La arquitectura transformer, explicada sin matemáticas
El transformer suele dibujarse como un muro de ecuaciones. Quítalo y queda una idea elegante: que cada palabra decida qué otras importan.
#transformers#architecture#attention
04-15 10:54·7 min