Etiqueta
#tokenization
2 artículos
models
Tokens y tokenización: por qué los modelos ven el texto de forma extraña
Los modelos no leen letras ni palabras: leen tokens. Entender ese hecho explica los fallos de ortografía, los costes raros y los límites de contexto.
#tokens#tokenization#context-window
05-14 16:37·7 min
research
Los tokenizadores y por qué importan para los idiomas
Un modelo de lenguaje nunca ve palabras. Ve tokens. Cómo se trocea el texto en tokens decide en silencio el coste, la velocidad y la equidad entre idiomas.
#tokenization#languages#nlp
05-05 08:17·7 min