标签
#context-window
4 篇文章
models
token 的成本：模型定价是怎么运作的
"模型账单以 token 计量，而非单词或请求。弄清 token 是什么、以及你为哪些 token 付费，是让成本保持可预测的方式。"
#tokens#pricing#cost-management
06-12 15:45·7 分钟
research
为什么上下文长度难以扩展
更长的上下文窗口听上去只是个简单的旋钮。其底层却在对抗一种增长快过文本本身的成本——以及一种被摊得越来越薄的注意力。
#context-window#attention#scaling
06-08 18:48·7 分钟
models
上下文窗口详解：token、注意力，以及长上下文在哪里失灵
更大的上下文窗口并不等同于更好的记忆。这是上下文窗口究竟是什么、长输入为何会劣化，以及如何围绕它来设计。
#context-window#tokens#attention
06-02 10:06·7 分钟
models
token 与分词:为什么模型看文本的方式很奇怪
模型不读字母也不读词语——它们读的是 token。弄懂这一个事实,就能解释拼写出错、奇怪的成本,以及上下文限制为何这样运作。
#tokens#tokenization#context-window
05-14 16:37·7 分钟