标签
#attention
4 篇文章
research
为什么上下文长度难以扩展
更长的上下文窗口听上去只是个简单的旋钮。其底层却在对抗一种增长快过文本本身的成本——以及一种被摊得越来越薄的注意力。
#context-window#attention#scaling
06-08 18:48·7 分钟
models
上下文窗口详解：token、注意力，以及长上下文在哪里失灵
更大的上下文窗口并不等同于更好的记忆。这是上下文窗口究竟是什么、长输入为何会劣化，以及如何围绕它来设计。
#context-window#tokens#attention
06-02 10:06·7 分钟
research
通俗讲讲注意力机制
注意力听起来很技术，但这个想法你每次阅读时都在用。本文不带数学，讲清它在语言模型内部到底是什么意思。
#attention#transformers#context
04-30 11:26·7 分钟
research
不用数学公式讲清楚 Transformer 架构
Transformer 通常被画成一整面墙的方程式。把那些剥掉，剩下的只是一个优雅的想法：让每个词自己决定哪些词对它最重要。
#transformers#architecture#attention
04-15 10:54·7 分钟