标签
#scaling
5 篇文章
research
为什么上下文长度难以扩展
更长的上下文窗口听上去只是个简单的旋钮。其底层却在对抗一种增长快过文本本身的成本——以及一种被摊得越来越薄的注意力。
#context-window#attention#scaling
06-08 18:48·7 分钟
models
模型的“参数”到底是什么
“数十亿参数”被人像念马力一样挂在嘴边。本文谈参数究竟是什么、它的数量为何重要，以及为什么更大并不自动意味着更好。
#parameters#model-size#weights
04-21 18:59·7 分钟
policy
推理的经济学：为什么「便宜的 AI」加起来还是不便宜
单次 AI 调用看起来几乎免费。那为什么 AI 账单会膨胀？用通俗的语言，带你认识那把分分钱变成真金白银的经济学。
#inference#cost#economics
04-16 14:07·7 分钟
models
专家混合模型，简单讲清
专家混合让一个模型既能巨大、又能廉价地运行，办法是每次输入只用上自身的一小片。本文把这个想法讲清，以及它为何重要。
#mixture-of-experts#architecture#efficiency
04-11 13:35·7 分钟
research
涌现能力：真实，还是海市蜃楼？
大模型似乎会突然「领悟」小模型所缺的技能。那究竟是真实的相变，还是我们衡量方式制造的把戏？诚实的答案是：两者都有。
#emergence#scaling#evaluation
04-03 08:35·7 分钟