标签
#efficiency
4 篇文章
research
蒸馏：用大模型教出小模型
知识蒸馏训练一个小模型去模仿一个大模型。诀窍不在于复制答案，而在于复制大模型不确定的方式。
#distillation#compression#training
05-21 13:52·7 分钟
models
量化与蒸馏：把模型变小
"两种把模型缩小的不同方式——一种改变它的数字，另一种训练一个更小的副本。下面讲清楚各自如何运作、以及何时该用哪一个。"
#quantization#distillation#model-compression
04-12 16:37·7 分钟
models
专家混合模型，简单讲清
专家混合让一个模型既能巨大、又能廉价地运行，办法是每次输入只用上自身的一小片。本文把这个想法讲清，以及它为何重要。
#mixture-of-experts#architecture#efficiency
04-11 13:35·7 分钟
models
小模型，大用场：端侧何时胜过云端
最大的模型很少是最合适的那一个。本文讲清小型端侧模型为何能拿下一整类工作，以及如何判断你的任务是否属于这一类。
#small-models#on-device#edge-ai
04-01 12:28·7 分钟