标签
2 篇文章
知识蒸馏训练一个小模型去模仿一个大模型。诀窍不在于复制答案，而在于复制大模型不确定的方式。
"两种把模型缩小的不同方式——一种改变它的数字，另一种训练一个更小的副本。下面讲清楚各自如何运作、以及何时该用哪一个。"
