태그

#efficiency

4개 기사

지식 증류는 작은 모델이 큰 모델을 모방하도록 훈련합니다. 핵심은 정답을 베끼는 것이 아니라, 큰 모델이 망설이는 방식을 베끼는 데 있습니다.

"모델을 줄이는 두 가지 방법 — 하나는 숫자를 바꾸고, 다른 하나는 더 작은 사본을 학습시킵니다. 각각의 원리와 언제 꺼내 쓸지 살펴봅니다."

전문가 혼합은 입력마다 모델의 일부만 써서, 거대하면서도 운영이 저렴한 모델을 가능하게 합니다. 그 아이디어와 중요한 이유를 쉽게 풀어봅니다.

가장 큰 모델이 옳은 모델인 경우는 드뭅니다. 작은 온디바이스 모델이 통째로 한 부류의 일을 이기는 이유, 그리고 당신의 일이 그런 부류인지 가려내는 법을 살펴봅니다.