태그
#distillation
2개 기사
research
디스틸레이션: 큰 모델로 작은 모델 가르치기
지식 증류는 작은 모델이 큰 모델을 모방하도록 훈련합니다. 핵심은 정답을 베끼는 것이 아니라, 큰 모델이 망설이는 방식을 베끼는 데 있습니다.
#distillation#compression#training
05-21 13:52·7 분
models
양자화와 증류: 모델을 더 작게 만들기
"모델을 줄이는 두 가지 방법 — 하나는 숫자를 바꾸고, 다른 하나는 더 작은 사본을 학습시킵니다. 각각의 원리와 언제 꺼내 쓸지 살펴봅니다."
#quantization#distillation#model-compression
04-12 16:37·7 분