태그
#quantization
2개 기사
tools
노트북 한 대로 LLM 로컬 실행하기: 실전 입문 가이드
오늘날 노트북 한 대로도 쓸 만한 오픈 웨이트 모델을 돌릴 수 있습니다. 메모리, 양자화, 도구가 실제 성패를 가르며, 각각에 대한 솔직한 기대치를 정리했습니다.
#local-llm#quantization#on-device
05-14 09:12·7 분
models
양자화와 증류: 모델을 더 작게 만들기
"모델을 줄이는 두 가지 방법 — 하나는 숫자를 바꾸고, 다른 하나는 더 작은 사본을 학습시킵니다. 각각의 원리와 언제 꺼내 쓸지 살펴봅니다."
#quantization#distillation#model-compression
04-12 16:37·7 분