태그

#on-device

2개 기사

오늘날 노트북 한 대로도 쓸 만한 오픈 웨이트 모델을 돌릴 수 있습니다. 메모리, 양자화, 도구가 실제 성패를 가르며, 각각에 대한 솔직한 기대치를 정리했습니다.

가장 큰 모델이 옳은 모델인 경우는 드뭅니다. 작은 온디바이스 모델이 통째로 한 부류의 일을 이기는 이유, 그리고 당신의 일이 그런 부류인지 가려내는 법을 살펴봅니다.