태그

#scaling

5개 기사

더 긴 컨텍스트 윈도는 그저 돌리면 되는 손잡이처럼 들립니다. 그 아래에서는 텍스트보다 빠르게 커지는 비용과, 얇게 퍼지는 어텐션과 싸웁니다.

"수십억 개의 파라미터"가 마력처럼 인용됩니다. 파라미터가 정말 무엇인지, 그 수가 왜 중요한지, 그리고 왜 크다고 자동으로 더 낫지 않은지 살펴봅니다.

AI 호출 한 번은 거의 공짜처럼 보입니다. 그런데 왜 AI 청구서는 부풀어 오를까요? 푼돈을 진짜 돈으로 바꾸는 경제학을 알기 쉽게 살펴봅니다.

전문가 혼합은 입력마다 모델의 일부만 써서, 거대하면서도 운영이 저렴한 모델을 가능하게 합니다. 그 아이디어와 중요한 이유를 쉽게 풀어봅니다.

큰 모델은 작은 모델에 없는 능력을 갑자기 "터득"하는 듯합니다. 진짜 상전이일까요, 아니면 측정 방식의 속임수일까요? 정직한 답은 둘 다입니다.