태그

#context-window

4개 기사

"모델 청구서는 단어나 요청이 아니라 토큰으로 매겨집니다. 토큰이 무엇이고 어느 것에 비용을 내는지 알면 비용을 예측할 수 있습니다."

더 긴 컨텍스트 윈도는 그저 돌리면 되는 손잡이처럼 들립니다. 그 아래에서는 텍스트보다 빠르게 커지는 비용과, 얇게 퍼지는 어텐션과 싸웁니다.

더 큰 컨텍스트 윈도우가 더 좋은 기억력과 같은 것은 아닙니다. 컨텍스트 윈도우가 진짜 무엇인지, 긴 입력이 왜 성능이 떨어지는지, 그리고 이를 고려해 설계하는 법을 살펴봅니다.

모델은 글자나 단어가 아니라 토큰을 읽습니다. 이 한 가지 사실만 알면 철자 실수, 묘한 비용, 문맥 한계가 작동하는 방식이 풀립니다.