태그

#attention

4개 기사

더 긴 컨텍스트 윈도는 그저 돌리면 되는 손잡이처럼 들립니다. 그 아래에서는 텍스트보다 빠르게 커지는 비용과, 얇게 퍼지는 어텐션과 싸웁니다.

더 큰 컨텍스트 윈도우가 더 좋은 기억력과 같은 것은 아닙니다. 컨텍스트 윈도우가 진짜 무엇인지, 긴 입력이 왜 성능이 떨어지는지, 그리고 이를 고려해 설계하는 법을 살펴봅니다.

어텐션은 기술적으로 들리지만, 그 아이디어는 글을 읽을 때마다 우리가 하는 일입니다. 수식 없이, 언어 모델 안에서 그것이 정말로 무엇을 뜻하는지 짚어 봅니다.

트랜스포머는 보통 방정식의 벽으로 그려집니다. 그것을 걷어내면 하나의 우아한 아이디어가 남습니다. 모든 단어가 어떤 다른 단어가 중요한지 스스로 정하게 하는 것입니다.