태그
#transformers
3개 기사
research
컨텍스트 길이를 늘리기 어려운 이유
더 긴 컨텍스트 윈도는 그저 돌리면 되는 손잡이처럼 들립니다. 그 아래에서는 텍스트보다 빠르게 커지는 비용과, 얇게 퍼지는 어텐션과 싸웁니다.
#context-window#attention#scaling
06-08 18:48·7 분
research
쉬운 말로 풀어 보는 어텐션
어텐션은 기술적으로 들리지만, 그 아이디어는 글을 읽을 때마다 우리가 하는 일입니다. 수식 없이, 언어 모델 안에서 그것이 정말로 무엇을 뜻하는지 짚어 봅니다.
#attention#transformers#context
04-30 11:26·7 분
research
수식 없이 이해하는 트랜스포머 아키텍처
트랜스포머는 보통 방정식의 벽으로 그려집니다. 그것을 걷어내면 하나의 우아한 아이디어가 남습니다. 모든 단어가 어떤 다른 단어가 중요한지 스스로 정하게 하는 것입니다.
#transformers#architecture#attention
04-15 10:54·7 분