연구
논문·기법을 쉽게 풀어쓰기
검색 증강 생성(RAG), 제1원리에서 출발하기
RAG는 흔히 여러 도구를 쌓아 올린 스택으로 설명됩니다. 그걸 걷어내면 단 하나의 단순한 아이디어가 남습니다. 모델이 답하기 전에 알맞은 자료를 읽게 하라는 것입니다.
컨텍스트 길이를 늘리기 어려운 이유
더 긴 컨텍스트 윈도는 그저 돌리면 되는 손잡이처럼 들립니다. 그 아래에서는 텍스트보다 빠르게 커지는 비용과, 얇게 퍼지는 어텐션과 싸웁니다.
파국적 망각과 지속 학습
신경망에 새로운 것을 가르치면 알던 것을 잊는 경향이 있습니다. 이 고질적 문제가 모델이 스트림이 아니라 큰 배치로 학습하는 이유입니다.
생각의 사슬: 추론 단계가 도움이 되는 이유
모델에게 "단계적으로 생각하라"고 시키면 어려운 문제를 눈에 띄게 더 잘 풉니다. 곰곰이 따져 보면 이상한 일입니다. 그것이 왜 작동하는지 짚어 봅니다.
RLHF가 실제로 하는 일
RLHF는 날것의 텍스트 예측기를 대화할 수 있는 무언가로 바꾸는 단계입니다. 그것이 실제로 무엇을 바꾸는지 — 그리고 못지않게 중요한, 무엇을 바꾸지 않는지 살펴봅니다.
디스틸레이션: 큰 모델로 작은 모델 가르치기
지식 증류는 작은 모델이 큰 모델을 모방하도록 훈련합니다. 핵심은 정답을 베끼는 것이 아니라, 큰 모델이 망설이는 방식을 베끼는 데 있습니다.
벤치마크를 넘어선 평가: 사람 심사자와 모델 심사자
벤치마크는 점수 매기기 쉬운 것을 측정합니다. 열린 과제에는 판단이 필요합니다. 사람에게서든, 사람을 대신하는 모델에게서든. 둘 다 오도할 수 있습니다.
모델은 어떻게 평가되는가: 벤치마크, 그리고 그것이 거짓말하는 이유
벤치마크 점수는 측정처럼 보이지만, 사실은 주장입니다. 모델 평가가 실제로 어떻게 이루어지는지, 그리고 높은 숫자가 왜 여전히 당신을 오도할 수 있는지 살펴봅니다.
토크나이저가 언어마다 중요한 이유
언어 모델은 단어를 보지 않습니다. 토큰을 봅니다. 텍스트가 토큰으로 쪼개지는 방식이 비용, 속도, 그리고 언어 간 공정성을 조용히 결정합니다.
쉬운 말로 풀어 보는 어텐션
어텐션은 기술적으로 들리지만, 그 아이디어는 글을 읽을 때마다 우리가 하는 일입니다. 수식 없이, 언어 모델 안에서 그것이 정말로 무엇을 뜻하는지 짚어 봅니다.
환각, 패닉 없이 설명하기
지어내는 언어 모델은 오작동하는 것이 아닙니다 — 만들어진 대로 정확히 행동하는 것입니다. 환각이 왜 일어나는지, 그리고 어떻게 다스릴지 짚어 봅니다.
합성 데이터: 모델 출력으로 모델 훈련하기
실제 데이터가 부족할 때, 모델은 자신의 훈련 데이터를 직접 생성할 수 있습니다. 강력하고, 약간 순환적이며, 출처를 잊으면 위험합니다.
파인튜닝 vs RAG vs 프롬프팅: 선택 가이드
모델이 원하는 대로 동작하게 만드는 세 가지 방법 — 그런데 대부분의 팀은 가장 무거운 것부터 집어 듭니다. 올바른 순서로 고르는 법을 짚어 봅니다.
스케일링 법칙: 더 크게, 그런데 왜
"더 크게 만들어라"는 과학이 아니라 구호처럼 들립니다. 스케일링 법칙은 그것을 과학으로 바꾼 것입니다. 그 법칙이 실제로 무엇을 말하고 무엇을 말하지 않는지 짚어 봅니다.
수식 없이 이해하는 트랜스포머 아키텍처
트랜스포머는 보통 방정식의 벽으로 그려집니다. 그것을 걷어내면 하나의 우아한 아이디어가 남습니다. 모든 단어가 어떤 다른 단어가 중요한지 스스로 정하게 하는 것입니다.
사전학습 vs 파인튜닝 vs 정렬
모델이 어떻게 만들어지는지 설명할 때 세 단어가 뭉뚱그려집니다. 이들은 각기 다른 일을 하는 다른 단계입니다. 각각이 무엇을 하는지 짚어 봅니다.
창발 능력: 진짜인가 신기루인가?
큰 모델은 작은 모델에 없는 능력을 갑자기 "터득"하는 듯합니다. 진짜 상전이일까요, 아니면 측정 방식의 속임수일까요? 정직한 답은 둘 다입니다.