태그
#fine-tuning
5개 기사
research
파국적 망각과 지속 학습
신경망에 새로운 것을 가르치면 알던 것을 잊는 경향이 있습니다. 이 고질적 문제가 모델이 스트림이 아니라 큰 배치로 학습하는 이유입니다.
#continual-learning#forgetting#training
06-06 13:46·7 분
models
대규모 언어 모델은 어떻게 학습되는가, 쉬운 말로
언어 모델 학습은 마법 같은 한 단계가 아니라 여러 단계로 이뤄집니다. 각 단계가 하는 일과 순서가 중요한 이유를 쉬운 말로 풀어봅니다.
#training#pretraining#fine-tuning
06-01 12:06·7 분
research
RLHF가 실제로 하는 일
RLHF는 날것의 텍스트 예측기를 대화할 수 있는 무언가로 바꾸는 단계입니다. 그것이 실제로 무엇을 바꾸는지 — 그리고 못지않게 중요한, 무엇을 바꾸지 않는지 살펴봅니다.
#rlhf#alignment#fine-tuning
05-25 15:07·7 분
research
파인튜닝 vs RAG vs 프롬프팅: 선택 가이드
모델이 원하는 대로 동작하게 만드는 세 가지 방법 — 그런데 대부분의 팀은 가장 무거운 것부터 집어 듭니다. 올바른 순서로 고르는 법을 짚어 봅니다.
#fine-tuning#rag#prompting
04-20 10:42·7 분
research
사전학습 vs 파인튜닝 vs 정렬
모델이 어떻게 만들어지는지 설명할 때 세 단어가 뭉뚱그려집니다. 이들은 각기 다른 일을 하는 다른 단계입니다. 각각이 무엇을 하는지 짚어 봅니다.
#pretraining#fine-tuning#alignment
04-08 17:04·7 분