태그
#training
7개 기사
research
파국적 망각과 지속 학습
신경망에 새로운 것을 가르치면 알던 것을 잊는 경향이 있습니다. 이 고질적 문제가 모델이 스트림이 아니라 큰 배치로 학습하는 이유입니다.
#continual-learning#forgetting#training
06-06 13:46·7 분
models
대규모 언어 모델은 어떻게 학습되는가, 쉬운 말로
언어 모델 학습은 마법 같은 한 단계가 아니라 여러 단계로 이뤄집니다. 각 단계가 하는 일과 순서가 중요한 이유를 쉬운 말로 풀어봅니다.
#training#pretraining#fine-tuning
06-01 12:06·7 분
policy
AI와 당신의 데이터: 입력값으로 학습한다는 것의 의미
어떤 서비스가 당신의 입력값으로 학습할 수 있다고 할 때, 그것은 당신의 글과 파일, 아이디어에 실제로 어떤 의미일까요? 그 거래를 쉬운 말로 풀어봅니다.
#data#privacy#training
05-26 17:18·7 분
research
디스틸레이션: 큰 모델로 작은 모델 가르치기
지식 증류는 작은 모델이 큰 모델을 모방하도록 훈련합니다. 핵심은 정답을 베끼는 것이 아니라, 큰 모델이 망설이는 방식을 베끼는 데 있습니다.
#distillation#compression#training
05-21 13:52·7 분
research
합성 데이터: 모델 출력으로 모델 훈련하기
실제 데이터가 부족할 때, 모델은 자신의 훈련 데이터를 직접 생성할 수 있습니다. 강력하고, 약간 순환적이며, 출처를 잊으면 위험합니다.
#synthetic-data#training#data
04-22 11:19·7 분
research
스케일링 법칙: 더 크게, 그런데 왜
"더 크게 만들어라"는 과학이 아니라 구호처럼 들립니다. 스케일링 법칙은 그것을 과학으로 바꾼 것입니다. 그 법칙이 실제로 무엇을 말하고 무엇을 말하지 않는지 짚어 봅니다.
#scaling-laws#compute#training
04-17 16:38·7 분
research
사전학습 vs 파인튜닝 vs 정렬
모델이 어떻게 만들어지는지 설명할 때 세 단어가 뭉뚱그려집니다. 이들은 각기 다른 일을 하는 다른 단계입니다. 각각이 무엇을 하는지 짚어 봅니다.
#pretraining#fine-tuning#alignment
04-08 17:04·7 분