标签
#training
7 篇文章
research
灾难性遗忘与持续学习
教神经网络一些新东西，它往往就忘了原先会的。正是这个顽固问题，让模型成批学习，而非以流的方式学习。
#continual-learning#forgetting#training
06-06 13:46·7 分钟
models
大语言模型是如何训练出来的，用大白话讲
训练一个语言模型是分阶段进行的，而不是一步登天的魔法。本文用大白话讲清楚每个阶段做什么，以及顺序为何重要。
#training#pretraining#fine-tuning
06-01 12:06·7 分钟
policy
AI 与你的数据:用你的输入来训练意味着什么
当一项服务说它可能用你的输入来训练时,这对你的文字、文件和想法究竟意味着什么?一份关于这桩交易的大白话指南。
#data#privacy#training
05-26 17:18·7 分钟
research
蒸馏：用大模型教出小模型
知识蒸馏训练一个小模型去模仿一个大模型。诀窍不在于复制答案，而在于复制大模型不确定的方式。
#distillation#compression#training
05-21 13:52·7 分钟
research
合成数据:用模型的输出来训练模型
当真实数据告急时,模型可以生成自己的训练数据。这很强大,有点循环,而且如果忘了它从何而来就很危险。
#synthetic-data#training#data
04-22 11:19·7 分钟
research
缩放定律：更大，但为什么
"把它做大"听起来像句口号，而不是一门科学。缩放定律正是把它变成科学的东西。这里讲清楚它们到底说了什么、又没说什么。
#scaling-laws#compute#training
04-17 16:38·7 分钟
research
预训练、微调与对齐
人们描述模型是怎么造出来的时候，常把这三个词混作一团。它们是各司其职的不同阶段。下面讲清楚每个阶段都在做什么。
#pretraining#fine-tuning#alignment
04-08 17:04·7 分钟