标签
#fine-tuning
5 篇文章
research
灾难性遗忘与持续学习
教神经网络一些新东西，它往往就忘了原先会的。正是这个顽固问题，让模型成批学习，而非以流的方式学习。
#continual-learning#forgetting#training
06-06 13:46·7 分钟
models
大语言模型是如何训练出来的，用大白话讲
训练一个语言模型是分阶段进行的，而不是一步登天的魔法。本文用大白话讲清楚每个阶段做什么，以及顺序为何重要。
#training#pretraining#fine-tuning
06-01 12:06·7 分钟
research
RLHF 究竟做了什么
RLHF 是把一个原始文本预测器变成你能对话之物的那一步。本文谈它究竟改变了什么——以及同样重要的，它没有改变什么。
#rlhf#alignment#fine-tuning
05-25 15:07·7 分钟
research
微调、RAG 还是提示词：一份决策指南
让模型按你的意愿行事有三种方法——而多数团队上来就选了最重的那一个。本文告诉你如何按正确顺序做选择。
#fine-tuning#rag#prompting
04-20 10:42·7 分钟
research
预训练、微调与对齐
人们描述模型是怎么造出来的时候，常把这三个词混作一团。它们是各司其职的不同阶段。下面讲清楚每个阶段都在做什么。
#pretraining#fine-tuning#alignment
04-08 17:04·7 分钟