タグ
#quantization
2件の記事
tools
LLMをローカルで動かす：1台のノートPCのための実践入門
いまや有能なオープンウェイトモデルを1台のノートPCで動かせます。動くかどうかを実際に決めるもの——メモリ、量子化、ツール——と各々の正直な期待値を解説します。
#local-llm#quantization#on-device
05-14 09:12·7 分
models
量子化と蒸留：モデルを小さくする
モデルを縮める二つの異なる方法。一方は数値を変え、もう一方は小さな複製を学習させます。それぞれの仕組みと、どちらに手を伸ばすべきかを解説します。
#quantization#distillation#model-compression
04-12 16:37·7 分