Etiqueta
#quantization
2 artículos
tools
Ejecutar LLM en local: una guía práctica para un solo portátil
Hoy puedes ejecutar un modelo de pesos abiertos capaz en un solo portátil. Esto es lo que realmente determina si funciona —memoria, cuantización, herramientas— y expectativas honestas.
#local-llm#quantization#on-device
05-14 09:12·7 min
models
Cuantización y destilación: hacer los modelos más pequeños
"Dos formas distintas de encoger un modelo: una cambia sus números, la otra entrena una copia más pequeña. Así funciona cada una y cuándo recurrir a ella."
#quantization#distillation#model-compression
04-12 16:37·7 min