Etiqueta
#inference
6 artículos
La apuesta de Aramco por la IA: Together AI recauda 800 M USD mientras la inferencia de código abierto supera los 1.000 M
La Serie C de 800 M USD de Together AI, liderada por Aramco Ventures con una valoración de 8.300 M, apuesta a que los modelos abiertos ganan
OpenAI da el salto al silicio: por dentro de 'Jalapeño', su primer chip personalizado
OpenAI y Broadcom presentaron Jalapeño, un ASIC solo de inferencia creado en nueve meses. Qué está confirmado y qué sigue siendo promesa del
Cadena de pensamiento: por qué ayudan los pasos de razonamiento
Pedirle a un modelo que "piense paso a paso" lo vuelve mucho mejor en problemas difíciles. Es extraño si lo piensas. Aquí está por qué funciona.
Modelos de razonamiento: qué hacen los tokens de "pensamiento"
"Los modelos de razonamiento trabajan el problema antes de responder. Ese trabajo oculto cuesta tiempo y tokens, y solo rinde en el tipo de tarea adecuado."
La economía de la inferencia: por qué la "IA barata" igual suma
Una sola llamada de IA parece casi gratis. Entonces, ¿por qué se disparan las facturas? Un recorrido sencillo por la economía que convierte céntimos en dinero de verdad.
Temperatura, top-p y muestreo: controlar la salida del modelo
La temperatura y el top-p deciden cómo elige un modelo su siguiente palabra. Saber qué hace cada uno te permite ajustar la salida de rígida a creativa a propósito.