标签
#inference
6 篇文章
tools
沙特阿美的AI豪赌:开源推理突破十亿美元之际,Together AI融资8亿美元
Together AI完成8亿美元C轮融资,由阿美创投领投,估值83亿美元——这是一场押注开源模型在成本上胜过闭源模型的赌注。
#together-ai#open-source#inference
07-04 22:00·6 分钟
tools
OpenAI 咬下一口硅片：揭秘其首款定制芯片「Jalapeño」
OpenAI 与博通联合发布 Jalapeño——一款仅用九个月打造的纯推理 ASIC。哪些已被证实，哪些仍是厂商的炒作？
#openai#broadcom#ai-chips
06-29 22:00·6 分钟
research
思维链：为什么推理步骤能起作用
让模型"一步一步地思考"，它在难题上的表现会明显变好。仔细想想，这其实很奇怪。本文解释它为什么有效。
#chain-of-thought#reasoning#prompting
06-05 12:11·7 分钟
models
推理模型：“思考”token到底做了什么
"推理模型会先把问题想清楚再作答。那段隐藏的思考过程要花时间、耗token——而且只有在合适的任务上才划算。"
#reasoning-models#thinking-tokens#inference
04-29 14:40·7 分钟
policy
推理的经济学：为什么「便宜的 AI」加起来还是不便宜
单次 AI 调用看起来几乎免费。那为什么 AI 账单会膨胀？用通俗的语言，带你认识那把分分钱变成真金白银的经济学。
#inference#cost#economics
04-16 14:07·7 分钟
models
温度、top-p 与采样：掌控模型输出
温度和 top-p 决定了模型如何挑选下一个词。弄懂它们各自真正在做什么，你就能有意识地把输出从刻板调到富有创意。
#sampling#temperature#top-p
04-06 09:43·7 分钟