标签
#latency
4 篇文章
tools
流式响应:它为何能改善体验,又是如何做到的
流式不会让模型变快——它让等待感觉更短。本文讲清这为何重要,以及把它构建出来要付出什么代价。
#streaming#ux#latency
06-11 15:30·7 分钟
tutorials
为任务选择合适的模型规模
越大并不总是越好。这是一套实用方法，帮你挑出与任务、预算和你能接受的延迟相匹配的模型规模。
#models#cost#latency
05-09 15:05·7 分钟
tools
缓存 LLM 响应：何时与如何
缓存能大幅削减 LLM 的成本与延迟——也可能悄悄端出陈旧、错误的答案。本文教你如何分辨，并安全地做好它。
#caching#performance#cost-optimization
05-02 16:58·7 分钟
tutorials
在 UI 中流式传输并渲染模型输出
为什么流式传输让 AI 功能感觉飞快，以及如何在 UI 中逐 token 渲染输出，而不出现闪烁、断裂的标记或布局混乱。
#streaming#ui#latency
04-26 10:23·7 分钟