标签
#evaluation
12 篇文章
tutorials
像测试代码一样测试你的提示词
提示词是发布给用户的代码。就该这样对待它——配上测试用例、一条基线,以及每次改动前的回归检查。
#evaluation#testing#prompting
06-05 08:33·7 分钟
models
“前沿模型”到底意味着什么——以及为什么基准测试会误导你
“前沿模型”是一个会移动的标签，不是一项规格。本文谈它真正指向什么、排行榜分数为何很少告诉你真正需要知道的东西，以及如何依然做出好的选择。
#frontier-models#benchmarks#evaluation
06-01 19:11·7 分钟
tutorials
那些依然重要的提示工程基本功
提示词的潮流来来去去。一小套基本功却能跨越模型与版本持续奏效。下面就是它们，连同每一条背后的道理。
#prompting#fundamentals#context
05-31 13:25·7 分钟
use-cases
真正管用的文档问答：模式与陷阱
对着自己的文档提问，是最有用的 AI 演示，也是最容易在不知不觉中做错的一个。这里是那些能在真实使用中存活下来的模式。
#document-qa#rag#retrieval
05-20 19:40·7 分钟
tutorials
为任务选择合适的模型规模
越大并不总是越好。这是一套实用方法，帮你挑出与任务、预算和你能接受的延迟相匹配的模型规模。
#models#cost#latency
05-09 15:05·7 分钟
tutorials
搭建一个反馈闭环来改进回答
一个从不从错误中学习的 AI 功能会原地踏步。如何捕获信号、把它变成示例，并闭合那个让回答变好的闭环。
#feedback#evaluation#iteration
05-07 11:56·7 分钟
research
超越基准的评估：人类与模型裁判
基准测量的是易于打分的东西。对于开放式的工作，你需要判断——来自人，或来自代替人的模型。两者都可能误导你。
#evaluation#llm-as-judge#benchmarks
05-06 16:53·7 分钟
research
模型是如何被评估的：基准测试，以及它们为何会撒谎
基准分数看起来像测量结果，但它们其实是论证。本文讲清楚模型评估实际如何运作，以及一个高分为何仍可能误导你。
#benchmarks#evaluation#leaderboards
05-06 16:14·7 分钟
tutorials
减少幻觉：一份实用清单
当任务诱导模型编造时，它就会编造事实。这份清单列出真正能减少幻觉的做法，同时不假装你能彻底消除它们。
#hallucinations#reliability#grounding
05-03 10:46·7 分钟
tutorials
衡量质量：如何搭一套基础评测
"感觉"无法规模化。一套小而诚实的评测，能把"这好像更好了"变成一个你可以信赖的数字——本文教你从零搭一套。
#evaluation#testing#quality
05-01 11:01·7 分钟
tools
评估 AI 工具：一份能挺过演示的清单
AI 工具被设计成在演示里令人眼花缭乱。这份清单帮你用那些经久不变的问题来评判它们——它们决定了工具能否在真实使用中站住脚。
#ai-tools#evaluation#procurement
04-24 10:38·7 分钟
research
涌现能力：真实，还是海市蜃楼？
大模型似乎会突然「领悟」小模型所缺的技能。那究竟是真实的相变，还是我们衡量方式制造的把戏？诚实的答案是：两者都有。
#emergence#scaling#evaluation
04-03 08:35·7 分钟