编者说明:本文于二〇二六年十月二十日补录,按档案日期归档;并非该日实时新闻。
研究结论需要可复现的任务、明确的基线和能够暴露失败的评测。讨论模型能力时,也要把数据、工具、延迟与人的校验纳入同一条链路。
值得关注的判断
答案准确率不足以定位检索系统的问题:模型可能答对却没有用到检索证据,也可能引用了正确段落却推理错误。评测需要把召回、排序、引用和最终答案分开观察。
落地时的做法
建立包含问题、相关段落、可接受答案和不可回答样例的固定集合。对每次检索保存文档版本与片段位置,让评审可以复现模型当时看到的上下文。
如何复盘
分别统计证据召回率、引用支持度、无依据断言和拒答质量。错误分层之后,团队才能判断该修复索引、切块、排序器还是生成提示。
技术选择应服务于明确的问题,也应保留质疑、纠错和退出的空间。团队可从小范围验证开始,持续公开依据与限制,再依据真实反馈决定是否扩大使用。