研究结论需要可复现的任务、明确的基线和能够暴露失败的评测。讨论模型能力时，也要把数据、工具、延迟与人的校验纳入同一条链路。
值得关注的判断
固定基准便于比较版本，却难以及时代表新用户、新任务和不断变化的资料。线上反馈更贴近现实，但受选择偏差、重复提交和隐私要求影响。
落地时的做法
使用经过脱敏和授权的反馈样本，标记任务类型与版本，再由人工筛选进入评测集。把线上异常先变成可复现案例，不要直接把用户数据投入训练。
如何复盘
追踪线上错误类别如何改变基准覆盖，并定期淘汰过时样例。离线分数与真实任务质量出现偏差时，应重新检查抽样方法和评测目标。
技术选择应服务于明确的问题，也应保留质疑、纠错和退出的空间。团队可从小范围验证开始，持续公开依据与限制，再依据真实反馈决定是否扩大使用。