研究结论需要可复现的任务、明确的基线和能够暴露失败的评测。讨论模型能力时,也要把数据、工具、延迟与人的校验纳入同一条链路。
值得关注的判断
最终答案无法说明代理是否越权、重复执行或忽略了某条用户指令。可读日志能帮助开发者定位错误,也让运营人员区分模型判断与外部工具结果。
落地时的做法
按任务记录输入摘要、计划变更、工具参数、结果摘要和授权依据;敏感值采用脱敏或引用编号。日志访问同样需要权限控制和明确保留期限。
如何复盘
用轨迹回放分析失败路径,确认记录足以复现关键决策,同时没有不必要地保存个人信息。日志应服务于审计和改进,而非无限期收集用户行为。
技术选择应服务于明确的问题,也应保留质疑、纠错和退出的空间。团队可从小范围验证开始,持续公开依据与限制,再依据真实反馈决定是否扩大使用。