会写实验代码，和知道下一步该做什么实验，是两种不同的能力。Oliver Jaffe与Dane Sherburn近日公布TasteVal，尝试衡量AI在已有研究问题下设计实验、读取结果并调整方向的能力。他们把这种“实验研究判断”定义为算力效率：在达到同样结果时，用更少实验算力的研究者得到更高评价。论文目前以预印本形式公开。
评测包含八项AI研发任务，由被测模型负责提出实验，固定的编码代理负责实现与运行，以减少编程能力对结果的干扰。每次尝试设有GPU时间和总耗时上限，人类基线则来自二十四名专家在各任务上的最佳尝试。作者报告，最好的模型在该指标上超过了这组人类基线，同时给出了较宽的置信区间。
实验效率能说明什么
这个设计把评测焦点从“最后答对多少”移向“怎样分配有限的实验资源”。现实研究中，候选方案很多，实验预算有限；能及时放弃低价值路径、发现关键对照条件，可能比生成更多代码更重要。TasteVal提供了一个讨论这一能力的量化入口。
但它并未测试模型能否自己找出最值得研究的问题。题目已经确定，模型是在指定范围内优化实验。作者的项目说明也承认，任务相对容易快速验证，人类基线不包含最顶尖的研究者，因此可能高估模型相对真实前沿科研团队的优势。为减少污染，题目没有公开，这又使外部团队难以直接复现整套比较。
科研助手需要过程证据
研究机构若借鉴这类评测，可以同时保存实验建议、选择理由、失败记录和后续修改，检验模型是否真的从结果中学习。尤其要区分：它是在寻找有解释力的新假设，还是只围绕单一分数试错。不同结论对应的研究价值并不相同。
作者对能力增长速度的分析也依赖这套任务与指标，不能直接转成所有科学领域的时间表。对我们而言，TasteVal的意义在于提出了一个更具体的问题：模型能否在有限资源内做出值得信任的下一步判断。答案仍需要更广的任务、独立复核和长期研究案例来支撑。