021
工具调用成功之后,还要检查代理有没有把事情办对
从既有τ-bench方法看代理验收:接口执行、最终状态和重复可靠性,需要分别记录。
给开发者的 AI 工作流、工具和复盘笔记
面向开发者的 AI 工程记录:从工作流到评测,从工具调用到故障复盘。所有条目都可被编辑和补充。
从既有τ-bench方法看代理验收:接口执行、最终状态和重复可靠性,需要分别记录。
重读Lost in the Middle:容量与使用能力并非同一指标。知识库可以通过证据位置变化检验回答是否稳定。
一项新预印本发现,加入推理循环能够改善复杂检索,但查询延迟和词元消耗明显增加。企业知识库需要把检索质量与等待时间共同纳入评估。
TasteVal尝试用有限算力下的实验效率衡量AI研究判断。预印本结果值得关注,但题目选择、人类基线和保密任务仍限制了结论的外推。
EmbeddingGemma 2将文本、图像、视频和音频映射到统一向量空间,面向本地搜索与检索增强生成。模型卡披露了能力,也提示语言表现和下游风险需自行评估。
OpenAI发布由内部模型产生的一批数学结果,同时分享Lean形式化证明与推理摘要。透明度有所增加,但成果的重要性仍需要数学界独立审查。
OpenAI为GPT-Rosalind公布的API价格于今日生效,但访问仍限于通过可信访问审核的机构。科研团队需要把token费用、专家复核和实验成本放在同一张账上。
Anthropic称Claude帮助研究者从大量基因数据中找到一种与CRISPR重复序列相似的候选系统。它目前还没有已知功能,AI的价值更应看检索和提出假设,而非提前宣布医学突破。
Ai2发布开放权重的科研报告模型AstaBrief,并称其能更快生成带引文的综述。值得关注的不只是速度,还包括引用是否真正支撑结论,以及评测是否仍反映今天的前沿。
摩洛哥数字转型部门与Mistral公布面向达里贾方言的语音识别和方言分类模型。多语混说只是第一步,数据覆盖、评测和公共服务适配同样重要。