斯坦福研究发现快速迭代的大语言模型正让解释它的研究结论迅速过期
斯坦福研究者 Owen Queen 和 James Zou 用 2024 年 7 月至 2026 年 9 月发布的 20 个模型复核 50 项被广泛引用的 LLM 研究结论,发现 44% 已过期,34% 明显减弱,仅 16% 仍然成立。
斯坦福研究者 Owen Queen 和 James Zou 用 2024 年 7 月至 2026 年 9 月发布的 20 个模型复核 50 项被广泛引用的 LLM 研究结论,发现 44% 已过期,34% 明显减弱,仅 16% 仍然成立。
AI2 发布 StateBench 基准,按四个难度级别评测语言模型在长文档中追踪实体状态变化的能力。
Collinear AI 推出 CWE-bench v2,公开 100 个网络安全任务,覆盖 91 种不同 CWE,评测完全程序化、结果可复现,任务均经人工审核。
Elorian 联合数据公司 Mercor 发布 DecoyCount 基准,测试模型是否真正数对物体还是依赖视觉捷径。
AI 安全公司 Resolution 用智能体自动形式化了 Hironaka 奇点消解,耗时约一周、消耗约 100B 输入 token 和 3 亿输出 token,花费约 13.5 万美元,产出约 60 万行 Lean 代码。
Google Research 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及两个自研新基准 GeoExpertQueries、GeoKTools 上系统评估了四种配置(基于 Gemini 3.8 Flash 和 Gemini 3.1 Pro)。
Elorian 与 Scale AI 发布视觉直觉推理基准 Humanity's Sixth Sense(HSS),含 522 道题、覆盖 288 张图片和 234 段共 17.6 小时的视频,人类 pass@1 达 93.1,而最佳 AI 系统 GPT 6 Astra 仅 53.6,GLM-5.3-flash 和 Kimi K3 分别只有 26.8 和 25.5。
GitHub 与 Microsoft 团队发布 AI 代码评审离线基准 ReviewBench,语料基于对 GitHub 上 1.039 亿个真实 pull request 的分布分析,收录来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request,数据集、评审 rubric、judge 提示词与自测 runner 全部公开。
推荐理由:基准数据集、评审规则和自测流程全部公开,做代码评审智能体的团队可以直接上手离线评估并对照排行榜迭代。