AI2 推出 StateBench 基准,测语言模型在长文档中的状态追踪能力
AI2 发布 StateBench 基准,按四个难度级别评测语言模型在长文档中追踪实体状态变化的能力。
AI2 发布 StateBench 基准,按四个难度级别评测语言模型在长文档中追踪实体状态变化的能力。
Collinear AI 推出 CWE-bench v2,公开 100 个网络安全任务,覆盖 91 种不同 CWE,评测完全程序化、结果可复现,任务均经人工审核。
Google Research 发布 Geospatial Reasoning 智能体的技术报告,在 CBGB、UnivEARTH 及两个自研新基准 GeoExpertQueries、GeoKTools 上系统评估了四种配置(基于 Gemini 3.8 Flash 和 Gemini 3.1 Pro)。
GitHub 与 Microsoft 团队发布 AI 代码评审离线基准 ReviewBench,语料基于对 GitHub 上 1.039 亿个真实 pull request 的分布分析,收录来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request,数据集、评审 rubric、judge 提示词与自测 runner 全部公开。
推荐理由:基准数据集、评审规则和自测流程全部公开,做代码评审智能体的团队可以直接上手离线评估并对照排行榜迭代。