GraphDecisionBench：怎样评估 Jev 的图决策能力
分别理解图结构、图文证据与序列构造任务，核对论文版本和公开材料的复现范围。
AwesomeJev 整理 · 更新
简明回答：GraphDecisionBench 分别测量不同图能力，而非给出通用模型排名。能正确识别一条边，不等于掌握结构推理；能完成可行构造，也不等于得到高质量解。
依据 v3 摘要，以及仓库概览和材料可用性声明整理；不是全文评审或基准复现。
三类评测分别问什么？
基准区分结构图查询、图文信息利用，以及多步构造解的决策。这些比较诊断不同的行为。实验覆盖十四种模型—接口配置，不能把它改称十四个独立模型，也不能据此认为每项任务的覆盖完全相同。 GraphDecisionBench 论文 v3
比较得分前需要对齐什么？
仓库按任务与输入条件分别报告，并标明不支持的接口。结构探针使用输入中给定的小图和人工构造的答案配额，不代表源网络中的自然标签频率。判断比较是否成立前，应先检查任务谓词、候选集、评分规则与适配层，再讨论更广泛的能力。 任务约定与输入条件
序列决策应该设置什么对照？
我们建议在相同候选生成器、约束和终止条件下，比较模型驱动的选择器与仅用提议规则的基线。分别测量可行性和最终目标质量，保留失败轨迹与成本。启发式规则缩小候选后，收益可能同时来自提议与选择器；使用相同提议规则的对照，有助于区分两者贡献。
覆盖哪个版本和哪些材料？
论文首次提交于2026年10月5日，本页使用10月12日的 v3。仓库提供代码和汇总表，但说明未分发逐查询与逐轨迹输出。因此，由汇总重绘图表、检查逐项预测与重新调用模型，是不同操作；本项目尚未执行这些操作。 固定版本论文与提交历史 · 公开材料范围