Jev 校准、拒答与置信度路由
结合六篇固定版本研究，比较概率质量、缺失答案拒答、阈值迁移和级联成本，并明确评测对照。
AwesomeJev 整理 · 更新
简明回答：概率校准更好，不保证拒答门控可靠或级联更便宜。应在留出的目标数据上评估完整策略，区分答案缺失的不同来源，并将置信度路由与同预算随机升级比较。
已核查六篇固定版本摘要、指定正文段落及发布说明；结论仍为作者报告，未运行模型实验、回放预测或验证证明。
到底要改善哪一个量？
概率准确性、接口一致性、接纳样本错误率和决策成本回答不同问题。Probability Contracts 用已知后验的有限世界将它们分开：平均两份概率报告可改善期望 Brier 分数，却不保证每个转交成本下的决策更好。该保证的对照是随机选择接口，而非每个单独接口。还应报告输出有效性与覆盖率；无法输出可用概率的接口，其概率准确性没有定义。 Probability Contracts v2 · 研究限制
正确答案为什么不在候选里？
人为移除答案、检索遗漏与范围外查询属于不同总体。候选覆盖基准分别报告它们；当检索候选数为十时，自然遗漏结果仅由五条查询支持。算术拒答研究还区分了菜单中选择 None 与逐候选布尔核验。使用独立开发问题调节阈值，改善了所测拒答取舍，但没有确立通用阈值。 缺失来源与分母 v2 · 算术拒答与阈值规则 v1
阈值换一个任务还能用吗？
源任务上的校准约束不是目标任务的风险保证。候选覆盖研究固定校准预算，发现迁移阈值可能大量误拒已有答案的输入，或不再检出缺失答案。Laya 复现则显示，概率指标改善不保证冻结门控达到留出集错误率目标；其标签来自合成教师，初始复现属于回顾性分析。我们建议在独立目标数据上比较沿用源阈值与重新校准的策略，并明确标签预算。 固定预算迁移 v2 · Laya 研究限制 v1
置信度是否优于同预算的随机升级？
级联应同时对照仅用便宜模型、仅用后备模型，以及相同预算的随机升级。495 条声明的 RAG 研究显示，汇总分数相近仍可有不同误放率。一个阈值经过交叉拟合，但同预算随机对照使用样本内选择的工作点；不显著差异及该对照都不能证明等效性。我们建议更强的比较：在测试新声明前，冻结完整路由流程和随机对照预算。 交叉拟合阈值 v1 · 同预算随机升级 · 设计局限
总成本的分母和分子应包含什么？
每条输入都要计入第一阶段判断，再加上所有升级调用、重试与路由开销；应同时报告每次尝试输入的成本、覆盖率与端到端质量。Fast Models, Slow Evidence 修正了遗漏前置筛查成本、混淆门控准确率与最终质量，以及样本内阈值过于乐观的问题。RAG 级联只是离线回放，其计价不含第二跳开销、重试和排队，也没有受控时延结果。这些研究不能确立当前价格或普遍生产节省。 自查 agent 评测 v1 · 回放与成本限制
公开材料能支持哪一步核查？
候选覆盖仓库将已记录输出评分、源文本重建和重新推理分开。sys1-eval 说明了原始响应重分析方法；RAG 仓库的参考标签需取得上游访问权限。Laya 附属目录列出预测、指标代码和运行记录，同时明确部分采集／训练源码未公开。文件列出或发布者提供哈希，不等于独立复现结果。本项目只检查说明和目录，未执行这些流程或审计逐项预测。 候选覆盖代码 · agent 评测代码 · RAG 核验代码 · Laya 附属目录