JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
Zhu et al. · 2026-10-15 · v1
研究通过拟合置信度阈值,让决策模型参与 agent 控制。
按版本日期整理的精选论文:评测、校准、路由、鲁棒性与模型架构,附原文和引用。
本目录收录直接相关的预印本。日期对应所列版本;简介基于论文与摘要核查,不代表实验已复现。基础文献与模型、工具另见首页。
Zhu et al. · 2026-10-15 · v1
研究通过拟合置信度阈值,让决策模型参与 agent 控制。
Chen et al. · 2026-10-15 · v1
涵盖匹配请求与闭环任务的基准;本项目尚未复现其实验。
Deng, Fan, Zhang & Xie · 2026-10-15 · v3
作者在十个预设科学案例中分别评估语义选择、计算得到的数值与最终标签;对比模型的错误可能被不变的最终标签掩盖。
Zheng & Chen · 2026-10-14 · v1
控制推理启动、候选答案读取与生成停止的时机;证据限于冻结的 Qwen 骨干及三类任务。
Zhang, Ye & Zha · 2026-10-14 · v1
在三类表格任务中检验保持内容不变的改写对分类与验证的影响;置信度可提示不稳定,但不证明正确性。
Gao et al. · 2026-10-14 · v2
审查所选决策模型对有序标签的使用不足;细化量表会加重压缩,准确率、最终标签利用率和平均候选概率仍是不同测量。
Lan et al. · 2026-10-13 · v1
结合标签有效性检查与留出评测模型,考察文本和视觉攻击。
Li & Wang · 2026-10-13 · v1
探索空答案、选项排列、规模扩展与缓存的决策架构。这是 Jeva 的设计,并非 Jev 已披露的内部实现。
Zhu et al. · 2026-10-13 · v1
以时间区间和候选分数表达视频决策,通过缓存与联合推理复用视觉计算。
Li, Krishnan & Padman · 2026-10-13 · v1
将事实探针与行动选择配对,诊断决策失败。
Ma et al. · 2026-10-13 · v1
包括 Jev 在内的工具参数评判模型,在缺少可见参考时会拒绝部分正确推导值;模型生成的参考在三个基准上接受评测。
Li et al. · 2026-10-13 · v1
对 Jev、LLM 评判模型与专用安全分类器进行受控对抗比较。
Li & Wagle · 2026-10-13 · v3
比较冻结 Qwen 的决策读出、带 KL 锚定的可选微调与限预算推理;所报收益依赖骨干规模和路由任务,并不揭示托管 Jev 内部实现。
Rao & Callison-Burch · 2026-10-13 · v3
比较评分准则评判模型,考察相关错误如何限制级联系统的收益。
Geuter, Cheng & Alvarez-Melis · 2026-10-12 · v1
答案字母概率读出与监督式 LoRA 基线;评测包含模型生成的标签。
Duan et al. · 2026-10-12 · v2
双语决策评估,以及局部决策组合成更大系统时的可靠性。
Chen & Le · 2026-10-11 · v1
Jev 旧记忆停用评测区分已确认更新与变化暗示;LLM/人工混合标注、共享错误及小型开发集上的选择限制了级联收益主张。
Gan, Lee & Kang · 2026-10-10 · v2
通过隐状态循环计算输出类型化决策;额外循环以计算成本换取准确率。
Li & Chen · 2026-10-10 · v2
研究候选集合干预与置信度级联;排序稳定性并不等同概率校准。
Madrid-García & Merino-Barbancho · 2026-10-10 · v4
Jev 1.13 的初步医学基准评测报告了随任务变化的准确率、校准表现及较弱的不可回答问题识别能力;这不能证明临床部署有效性。
Zhang et al. · 2026-10-10 · v2
ContractNLI 请求变化可能改变具体错误答案,而总体准确率保持不变;稳定答案也可能保留错误。该基准不能验证真实法律场景的部署有效性。
Li et al. · 2026-10-09 · v5
研究基于置信度从 Jev 升级到推理评判模型的方法,以及分布变化下的局限。
Azizi, Baghaei Potraghloo & Pedram · 2026-10-08 · v1
测试七个开放权重模型的选项通道攻击;决策翻转后仍可能高置信。报告中的实验未测试托管 Jev。
Li et al. · 2026-10-08 · v1
在知识、推理和多语言选择题中评测 Jev;报告的排名及数学弱点仅适用于所选模型与基准。
Cheng et al. · 2026-10-08 · v1
通过自然语言接口实现多模态决策与检索的双编码器方法。
Xu et al. · 2026-10-08 · v2
在四种决策系统中围绕不变的题目和选项优化上下文补充;结果针对原本答对的决策,人工有效性检查仅覆盖成功攻击的抽样子集。
Sun, Xu, Shi & Yang · 2026-10-08 · v3
检验输出结构合法时,选项名称与定义之间的冲突。
Xu et al. · 2026-10-06 · v1
以同数值引用替换检验金融证据验证;在构造测试中,识别财务项目错配与接受等价证据之间存在权衡。
Denney & DiGiuseppe · 2026-10-06 · v2
在七项政治学复现任务中考察准确率、成本与校准。
Rafe & Das · 2026-10-06 · v2
用共同请求框架比较类型化决策模型、生成模型读出与训练分类器;准确率、选择性覆盖率和域外接纳取决于是否有任务标签及具体任务。
Asseri & Asseri · 2026-10-03 · v2
对 Jev 进行英语和阿拉伯语人物设定条件下的问卷审查;观察的是单一模型的模拟受访者,并非对真实人群的测量。
Liu · 2026-10-03 · v3
研究安全决策中的可靠性、不同群体的高置信错误与选择性自动化。
Teke · 2026-10-01 · v1
土耳其语类型化决策评测同时报告决策质量、基于 Brier 的概率质量、风险—覆盖及输入探查;多数标签由 AI 产生,实验室自身模型还使用过先前测试结果的反馈。
Shankaranarayana, Runje & Jannink · 2026-10-01 · v1
通过控制信息与表面线索,区分 Jev 的答案置信度与是否知道答案的自评;黑盒表现并不证明能读取内部知识状态。
Zhang et al. · 2026-09-30 · v1
无需训练的决策读出,修正标签先验与选项顺序偏差。
Su & Huang · 2026-09-30 · v1
组合有限行动字段,利用交互反馈探索候选路径。
Ding, Jin & Ji · 2026-09-30 · v1
共享证据编码与候选概率读出,结合表征学习和行动结果反馈训练。
Deußer et al. · 2026-09-29 · v1
Jev 的早期基准研究。阅读报告结果时,同时检查任务选择与评测设置。
Wang et al. · 2026-09-29 · v1
面向中文的类型化决策模型与新基准;领域专用训练的效果仍需独立验证。
Wang · 2026-09-28 · v1
保留原始记忆记录,将 Jev 相关性判断与 LLM 检索规划、回答生成分开。
Porcedda · 2026-09-28 · v1
使用构造概率进行受控校准测试;对潜在不确定性的解释仍属研究假说。
Wang & Gao · 2026-09-28 · v1
比较 Jev 与生成式评判模型对历史 agent 轨迹的风险分类;排名因数据集而异,成功调用耗时和有效判断成本需结合覆盖率解读。
Li et al. · 2026-09-27 · v1
检验逻辑相关命题的概率一致性,与准确率和校准分别考察。
Tang & Zheng · 2026-09-26 · v1
围绕类型化决策模型的证据审查与评估清单。
Hu et al. · 2026-09-25 · v1
黑盒对抗评测基准。决策发生变化,并不必然代表决策错误。
Yilmaz, Tasdemir & Gozay · 2026-09-25 · v1
估计追问缺失信息是否有助于改进类型化决策。
Guo et al. · 2026-09-24 · v1
评测 Jev 对 AI 对齐失效的检测,分别改变提问与输入上下文;参考标签主要来自基准评分器,上下文收益常依赖编码标签的字段。
Zhou et al. · 2026-09-24 · v1
Jev 风格视觉选择模型研究,区分适配收益、候选读出有效性与校准局限。
Wu & Lim · 2026-09-23 · v1
在重构的 InjecAgent 案例中审查 Jev 提示注入,区分概率偏移与攻击目标选择;优化结果通过新调用验证,结论限于该基准设置。
Huang et al. · 2026-09-23 · v1
Jev 双向检查生成与参考放射学报告之间的陈述支持关系;与专家的一致性受报告长度和错误定义影响,并不证明前瞻性临床效果。
Li · 2026-09-23 · v1
Jev 状态表与少量强模型锚点支持纳入共享人—模型差异估计的群体模拟;扩大模拟规模不会增加人类证据,也不能确立前瞻性干预效果。
Ibrahim & Zaki · 2026-09-23 · v2
评估零样本社会科学标注与按置信度分流的 LLM 级联;低成本仍伴随任务相关误差和过度自信,置信度不能替代标签验证。
Wu & Lim · 2026-09-22 · v1
以置信度控制 Jev 与 LLM 回退;收益取决于候选动作与基线路由。
Yu & Yao · 2026-09-22 · v1
独立的视觉决策架构以语言模型头读出,让批处理问题共享图像上下文;预热后的摊销加速伴随更高峰值内存,准确率收益集中于训练覆盖的任务家族。
Jiang et al. · 2026-09-21 · v1
研究以 Jev 控制 agent 记忆;报告结果衡量完整记忆工作流。
Cheng et al. · 2026-09-20 · v1
采用隐藏状态读出的开放类型化决策模型。摘要报告了一项小规模外部比较。