Awesome Jev

研究通过拟合置信度阈值，让决策模型参与 agent 控制。

涵盖匹配请求与闭环任务的基准；本项目尚未复现其实验。

作者在十个预设科学案例中分别评估语义选择、计算得到的数值与最终标签；对比模型的错误可能被不变的最终标签掩盖。

控制推理启动、候选答案读取与生成停止的时机；证据限于冻结的 Qwen 骨干及三类任务。

在三类表格任务中检验保持内容不变的改写对分类与验证的影响；置信度可提示不稳定，但不证明正确性。

审查所选决策模型对有序标签的使用不足；细化量表会加重压缩，准确率、最终标签利用率和平均候选概率仍是不同测量。

结合标签有效性检查与留出评测模型，考察文本和视觉攻击。

探索空答案、选项排列、规模扩展与缓存的决策架构。这是 Jeva 的设计，并非 Jev 已披露的内部实现。

以时间区间和候选分数表达视频决策，通过缓存与联合推理复用视觉计算。

将事实探针与行动选择配对，诊断决策失败。

包括 Jev 在内的工具参数评判模型，在缺少可见参考时会拒绝部分正确推导值；模型生成的参考在三个基准上接受评测。

对 Jev、LLM 评判模型与专用安全分类器进行受控对抗比较。

比较冻结 Qwen 的决策读出、带 KL 锚定的可选微调与限预算推理；所报收益依赖骨干规模和路由任务，并不揭示托管 Jev 内部实现。

比较评分准则评判模型，考察相关错误如何限制级联系统的收益。

答案字母概率读出与监督式 LoRA 基线；评测包含模型生成的标签。

双语决策评估，以及局部决策组合成更大系统时的可靠性。

Jev 旧记忆停用评测区分已确认更新与变化暗示；LLM／人工混合标注、共享错误及小型开发集上的选择限制了级联收益主张。

通过隐状态循环计算输出类型化决策；额外循环以计算成本换取准确率。

研究候选集合干预与置信度级联；排序稳定性并不等同概率校准。

Jev 1.13 的初步医学基准评测报告了随任务变化的准确率、校准表现及较弱的不可回答问题识别能力；这不能证明临床部署有效性。

ContractNLI 请求变化可能改变具体错误答案，而总体准确率保持不变；稳定答案也可能保留错误。该基准不能验证真实法律场景的部署有效性。

研究基于置信度从 Jev 升级到推理评判模型的方法，以及分布变化下的局限。

测试七个开放权重模型的选项通道攻击；决策翻转后仍可能高置信。报告中的实验未测试托管 Jev。

在知识、推理和多语言选择题中评测 Jev；报告的排名及数学弱点仅适用于所选模型与基准。

通过自然语言接口实现多模态决策与检索的双编码器方法。

在四种决策系统中围绕不变的题目和选项优化上下文补充；结果针对原本答对的决策，人工有效性检查仅覆盖成功攻击的抽样子集。

检验输出结构合法时，选项名称与定义之间的冲突。

以同数值引用替换检验金融证据验证；在构造测试中，识别财务项目错配与接受等价证据之间存在权衡。

在七项政治学复现任务中考察准确率、成本与校准。

用共同请求框架比较类型化决策模型、生成模型读出与训练分类器；准确率、选择性覆盖率和域外接纳取决于是否有任务标签及具体任务。

对 Jev 进行英语和阿拉伯语人物设定条件下的问卷审查；观察的是单一模型的模拟受访者，并非对真实人群的测量。

研究安全决策中的可靠性、不同群体的高置信错误与选择性自动化。

土耳其语类型化决策评测同时报告决策质量、基于 Brier 的概率质量、风险—覆盖及输入探查；多数标签由 AI 产生，实验室自身模型还使用过先前测试结果的反馈。

通过控制信息与表面线索，区分 Jev 的答案置信度与是否知道答案的自评；黑盒表现并不证明能读取内部知识状态。

无需训练的决策读出，修正标签先验与选项顺序偏差。

组合有限行动字段，利用交互反馈探索候选路径。

共享证据编码与候选概率读出，结合表征学习和行动结果反馈训练。

Jev 的早期基准研究。阅读报告结果时，同时检查任务选择与评测设置。

面向中文的类型化决策模型与新基准；领域专用训练的效果仍需独立验证。

保留原始记忆记录，将 Jev 相关性判断与 LLM 检索规划、回答生成分开。

使用构造概率进行受控校准测试；对潜在不确定性的解释仍属研究假说。

比较 Jev 与生成式评判模型对历史 agent 轨迹的风险分类；排名因数据集而异，成功调用耗时和有效判断成本需结合覆盖率解读。

检验逻辑相关命题的概率一致性，与准确率和校准分别考察。

围绕类型化决策模型的证据审查与评估清单。

黑盒对抗评测基准。决策发生变化，并不必然代表决策错误。

估计追问缺失信息是否有助于改进类型化决策。

评测 Jev 对 AI 对齐失效的检测，分别改变提问与输入上下文；参考标签主要来自基准评分器，上下文收益常依赖编码标签的字段。

Jev 风格视觉选择模型研究，区分适配收益、候选读出有效性与校准局限。

在重构的 InjecAgent 案例中审查 Jev 提示注入，区分概率偏移与攻击目标选择；优化结果通过新调用验证，结论限于该基准设置。

Jev 双向检查生成与参考放射学报告之间的陈述支持关系；与专家的一致性受报告长度和错误定义影响，并不证明前瞻性临床效果。

Jev 状态表与少量强模型锚点支持纳入共享人—模型差异估计的群体模拟；扩大模拟规模不会增加人类证据，也不能确立前瞻性干预效果。

评估零样本社会科学标注与按置信度分流的 LLM 级联；低成本仍伴随任务相关误差和过度自信，置信度不能替代标签验证。

以置信度控制 Jev 与 LLM 回退；收益取决于候选动作与基线路由。

独立的视觉决策架构以语言模型头读出，让批处理问题共享图像上下文；预热后的摊销加速伴随更高峰值内存，准确率收益集中于训练覆盖的任务家族。

研究以 Jev 控制 agent 记忆；报告结果衡量完整记忆工作流。

采用隐藏状态读出的开放类型化决策模型。摘要报告了一项小规模外部比较。

土耳其语类型化决策检查点，附温度缩放参数；模型卡标注训练参考了测试结果，并报告客服任务的校准恶化，基准结果并非盲测。

作者发布的检查点包，含骨干、适配器和决策头文件；所查模型卡未声明模型许可，本项目未加载或测试权重。

基于编码器的决策模型家族，包含英语、多语言与工作流专用检查点。

基于 Qwen3.5-4B-Base 的 LoRA 适配器与指针头，面向文档与类型化问题的决策。

返回候选项概率的 Qwen3.5-9B LoRA 适配器；采用非商业用途许可。

经过决策微调的 Qwen 检查点，提供结构化推理封装并支持图片输入。

采用独立决策读出与已保存的校准温度；需注意模型卡中的注意力模式及访问说明。

340M 英语分类模型，支持调用时指定标签集合，以及单标签和多标签决策。

支持文本、图片与视频的决策模型，提供 Choice、Yes/No 与 Score 输出。

使用联合 schema 预测头的多模态模型，返回允许答案集合上的概率。

官方 Python 同步与异步客户端，支持类型化问题和答案。

官方 JavaScript 客户端，可根据问题推导答案类型。

用相同问题接口比较 LLM，支持概率输出与请求诊断。

帮助编码 agent 使用 System One API 的官方技能。

官方文档、演示与实践教程配套源代码。

由 TypeSafe 维护的 n8n 节点，用于将类型化决策加入工作流。

官方发票处理工作流评测数据集。

官方客户服务工作流评测数据集。

官方安全事件工作流评测数据集。

官方 agent 轨迹观测工作流评测数据集。

面向 System One 风格决策模型的社区训练混合数据；组成与使用条件见数据卡。

Bespoke Nimble 9B v3 在 Decision Index 上的评测运行归档。

提供已记录响应分析与新的 API 评测，以相同输入重跑作为对照。多数标签来自模型；本项目未运行这些分析。

交互式事实探查与动作决策诊断；当前报告覆盖22个系统，与固定论文的18个不同，不是经过核验的代码或数据发布。

决策模型与评测的社区索引；完整排名包含私有测试。

查看四类结构化工作流。分数衡量与模型生成参考结果的一致性。

官方评测运行器、工作流定义、评分与绘图工具。

公开案例、模型生成的参考标签与运行记录，便于检查可复现性。

第三方分类、工具调用、知识与推理评测；测试集包含私有问题。

作者开展的标注决策与工作流重放评测；私有客户案例限制公开复现。

发布文章：了解厂商设计主张及其限定条件的一手来源。

了解闭集选择、有序评分与是非概率三类决策原语。

解释置信度的计算方式，以及它与概率的区别。

已知局限：数值精度、无关长上下文、对抗输入与选项顺序敏感性。

用多个风险问题配合应用规则，对内容放行、复核或拦截。

检查引文的来源上下文是否支持相关主张。

使用 Choice 概率探索多层分类树。

先用逐字段 Jev 问题核查低成本抽取，再决定是否升级；教程使用缓存及示意输出。

通过续行和块类型判断恢复 Markdown 结构，由代码保留原始措辞。

评估概率预测与鼓励诚实概率表达的理论基础。

概率校准与温度缩放的经典参考。

研究带拒绝选项的预测，以及覆盖率与风险之间的关系。

研究语言模型的自我评估与不确定性。

以编程语言方式组织受约束的语言模型交互。

高效语法约束生成，为理解类型化输出提供比较背景。

声明式语言模型程序与流水线优化。

结构化语言模型程序的高效执行。