Jev 指南：类型化决策、概率与评测

Jev 是什么？

Jev 是 TypeSafe 的 System One 模型。请求提供状态和类型化问题，响应返回边界明确的答案与概率，供应用代码完成分类、路由或复核。 TypeSafe 官方介绍

TypeSafe 将其训练方法称为 Reinforcement Learning for Calibrated Decisions，简称 RLCD。这是厂商对方法的描述，并不足以重建 Jev 的架构或训练过程。 TypeSafe 发布文章

类型化决策与 LLM 的结构化输出有什么区别？

类型化决策接口在推理前规定允许的候选答案。生成式 LLM 也能通过约束解码产生结构化输出。仅凭接口形式，不能判断哪个模型更准确、校准更好或效率更高。 XGrammar 论文

格式合法的答案仍可能选错。应区分 schema 合法性与语义正确性，并在自己的任务上测试模糊指令、对抗输入和选项顺序变化。 Jev 1.13 已知局限

Choice、Score 和 Noul 分别返回什么？

Choice 从调用方定义的候选项中选择，返回所选项、所有候选项的概率及置信度，适合有限类别或动作选择。 Choice 文档

Score 对文字描述的有序等级进行评估，返回等级编号的概率加权均值、概率分布与置信度；它不是从输入中抽取的精确测量值。 Score 文档

Noul 返回是非命题为真的概率，没有独立的 confidence 字段。接近中间的数值表示不确定性，不一定表示该属性处于中等程度。 Noul 文档

应区分有序等级的使用分布、Score 均值、返回的置信度与概率校准。该量表研究 v2 在所测模型与数据集上报告：最终选择集中，即使平均候选概率分布较宽；细化量表加剧压缩，提高准确率也未必恢复等级使用。若系统最终选择一个等级，可将其频率与参考标签频率比较，而非假设各等级应均匀出现。这是额外诊断，不是校准检验。上述研究发现来自作者摘要，未经本项目复现，也不能据此断言 Jev 的 Score API 存在同样问题。 有序量表使用偏差研究 v2

置信度就是答案正确的概率吗？

不能直接等同。TypeSafe 根据返回的分布计算置信度。例如，Choice 有四个选项，最高概率为 0.70 时，confidence 为 0.60；Score 使用不同公式。校准关注多次预测中的实际发生频率，不保证某个答案一定正确。 置信度文档

怎样评估决策质量与概率校准？

分别评估预测质量与概率质量。除准确率或适合任务的误差指标外，还应查看可靠性图，以及 Brier score、log loss 等适当评分规则。使用独立测试数据，不在最终测试集上调节阈值。 校准研究 · 适当评分规则

对于拒答或升级处理，应报告覆盖率和已接纳案例中的错误，并验证后备模型能否纠正错误。固定模型版本与提示词，单独测量端到端延迟、失败和成本。这是评测方案，不是本项目对 Jev 已取得的实验结果。 SelectiveNet · 模型版本

怎样比较决策模型、已训练分类器与语言模型？

决策门控基准 v2 报告，在有标签基准中，微调后的 DeBERTa-v3-large 除一项外均取得最高观察准确率；这一结果以可取得任务标签为条件。实际比较时，应分开报告有无任务训练标签的设置，并记录数据接触、开发/测试划分、输出格式与失败，再比较准确率、选择性覆盖或成本。 决策门控基准 v2

LLM-as-Jev v3 研究冻结 Qwen 的读出、带 KL 锚定的可选微调及限预算推理。为区分这些影响，我们建议保留同骨干的冻结基线，明确选项集合和数据划分，并单独记录推理预算。所报比较针对两个 Qwen 骨干及一个独立框架，不能据此揭示托管 Jev 的训练或架构。 LLM-as-Jev v3

HakemBench v1 明确说明，多数土耳其语参考标签由 AI 生成、未经人工核验；实验室自身模型在被标记的任务上还受过先前测试结果的影响。应报告标签来源、既往测试集使用情况和逐任务指标分量，将翻译探查与独立的语言验证分开。这些是建议的比较检查，本资源库未复现上述研究。 HakemBench v1

置信度门控可以直接迁移到其他语言或领域吗？

将置信度门控用于新的语言或领域前，应构建目标测试集，明确标签定义与标注来源；翻译标签或模型生成的标签不等于独立人工验证。比较沿用原门控与仅在单独目标领域验证集上调节阈值的方案，分别报告各组的接纳样本错误率和覆盖率，并检查经独立核验、保持答案不变的上下文补充是否造成高置信错误。

社会科学标注论文使用基准标签，报告了随任务变化的置信度失效；JevOut 的人工检查仅覆盖成功扰动中的抽样子集。两篇摘要均未确立多语言迁移结论。分语言标签检查与阈值迁移比较是本项目建议的流程，并非已复现结果或总体保证。 社会科学标注评测 v2 · JevOut v2

怎样测试模型对表格与引用证据的决策？

分别评估输出结构合法性、保持内容不变时的稳定性，以及相对于参考标签的语义正确性。对表格，将原输入与不同版式或行列重排配对，但仅在含义不变时进行；保持数值、关系和算术不变，再比较选项与概率分布。答案稳定仍可能错误；不能仅凭低置信度判定错误。 表格决策预印本 v1

对引用证据，固定待验证的主张和算术，将引文替换为数值相同、却对应不同财务项目的段落。保留等价有效证据作为正对照，分别统计误接纳错配证据与误拒绝有效支持的情况。检查配对差异，不把每次答案变化都当作错误。这些构造案例只是诊断探针，不能据此估计真实流量中的错误率。 同数值引用替换预印本 v1

怎样测试工具参数核验与选项通道风险？

分别检查 schema 合法性、引用证据是否支持提议参数值，以及该值是否能由请求、历史和 schema 默认值推导出来。测试没有显式参考的正确默认值或推导值，也测试配有可见参考的错误值；参考存在不等于推导正确。若模型根据完整历史生成参考，应对参考生成器隐藏候选值，并核查输出；生成的参考不是真值。 工具参数核验预印本 v1

明确谁能改动请求文本、工具输出、选项名称和政策定义，分别测试威胁模型允许攻击者控制的通道，包括错误决策时的置信度。所引防护实验针对开放权重的类型化决策模型，并未证明托管 Jev 已被攻破。这是建议的评估流程，不是已复现结果。 选项通道防护预印本 v1

攻击成功率究竟衡量什么？

在称攻击成功前，先定义所测结果与分母。概率偏移、动作改变、攻击目标被选中和后续危害是不同结果。Same Attack 只在各裁判未攻击时已标记的恶意案例中计算攻击后变为放行（pass）的比例。它另行计算的 Jev 门控绕过要求动作放宽且严重程度 Score 的置信度 ≥0.7；改为复核（review）也可能满足条件，低于阈值的放行则不满足置信度条件。 Same Attack 指标定义 v1

用同一决策规则，将攻击与匹配的原样请求比较。JevAdvBench 区分 Score 最可能等级变化和期望分数变化。自适应搜索应将优化调用与验证分开：Decision Hijacking 冻结候选后另发五次新调用，至少三次选中目标才算案例级成功。这种有限重复规则不保证以后的调用也成功。 JevAdvBench 类型化指标 v1 · Decision Hijacking 验证协议 v1

Decision Hijacking 的一个条件在 2,550 次调用中选中目标 51 次，但多数成功案例为 510 个中的 11 个，两个分母回答不同问题。Same Attack 报告 Jev 重复内容审核调用的原始严重程度评分有 75% 变化，路由动作却仅 1%。这些是作者报告的例子，不是本项目复现结果或排名。应另查编辑是否保持答案、是否送达；token 数相同本身不证明编辑被移除。 调用级与案例级计数 v1 · 数值与路由波动 v1 · 送达推断限制 v1

官方 SDK 和独立模型就是发布的 Jev 权重吗？

官方 SDK 是 TypeSafe 托管 API 的客户端，并非 Jev 检查点。Laya 等独立项目发布的是各自的模型材料。问题类型相似或 API 兼容，不证明架构、行为或准确率相同。 官方 Python SDK · Laya 模型卡

应分别检查每个版本的模型卡与许可。例如，Bespoke Nimble 9B v3 声明采用 CC BY-NC 4.0，限制商业用途。不能把所有可公开下载的模型材料都称为不受限制的开源模型。 Bespoke Nimble v3 模型卡

从哪里查找研究和基准证据？

从固定版本的实证论文及其公开代码、数据入手。覆盖多数据集的 Jev 基准研究可作为入口，但结果仍由作者报告，并非本资源库已独立复现。 Jev 基准论文 v1 · 配套评测代码

TypeSafe WorkflowEvals 公开工作流和模型生成的参考标签；与这些参考结果一致，不等于人工标签上的准确率。社区 Decision Index 还包含私有测试，因此公开排名不代表整个评测都能独立复现。 WorkflowEvals · Decision Index 方法快照

公开研究材料能支持哪一种复现？

先明确要复现什么：由已评分汇总重建表图、由已发布逐样本答案重算指标、生成新预测，还是训练出检查点。将每项输出对应到所需输入、版本和哈希。分别报告只检查了材料、执行了命令，还是输出已经匹配；这些不是同一种主张。

Visual Jev 固定提交的复现指南说明，可用评分 JSON 在无 GPU 时重建指定表格与两幅图；其他图还需未附带的逐样本预测和干预分析。新推理需要上游语料、骨干权重和 GPU，项目不再分发源图像。 Visual Jev 复现指南，固定提交

所查有序量表资产说明如何从已发布答案重算指标。新推理是另一个流程：源文本、权重和后训练检查点未分发，缺失的历史数据版本可能使重建输入无法匹配记录的哈希。其文件修订标识不透明，并非不可变 Git 提交。应保留不匹配记录，不静默换用当前数据。 有序量表研究 v2 · 所查匿名 README，文件修订标识不透明

放射学论文 v1 的可用性声明说，分析脚本与汇总结果仍在准备发布。第三方数据链接不能替代这些缺失的作者输出。本项目核查限于文档与部分文件目录，未执行上述复现流程，也未独立复现其结果。 放射学论文材料声明 v1