Jev 审核、立场与情感任务评测
从规则标签、检索条件、对话上下文、额外推理与监督后处理理解语言任务结果。
AwesomeJev 整理 · 更新
简明回答：语言任务基准分数较强，本身不证明遵循新规则或迁移到另一语言。复用结果前，应比较标注规则、输入上下文、候选菜单、监督信息和推理预算。
已核查五篇固定版本摘要、指定方法／结果／局限段落，以及一个实现说明。结论仍为作者报告，未复现预测记录或实验。
遵循规则，还是符合原有标签？
HATEDECIDE 发现，提供定义或分解审核决策，并不稳定提高与已有标签的一致率。预测可能遵循所给定义，却与原始标注规则冲突。组件答案让聚合规则可检查，但没有组件级参考标签就不是已核实的解释。应评估实际规则以及误报、漏报的代价；英语诊断样本不能证明日常或多语言审核表现。 HATEDECIDE 局限 v1
检索究竟增加了什么信息？
在线审核研究区分书面规则、带标签先例和候选菜单限制；其主要规则对照保持完整菜单，仅加入先例。不过，OLID 与 HateXplain 的先例来自清洗后的评测总体，只排除当前目标，这不同于只使用冻结训练集合。媒体输入是生成的文字描述，不是原生 Jev 视觉能力测试。分数旁应同时报告这些信息来源和候选限制。 信息条件 v1 · 任务与媒体表示
跨语言比较还改变了什么？
立场研究比较英语文本—目标对与带说话人标签的中文对话，因此语言、数据集和对话结构同时改变。Jev 在对话基准中更难区分支持与反对，但这没有单独识别语言效应，也不证明内部机制。一些语言模型还使用批请求，而 Jev 使用单条请求。我们建议迁移测试固定任务结构与信息访问，并独立检查目标语言的标注定义。 立场评测配置 v1 · 对话长度分析
问题更多，结果就更好吗？
Emo-Jev 将直接分类与原子问题组合、多条预定义判断路径比较。在所报八个数据集上，两种扩展的平均宏 F1 都低于直接 Jev，各任务有增有减。额外路径增加依赖阶段与成本，部分重试用量还未计入。HATEDECIDE 同样未发现分解的稳定收益。应比较直接基线、全部新增问题预算与留出结果，不能默认更多中间答案代表更好的推理或已校准概率。 Emo-Jev 结果 v1 · 效率核算 · HATEDECIDE 分解分析
冻结骨干后，系统仍然学了什么？
DimABSA 用冻结的 Jev 和 488 个由任务标签拟合的系数完成回归与抽取。较强的回归汇总表现依赖监督校准；比赛按各语料排名，而非重建的合并汇总。开发集评分没有嵌套完整的特征／阈值选择流程，部分文本重叠仍在。公开代码包含拟合参数和指标汇总，但未分发含原文的预测缓存。比较时应区分骨干微调、监督后处理、选择流程和材料可用性。 DimABSA 协议 v1 · 实现与发布范围