LIS WIKI / 概念术语
相关性判断Kappa一致性
Kappa Agreement for Relevance Judgments
相关性判断Kappa一致性用校正偶然一致后的Kappa统计量衡量不同评判者对检索结果相关类别的判断一致程度。[1]
01 认识这个词条
为何需要校正
简单一致率包含评判者偶然给出相同类别的部分；Kappa以观察一致率减去机会一致率，再按可改善空间归一化。[1]
取值解释
完全一致时Kappa为1，只达到估计的随机一致水平时为0，低于随机水平时可为负值；解释阈值须结合任务。[1]
评价意义
相关性是情境性的人类判断，不同评判者存在差异。Kappa可揭示标注可靠性，但较低一致性不自动说明检索系统无效。[1]
02 参考出处
以下为本条目使用的机构资料，可点击核对原文。
- 01Manning等《信息检索导论》·Assessing relevance nlp.stanford.edu · 访问于 2026-10-10
资料说明：限定于检索相关性分类判断；Kappa有多种变体，正文解释教材所述的类别一致性框架。