sklearn.metrics.cohen_kappa_score

sklearn.metrics.cohen_kappa_score(y1, y2, *, labels=None, weights=None, sample_weight=None)

Cohen的kappa:一种用于测量注释器之间协议的统计数据。

此函数计算Cohen的kappa [1],该得分表示两个注释器在分类问题上的一致程度。 定义为

其中是分配给任何样本的标签上达成一致的经验概率(观察到的一致比率),是当两个注释器随机分配标签时的预期一致。是标签上使用每个注释器的经验先验估计[2]。

用户指南中阅读更多内容。

参数 说明
y1 array, shape = [n_samples]
第一个注释器分配的标签。
y2 array, shape = [n_samples]
由第二个注释器分配的标签。 Kappa统计信息是对称的,因此将y1和y2交换不会改变该值。
labels array, shape = [n_classes], optional
索引矩阵的标签列表。这可以用于选择标签的子集。如果为None,则使用在y1或y2中至少出现一次的所有标签。
weights str, optional
加权类型以计算分数。None表示没有加权;“linear”是指线性加权;“quadratic”是指二次加权。
sample_weight array-like of shape (n_samples,), default=None
样本权重。
返回值 说明
kappa float
kappa统计信息,它是-1和1之间的数字。最大值表示完全一致。零或更低表示机会一致。

参考

1 J. Cohen (1960). “A coefficient of agreement for nominal scales”. Educational and Psychological Measurement 20(1):37-46. doi:10.1177/001316446002000104.

2 R. Artstein and M. Poesio (2008). “Inter-coder agreement for computational linguistics”. Computational Linguistics 34(4):555-596.

3 Wikipedia entry for the Cohen’s kappa.