sklearn.metrics.cohen_kappa_score¶
sklearn.metrics.cohen_kappa_score(y1, y2, *, labels=None, weights=None, sample_weight=None)
Cohen的kappa:一种用于测量注释器之间协议的统计数据。
此函数计算Cohen的kappa [1],该得分表示两个注释器在分类问题上的一致程度。 定义为
其中是分配给任何样本的标签上达成一致的经验概率(观察到的一致比率),是当两个注释器随机分配标签时的预期一致。是标签上使用每个注释器的经验先验估计[2]。
在用户指南中阅读更多内容。
参数 | 说明 |
---|---|
y1 | array, shape = [n_samples] 第一个注释器分配的标签。 |
y2 | array, shape = [n_samples] 由第二个注释器分配的标签。 Kappa统计信息是对称的,因此将y1和y2交换不会改变该值。 |
labels | array, shape = [n_classes], optional 索引矩阵的标签列表。这可以用于选择标签的子集。如果为None,则使用在y1或y2中至少出现一次的所有标签。 |
weights | str, optional 加权类型以计算分数。None表示没有加权;“linear”是指线性加权;“quadratic”是指二次加权。 |
sample_weight | array-like of shape (n_samples,), default=None 样本权重。 |
返回值 | 说明 |
---|---|
kappa | float kappa统计信息,它是-1和1之间的数字。最大值表示完全一致。零或更低表示机会一致。 |
参考
1 J. Cohen (1960). “A coefficient of agreement for nominal scales”. Educational and Psychological Measurement 20(1):37-46. doi:10.1177/001316446002000104.
2 R. Artstein and M. Poesio (2008). “Inter-coder agreement for computational linguistics”. Computational Linguistics 34(4):555-596.