연구 Labs › Fleiss Kappa
Fleiss Kappa 多평가자일치도
当 3 名及以上평가자对多명 대상做名义分类时,评价他们之间的일치도。Cohen κ 只적용于两名평가자,多人时用 Fleiss κ。 每명 대상的평가자人数需相同。브라우저 로컬계산,데이터업로드하지 않음。两名평가자或有序分级请用 Kappa(含加权)。
① 입력计数表
한 줄에 하나个被评对象,每列一个类别,수치=有多少名평가자把该对象归入该类别。각 행之和(即평가자总数 m)须相同。명如「4 0 0」의미 4 名평가자都选了类别 1。
使用说明与方法学
언제 쓰나 Fleiss κ 而不是 Cohen κ?
Cohen κ 只처리「固定两名평가자」。当평가자为 3 人及以上(且不要求每명 대상都由同一批人评),用 Fleiss κ。只有两名평가자、或类别有序需加权时,用 Kappa(含线性/二次加权)도구。
데이터要怎么整理?
整理成「对象 × 类别」的计数表:한 줄에 하나명 대상,每列一个类别,单元格是把该对象归入该类别的평가자人数。각 행之和等于평가자总数 m,且所有行的 m 必须相同。
κ 多大算好?
자주 씀 Landis & Koch 参考:<0.2 轻微、0.2~0.4 一般、0.4~0.6 중등도、0.6~0.8 高度、>0.8 极好。但임계값참고용,临床意义需结合具体场景判断。
κ 偏低一定是평가자差吗?
不一定。当某一类别占绝大多数(流行率极不均衡)时,期望一致度 Pe 很高,κ 会被压低(kappa 悖论)。此时应结合各类别比명与实际一致度 P̄ 综合해석。