一致率90%でも信用できない? カッパ係数と評価者間一致度をやさしく解説!

一致率90%でも信用できない? カッパ係数と評価者間一致度をやさしく解説!

今回は、LandisとKochによる1977年の論文“The Measurement of Observer Agreement for Categorical Data”をもとに、評価者間一致度とカッパ係数について解説しました。カッパ係数は、実際に観察された一致から、偶然に期待される一致を調整した指標です。LandisとKochが示した「わずかな一致」「中程度の一致」「かなりの一致」などの区分は、現在も多くの研究で引用されています。ただし、著者自身が述べているように、この区分は便宜的で恣意的な目安です。カッパ係数だけを機械的に解釈するのではなく、単純一致率、カテゴリー別の人数、クロス集計表、不一致が生じたカテゴリーなども併せて検討することが重要です。

http://www.nicovideo.jp/watch/ss46572559