평정자 간 일치도(ICC·카파) Q&A
두 명 이상의 평정자(코더)가 같은 대상을 평가했을 때 일치도를 확인하며 자주 나오는 질문입니다. 실행 경로: ICC는 분석 > 척도분석 > 신뢰도 분석 > 통계량 > 급내 상관계수, 카파는 분석 > 기술통계량 > 교차분석 > 통계량 > 카파
Q1ICC와 카파 중 무엇을 써야 하나요?
평정값이 연속형(점수)이면 ICC, 범주형(예/아니오, 유형 분류)이면 카파를 씁니다.
| 평정 자료 | 지표 |
|---|---|
| 점수(연속형·리커트 합산) | ICC |
| 명목 범주, 평정자 2명 | Cohen의 카파 |
| 서열 범주 | 가중 카파 또는 ICC |
| 명목 범주, 평정자 3명 이상 | Fleiss의 카파 등 |
Cohen의 카파는 우연히 일치할 확률을 뺀 일치도입니다(Cohen, 1960). 단순 일치율(%)은 우연 일치를 고려하지 않으므로 카파와 함께 보조 지표로만 제시하는 것이 좋습니다.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
Q2ICC 대화상자의 모형(일원 무선, 이원 무선, 이원 혼합)은 어떻게 고르나요?
평정자가 대상마다 다른지, 결과를 다른 평정자에게도 일반화할지로 고릅니다.
| 모형 | 상황 |
|---|---|
| 일원 무선 | 대상마다 평정자가 다름(같은 평정자 세트가 모두를 평가하지 않음) |
| 이원 무선 | 같은 평정자들이 모두를 평가, 결과를 비슷한 다른 평정자에게 일반화 |
| 이원 혼합 | 같은 평정자들이 모두를 평가, 이 평정자들에게만 해당 |
모형 선택은 연구 설계에 따라 정해지며, 보고할 때 모형·유형·측도를 모두 밝히라는 것이 Koo와 Li(2016)의 권고입니다. ICC 형태의 원래 분류는 Shrout와 Fleiss(1979), McGraw와 Wong(1996)을 참고하세요.
Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46.
Q3유형의 '일관성'과 '절대 일치'는 무엇이 다른가요?
일관성은 순위·패턴이 같은지, 절대 일치는 점수 값 자체가 같은지를 봅니다.
예를 들어 평정자 B가 A보다 모든 대상에 정확히 1점씩 높게 주었다면, 일관성 ICC는 높지만 절대 일치 ICC는 낮아집니다. 평정자의 점수를 서로 바꿔 써도 되는지가 중요하다면(예: 한 명만 채점한 자료를 쓸 계획) 절대 일치가 적합합니다(McGraw & Wong, 1996; Koo & Li, 2016).
McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46.
Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
Q4출력에 '단일 측도'와 '평균 측도'가 있습니다. 어느 것을 보고하나요?
실제 분석에 평정자 한 명의 점수를 쓰면 단일 측도, 평정자들의 평균 점수를 쓰면 평균 측도를 보고합니다.
평균 측도는 여러 평정자를 평균하므로 항상 단일 측도보다 크게 나옵니다. 그래서 값이 높다는 이유만으로 평균 측도를 고르면 신뢰도를 과대평가하게 됩니다. 일부 자료만 두 명이 이중 채점하고 나머지는 한 명이 채점했다면 단일 측도가 맞습니다(Koo & Li, 2016).
Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
Q5ICC 값은 어떤 기준으로 해석하나요?
Koo와 Li(2016)의 기준이 널리 쓰입니다. 점추정값보다 95% 신뢰구간을 기준으로 판단하라고 권고합니다.
| ICC | < .50 | .50~.75 | .75~.90 | > .90 |
|---|---|---|---|---|
| 신뢰도 | 낮음 | 보통 | 좋음 | 매우 좋음 |
Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
Q6카파 값은 어떤 기준으로 해석하나요?
Landis와 Koch(1977)의 구간이 가장 널리 인용됩니다. 다만 저자들도 이 구분이 임의적이라고 밝혔으므로 참고 기준으로만 씁니다.
| κ | 해석 |
|---|---|
| < 0 | 낮음(poor) |
| 0~.20 | 약간(slight) |
| .21~.40 | 어느 정도(fair) |
| .41~.60 | 보통(moderate) |
| .61~.80 | 상당한(substantial) |
| .81~1.00 | 거의 완벽(almost perfect) |
한 범주에 응답이 몰려 있으면 단순 일치율이 높아도 카파가 낮게 나올 수 있으므로, 교차표와 일치율을 함께 제시하면 해석에 도움이 됩니다.
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
Q7결과는 어떤 형식으로 보고하나요?
ICC: 모형·유형·측도 + 값 + 95% CI + 기준 출처 / 카파: κ + p + 기준 출처