회귀분석 Q&A

✅ 가장 널리 쓰이는 관례는 VIF > 10 (공차 < .10)이면 심각한 다중공선성으로 보는 것입니다(Hair, Anderson, Tatham, & Black, 1995).

확인: 선형 회귀 > 통계량에서 "공선성 진단" 체크 → 계수표의 공차(Tolerance)와 VIF 확인. 단, VIF 10은 절대 기준이 아니며 이 관례 자체에 대한 비판도 있습니다(O'Brien, 2007). VIF가 4~5만 넘어도 주의하라는 더 엄격한 제안도 있으므로, 값과 함께 기준의 출처를 명시하는 것이 안전합니다.

✅ 2에 가까울수록 잔차의 자기상관이 없다는 뜻입니다. 관례적으로 1 미만 또는 3 초과면 확실히 문제로 봅니다(Field, 2018).

확인: 선형 회귀 > 통계량에서 "Durbin-Watson" 체크. 값의 범위는 0~4이며, 2보다 많이 작으면 정적 자기상관, 많이 크면 부적 자기상관을 시사합니다. 횡단 설문 자료에서는 대개 문제가 없지만, 시간 순서가 있는 자료(시계열·반복 관찰)에서는 중요한 진단입니다.

✅ 선형 회귀 > 도표에서 ① 정규확률도표(P-P), ② ZPRED(X축) × ZRESID(Y축) 산점도를 요청합니다.

P-P 도표의 점들이 대각선에 가깝게 붙어 있으면 잔차 정규성 양호. 산점도에서 점들이 0을 중심으로 특정 패턴 없이 고르게 흩어져 있으면 등분산성 양호입니다. 깔때기 모양(한쪽으로 갈수록 퍼짐)이면 이분산, 곡선 패턴이면 비선형성의 신호입니다.

✅ 표준화 잔차 절대값 3 초과 사례와 Cook's distance가 1을 넘는 사례를 점검합니다(Cook & Weisberg, 1982; Field, 2018).

실행: 선형 회귀 > 저장에서 "표준화 잔차"와 "Cook의 거리" 체크 → 데이터 창에 새 변수로 저장됩니다. 표준화 잔차가 큰 사례는 모형이 잘 설명하지 못하는 사례, Cook's distance가 큰 사례는 회귀계수를 크게 바꾸는 영향점입니다.

✅ 이론 검증 연구라면 동시 투입(입력) 또는 위계적 투입이 원칙입니다. stepwise는 학술 연구에서 비판이 많습니다(Field, 2018).

stepwise는 표본의 우연한 변동에 따라 변수 선택이 좌우되고, p값·R²가 과대추정되며, 재현성이 낮다는 비판을 받습니다. 이론적 순서에 따라 블록으로 나눠 넣는 위계적 회귀(블록 1: 통제변수 → 블록 2: 관심변수)가 사회과학의 표준 관행입니다. 선형 회귀 대화상자에서 "다음" 버튼으로 블록을 추가합니다.

✅ 관례: R²(또는 수정 R²)와 F검정을 보고하고, 위계적 회귀는 ΔR²(R² 변화량)을 단계마다 보고합니다.

수정 R²는 예측변수 수와 표본 크기를 반영해 과대추정을 보정한 값으로, 예측변수가 많거나 표본이 작을 때 R²와 차이가 커집니다. ΔR²의 유의성은 통계량 > R 제곱 변화량 체크로 얻습니다. 효과크기 f² = R²/(1−R²)이며 기준은 .02 작음, .15 중간, .35 큼입니다(Cohen, 1988).

✅ B(비표준화)는 원 단위의 변화량, β(표준화)는 예측변수 간 상대적 중요도 비교에 씁니다. 표에는 둘 다(B, SE, β) 싣는 것이 관례입니다.

B는 "X가 1점 오를 때 Y가 B점 변한다"로 해석되고, β는 표준편차 단위라 서로 다른 척도의 예측변수를 비교할 수 있습니다. 다만 β 크기 비교도 공선성이 있으면 왜곡될 수 있으니 주의하세요.

✅ 널리 인용되는 경험칙: 전체 모형 검정에는 N ≥ 50 + 8m, 개별 예측변수 검정에는 N ≥ 104 + m (m = 예측변수 수; Green, 1991).

이는 중간 크기 효과를 가정한 경험칙이며, 정확한 산출은 기대 효과크기를 넣은 검정력 분석(G*Power의 linear multiple regression)으로 하는 것이 좋습니다.

✅ 모형 전체(F, R²) → 개별 계수(B, SE, β, t, p) 순으로 보고합니다.