분석모형 진단

이번에는 분석 모형 진단에 대해서 살펴보도록 하겠습니다. 이 분석 모형 진단에 나오는 내용들은 또 3과목에서 대부분 학습을 했던 내용들입니다. 우선 첫 번째는 잔차 분석에 대한 내용이 되겠는데요. 이 잔차의 의미 설명드린 바가 있는데요. 잔차라는 것은 오차라고도 하죠. 근데 잔차는 실제 관측값과 모델이 예측한 값 사이의 차이를 잔차 또는 오차라고 얘기를 합니다. 대부분 잔차라는 말을 좀 더 많이 사용을 하고 있는데요. 이 잔차라는 것은 일종의 오차이기 때문에 값이 작을수록 좋겠죠. 그래서 이 잔차 분석은 회귀 모델의 적합도를 평가하는 중요한 도구라고 할 수가 있습니다. 회귀분석에서는 여러가지 가정들이 있는데요 이 가정을 잘 만족하는지를 확인하기 위해서 잔차분석들을 합니다 그래서 여러가지 방법들이 나왔는데요 우선 첫번째는 잔차플롯이라는 것을 잔차를 y축에 놓고 예측값이나 변수를 x축에 놓습니다. 각각 x에 따른 잔차들을 볼 수가 있는데요. 이 잔차 플롯을 통해서 잔차가 무작위로 분포되어 있는지 또는 특정 패턴이 있는지를 확인할 수가 있는데요 이 잔차의 분포는 잔차의 특별한 패턴이 없고 모든 수준에서 일정하게 분포되어 있다면 이것이 좋은 모델 적합성을 의미하게 됩니다 우리 잔차에 대한 가정 중에서 정규성 가정이 있었습니다. 즉 다시 말하면 잔차가 정규분포를 따르는지에 대한 검정이 되겠는데요. 여기에 검정 방법들이 여러가지가 있고 그 방법들을 알고 계셔야 된다라는 거 강조를 드린 적이 있는데요. 우선 첫번째는 샤피로 윌크 검정이 있구요 두번째는 콜모고로프 스미르노프 KS 검정이라고 하는거 우리 비모수 통계에 대해서도 학습을 했었는데요 이런 검정을 이용하거나 또는 Q-Q 플롯을 이용해서 시각적으로 평가를 할 수도 있습니다 샤피로 윌크 검정은 보통 작거나 중간 크기의 샘플에 샘플 사이즈가 좀 작은 경우에 사용을 하고요 KS 검정은 큰 샘플 크기에 좀 효과적인 정규성 검정 방법이 되겠습니다 또는 기본적으로 히스토그램을 그려서 QQ플롯에 대해서는 조금 더 정확하게 알고 계실 필요가 있겠는데요 QQ플롯은 이렇게 지금 선이 있고 이 잔차가 대각방향의 직선 형태를 보이게 되면 이렇게 이 직선을 따라서 점들이 분포하게 되면 정규분포를 따른다고 할 수가 있습니다 그래서 요런 모양을 가지고 있는지를 파악할 필요가 있겠구요 그 다음 샤피로 윌크 검정은 귀무가설의 경우에는 데이터가 정규분포를 따른다가 귀무가설이고, 그렇다면 대립가설은 데이터가 정규분포를 따르지 않는다는 것입니다. 그러면 늘 검정하는 방법에서 p-value를 보시면 되겠구요. 지금 p-value 값은 0.1229기 때문에 이 값이 0.05보다 큰 상태죠. 0.05보다 크면 귀무가설을 채택한다고 볼 수가 있습니다. 그래서 이렇게 나오게 되면 즉 p값이 유의 수준인 0.05보다 크면 데이터가 정규분포를 그대로 따른다 라고 생각할 수가 있는 것입니다. 다음은 등분산성 검정이 되겠는데요. 이거는 회귀분석의 가정에서 등분산성과 이분산성 조금 자세하게 설명을 드렸었는데요. 이 등분산성 검정이라는 것은 잔차의 분산이 독립변수의 모든 수준에서 좀 일정한지를 보이는 이 분산 자체가 이렇게 일정한지 무작위한 어떤 패턴을 보이게 되는지를 확인하는 것이 등분산성 검정이 되겠는데요. 분산이 좀 일정하지 않고 증가하는 추세가 있다든지 감소한다든지 또는 2차형의 그런 패턴 등을 보이게 되면 등분산성 가정이 위배된 것을 의미합니다. 이분산성을 가지게 된다라고 볼 수가 있구요 이 등분산성을 검정하는 방법은 굉장히 여러가지가 있는데요 대표적으로 바틀렛 검정 이라는 것과 레빈 검정 이라는 것 등이 있습니다 이름 정도를 그냥 4. 자기상관검정 자기상관검정은 시계열 데이터에서 사용됩니다. 그래서 잔차가 시간의 흐름에 따라서 서로 상관관계를 가지는지를 검사하는 것인데요 여기에는 더빈 왓슨 검정 이라는 것을 이용해서 잔차의 자기 상관성을 검증하게 되는데 사용을 하게 됩니다 그래서 이런 잔차 분석에는 여러가지 방법들이 있다라는 것을 아시면 되겠구요 각각의 검정의 구체적인 검정 방식들을 좀 이름 정도를 기억을 하셔서 짝을 맞출 수 있는 정도로는 알고 계셔야 될 것 같습니다. 다음은 다중공선성 진단에 대한 내용인데요. 회귀분석을 하면서 다중공선성이라는 용어를 강조해 드린 바가 있습니다. 다중공선성에 대한 것은 많이 출제가 되는 중요한 내용이라고 볼 수가 있는데요. 회귀분석에서 다중선형회귀분석, 즉 독립변수의 개수가 많아지는 회귀분석에서 독립변수들 간의 높은 상관관계가 존재할 때 바로 이 다중공선성의 문제가 발생이 되는 것입니다. 그래서 이 다중공선성의 문제점으로는 첫 번째는 계수 추정에 불안정성이 있습니다. 독립 변수들 간의 높은 상관관계로 인해서 소량의 데이터 변경에도 모델 계수의 추정치가 크게 변동할 수 있다. 다시 말하면 이렇게 되면 다중공선성의 문제가 발생하게 되면 모델의 예측력도 떨어지고 또 과적합의 위험이 있다는 것입니다. 모델의 계수 추정치가 계속 변동한다는 것 자체가 과적합 될 수 있다는 것을 의미하게 됩니다 두 번째는 해석의 어려움인데요 다중공선성이 있는 경우 개별 독립변수의 영향력을 분리해서 해석하기가 어렵겠죠 왜냐하면 독립변수와 독립변수들이 서로 상관성을 미치기 때문에 별도로 떼서 영향력을 따로 설명하기가 어려워진다는 것입니다 그래서 이 다중공선성이 있는지 진단할 수 있는 방법으로 가장 대표적인 것이 바로 분산팽창계수가 되겠고요. VIF라고 합니다. 이거 앞에 공부했던 기억이 나실 것 같은데요. 독립변수 하나가 다른 독립변수들과 얼마나 강하게 상관되어 있는지를 측정하는 것이고요. VIF 값이 10 이상이면 다중공선성에 문제가 좀 있다라고 간주하게 되는 것입니다. 근데 뭐 이 숫자는 아주 절대적인 그런 값은 아닙니다. VIF를 구하는 공식을 보시면 i번째 독립변수에 대한 VIF 값은 1/(1-Ri²)이라고 했는데요. R²이라는 것은 다 아시다시피 결정계수를 의미하게 됩니다. 그래서 이 VIF를 계산할 때는 한 개의 독립변수를, 즉 한 개의 독립변수에 대한 분산팽창계수를 계산하게 되는데요. 즉, 한 개의 독립변수에 대해서 VIF를 계산할 때 그 한 개의 변수를 종속변수로 두고 나머지를 독립변수로 두어서 회귀분석을 하는 것입니다. 거기에서 이제 결정계수가 얻어지게 되면 바로 그게 i번째 결정계수가 되어서 그것을 가지고 VIF를 계산하는 과정을 거치게 됩니다. 다중공선성을 진단할 때는 분산팽창계수인 VIF를 사용한다는 것을 정확하게 기억을 하셔야 되겠습니다. 다음은 영향력 진단인데요. 앞에서 영향력 진단에 대한 것도 아주 간략하게 설명드린 바가 있는데요. 영향력이라는 것은 회귀분석에서 개별 데이터 포인트, 개별 점 하나가 모델의 파라미터 추정치나 전반적인 모델 적합도에 미치는 영향을 평가하는 것입니다. 점 하나가 영향을 미치는 것을 영향력 진단이라고 얘기를 하는데요. 방법이 여러 가지가 있습니다. 우선 레버리지라는 것, 출제된 바가 있습니다. 그래서 기억을 하셔야 되는데요. 레버리지는 관측치가 자신의 예측값에 미치는 영향의 정도를 측정합니다. 즉, 레버리지가 높은 값을 가지는 관측치는 회귀선을 자기 쪽으로 끌어당긴다고 볼 수 있습니다. 이런 것은 약간의 이상치일 가능성이 있습니다. 이상치도 생각해보시면 이상치가 평균값을 끌어당기게 되죠. 높은 레버리지를 가진 관측치는 회귀선을 자기 쪽으로 약간 끌어당기는 그런 영향이 있을 수 있다는 것입니다. 레버리지는 h로 표현을 하는데요. 레버리지 값이 평균의 2~3배 정도인 경우에는 그 관측치가 높은 레버리지를 가진다라고 간주할 수가 있습니다. 두 번째는 쿡의 거리가 되겠습니다. 쿡 디스턴스라고 하는데요. 요거는 그 관측치를 제외했을 때, 빼버렸을 때 회귀계수 추정치가 얼마나 변하는지를 측정하는 것입니다. 개별 데이터 포인트가 모델에 미치는 영향의 크기를 나타내게 되는데요. 쿡의 거리가 크다는 것은 데이터 포인트가 모델의 추정치에 큰 영향을 미치게 된다는 것이고요. 보통 쿡의 거리가 1보다 큰 관측치가 영향력이 큰 것으로 간주가 됩니다. 레버리지하고 쿡의 거리는 조금 다른데요. 각각의 레버리지는 회귀선을 끌어당기는 정도이고 쿡의 거리는 아예 그 관측치를 제외했을 때 회귀계수 추정치가 얼마나 변하는지를 측정하는 것입니다. 다음은 DFBETAS가 있는데요. 이것도 역시 특정 관측치를 제거했을 때 각 회귀계수의 변화를 측정하는 것입니다. 그래서 각 관측치에 대해서 계산된 DFBETAS의 값이 기준을 초과하게 되면 해당 관측치는 특정 회귀계수의 영향력이 큰 것으로 간주가 됩니다. 그 다음 DFFITS라는 값도 있는데요. 이것도 역시 관측치를 제외했을 때 예측값이 얼마나 변하는지를 측정하는 것이고요. DFFITS가 역시 크다는 것은 데이터 포인트가 예측값에 큰 영향력을 미친다는 것을 의미합니다. 일반적으로 루트 p 나누기 n, 여기에서 p는 변수의 수고 n은 샘플의 크기인데요. 이것을 초과하는 값이 영향력이 큰 것으로 간주가 됩니다. 여기에서는 세세하게 암기를 하시는 것이 필요하지는 않을 것 같은데요. 영향력과 관련되는 것은 어떤 값들이 있는지 이 값들을 좀 묶어서 기억을 해주시면 좋을 것 같습니다. 그럼 여기까지 분석 모형 진단에 대한 학습을 마치도록 하겠습니다.