분산분석(ANOVA)의 이해

이번 시간에는 분산분석에 대해서 살펴보도록 하겠습니다. 분산분석은 일반적으로 3개 이상의 집단을 비교할 때 사용하는 분석 기법입니다. 정확히 말씀드리자면은 3개 이상의 집단의 평균을 비교할 때 사용하는 방법이고요. 왜 분산분석이라고 했냐 하면은 세 집단의 평균을 비교하는 방식을 평균 가지고 직접적으로 하는 게 아니라 이 집단의 집단 내 분산과 집단 간 분산을 가지고 비교한다라는 의미에서 분산분석으로 이름을 지었습니다. 구체적인 예를 보면서 ANOVA가 어떤 분석인지를 이해해 나가도록 하겠습니다. 분산분석은 예를 들자며는 처치집단, 비교집단, 통제집단에 따른 항암제 치료제의 효과에 대한 비교를 하는 거예요. 그래서 보시면은 제가 임의로 통제집단을 처치를 받지 않은 그룹이라고 했고 비교집단을 구-싹나아 옛날 싹나아라는 항암치료제를 투여한 그룹 그리고 처치 집단을 신-싹나아 그래서 새로운 항암치료제를 투여한 그룹 이렇게 나눴습니다. 그래서 과연 이 세 집단의 평균의 차이가 있는지를 살펴보는 연구를 하고 싶어서 이런 식으로 설계를 했습니다. 그러면은 우리가 각각 집단에서 표본을 통해서 평균을 추정하고 분포를 살펴보자며는 하단에 그려진 종 모양의 분포를 이루겠죠? 노란색은 통제집단, 파란색은 비교집단, 초록색은 처치집단 그래서 여기에서 이 분산을 고려해서 과연 평균 차이가 유의미한지를 저는 살펴보고 싶어요. 그러면은 분산분석의 원리에 대해서 한번 제가 언급을 드릴 텐데요. 먼저 통제집단 내 분산 있어요. 왜 분산분석인지를 여기서 설명을 좀 드리도록 하겠습니다. 통제집단 내 분산이 있고요 마찬가지로 그 집단 내 분산이라는 것은 통제집단, 비교집단, 처치집단에 같이 있겠죠? 일반적으로 ANOVA에서는 이 집단 내 분산을 동일하다고 봅니다. 그래서 우리가 등분산성 검사를 하죠. 일반적으로 ANOVA를 한다는 것은 이 등분산성이 충족이 됐다라는 가정에서 진행되는 거기 때문에 그래서 제가 등분산성이 가정 됐다고 가정을 하고 그렇게 되면은 이 세 집단의 집단 내 분산은 모두 동일하게 됩니다. 그렇게 봤을 때 지금 우리가 관심 있는 거는 이 세 집단의 평균의 차예요. 평균의 차이는 다른 말로 해서 결국은 어떤 거죠? 집단 간의 차이, 다른 말로 해서 집단 간의 분산입니다. 그러니깐 우리가 전체분산의 전체 데이터의 표본의 분산을 어떻게 쪼갤 수가 있죠? 하나는 집단 내 분산과 그리고 집단 간 분산으로 분해를 할 수가 있어요. 만약 이 집단 간의 차이가 작은 경우는 어떻게 나타날까요? 지금 그래프를 보시면은 다음과 같이 나타납니다. 여기에서 집단 간 분산이 사실 집단 내 분산이 규모 크기가 이 정도 되는데 집단 간 분산의 규모가 이 정도밖에 안 돼요. 오히려 집단 내 분산이 더 큰 거 같습니다. 그런 식으로 해서 이 집단 간 분산과 집단 내 분산이 차이가 크게 안 나는 거예요. 이런 경우는 그래프를 보시면은 데이터가 굉장히 오버랩이 돼 있습니다. 통제집단의 그래프와 처치집단, 비교집단 각각의 색깔을 보시면은 지금 대부분의 그래프가 이렇게 많이 오버랩 겹쳐져 있어요. 많이 오버랩이 돼 있으면은 우리가 95% 신뢰구간이 굉장히 많이 겹치겠다 다른 말로 해서 이 차이가 유의미하지 않게 나올 가능성이 높겠다 정도로 이해를 하시면 될 것 같습니다. 핵심적으로 앞에 다룬 내용을 좀 요약을 하자면은 결국은 각설을 하고 정리를 해보자며는 집단 내 차이, 우리가 집단 내 차이는 등분산성의 가정이기 때문에 동일하다고 보고 있습니다. 집단 내 차이와 그 집단 간 차이 집단 간 평균의 차이에서 발생한 그 변량이 있겠죠? 그 차이의 지금 비를 비교하는 거예요. 비를 비교하는 겁니다. 그래서 통계적으로 봤을 때 집단 간 차이가 집단 내의 차이보다 유의미하게 더 커야지 여기에서 이 F 값이 결국 유의미하게 됩니다. 보시면은 이 두 식에서 파란색으로 된 부분이 집단 내 변량과 관련된 부분이고요. 분자의 빨간색으로 돼 있는 부분이 집단 간 변량과 관련된 부분입니다. 이 각각 두 개는 χ² 분포를 따르고, χ² 분포의 모양은 오롯이 여기 있는 자유도에 의해서 결정이 됩니다. 그래서 이 두 χ² 값의 비가 F 값이 되고 이 F 값은 F 분포를 따르게 되겠죠. 그래서 진행을 해보자며는 이 분산분석에서 귀무가설이라 함은 잘 이해해 두셔야 됩니다. 모든 집단의 평균은 동일하다입니다. 한마디로 차이가 없다라는 거예요. 대안가설은 뭐죠? 대안가설은 적어도 한 집단의 평균은 나머지 집단의 평균과 차이를 보인다라는 거예요. 이 말을 잘 기억하셔야 돼요. 이 말은 그림으로 그리자며는 대안가설이 참일 때는 이런 경우도 참이고, 그래프를 보시면 A 집단, B 집단, C 집단 모두 많이 벌어져 있는 것을 볼 수가 있습니다. 이렇게 A, B, C 평균이 각각 차이가 커도 대안가설이 사용될 수 있고 또 다른 경우 더 중요한 경우는 이런 경우가 될 가능성이 높아요. 실제 데이터에서는 A 집단만 B 집단과 C 집단보다 더 떨어져 있고 B 집단과 C 집단이 비슷한 거예요. 그래서 보통 처음 ANOVA 분석하시는 분들이 많이 헷갈려하시는 특히 F 검사를 할 때 잘못 기술하시는 부분이 뭐냐면은 F값이 유의미했으니깐 내가 비교하고자 했던 A 집단과 B 집단, C 집단 평균 다 달라라고 그냥 단정을 해버리는 겁니다. 그렇지가 않습니다. 지금 F 검사에서 본 것은 구체적으로 말씀드리면은 이렇게 돼야 된다는 거예요. A 집단 하나만 나머지 B 집단과 C 집단과 달라도 이 F값은 유의미하게 된다는 겁니다. 사실 F 검사만으로는 평균이 어떻게 차이가 나는지 통계적으로 말할 수 있는 여지는 크지가 않아요. 그냥 잘은 몰라, 내가 정확히 어떤 집단의 쌍을 했을 때 그 차이가 나는지를 확실히 모르지만은 적어도 한 집단의 평균은 나머지 집단의 평균과 차이를 보인다라는 이 가설만 채택이 된 거예요. 그래서 우리가 구체적으로 각각 어떤 집단 간의 차이가 유의미한지를 살펴보는 게 뒤에서 살펴볼 사후검사 사후분석이라고 합니다. 영어로는 post-hoc이라고 하죠. 정리하자면 F값이 유의하다는 것은 적어도 한 집단의 평균은 나머지와 다르다라는 얘기구요. 구체적으로 각 집단이 다른 집단과 어떻게 차이가 나는지를 파악하기 위해서 post-hoc 사후검정을 반드시 해야 됩니다. 결국 사후분석을 한다는 것은 F 분석에서 적어도 한 집단은 차이가 있다라는 가설이 선택이 됐기 때문에 구체적으로 어떤 집단 간의 차이가 있는지를 통계적으로 살펴보는 과정이라고 보시면 될 거 같아요. 그래서 A B 집단, A C 집단, B C 집단 이렇게 모두 그 대형 쌍에 대해서 통계적인 차이의 유의미성을 테스트 해보는 거라고 생각하시면 될 것 같습니다. 그런데 이제 여러 가지 질문이 있어요. 왜 이렇게 번잡하게 바로 T분석을 세 번 하면 되지 왜 F 검사를 했다가 post-hoc을 하느냐 그렇다면 과연 post-hoc은 어떤 차이가 있는가 일반 T 테스트를 세 번 하는 거랑 여기에서 다음 슬라이드에서 제가 그 이유에 대해 설명을 드리도록 하겠습니다. 그 이유는 가장 큰 이유는 1종 오류의 증가 때문입니다. 이 오류를 풀이하자며는 한 실험연구, 동일한 실험 연구 선상에서 연속적으로 발생하는 그런 가설 검정이 이루어지는 경우 1종 오류가 실제로 우리가 설정했던 거보다 커져버리는 경향이 있습니다. 무슨 말이냐면요, 예를 들어서 우리가 해당 연구에서 두 집단 비교 검정만 했어요. 우리 관심 있는 것이 그렇다면은 alpha 허용오차 다른 말로 해서 1종 오류를 범할 수 있는 확률값을 0.05로 지정을 했다로 가정을 해보겠습니다. 여기서 c라고 되어 있는 위첨자는 비교 개수입니다. 주 집단 비교할 때는 비교의 수가 하나이기 때문에 위첨자가 1이 됩니다. 지수가 1이 되는 거죠. 그래서 1 - 0.05 하면은 0.9에서 신뢰구간이 형성이 되는 거죠. 1 - 0.9 하면 어떻게 되죠? 0.05 해가지고 alpha는 결국 우리가 기존에 생각했던 0.05 가 됩니다. 그런데 세 집단 이상을 비교해버리는 경우는 어떻게 될까요? 보시면은 이때 지수에 c라고 돼 있는 지수가 세 집단을 비교하게 되면은 결국은 두 집단씩 3번 비교하는 거기 때문에 3이 됩니다. alpha 수준을 0.05로 한 다음에 c에 3을 대입을 하면은 1 - (1 - 0.05) 여기에 3승이 되는 거죠. 그렇게 되면은 0.95가 나오는 게 아니라 0.857이 나옵니다. 신뢰구간이 그만큼 우리가 예상했던 것보다 줄어들게 되죠. 그러면서 1종 오류 허용오차가 생각보다 굉장히 높아지게 됩니다. 0.143이 됩니다. 이렇게 되면은 이런 상황에서 가설 검사를 했을 때는 우리가 어떤 오류일 가능성이 높아진다고요? 1종 오류가 어떤 거라고 말씀드렸죠? 귀무가설이 참인데 실제로 차이가 없는데 차이가 있다고 할 가능성이 그만큼 높아진다라는 겁니다. 그래서 이러한 alpha 수준을 바로 post-hoc에서는 통제를 해주는 것이죠. 어떤 식으로 통제를 하는지 한번 살펴보도록 하겠습니다. 우리가 흔히 하는 유의성 검정 도구 세 가지를 말씀드리자면 LSD, Tukey, Scheffe가 있습니다. 여기에서 수준이라고 테이블 오른쪽에 있는 게 liberal, moderate, conservative 이렇게 나오죠? 이게 뭐냐면 같이 비교를 하는 기각역이 liberal하다는 것은 상대적으로 낮다. moderate한 적당하다. 그리고 conservative라는 것은 일반적으로 그 기각역이 좀 높다라고 보는 겁니다. 이렇게 하는 이유는 결국은 1종 오류를 어떤 식으로 통제를 하느냐와 관련된 문제인데 그 통제 수준에 따라서 나눠진다고 보시면 될 거 같아요. 보시면 일반적으로 많이 쓰이는 것은 이 Tukey와 Scheffe 방식입니다. 근데 여러분이 실제로 분석을 해보시면 알겠지만은 샘플 사이즈가 증가할수록 사실 이 검사도구의 차이는 그렇게 크지 않은 경우가 많아집니다. 그래서 이 1종 오류 우리가 동일 실험상황에서 연속적으로 가설 검사를 하게 되는 경우는 alpha 수준이 단일 연구에서보다 굉장히 좀 인플레이션이 되는 경향이 있습니다. 그래서 그런 거를 보정해주기 위해서 alpha 수준을 보정해주기 위해서 우리가 하단에 있는 이 세 가지 검정 도구를 통해서 각각 대응상의 유의미성을 판단한다고 보시면 될 거 같아요. 그러면 전체적으로 ANOVA 분석 결과의 보고를 어떤 식으로 할 수 있는지 살펴보도록 하겠습니다. 앞에서도 말씀드렸다시피 ANOVA 분석 결과 자체는요 적어도 한 집단은 나머지 집단의 평균과 차이가 있다라는 것만 판정을 한 거예요. F 테스트에서는 ANOVA 테스트에서는. 그러면은 기술도 마찬가지로 이런 식으로 써주셔야 되겠죠? 첫 단락에 보시면은 우리가 특목고 출신 학생과 지금 일반고 출신학생 그리고 대안학교 출신 학생들의 사전 수학능력평가를 비교를 하려고 그래요. 그래서 F 테스트ANOVA 검사해서 유의미했다라는 것은 이 세 고등학교 출신 학생들의 사전 수학능력평가 점수의 평균이 적어도 한 출신고등학교의 평균은 나머지 출신고등학교의 학생들의 평균보다 더 높거나 낮거나 아무튼 차이가 있다라는 겁니다. 그래서 기술은 첫 번째 단락처럼 써주시면 돼요. 집단별 대학 기초수학능력 성적의 차이는 유의수준 0.05에서 유의한 것으로 나타났다 해서 F에서 이때 이 2는요 집단 간 집단간 차이에 대한 df 자유도를 적어 주시면 되고 여기에서는 error error 수준의 자유도를 적어 주시면 됩니다. 뒤에서 실습하면서 제가 언급을 드리도록 하겠습니다. 그래서 이 F 값이 4.94가 되고 P값은 0.027이였다라고 기술을 해주시면은 무난하다고 보시면 될 거 같고 그 이후에 이 부분부터는 post-hoc이 들어가는 거예요. 구체적으로 첫 단락에서는 적어도 한 집단이 차이가 있다라고 선언을 했는데 그러면 과연 이 세 집단의 평균 차이가 어떤 식으로 나타나는지 사후검사를 한 다음에 결과를 기술하는 겁니다. 그 결과상 지금 특목고 출신의 학생들이 일반고나 대안학교에 비해서 사전 수학능력평가 점수가 더 유의하게 높은 것으로 나타났습니다. 이때 평균을 각 집단에 적어주시고 여기에 따른 이 유의미성 수준을 적어 주시면은 무난한 해석이라고 볼 수가 있을 것 같네요.