정규성 탐색 실습

이번 시간에는 데이터의 정규성에 대해서 본격적으로 우리가 시각적인 방법 뿐만 아니라 통계적인 방법으로 살펴보는 기법을 STATA를 통해서 확인해 보도록 하겠습니다 보시면은 맨 처음에 작업 디렉토리 작업 공간을 이렇게 설정을 해 주시고요 그 다음 데이터를 불러오는데 데이터 이름이 skewed.csv 파일입니다 이 파일이 반드시 이 폴더 안에 있어야지 불러올 수가 있습니다 그래서 이렇게 들어가신 다음에 불러오시면 이렇게 데이터 변수가 생성되는 것을 확인할 수가 있어요 먼저 우리가 가장 처음으로 해볼 수 있다라는 것을 꼽아보면 히스토그램을 그려보는 거예요 그래서 히스토그램, hist라고 치시고 뒤에 해당 변수 이름을 적어주시면 됩니다 그래서 실행하면은 노멀이라고 된 변수의 데이터는 정규성을 보이는 것 같습니다 그리고 left-skewed 데이터 변수 이름을 실행해 보시면 left-skewed는 데이터가 오른쪽으로 쏠려있는 특징을 가진다고 말씀을 드렸습니다. 그 결과 데이터가 오른쪽으로 많이 치우쳐진 모습을 볼 수가 있고요. right-skewed를 실행하면 이때는 데이터가 왼쪽으로 많이 치우쳐져 있는 것을 확인할 수 있습니다 이렇게 우리가 시각적으로도 확인해 볼 수도 있고 통계적인 검정을 통해서도 확인할 수가 있습니다 이렇게 swilk 라는 이 기법을 통해서 함수를 실행하신 다음에 해당되는 변수 이름을 그냥 넣어 주시면 이렇게 실행을 해보면 이 테스트의 이름이 나오죠 SW 테스트라고 하기도 하고 샤피로 윌크 테스트라고 하기도 하는데 정규성에 대한 어떤 이런 과정으로 테스트를 진행합니다 그래서 여기 쭉 보시면 이 P값이 유의미하지 않아야지 결국 정규성에 가깝다는 의미입니다 이게 만약 유의하다면 정규성에서 그만큼 벗어난다는 의미죠 지금 우리가 normal이라는 변수의 데이터 아까 전에 히스토그램에서도 보셨을 테지만 그 데이터만 나름 온전히 정규성을 가지고 있었고 나머지 데이터는 다 왼쪽으로나 오른쪽으로 치우쳐 있었죠 그렇기 때문에 이건 다 유의하게 나왔습니다 유의하다는 것은 결국 정규성으로 보기 어렵다 라는 가설 결과가 나온 셈이죠 이렇게 해서 샤피로 윌크 테스트도 역시 해봤습니다 그 다음 히스토그램 뿐만 아니라 우리가 박스 플롯을 통해서도 마찬가지로 볼 수가 있습니다 그래서 박스 플롯, 그래프, 박스 한 다음에 노멀 하면은 한번 비교를 해 볼게요 노멀 하시면 이렇게 나옵니다 좀 극단치가 있긴 하지만은 노멀 데이터 같은 경우는 이거를 이렇게 오른쪽으로 눕힌 모습을 히스토그램이라고 생각하면은 얼추 이 그림이 어떻게 되는지 좀 보입니다 노멀 같은 경우는 미디엄값 50% 중앙값이 가운데 있어야 합니다. 가운데 있는게 바람직한 모습입니다. 이 데이터의 상자가 위아래 치우침 없이 가운데 있다면 정규분포에 가깝다고 볼 수 있구나 라고 생각을 할 수가 있어요 반면에 left-skewed 데이터가 오른쪽으로 쏠린 데이터의 경우는 실행을 해보면 이런 식으로 되어 있습니다 오른쪽으로 쏠렸으니까 이 데이터를 뒤집어오면 대충 감이 오시죠 이 상자가 이렇게 위로 많이 올라가 있어요 데이터가 가운데 있지 않고 많이 올라가 있습니다 이런 경우는 이제 우리가 데이터가 정규성에서 좀 많이 벗어났구나 라고 직감적으로 볼 수가 있어요 마찬가지로 아래 있는 것도 선택하시면 이건 데이터가 아래쪽으로 치우쳐져 있습니다 이런 식으로 우리가 확인할 수가 있어요 그다음 왜도 첨도에 대해서는 우리가 히스토그램을 통해서도 볼 수 있지만은 우리가 통계적 검정을 통해서도 마찬가지로 확인할 수가 있습니다 그래서 모든 변수를 다 집어 넣은 다음에요 실행을 하시면은 이렇게 다시 한번 실행을 해 볼게요 실행을 이렇게 되어있습니다 보시면 알겠지만은 지금 skewness를 보는 거죠 kurtosis랑 왜도와 첨도를 같이 보는 건데 이 두 개를 같이 이제 한꺼번에 놓고 테스트를 합니다 유일하게 문제 없는 게 지금 노말 데이터예요 이거는 치우쳐져 있지도 않고 너무 삐죽하지도 않고 크게 문제가 없는 것으로 나왔습니다 그런데 left-skewed 같은 경우는 일단 문제가 발생한 게 skewness에서 다 0.000 해서 유의미하게 나와 버렸습니다 그렇기 때문에 전체 검사, 전체 조인트 검사, 같이 한 검사에서도 마찬가지로 이 둘 중에 하나가 유의미하게 나오면 이것도 유의미하게 나올 가능성이 높습니다 이게 유의미하게 나왔기 때문에 이게 유의미하게 나왔고요 right-skewed도 마찬가지로 이거는 skewness도 당연히 문제가 있고 kurtosis 첨도에서도 문제가 있는 것으로 나와 있습니다 그렇기 때문에 이 두 개 다 문제이기 때문에 역시 조인트 검사에서 다 문제가 있게 나왔습니다 보시면은 여기 위에 있는 샤피로 윌크 테스트 같은 경우 주로 정규성을 확인하는 거라면 이 밑에 SK 테스트는 skewness kurtosis 테스트라고 해서 이 두 개를 같이 한 번에 볼 수 있고 또 이거는 종합적으로 같이 전체 검사를 할 수 있는 방법입니다 여기서 마찬가지로 이 확률 값이 유의미하게 나오면 안 됩니다 그런데 지금 이 skewed data 같은 경우는 모두 다 유의미하게 나왔기 때문에 우리가 왜도나 첨도에서 문제가 있다 라고 확인할 수가 있죠 이런 식으로 우리가 데이터를 핸들링 하기 전에 앞서서 먼저 데이터가 정규적으로 분포되어 있는지 그리고 그 분포의 양상이 정말 통계적으로 문제가 없는지 이렇게 시각적인 방법과 통계적인 방법으로 한번 살펴보았습니다 이걸 기반으로 여러분께서 자신이 다루는 변수가 과연 어떤 특성을 가지고 있는지를 확인할 수가 있습니다 이 정도로 정규성 확인 실습을 마치도록 하겠습니다